这个待看，相关知识点是空缺
CHATGPT的解释：
微分同形（Diffeomorphism）是微分拓扑（一种数学分支）中的一个概念，它描述了两个流形（Manifold）之间的一种特殊类型的映射。流形是一种可以局部近似于欧几里得空间的空间，例如曲线、曲面等。微分同形的概念用于描述当这些空间在局部看起来像是平坦的欧几里得空间时，它们之间的一种平滑且可逆的对应关系。
具体来说，如果有两个流形(M)和(N)，一个映射(f: M
- (f)是双射（Bijective），即(f)是一一对应的且覆盖(N)上的每一个点。
- (f)是可微的（Differentiable），意味着对于(M)上的任意一点，(f)在该点的局部都可以用微分来描述。
- (f)的逆映射(f^{-1})也是可微的。
简而言之，如果一个映射及其逆映射都是连续可微的，那么这个映射就是一个微分同形。
- 流形（Manifolds）：流形是微分同形的核心概念，是一种在局部与欧几里得空间相似的数学空间，可以是曲线、曲面或者更高维的空间。
- 拓扑学（Topology）：微分同形涉及到拓扑学的概念，因为它考虑的是空间的连续性质而非具体的距离。拓扑学中的同胚（Homeomorphism）概念与微分同形密切相关，但微分同形对映射的光滑性有更强的要求。
- 微分几何（Differential Geometry）：微分同形也是微分几何的重要组成部分，因为它涉及到流形上的微分结构。微分几何研究的是曲率、测地线、流形上的向量场等概念。
- 代数拓扑（Algebraic Topology）：虽然代数拓扑主要关注空间的代数性质，微分同形作为一种几何结构的映射，它在某些情况下可以帮助理解空间的拓扑不变性。
- 李群与李代数（Lie Groups and Lie Algebras）：在研究连续对称性（如旋转和平移）时，微分同形在李群的结构和性质中占据重要位置。李群是具有群结构的流形，其上的操作可以通过微分同形来研究。
微分同形不仅是数学中的一个基本概念，也在物理学、工程学等多个领域中有广泛的应用，如在广义相对论中描述时空的结构，在力学系统中分析系统的相空间，等等。
直观上理解微分同形，可以想象你有一个可塑性非常好的橡皮泥。这个橡皮泥可以被拉伸、压扁、扭曲成任何形状，但在这个过程中，你不能撕裂它（这会破坏连续性）或者将它黏合在一起（这会破坏一一对应）。如果你能通过这样的操作，将一个橡皮泥模型完全变形成另一个模型，那么这两个模型就可以说是通过一个微分同形关联的。微分同形关注的是这种变形过程中保持了结构的平滑性和连续性，而不仅仅是形状的相似。
微分同形的概念在数学中的提出，是为了研究在不同的几何结构或者流形之间的深层联系。特别是，它帮助数学家理解当两个流形在局部看起来完全不同，但从整体（全局）的角度来看却是“相同”的情况。这种“相同”是指它们可以通过某种平滑且可逆的映射相互转换，这映射保留了流形的微分结构。
-
分类问题：在微分拓扑中，一个重要的问题是分类不同的流形，看看哪些是本质上相同的，哪些是不同的。微分同形提供了一个工具，可以帮助数学家们理解和区分这些流形。
-
几何与拓扑的关系：微分同形展示了几何结构（如曲率、距离）和拓扑结构（如连续性、边界）之间的联系。它说明了即使流形在几何上看起来完全不同，它们仍然可能在拓扑上是相同的。
-
物理学中的应用：在物理学中，特别是在广义相对论和量子场论中，微分同形的概念用于描述物理系统在不同坐标变换下的不变性。这有助于确保物理定律不依赖于特定的观察者或坐标系统。
-
动力系统和控制理论：在动力系统中，微分同形可以用来描述系统状态的变化，特别是在相空间中的变化。这有助于理解系统的长期行为以及稳定性分析。
总的来说，微分同形的概念不仅增进了我们对数学对象本质理解的深度，也为许多科学领域提供了重要的工具和视角。
https://blog.csdn.net/qq_39388410/article/details/107895198
https://zhuanlan.zhihu.com/p/388275829
以下是GPT4的回答：
在深度学习中，latent space（潜在空间）是一个非常重要的概念，它通常指的是在机器学习模型中，特别是在生成模型（如生成对抗网络GANs或变分自编码器VAEs）中，用于表示数据的高维空间被映射到的低维表示空间。这个潜在空间能够捕获数据的内在结构和特征，使得即使是非常复杂的数据集也能够以更简洁和抽象的方式进行表达和处理。
以下是对潜在空间几个关键点的解释：
-
数据的压缩表示：潜在空间允许数据以更低维度的形式表示，同时尽可能保留原始数据的关键信息。这可以视为一种数据压缩，其中潜在空间的每个维度都捕获了数据的某种重要特征或变量。
-
数据生成和编辑：在生成模型中，通过在潜在空间中采样点并将其映射回原始数据空间，可以生成新的数据实例。因为潜在空间捕获了数据的内在结构，所以通过调整潜在空间中的坐标，可以以可控的方式编辑生成的数据，例如改变图像中的特定特征。
-
学习数据的内在结构：潜在空间的一个关键优点是它可以学习数据的内在结构和分布。例如，在处理图像时，潜在空间可能会捕获不同的视觉特征（如边缘、颜色、形状等），甚至更高级的概念（如对象的存在）。
-
维度约简与特征抽取：潜在空间提供了一种强大的工具来进行维度约简和特征抽取，这对于理解复杂数据集、进行数据可视化和提高学习任务的效率至关重要。
-
插值和平滑：在潜在空间中，相近的点通常对应于具有相似特征的数据实例。这意味着通过在潜在空间中插值，可以平滑地从一个数据实例转换到另一个，这在许多应用中，如动画、数据增强和风格迁移等，是非常有用的。
理解和利用潜在空间的能力是深度学习特别是在生成模型领域中的一个强大工具，它不仅能够帮助我们生成新的数据实例，还能够帮助我们更深入地理解数据的内在结构和特性。
https://blog.csdn.net/qq_35516657/article/details/108225441
https://zhuanlan.zhihu.com/p/100676922
-
BV1Vw411R7Fj
b站一位up主的GCN讲解视频
-
首先是关于傅里叶分析的知识，可以看这位知乎答主的博客：
-
BV1nZ4y1K78i
-
https://www.youtube.com/playlist?list=PLoazKTcS0Rzb6bb9L508cyJ1z-U9iWkA0
-
-
Introduction to Causal Inference
- https://www.cnblogs.com/mo-wang/p/4775548.html
- 一个知乎答主对于拉格朗日乘子法的形象解释：
- 知乎专栏
- CSDN博客
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# File : test_gan.py
# Author : none <none>
# Date : 14.04.2022
# Last Modified Date: 15.04.2022
# Last Modified By : none <none>
""" 基于MNIST 实现对抗生成网络 (GAN) """
import torch
import torchvision
import torch.nn as nn
import numpy as np
image_size = [1, 28, 28]
latent_dim = 96
batch_size = 64
use_gpu = torch.cuda.is_available()
class Generator(nn.Module):
def __init__(self):
super(Generator, self).__init__()
self.model = nn.Sequential(
nn.Linear(latent_dim, 128),
torch.nn.BatchNorm1d(128),
torch.nn.GELU(),
nn.Linear(128, 256),
torch.nn.BatchNorm1d(256),
torch.nn.GELU(),
nn.Linear(256, 512),
torch.nn.BatchNorm1d(512),
torch.nn.GELU(),
nn.Linear(512, 1024),
torch.nn.BatchNorm1d(1024),
torch.nn.GELU(),
nn.Linear(1024, np.prod(image_size, dtype=np.int32)),
# nn.Tanh(),
nn.Sigmoid(),
)
def forward(self, z):
# shape of z: [batchsize, latent_dim]
output = self.model(z)
image = output.reshape(z.shape[0], *image_size)
return image
class Discriminator(nn.Module):
def __init__(self):
super(Discriminator, self).__init__()
self.model = nn.Sequential(
nn.Linear(np.prod(image_size, dtype=np.int32), 512),
torch.nn.GELU(),
nn.Linear(512, 256),
torch.nn.GELU(),
nn.Linear(256, 128),
torch.nn.GELU(),
nn.Linear(128, 64),
torch.nn.GELU(),
nn.Linear(64, 32),
torch.nn.GELU(),
nn.Linear(32, 1),
nn.Sigmoid(),
)
def forward(self, image):
# shape of image: [batchsize, 1, 28, 28]
prob = self.model(image.reshape(image.shape[0], -1))
return prob
# Training
dataset = torchvision.datasets.MNIST("mnist_data", train=True, download=True,
transform=torchvision.transforms.Compose(
[
torchvision.transforms.Resize(28),
torchvision.transforms.ToTensor(),
# torchvision.transforms.Normalize([0.5], [0.5]),
]
)
)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size, shuffle=True, drop_last=True)
generator = Generator()
discriminator = Discriminator()
g_optimizer = torch.optim.Adam(generator.parameters(), lr=0.0003, betas=(0.4, 0.8), weight_decay=0.0001)
d_optimizer = torch.optim.Adam(discriminator.parameters(), lr=0.0003, betas=(0.4, 0.8), weight_decay=0.0001)
loss_fn = nn.BCELoss()
labels_one = torch.ones(batch_size, 1)
labels_zero = torch.zeros(batch_size, 1)
if use_gpu:
print("use gpu for training")
generator = generator.cuda()
discriminator = discriminator.cuda()
loss_fn = loss_fn.cuda()
labels_one = labels_one.to("cuda")
labels_zero = labels_zero.to("cuda")
num_epoch = 200
for epoch in range(num_epoch):
for i, mini_batch in enumerate(dataloader):
gt_images, _ = mini_batch
z = torch.randn(batch_size, latent_dim)
if use_gpu:
gt_images = gt_images.to("cuda")
z = z.to("cuda")
pred_images = generator(z)
g_optimizer.zero_grad()
recons_loss = torch.abs(pred_images-gt_images).mean()
g_loss = recons_loss*0.05 + loss_fn(discriminator(pred_images), labels_one)
g_loss.backward()
g_optimizer.step()
d_optimizer.zero_grad()
real_loss = loss_fn(discriminator(gt_images), labels_one)
fake_loss = loss_fn(discriminator(pred_images.detach()), labels_zero)
d_loss = (real_loss + fake_loss)
# 观察real_loss与fake_loss，同时下降同时达到最小值，并且差不多大，说明D已经稳定了
d_loss.backward()
d_optimizer.step()
if i % 50 == 0:
print(f"step:{len(dataloader)*epoch+i}, recons_loss:{recons_loss.item()}, g_loss:{g_loss.item()}, d_loss:{d_loss.item()}, real_loss:{real_loss.item()}, fake_loss:{fake_loss.item()}")
if i % 400 == 0:
image = pred_images[:16].data
torchvision.utils.save_image(image, f"image_{len(dataloader)*epoch+i}.png", nrow=4)