AE

Auto-Encoder (AE) 是20世纪80年代晚期提出的，它是一种无监督学习算法，使用了反向传播算法，让目标值等于输入值。

• 是神经网络的一种，经过训练后能尝试将输入复制到输出。
• 三层网络结构：输入- 隐层- 输出
• 自编码网络的作用是:将输入样本压缩到隐藏层，再在输出端重建样本。其目标是使输出和输入之间尽量的小,即重构误差尽可能的小
• 自动编码器必须捕捉可以代表输入数据的最重要的因素；类似 PCA，找到可以代表原信息的主要成分。

欠完备 under-complete

从自编码器获得有用特征的一种方法是限制 h 的维度比 x 小，这种编码维度小于输入维度的自编码，称为：欠完备自编码器。

• 学习欠完备的表示将强制自编码器捕捉训练数据中最显著的特征
• 当解码器是线性的且Loss是均方误差，欠完备的自编码器会学习出与 PCA 相同的生成子空间。

过完备 over-complete

• 文本表示
• 传统是VSM向量空间，bag-of-words词袋模型，无语义信息
• Auto-encoder : 可以学习到语义特征

• 逐层预训练
  

CNN-AE

反卷积：

稀疏自编码

• 如果在AutoEncoder的基础上加上L1的约束，可以得到Sparse AutoEncoder

  • L1约束主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源
    

• 核心思想：将隐层进行约束，使其变得稀疏

• 通过一个稀疏参数对输入到隐层的样本进行激励（筛选）
  

• 添加一个额外的惩罚项来最优化目标函数
  
  

DAE

• 从破损数据中恢复干净的数据
  

CAE

好的特征表示大致有2个衡量标准：

1. 可以很好的重构出输入数据;
2. 对输入数据一定程度下的扰动具有不变性。
   
   
   收缩自编码器学习的两种推动力：

• 收缩惩罚想要使学习到的特征在所有方向上不变（对所有方向都有收缩作用），
• 重构误差则想要能将学习到的特征重构回输入。

学习的过程中，重构误差的推动力使数据中的变化方向（即流形切平面的方向）能够抵抗收缩
作用，体现在其对应的 Jacobian 矩阵中的奇异值很大；

而抵抗不了收缩作用的方向则对应于数据中不变的方向（正交于流形的方向），
其在 Jacobian 矩阵中的梯度则会变得很小。

GAN

• 但是你不知道哪一个维度代表着什么

1. 固定生成器G，更新判别器D
   

2. 更新生成器G，固定判别器D
   
   

损失函数：

• 核心思想：生成的期望分布近似于真实分布

JS散度：

• JS散度存在问题
  • 计算难度复杂度高，难以收敛
  • 散度受数据分布影响较大
  • 对维度敏感
  • 散度不具有可加性

推土机距离

• 抽象乘土块，从初始分布到目标分布的最佳方案

Conditional GAN

Text $\to$ Image

• Discriminator
  

Image $\to$ Image

Unsupervised Conditional Generation

Approach 1: Direct Transformation

• Circle GAN
  

• A领域的图1变成B领域的图2，通过判别器看，像不像B领域的图

• 为了确保图2和图1的内容是一致的,把图2变回A领域，看它想不想图1

Approach 2: Projection to Common Space

• Another Ideas : To the same latent space

循环一致性：

语义一致性：