信息工程学院

学术讲座时间：2019年5月15日13:00

学术讲座地点：工B308

学术讲座对象：信息工程学院教师与学生

摘要：

自编码器是一种数据的压缩算法，属于无监督学习，以自身X作为输出值，但输出值X’和自身X之间还是有一些差异的。自编码器也是一种有损压缩，可以通过使得损失函数最小，来实现X’近似于X的值。简单的自编码器是一种三层的神经网络模型，包含数据输入层、隐藏层、输出重构层，同时也是一种无监督学习模型。从输入层到隐层称为编码过程，从隐层到输出层称为解码过程。自编码其就相当于自己生成标签，而且标签就是样本数据本身。

自编码到底有什么用，输入和输出都是本身，对于这样的操作有和意义，主要有两点：

(1)自编码可以实现非线性降维，只要设定输出层中神经元的个数小于输入层中神经元的个数就可以对数据集进行降维。反之，也可以将输出层神经元的个数设置为大于输入层神经元的个数，然后在损失函数构造上加入正则化项进行系数约束，这时就成了稀疏自编码。

      (2) 利用自编码来进行神经网络预训练。对于深层网络，通过随机初始化权重，然后用梯度下降来训练网络，很容易发生梯度消失。因此现在训练深层网络可行的方式都是先采用无监督学习来训练模型的参数，然后将这些参数作为初始化参数进行有监督的训练。