前馈神经网络续ppt课件.ppt

前馈神经网络.ppt

内容包含详细注释 代码中有数据集的下载程序: 人工构造简单二分类数据集，两个数据集大小为100，样本特征维度为2，且分别服从均值互为相反数且方差相同的正态分布。两个数据集的样本标签分别为0和1。 Fashion-MNIST数据集，该数据集为一个多类图像分类数据集，包含60000个训练图像样本，10000个测试图像样本。每个样本的数据格式为28*28*1。共10类：dress（连⾐裙）、coat（外套）、 代码内容包括： PyTorch基本操作实验； Torch.nn实现Logistic回归实验、softmax回归实验、实现前馈神经网络（多分类、二分类、回归）； 手动实现Logistic回归实验、softmax回归实验、实现前馈神经网络（多分类、二分类、回归）； 多分类实验torch.nn实现Dropout和多分类实验torch.optim实现L2范数正则化； 对多分类任务中的模型评估隐藏层层数和隐藏单元个数对实验结果的影响；

该PPT介绍了神经网络的定义，发展，基本术语，激活函数，损失函数，梯度下降的具体步骤和理论，如何设计一个神经网络选择超参数。适用于像未了解过的同学简单明了通俗的了解神经网络的这一套概念

基于pytorch进行神经网络搭建，前馈神经网络拟合函数y=sinx+exp(-x)

手动实现前馈神经网络解决回归、二分类、多分类任务，分析实验结果并绘制训练集和测试集的loss曲线； 利用torch.nn实现前馈神经网络解决上述回归、二分类、多分类任务，分析实验结果并绘制训练集和测试集的loss曲线； 在多分类实验的基础上使用至少三种不同的激活函数，对比使用不同激活函数的实验结果； 对多分类任务中的模型，评估隐藏层层数和隐藏单元个数对实验结果的影响使用不同的隐藏层层数和隐藏单元个数，进行对比实验并分析实验结果； 在多分类任务实验中分别手动实现和用torch.nn实现dropout，探究不同丢弃率对实验结果的影响（可用loss曲线进行展示）； 在多分类任务实验中分别手动实现和用torch.nn实现L2正则化，探究惩罚项的权重对实验结果的影响（可用loss曲线进行展示）； 对回归、二分类、多分类任务分别选择上述实验中效果最好的模型，采用10折交叉验证评估实验结果，要求除了最终结果外还需以表格的形式展示每折的实验结果；

神经网络灵敏度分析对网络结构设计、硬件实现等具有重要的指导意义，已有的灵敏度计算公式对权值和输入扰动有一定限制或者计算误差较大。基于Piché的随机模型，通过使用两个逼近函数对神经网络一类Sigmoid激活函数进行高精度逼近，获得了新的神经网络灵敏度计算公式，公式取消了对权值扰动和输入扰动的限制，与其他方法相比提高了计算精度，实验证明了公式的正确性和精确性。

前馈神经网络

本文考虑采用平滑L0正则化（BGSL0）的批梯度方法进行训练和修剪前馈神经网络。 我们展示了为什么BGSL0可以产生稀疏的权重，这对于修剪网络。 我们证明了在温和条件下BGSL0的弱收敛和强收敛。 还获得了误差函数在训练过程中递减的单调性。 两个例子是用来证实理论分析并显示BGSL0的稀疏性比三个典型Lp正则化更好方法。

针对时间序列识别的难点，介绍了一种被称为动态时间规整神经网络（DTW-NN）的新颖的时间序列识别模型，DTW-NN是一种利用动态时间规整（DTW）的弹性匹配能力来将层的输入与权值动态对齐的前馈神经网络。通过这种方式，DTW-NN能够解决时间序列识别的困难，例如在前馈结构中的时间失真和可变模式长度。结合在4个不同的数据集上的实验，证明了DTW-NN的有效性：在线手写字符、基于加速度计的活跃的日常生活活动、阿拉伯数字口语的Mel频率倒谱系数（MFCC）和叶形的一维质心半径序列。通过在这些数据集上获得的结果，证明了该方法是一种有效的时间模式学习的通用方法。