运行顺序： 1. 原始训练，得到一个最优mAP等评价指标 2.通过调整BN稀疏值sr，运行train_sparity.py稀疏训练得到一个稍微小的模型 3. 将训练好的last.pt 放到prune.py 中进行剪枝，控制剪枝率； 4. Finetune得到最优模型

对yolov5s进行稀疏化训练并剪枝，模型参数下降80%，mAP精度几乎不受影响

知识蒸馏是提升网络性能的方法，通过一个教师网络指导学生网络的学习，将教师网络学习到的知识迁移到学生网络上。 项目博客: https://blog.csdn.net/weixin_38346042/article/details/126065848

运行顺序：第一步 原始训练，得到一个最优mAP等评价指标，记录在小本本上。 第二步：通过调整BN稀疏值（main 参数中的sr），运行train_sparity.py稀疏训练得到一个稍微小一点点的模型（和原始的精度比较，看看哪个稀疏值最好~） 第三步：将上一步的训练好的last.pt 放到prune.py 中进行剪枝，控制剪枝率；剪枝好的模型，在根目录下：pruned_model.pt 是fp32的，你除以2会得到最后的模型大小 第四步：Finetune，用刚刚的pruned模型重新训练，得到最优模型，就是最小且最快，且最好的啦~（和原始和稀疏训练的比较一下哦） 博文链接：https://blog.csdn.net/qq_46098574/article/details/125174256

2012年以来，深度神经网络在计算机视觉、语音识别、自然语言处理、智慧 医疗等多个领域取得了优异的成果。这是卜数只偶，也是水到渠成。究其本质， 还是得益于三个基础的驱动，包括:大数据(充分标注)、大模型(参数量庞大) 和大计算(高性能计算)。正因为对这三个基础的严重依赖，也在一定程度上限 制了人工智能的进一步发展和普及。首先，大模型对大数据的过度依赖表现在其 在训练阶段必须在大量的标注充分的数据下训练，否则模型的准确率将大大降 低。很多新的应用场景的样本获取困难并且标注成本极高，因此不少学者开始 研究小样本学习方法，目的是当面对一个新的场景时，快速的从少量的有标记 样本中学会认识新的类别。其次，大模型对大计算的依赖表现在其无论在训练 和测试阶段均需要拥有大量存储空间和优异计算性能的硬件平台的加持。那么， 对于很多的存储和计算资源均极其有限的测试场景，比如移动端(智能手机，自 动驾驶汽车等)，离线监控设备(公共摄像头，汽车行车记录仪等)，现有的训练 好的大模型将会出现水土不服，无法顺利落地。于是，模型轻量化问题也被领域 内科研人员广泛关注。研究模型轻量化的目的是压缩模型参数量，使其在移动

了解BIM模型轻量化了解BIM模型轻量化了解BIM模型轻量化了解BIM模型轻量化