DL之DNN优化技术：DNN优化器的参数优化—更新参数的四种最优化方法(SGD／Momentum／AdaGrad／Adam)的案例理解、图表可视化比较

 深度神经网络（DNN）在各种任务中取得了前所未有的成功，但是，这些模型性能直接取决于它们的超参数的设置。在实践中，优化超参数仍是设计深度神经网络的一大障碍。在这项工作中，我们建议使用粒子群优化算法（PSO）来选择和优化模型参数。在MNIST数据集上的实验结果显示：通过PSO优化的CNN模型可以得到不错的分类精度，此外，PSO 还可以提高现有模型结构的性能，PSO是自动化超参数选择和有效利用计算资源的有效技术。 针 对CＮＮ 算法的收敛速度较慢、过 拟合 等问题, 文章提出一种基于PSO和 CNN 模型的图像分类方法，在分析完CNN各超参数对其性能的影响后，引入 PSO 算法进行寻优以增强CNN网络模型的特征提取能力,模型将CNN算法中需要训练的参数作为粒子进行优化，将 更 新 的 参 数 用 于ＣＮＮ 算 法 的 前 向 传播，调整网络连接权矩阵迭代，直到误差收敛，停止算法，以达到最终的模型优化。