Hylee Machine learning 2021 L03 Tips for train
本文是李宏毅机器学习 2021 课程系列的第三篇，汇总了三个重要视频的核心内容：梯度消失时的 Critical Point 分析、Batch 和 Momentum 训练技巧，以及自适应学习率方法。文章深入解析了训练过程中遇到的优化难题，特别是当 loss 停止下降时的真实原因分析，并提供了包括小批量训练、动量优化、AdaGrad、RMSProp 和 Adam 等实用解决方案。通过理论分析和实验证据，帮助读者理解现代深度学习优化器的设计原理和使用技巧。 ...