levenberg-marquardt 跟adam哪个好

发布网友 发布时间：2022-04-20 01:10

我来回答

共1个回答

热心网友 时间：2022-07-12 23:33

adam好。
LM(Levenberg-Marquardt)算法属于信赖域法，将变量行走的长度 [公式] 控制在一定的信赖域之内，保证泰勒展开有很好的近似效果。
LM算法使用了一种带阻尼的高斯－牛顿方法。
Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。
缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法）
选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了
SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点【原来写的是“容易困于鞍点”，经查阅论文发现，其实在合适的初始化和step size的情况下，鞍点的影响并没这么大。感谢@冰橙的指正】
参数取值震荡严重。（我自己添加的）。