asker2
2019-10-13 21:06:20 发布
一个reddit讨论，为什么人们更偏好使用L2，而不是L1：网页链接 大部分人用高斯分布来解释。但我自己的intuition是，L2会尽量把参数挤到一个小的n维球体里，这样不同参数配置（一个配置指所有参数的一组取值）之间距离不太远，就容易在SGD时候从一个配置迁移到更好的配置。如果一个局部最优解离更好的解的距离很远，想通过SGD慢慢走过去就很难了，所以很可能就被困到现有的局部最优区域了