动量优化 想象一下,一个保龄球在一个光滑的表面上平缓的斜坡上滚动:它会缓慢地开始,但是它会很快地达到最终的速度(如果有一些摩擦或空气阻力的话)。 这是 Boris Polyak 在 1964 年提出的动量优化背后的一个非常简单的想法。相比之下,普通的梯度下降只需要沿着斜坡进行小的有规律的下降步骤,所以需要更多的时间才能到达底部。 回想一下,梯度下降只是通...
其他 其他 Nuts and bolts 其他 This chapter addresses a few practical issues. 这一章解决了一些实际问题。 Statement delimiters 语句分隔符 Some languages require some kind of punctuation, often a...