Динамика обучения и ландшафт функции потерь нейронных сетей с масштабно-инвариантными параметрамиTraining dynamics and loss landscape of neural networks with scale-invariant parameters

Большинство современных нейронных сетей используют в своей архитектуре те или иные техники нормализации, к примеру, пакетную нормализацию (batch normalization), что эмпирически позволяет стабилизировать обучение и добиться лучшего качества. Главным следствием нормализации является масштабная инвариантность параметров, предшествующих слоям нормализации. В данной работе приводится подробное экспериментальное и теоретическое исследование влияния свойства масштабной инвариантности на динамику обучения и ландшафт функции потерь нормализованных нейросетевых моделей. В первой части работы раскрывается эффект периодического поведения динамики обучения с использованием нормализации и сокращения веса. Во второй части работы анализируются три режима обучения масштабно-инвариантных нейронных сетей на сфере, что позволяет выделить ряд особенностей внутреннего устройства ландшафта функции потерь.