Общее описание раздела Optimizers¶
Содержит разные оптимизаторы. После создания оптимизатора, его требуется установить на модуль, подлежащий обучению. Для каждой обучаемой переменной оптимизатор создает свое внутреннее состояние, state, которое ему позволяет вычислять коррекции в истинный градиент.
Все внутренние состояния могут быть объединены в одно глобальное с помощью ключа useGlobalState, который выравнивает все состояния в один длинный массив в памяти, а также и сами переменные.
Оптимизаторы, которые реализованы в PuzzleLib: