Trainer

Описание

Обработчик, предназначенный упростить пользователю процесс обучения модели путём устранения необходимости вручную прописывать последовательность действий. Является своего рода обёрткой вокруг операций над данными.

Info

В обработчиках, в зависимости от места размещения данных, может происходить их разбиение следующими способами:

  • данные размещены на диске - сначала производится разделение данных на макробатчи (macrobatch) - блоки, которые целиком размещаются на GPU, после чего идёт разбиение макробатча на более мелкие батчи (batch), которые уже подаются непосредственно на вход модели;
  • данные уже размещены на GPU - происходит только разбиение на батчи, подаваемые непосредственно на вход модели.

Инициализация

def __init__(self, mod, cost, optimizer, onBatchFinish=None, batchsize=128):

Параметры

Параметр Возможные типы Описание По умолчанию
mod Module Обучаемая нейросеть. -
cost Cost Целевая функция. -
optimizer Optimizer Оптимизатор модели. -
onBatchFinish callable Функция, которая будет вызываться по окончании обработки блока (batch) данных. None
batchsize int Размер блока данных. 128

Пояснения

-

Методы

Со всеми основными методами обработчиков можно ознакомиться в документации к родительскому классу Handler.

trainFromHost

def trainFromHost(self, data, target, macroBatchSize=10000, onMacroBatchFinish=None, random=True):

Функционал

Обёртка вокруг метода handleFromHost() родительского класса Handler, учитывающая специфику процесса обучения: при вызове метода происходит сброс накопленной ошибки и модель переводится в режим обучения (некоторые слои сети могут себя вести по-разному в режимах обучения и инференса).

Параметры

Параметр Возможные типы Описание По умолчанию
data tensor Тензор данных. -
target tensor Тензор соответствующих данным меток. None
macroBatchSize int Размер макробатча. Данные будут разбиты на макроблоки размера macroBatchSize. 10000
onMacroBatchFinish callable Функция, которая будет вызываться после обработки макробатча. None
random bool Перемешивать ли блоки данных перед обработкой в случайном порядке. True

Пояснения

-

train

def train(self, data, target, random=True):

Функционал

Обёртка вокруг метода handle() родительского класса Handler, учитывающая специфику процесса обучения: при вызове метода происходит сброс накопленной ошибки и модель переводится в режим обучения (некоторые слои сети могут себя вести по-разному в режимах обучения и инференса).

Параметры

Параметр Возможные типы Описание По умолчанию
data GPUArray Тензор данных, размещённый на GPU. -
target GPUArray Тензор соответствующих данным меток, размещённый на GPU. None
random bool Перемешивать ли блоки данных перед обработкой в случайном порядке. True

Пояснения

-

handleBatch

def handleBatch(self, batch, idx, state):

Функционал

Корневой метод обучающего обработчика. Вычисляет градиент функции ошибки на переданном батче и производит обратное распространение ошибки, после чего запускает процесс обновления весов модели оптимизатором.

Параметры

Параметр Возможные типы Описание По умолчанию
batch list Лист из двух элементов: [data, target] -
idx int Порядковый номер блока данных. -
state dict Словарь, содержащий информацию о состоянии обработки данных. -

Пояснения

-