Penalty

Описание

Info

Родительский класс: Module

Производные классы: -

Данный модуль реализует функцию L1 (Lasso) или L2 (Ridge) регуляризации.

Применяется для уменьшения вероятности переобучения модели.

Дополнительные источники

Инициализация

def __init__(self, mode="l1", weight=1e-2, name=None):

Параметры

Параметр Возможные типы Описание По умолчанию
mode str Тип регуляризации, может принимать значения "l1" и "l2" "l1"
weight float Значение параметра регуляризации 1e-2
name str Имя слоя None

Пояснения

-

Примеры

import numpy as np
from PuzzleLib.Backend import gpuarray
from PuzzleLib.Modules import Penalty
data = gpuarray.to_gpu(np.random.randn(10, 50).astype(np.float32))

penalty = Penalty()
penalty(data)

grad = gpuarray.to_gpu(np.random.randn(10, 50).astype(np.float32))
penalty.backward(grad)