SoftMax

Описание

Info

Родительский класс: Module

Производные классы: -

Этот модуль применяет софтмакс-функцию ко входному тензору. Softmax — это обобщение логистической функции для многомерного случая, определяется по формуле:

\begin{equation}\label{eq:softmax} \sigma(z)_i = \frac{e^{z_i}}{\sum \limits_{k=1}^{K} e^{z_k}} \end{equation}

Софтмакс-функция применяется вдоль измерения глубины тензора (вдоль карт) и масштабирует их значения так, чтобы элементы лежали в диапазоне [0, 1] и и в сумме давали 1, т.е. если есть тензор размерности (N, C, H, W), где N - размер батча, C - количество карт (каналов), H - высота карты, W - ширина карты, причём каждый элемент карт x_{nchw}\in{R}, то при прохождении черех софтмакс-функцию x_{nchw}\in[0, 1], причём \displaystyle\sum_{c=1}^C x_{nchw} = 1.

Часто софтмакс используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.

Инициализация

def __init__(self, name=None):

Параметры

Параметр Возможные типы Описание По умолчанию
name str Имя слоя None

Пояснения

-

Примеры

Необходимые импорты.

import numpy as np
from PuzzleLib.Backend import gpuarray
from PuzzleLib.Modules import SoftMax

Info

gpuarray необходим для правильного размещения тензора на GPU

Для простоты возьмём карты единичной высоты:

np.random.seed(123)
batchsize, maps, h, w = 1, 3, 1, 3
data = gpuarray.to_gpu(np.random.randn(batchsize, maps, 1, 3).astype(np.float32))
print(data)
[[[[-1.0856307   0.99734545  0.2829785 ]]

  [[-1.5062947  -0.5786002   1.6514366 ]]

  [[-2.4266791  -0.42891264  1.2659363 ]]]]
softmax = SoftMax()
outdata = softmax(data)
print(outdata)
[[[[0.521327   0.69107646 0.13155064]]

  [[0.34230885 0.14292283 0.51690024]]

  [[0.13636416 0.16600075 0.35154915]]]]
print(np.sum(outdata.get(), axis=1))
[[[1. 1. 1.]]]