GroupLinear

Описание

Info

Родительский класс: Module

Производные классы: -

Этот модуль является групповой модификацией полносвязного слоя Linear: если при обычном полносвязном слое к нему на вход приходит вектор и значение на выходе также является вектор, то в групповой модификации мы можем получать на выходе несколько векторов, образованных с использованием независимых весов.

Размерность

Если для обычного полносвязного слоя размерность входного тензора $(N, L_{in})$, а выходного $(N, L_{out})$, то для групповой модификации размерности будут $(N, G, L_{in})$ для входного и $(N, G, L_{out})$ для выходного тензоров (или $(G, N, L_{in})$ и $(G, N, L_{out})$ - зависит от параметра batchDim), где $N$ - размер батча, $G$ - количество групп, $L_{in}$ - размер входного вектора признаков, $L_{out}$ - размер выходного вектора признаков

Инициализация

def __init__(self, groups, insize, outsize, wscale=1.0, useW=True, useBias=True, initscheme=None,
                 inmode="full", wmode="full", batchDim=0, name=None, empty=False, transpW=False):

Параметры

Параметр	Возможные типы	Описание	По умолчанию
groups	int	Количество групп	-
insize	int	Размер входного вектора	-
outsize	int	Размер выходного вектора	-
wscale	float	Дисперсия случайных весов слоя	1.0
useW	bool	Использовать ли веса	True
useBias	bool	Использовать ли смещения	True
initscheme	Union[tuple, str]	Указывает схему инициализации весов слоя (см. createTensorWithScheme)	None -> ("xavier_uniform", "in")
inmode	str	Режим входных данных. Возможные значения: full и one	full
wmode	str	Режим весов. Возможные значения: full и one	full
batchDim	int	Позиция размерности "Величина батча"	0
name	str	Имя слоя	None
empty	bool	Инициализировать ли матрицу весов и смещений	False
transpW	bool	Использовать ли транспонированную матрицу весов	False

Пояснения

groups - параметр, который контролирует соединения между входами и выходами; при значении groups=1 получается частный случай обычного полносвязного слоя;

---

inmode - при значении параметра one происходит размножение одного входного вектора на groups выходных с использованием независимых весов, т.е. $(N, 1, L_{in}) \to (N, G, L_{out})$; при значении full модуль работает в обычном режиме: $(N, G, L_{in}) \to (N, G, L_{out})$;

---

wmode - при значении one из groups входных векторов будут получены groups выходных с использованием одних и тех же весов; при значении параметра full модуль работает в обычном режиме;

---

batchDim - если по умолчанию ось размера батча стоит на первом месте $(N, G, L_{in})$, то возможен случай, когда она меняется местами с осью групп при batchDim=1: $(G, N, L_{in})$.

Примеры

---

Базовый пример

---

Необходимые импорты.

import numpy as np
from PuzzleLib.Backend import gpuarray
from PuzzleLib.Modules import GroupLinear

Info

gpuarray необходим для правильного размещения тензора на GPU.

np.random.seed(123)
batchsize, groups, insize = 1, 2, 3
data = gpuarray.to_gpu(np.random.randint(0, 9, (batchsize, groups, insize)).astype(np.float32))
print(data)

[[[2. 2. 6.]
  [1. 3. 6.]]]

print(data.shape)

(1, 2, 3)

Инициализируем модуль с параметрами по умолчанию (useW=True, useBias=True, inmode="full", wmode="full", batchDim=0) и заполним тензор весов настраиваемыми величинами, чтобы было удобнее демонстрировать работу модуля:

outsize = 4
grpLinear = GroupLinear(groups, insize, outsize)
print(grpLinear.W.shape)

(2, 3, 4)

grpLinear.W[0].fill(1)
grpLinear.W[1].fill(-1)

print(grpLinear(data))

[[[ 10.  10.  10.  10.]
  [-10. -10. -10. -10.]]]

print(grpLinear.data.shape)

(1, 2, 4)

---

Параметр wmode

---

Поменяем значение параметра wnmode:

grpLinear = GroupLinear(groups, insize, outsize, wmode="one")
print(grpLinear.W.shape)

(1, 3, 4)

grpLinear.W.fill(1)
print(grpLinear(data))

[[[10. 10. 10. 10.]
  [10. 10. 10. 10.]]]

print(grpLinear.data.shape)

(1, 2, 4)

---

Параметр inmode

---

Поменяем значение параметра inmode и инициализируем для этого примера другие данные (имеющие соответствующую размерность):

np.random.seed(123)
data = gpuarray.to_gpu(np.random.randint(0, 9, (batchsize, 1, insize)).astype(np.float32))
print(data)

[[[2. 2. 6.]]]

print(data.shape)

(1, 1, 3)

Снова заполним тензор весов настраиваемыми величинами:

grpLinear = GroupLinear(groups, insize, outsize=4, inmode="one")
print(grpLinear.W.shape)

(2, 3, 4)

grpLinear.W[0].fill(1)
grpLinear.W[1].fill(-1)
print(grpLinear(data))

[[[ 10.  10.  10.  10.]
  [-10. -10. -10. -10.]]]

print(grpLinear.data.shape)

(1, 2, 4)

---

Параметр batchDim

---

data = gpuarray.to_gpu(np.random.randint(0, 9, (groups, batchsize, insize)).astype(np.float32))
print(data.shape)

(2, 1, 3)

grpLinear = GroupLinear(groups, insize, outsize, batchDim=1)
grpLinear(data)
print(grpLinear.data.shape)

(2, 1, 4)