AvgPool1D

Описание

Info

Родительский класс: Pool1D

Производные классы: -

Этот модуль реализует операцию одномерного усредняющего пулинга (объединения). Подробное теоретическое описание см. в Pool1D.

Для входного тензора с размерами $(N, C, L_{in})$ и выходного с размерами $(N, C, L{out})$ операция проводится следующим образом (рассматриваем i-й элемент батча, j-ую карту выходного тензора):

$$out(N_i, C_j, l) = \frac{1}{k}\sum_{m=0}^{k-1}(input(N_i, C_j, stride \times l + m))$$

где

$N$ - размер батча;
$C$ - количество карт в тензоре;
$L$ - размер последовательности;
$stride$ - шаг пулинга;
$k$ - размер окна пулинга.

Инициализация

def __init__(self, size=2, stride=2, pad=0, includePad=True, name=None):

Параметры

Параметр	Возможные типы	Описание	По умолчанию
size	int	Размер ядра	2
stride	int	Шаг пулинга	2
pad	int	Паддинг входных карт	0
includePad	bool	Флаг учета значений заполнения краёв при подсчете среднего значения	True
name	str	Имя слоя	None

Пояснения

pad - возможна передача только единой величины отступа для всех сторон карт. Возможности создания асимметричного паддинга (заполнение дополнительными элементами только с одной стороны тензора) для данного модуля не предусмотрено, используйте Pad1D;

---

includePad - если параметр pad был задан ненулевым, и к исходному тензору по краям были добавлены новые элементы, то при поднятом includePad их значения также будут оказывать влияние на результат операции пулинга.

Примеры

---

Базовый пример пулинга

---

Необходимые импорты.

import numpy as np
from PuzzleLib.Backend import gpuarray
from PuzzleLib.Modules import AvgPool1D

Info

gpuarray необходим для правильного размещения тензора на GPU

Зададим параметры тензора, чтобы можно было наглядно продемонстрировать работу модуля.

batchsize, maps, insize = 1, 1, 10
data = gpuarray.to_gpu(np.arange(batchsize * maps * insize).reshape((batchsize, maps, insize)).astype(np.float32))
print(data)

[[[0. 1. 2. 3. 4. 5. 6. 7. 8. 9.]]]

Инициализируем модуль со стандартными параметрами (size=2, stride=2, pad=0, includePad=True):

pool = AvgPool1D()
print(pool(data))

[[[0.5 2.5 4.5 6.5 8.5]]]

---

Параметр size

---

Оставим все параметры такими же, кроме size:

pool = AvgPool1D(size=4)
print(pool(data))

[[[1.5 3.5 5.5 7.5]]]

---

Параметр stride

---

Установим значение stride равным 1:

pool = AvgPool1D(stride=1)
print(pool(data))

[[[0.5 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5]]]

Изменим теперь и stride, и size:

pool = AvgPool1D(size=4, stride=4)
print(pool(data))

[[[1.5 5.5]]]

Как видно, последние два элемента исходного тензора не были включены в расчёты, так как субтензор из них был по размеру меньше окна пулинга.

---

Параметр pad

---

Чтобы включить последние элементы из предыдущего примера, инициализируем паддинг:

pool = AvgPool1D(size=4, stride=4, pad=1)
print(pool(data))

[[[0.75 4.5  6.  ]]]

Обратите внимание, что паддинг в модуле всегда симметричный - по одному новому элементу было добавлено с каждой стороны исходного тензора, т.е. его вид после паддинга:

[[[0. 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 0.]]]

---

Параметр includePad

---

В предыдущих примерах параметр includePad оставался тем же, что и по умолчанию, т.е. периферийные элементы паддинга включались в расчёты. Теперь посмотрим, что будет, если отключить этот флаг для последнего примера:

pool = AvgPool1D(size=4, stride=4, pad=1, includePad=False)
print(pool(data))

[[[1.  4.5 8. ]]]

Как видно, окно пулинга шло с учётом наличия дополнительных элементов, но их наличие никак не учитывалось при подсчёте среднего значения субтензора.