AvgPool1D¶
Описание¶
Этот модуль реализует операцию одномерного усредняющего пулинга (объединения). Подробное теоретическое описание см. в Pool1D.
Для входного тензора с размерами (N, C, L_{in}) и выходного с размерами (N, C, L{out}) операция проводится следующим образом (рассматриваем i-й элемент батча, j-ую карту выходного тензора):
где
N - размер батча;
C - количество карт в тензоре;
L - размер последовательности;
stride - шаг пулинга;
k - размер окна пулинга.
Инициализация¶
def __init__(self, size=2, stride=2, pad=0, includePad=True, name=None):
Параметры
Параметр | Возможные типы | Описание | По умолчанию |
---|---|---|---|
size | int | Размер ядра | 2 |
stride | int | Шаг пулинга | 2 |
pad | int | Паддинг входных карт | 0 |
includePad | bool | Флаг учета значений заполнения краёв при подсчете среднего значения | True |
name | str | Имя слоя | None |
Пояснения
pad
- возможна передача только единой величины отступа для всех сторон карт. Возможности создания асимметричного паддинга (заполнение дополнительными элементами только с одной стороны тензора) для данного модуля не предусмотрено, используйте Pad1D;
includePad
- если параметр pad
был задан ненулевым, и к исходному тензору по краям были добавлены новые элементы, то при поднятом includePad
их значения также будут оказывать влияние на результат операции пулинга.
Примеры¶
Базовый пример пулинга¶
Необходимые импорты.
import numpy as np
from PuzzleLib.Backend import gpuarray
from PuzzleLib.Modules import AvgPool1D
Info
gpuarray
необходим для правильного размещения тензора на GPU
Зададим параметры тензора, чтобы можно было наглядно продемонстрировать работу модуля.
batchsize, maps, insize = 1, 1, 10
data = gpuarray.to_gpu(np.arange(batchsize * maps * insize).reshape((batchsize, maps, insize)).astype(np.float32))
print(data)
[[[0. 1. 2. 3. 4. 5. 6. 7. 8. 9.]]]
Инициализируем модуль со стандартными параметрами (size=2
, stride=2
, pad=0
, includePad=True
):
pool = AvgPool1D()
print(pool(data))
[[[0.5 2.5 4.5 6.5 8.5]]]
Параметр size¶
Оставим все параметры такими же, кроме size
:
pool = AvgPool1D(size=4)
print(pool(data))
[[[1.5 3.5 5.5 7.5]]]
Параметр stride¶
Установим значение stride
равным 1:
pool = AvgPool1D(stride=1)
print(pool(data))
[[[0.5 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5]]]
Изменим теперь и stride
, и size
:
pool = AvgPool1D(size=4, stride=4)
print(pool(data))
[[[1.5 5.5]]]
Как видно, последние два элемента исходного тензора не были включены в расчёты, так как субтензор из них был по размеру меньше окна пулинга.
Параметр pad¶
Чтобы включить последние элементы из предыдущего примера, инициализируем паддинг:
pool = AvgPool1D(size=4, stride=4, pad=1)
print(pool(data))
[[[0.75 4.5 6. ]]]
Обратите внимание, что паддинг в модуле всегда симметричный - по одному новому элементу было добавлено с каждой стороны исходного тензора, т.е. его вид после паддинга:
[[[0. 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 0.]]]
Параметр includePad¶
В предыдущих примерах параметр includePad
оставался тем же, что и по умолчанию, т.е. периферийные элементы паддинга включались в расчёты. Теперь посмотрим, что будет, если отключить этот флаг для последнего примера:
pool = AvgPool1D(size=4, stride=4, pad=1, includePad=False)
print(pool(data))
[[[1. 4.5 8. ]]]
Как видно, окно пулинга шло с учётом наличия дополнительных элементов, но их наличие никак не учитывалось при подсчёте среднего значения субтензора.