B.Слой свёртки (Convolution ply)

Операция свёртки переводит одномерные карты входного слоя в одномерные карты свёрточного слоя по следующему правилу:  где  — j-ая карта объектов слоя свёртки (вектор размера F),  — i-ая входная карта объектов (вектор размера F),  — локальный вектор весов (размера F), транспонированный для соответствия определению операции свертки. (или матрицы в случае 2D организации карт), * — операция свёртки, а σ — сигмоидальная функция активации. (F называется размером фильтра, который определяет количество частотных полос в каждой входной карте объектов, которые каждый блок в слое свертки получает в качестве входных данных)

Сама операция свертки приводит к получению данных более низкого размера—каждое измерение уменьшается на F-1 (F ячеек входного слоя в одну ячейку свёрточного), но можно заполнить входные данные фиктивными значениями, чтобы сохранить размер карт объектов.

Однако слой свертки отличается от стандартного, тем, что во-первых, каждая ячейка сверточного слоя вычисляется по локальной области входного слоя (содержит локальные особенности сигнала), а во-вторых, все ячейки могут быть организованы в ряд карт объектов, где элементы одной карты имеют одинаковые веса, но их входные данные получены из разных областей нижнего слоя.

С.Слой объединения (Pooling ply)

Объединяющий слой также организован в виде карт объектов, и он имеет такое же количество карт объектов, как и сверточный слой, но каждая карта меньше. Цель объединения слоев заключается в снижении размера карт объектов. Это достигается применением функции объединения к локальной области карт свёртки размера, определяемого параметром, который называется размером объединения (pooling size, G). Обычно это простая функция, такая как максимум или усреднение: или где i — индекс карты, m — индекс элемента карты, G — размер объединения, s — размер сдвига, определяющий перекрытие соседних окон пула, r — коэффициент масштабирования (настраиваемый параметр). Если взять G = s (окна пула не перекрываются и не имеют промежутков между ними), то функция max-pooling работает лучше, чем average-pooling. В этой работе G и s будут регулироваться независимо друг от друга.

Ниже показан объединяющий слой с размером объединения G = 3.

Если, G = s, то объединяющий слой будет составлять одну треть от размера сверточного слоя.

D.Обучение CNN

Для обучения будем использовать модифицированный алгоритм обратного распространения ошибки. Для этого преобразуем формулу  в подходящий вид. Операцию свертки можно представить в виде простого умножения матрицы путем введения большой весовой матрицы которая формируется путем тиражирования базовой весовой матрицы W.

Она имеет вид:

где базовая матрица W строится из всех локальных весовых матриц  следующим образом:

Так же, входные и сверточные карты объектов также векторизуются в виде векторов строк  и . Одна вектор-строка создается из всех входных карт  следующим образом: где — вектор-строка, содержащая значения m-ой полосы частот вдоль всех I карт объектов, M —количество частотных полос во входном слое.

Таким образом, формулу для можно переписать в виде Эта формула имеет тот же вид, что и для полносвязных сетей, так что формула для обновления весовой матрицы может быть вычислено так же:  где — вектор ошибок как и раньше. Элементы матрицы W вычисляются как:  где I и J - количество карт объектов во входном слое и слое свертки соответственно.

Аналогично, для смещений можно добавить одну строку в матрицу  для хранения значений смещения и добавления единичного элемента в вектор

Поскольку объединяющий слой не имеет весов, никакого обучения ему не нужно. Однако сигналы об ошибках должны передаваться обратно в нижние слои через функцию объединения. В случае максимального объединения сигнал ошибки передается обратно только самому активному (самому большому оп значению) элементу из каждой группы объединений. Cигнал ошибки, достигающий нижнего слоя свертки, может быть вычислен как: где — дельта-функция, равная 1, если x = 0 и 0 в противном случае, а -индекс элемента с максимальным значением среди элементов объединеннения. Он определяется как:

E. Предобучение слоёв CNN

Предварительная подготовка на основе RBM улучшает производительность DNN, особенно на маленьких обучающих выборках. Для сверточной структуры предложена сверточная RBM (CRBM). Подобно RBMs, обучение CRBM направлено на максимизацию функции правдоподобия полных обучающих данных. В CRBMs активации сверточного слоя являются стохастическими. CRBMs определяют мультиномиальное распределение по каждому пулу скрытых единиц в слое свертки.

Следовательно, не более одной единицы в каждом наборе объединений может быть активным. Это требует либо отсутствия перекрытия между объединенными блоками (т. е. G = s) или прикрепление различных блоков свертки к каждому блоку объединения, как в ограниченном распределении весов, описанном ниже в разделе IV.