Однослойная сеть прямого распространения

Слоистая структура сети – это такая структура, в которой нейроны объединены в слои.

Многослойные сети прямого распространения

Следующим классом сетей прямого распространения, которые отличаются наличием одного или нескольких скрытых слоев, чьи вычислительные узлы соответственно называются скрытыми нейронами или скрытыми элементами, являются многослойные сети прямого распространения. выходным слоем сети.

Рекуррентные сети

Рекуррентные сети отличаются от сетей прямого распространения наличием хотя бы одной петли обратной связи.

Решетчатые структуры

Решетчатая структура состоит из многомерного массива нейронов с соответствующим множеством входных узлов, которые предоставляют входную информацию сети;

Смешанные структуры

Говоря обобщенно, смешанные структуры не относятся к отдельному типу нейронных структур, а рассматриваются в разделах построения модульных сетей.

 

Входной слой узлов источников

Рисунок 4. Двухмерная решетка 3*3 нейронов

Элементы задержки

Рисунок 3. Архитектурный граф рекуррентной сети без собственных обратных связей

 

 

Обучение нейросетей.

Обучение сильно напоминает процесс интеллектуального развития человеческой личности. Но возможности обучения искусственных нейронных сетей ограниченны, и нужно решить много сложных задач, чтобы определить, на правильном ли пути мы находимся. Тем не менее уже получены убедительные достижения, и возникает много практических применений.

Цель обучения

Сеть обучается, чтобы для некоторого множества входов давать желаемое (или, по крайней мере, сообразное с ним) множество выходов. Каждое такое входное (или выходное) множество рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал выходной вектор.

Обучение осуществляется путем подбора такого состояния нейросети, при котором выходной вектор адекватен входному. Под состоянием нейронной сети, которое может изменяться, обычно понимается:

· веса синапсов нейронов (карта весов - map) (коннекционистский подход);

· веса синапсов и пороги нейронов (обычно в этом случае порог является более легко изменяемым параметром, чем веса синапсов);

· установление новых связей между нейронами (свойство биологических нейронов устанавливать новые связи и ликвидировать старые называется пластичностью).

По организации обучения разделяют обучение нейронных сетей с учителем (supervised neural networks) и без учителя (nonsupervised).

Обучение с учителем. Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, разность (ошибка) с помощью обратной связи подается в сеть и веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.

Обучение без учителя. Несмотря на многочисленные прикладные достижения, обучение с учителем критиковалось за свою биологическую неправдоподобность. Обучение без учителя является намного более правдоподобной моделью обучения в биологической системе. Развитая Кохоненом [3] и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы.