Основные проблемы, решаемые при помощи искусственных нейронных сетей.

1 – классификация образов. Требуется указать принадлежность входного образа одному или нескольким предварительно определенным классам. (например, распознавание речи, рукописного текста)

2 – кластериализация. Это классификация образов «без учителя», т.е. при кластериализации заранее не указывается множество классов, оно образуется в процессе самообучения. Этот алгоритм размещает близкие образы, по его мнению, в один кластер. Класте-ция применяется для сжатия данных и для извлечения знаний.

3 – аппроксимация функций. Имеется обучающая выборка в виде пар (х₁, у₁)…..(х_n, y_n). Эта выборка отражает неизвестную закономерность, обычно она искажена шумами и задача аппроксимации заключается в оценке неизвестной функции, идентификация черного ящика.

4 – прогноз или предсказание. Имеется несколько последовательных моментов времени t₁, t₂, …t_n и соответствующие им значения y(t1), y(t2),…. y(tn), то задача прогнозирования заключается в предсказании значения У в некоторый будущий момент времени t_n+1.

5 – оптимизация. Нахождение такого решения, которое максимизирует или минимизирует целевую функцию при наличие ограничений.

6 – адресация памяти по содержанию. В машине Фон Неймана обращение к памяти возможно только по адресу, который не зависит от содержания. В нейронных сетях можно использовать ассоциативную память – т.е. память, доступную по указанию содержания или его части, или искаженного содержания.

7 – управление. Имеется некоторая динамическая система, на которую воздействуют управляющие воздействия U(t), выход – Y(t). Целью управления является нахождение (расчет) такого входного воздействия U(t), при котором соблюдается желаемая траектория движения системы. Т.к. поведение реальной системы, на которую воздействуют внешние факторы не однозначно, в этом случае применяется эталонная модель- как система должна двигаться при применении конкретного воздействия.

В качестве эталонной модели выступает обученная нейронная сеть.

Биологический нейрон.

Центральная нервная система имеет клеточное строение. Единица – нервная клетка, нейрон. Нейрон имеет следующие основные свойства:

1. Участвует в обмене веществ и рассеивает энергию. Меняет внутреннее состояние с течением времени, реагирует на входные сигналы и формирует выходные воздействия и поэтому является активной динамической системой.

2. Имеет множество синапсов – контактов для передачи информации.

  3. Нейрон взаимодействует путем обмена электрохимическими сигналами двух видов: электротоническими (с затуханием) и нервными импульсами (спайками), распространяющимися без затуания.

Нервная система человека, построенная из элементов, называемых нейронами, имеет ошеломляющую сложность. Около 10¹¹ нейронов участвуют в примерно 10¹⁵ передающих связях, имеющих длину метр и более. Каждый нейрон обладает многими качествами, общими с другими элементами тела, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.

Рис. 1.1. Биологический нейрон

На рис. 1.1 показана структура пары типичных биологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства.

Биологический нейрон 2

Нейрон (нервная клетка) состоит из тела клетки - сомы (soma), и двух типов внешних древовидных ответвлений: аксона (axon) и дендритов (dendrites). Тело клетки содержит ядро (nucleus), где находится информация про свойства нейрона, и плазму, которая производит необходимые для нейрона материалы. Нейрон получает сигналы (импульсы) от других нейронов через дендриты (приемника) и передает сигналы, сгенерированные телом клетки, вдоль аксона (передатчик), который в конце разветвляется на волокна (strands). На окончаниях волокон находятся синапсы (synapses).

Рис. 1. Схема биологического нейрона.

Синапс является функциональным узлом между двумя нейронами (волокно аксона одного нейрона и дендрит другого). Когда импульс достигает синаптического окончания, вырабатываются химические вещества, называемые нейротрансмиттерами. Нейротрансмиттери проходят через синаптичную щель, и в зависимости от типа синапса, возбуждая или тормозя способность нейрона-приемника генерировать электрические импульсы. Результативность синапса настраивается проходящими через него сигналами, поэтому синапсы обучаются в зависимости от активности процессов, в которых они принимают участие. Нейроны взаимодействуют с помощью короткой серии импульсов. Сообщение передается с помощью частотно-импульсной модуляции.

Последние экспериментальные исследования доказывают, что биологические нейроны структурно сложнее, чем упрощенное объяснение существующих искусственных нейронов, которые являются элементами современных искусственных нейронных сетей. Поскольку нейрофизиология предоставляет ученым расширенное понимание действия нейронов, а технология вычислений постоянно совершенствуется, разработчики сетей имеют неограниченное пространство для улучшения моделей биологического мозга.

Понятие коннекционизма

(от англ. connection — соединение, согласованность, связь) — разработанный в когнитивной науке вычислительный (компьютерный) подход к моделированию мозга, использующий искусственные нейронные сети для имитации процессов познания живых существ (включая человека) и их интеллектуальных способностей.

Согласно взглядам современных коннекционистов, нейронные сети — это упрощенные модели мозга, состоящие из большого числа модулей (аналогов нейронов), которым приписываются веса, измеряющие силу соединений между модулями. Эти веса моделируют действия синапсов, обеспечивающих информационный обмен между нейронами. Модули нейронной сети, соединенные вместе в паттерне подключений, обычно делят на три класса: входные модули, которые получают необходимую для обработки информацию; выходные модули, где содержатся результаты обработки информации; модули, находящиеся между входными и выходными, получившие название скрытых модулей. Если нейронную сеть рассматривать как модель человеческого мозга, то входные модули аналогичны сенсорным нейронам, выходные — моторным нейронам, а скрытые модули — всем др. нейронам. Каждый входной модуль имеет величину возбуждения, репрезентирующую некоторое свойство, внешнее к сети. Сигнал от входных модулей распространяется всеми путями через сеть и определяет величины возбуждения во всех скрытых и выходных модулях. Установленный сетью паттерн возбуждения определяется весами или силой соединений между модулями. Величина возбуждения для каждого получающего сигнал модуля рассчитывается согласно функции возбуждения. Поскольку допускается, что все модули вычисляют в значительной мере ту же самую простую функцию возбуждения, то успешное моделирование человеческих интеллектуальных действий зависит прежде всего от параметров настройки весов между модулями. Поэтому нахождение правильного набора значений, необходимых для выполнения данной задачи, — главная цель в исследованиях коннекционистов. Для этого были изобретены соответствующие алгоритмы, которые могут вычислять правильные значения, необходимые для решения многих задач. Успешное применение коннекционистских методов зависит от весьма тонкой корректировки таких алгоритмов и используемых для обучения значений. Обучение обычно включает сотни тысяч попыток корректировки значений и может занимать дни или даже недели.

Из коннекционистских моделей и методов обучения сетей, в частности, следует, что репрезентация когнитивной информации в мозге скорее не локализована в отдельных нейронах или нейронных узлах, а распределена. Человеческая мысль предполагает образование сложных паттернов, действие которых распределено по относительно большим зонам кортекса. Обучение нейронных сетей показало, что каждая распределенная репрезентация является паттерном, действующим через все модули, т.к. граница между простыми и сложными репрезентациями отсутствует. С позиции К. оказывается, что высшие ментальные процессы представляют собой эмерджентные свойства, систематическим образом зависящие от феноменов низшего уровня. Поскольку мозг представляет собой векторный процессор, то проблемы психологии сводятся тогда к вопросу, какие операции с векторами объясняют различные аспекты человеческого познания.

Схема формального нейрона

Формальная модель нейрона Мак-Каллока-Питтс.

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рис. 1.2 представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных x ₁, x ₂, …, x _n, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес w ₁, w ₂, …, w _n, и поступает на суммирующий блок, обозначенный Σ. Каждый вес соответствует «силе» одной биологической синаптической связи. (Множество весов в совокупности обозначается вектором W.) Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход, который мы будем называть NET. В векторных обозначениях это может быть компактно записано следующим образом:

                           NET = XW.

 

В модели взвешенная сумма сигналов на входах нейрона сравнивается с пороговым значением h, и на выходе есть сигнал, если она превышает порог. В современных моделях нейронов пороговая функция в общем случае заменяется на нелинейную функцию y=f(S), называемую передаточной функцией или функцией активации нейрона.

Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень и вид функции активации F.