Перспективным направлением в области решения задач прогнозирования является применение аппарата искусственных нейро-нечетких сетей.

Нейро-нечёткие сети

Введение

Искусственные нейросетевые системы - одно из перспективных направлений в области разработки искусственного интеллекта. Особую привлекательность в утилитарном смысле нейросети получили ввиду способности обнаруживать неявные закономерности в различных процессах при отсутствии необходимости в понимании этих закономерностей, а также из-за способности к запоминанию представленных образов.

Основа для теории искусственных нейронных сетей появилась в процессе попыток нейробиологов смоделировать деятельность нервной системы и мозга живых организмов. Если физические основы действия живых нервных клеток были достаточно ясны, то сам механизм обучения мозга и использования им полученных навыков долгое время оставался неизвестным. Первым шагом к созданию искусственной нейроподобной системы была модель Д. Хэбба, который в 1949 г. предложил закон обучения, который послужил стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дальнейшее развитие теории, периодически наталкиваясь на значительные трудности, привело к появлению в 1986 г. ряда практически применимых знаний и методов для решения ряда актуальных задач.

Нейро-нечёткие сети

Нейро-нечеткая сеть представляет собой многослойную нейронную сеть специальной структуры без обратных связей, в которой используются обычные (не нечеткие) сигналы, веса и функции активации, а выполнение операции суммирования основано на использовании фиксированной Т-нормы, Т-конормы или некоторой другой непрерывной операции. При этом значения входов, выходов и весов гибридной нейронной сети представляют собой вещественные числа из отрезка [0,1].

Назначение нейро-нечётких сетей - извлечение знаний. Они предназначены для реализации нечётких правил на базе нейронных сетей. Такой подход позволяет компенсировать один из главных недостатков нейронных сетей, который состоит в том, что ответ нейронных сетей является не «прозрачным». Сама нейронная сеть - это «черный ящик», т.е. объяснить ответ невозможно. Этот подход позволяет реализовать функцию, объяснения для нейронных сетей.

Существует ряд классических методов прогнозирования экономических показателей, базирующихся на аппарате математической статистики, среди которых выделяются методы анализа и моделирования временных рядов, методы многомерного регрессионного анализа. Особенностью указанных методов является необходимость четкой спецификации конструируемых моделей, кроме того, дополнительные трудности для использования данных методов создает не стационарность исследуемых экономических процессов.

Перспективным направлением в области решения задач прогнозирования является применение аппарата искусственных нейро-нечетких сетей.

Нечеткие нейронные сети или гибридные сети призваны объединить в себе достоинства нейронных сетей и систем нечеткого вывода. С одной стороны, они позволяют разрабатывать и представлять модели систем в форме правил нечетких продукций, которые обладают наглядностью и простотой содержательной интерпретации. С другой стороны для построения правил нечетких продукций используются методы нейронных сетей, что является более удобным и менее трудоемким процессом для системных аналитиков.

Основная идея, положенная в основу модели гибридных сетей, заключается в том, чтобы использовать существующую выборку данных для определения параметров функций принадлежности, которые лучше всего соответствуют некоторой системе нечеткого вывода. При этом для прохождения параметров функции принадлежности используются известные процедуры обучения нейронных сетей.

Основные виды моделей нечеткого вывода: Мамдани и TSK (Тагаки-Сугено-Канга) имеют модульную структуру, идеально подходящую для системного представления в виде равномерной многослойной структуры, напоминающей структуру классических нейронных сетей. В пакете Fuzzy Logic Toolbox системы MATLAB нейро-нечеткие сети реализованы в форме, так называемой адаптивной системы нейро-нечеткого вывода ANFIS (Adaptive Neuro-Fuzzy Inference System).

С одной стороны, гибридная сеть ANFIS представляет собой нейронную сеть с единственным выходом и несколькими входами, которые представляют собой нечеткие лингвистические переменные. При этом термы входных лингвистических переменных описываются стандартными для системы MATLAB функциями принадлежности, а термы выходной переменной представляются линейной или постоянной функцией принадлежности.

С другой стороны, гибридная сеть ANFIS представляет собой систему нечеткого вывода ITS типа Сугено нулевого или первого порядка, в которой каждое из правил нечетких продукций имеет постоянный вес, равный.

Редактор АNFIS позволяет создавать или загружать конкретную модель адаптивной системы нейро-нечеткого вывода, выполнять ее обучение, визуализировать ее структуру, изменять и настраивать ее параметры, а также использовать настроенную сеть для получения результатов нечеткого выхода.

При этом разработка и исследование гибридных сетей оказывается возможной:

в интерактивном режиме с помощью специального графического редактора адаптивных сетей, получившего название редактора ANFIS;

Нервная система состоит из центральной нервной системы и перефирийной нервной системы. Центральная нервная система состоит из головного мозга и из спинного мозга. Центральная нервная система oбразуется из нервных клеток, называемых нейронами.

Нейрон состоит из составляющих:

Пороговая функция не обеспечивает достаточной гибкости искусственной нейронной сети при обучении. Если значение вычисленного потенциала не достигает заданного порога, то выходной сигнал не формируется и нейрон «не срабатывает». Это приводит к снижению интенсивности выходного сигнала нейрона и, как следствие, к формированию невысокого значения потенциала взвешенных входов в следующем слое нейронов.

Линейная функция Y = kP дифференцируема и легко вычисляется, что в ряде случаев позволяет уменьшить ошибки выходных сигналов в сети, так как передаточная функция сети также является линейной. Однако она не универсальна и не обеспечивает решения многих задач.

Определенным компромиссом между линейной и ступенчатой функциями является сигмоидальная функция переноса Y = которая удачно моделирует передаточную характеристику биологического нейрона. Коэффициент k определяет крутизну нелинейной функции: чем больше k, тем ближе сигмоидальная функция к пороговой; чем меньше k, тем она ближе к линейной. Подобно ступенчатой функции она позволяет выделять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. При этом сигмоидальная функция, в отличие от ступенчатой, не имеет разрывов. Она дифференцируема, как и линейная функция, и это качество можно использовать при поиске экстремума в пространстве параметров искусственной нейронной сети.

Тип функции переноса выбирается с учетом конкретной задачи, решаемой с применением нейронных сетей. Например, в задачах аппроксимации и классификации предпочтение отдают логистической (сигмоидальной) кривой. Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. При этом выходы нейронов одного слоя соединяются с входами нейронов другого. В зависимости от топологии соединений нейронов искусственные нейронные сети подразделяются на одноуровневые и многоуровневые, с обратными связями и без них. Связи между слоями могут иметь различную структуру. В однолинейных сетях каждый нейрон (узел) нижнего слоя связан с одним нейроном верхнего слоя. Если каждый нейрон нижнего слоя соединен с несколькими нейронами следующего слоя, то получается пирамидальная сеть. Воронкообразная схема соединений предполагает связь каждого узла верхнего слоя со всеми узлами нижнего уровня. Существуют также древовидные и рекуррентные сети, содержащие обратные связи с произвольной структурой межнейронных соединений. Чтобы построить искусственную нейронную сеть для решения конкретной задачи, нужно выбрать тип соединения нейронов, определить вид передаточных функций элементов и подобрать весовые коэффициенты межнейронных связей.

 

При построении модели искусственной нейронной сети прежде всего необходимо точно определить задачи, которые будут решаться с ее помощью. В настоящее время нейросетевые технологии успешно применяются для прогнозирования, распознования образов и обобщения.

Первым этапом построения нейросетевой модели является тщательный отбор входных данных, влияющих на ожидаемый результат. Из исходной информации необходимо исключить все сведения, не относящиеся к исследуемой проблеме. В то же время следует располагать достаточным количеством примеров для обучения искусственной нейронной сети. Существует эмпирическое правило, которое устанавливает рекомендуемое соотношение χ между количеством обучающих примеров, содержащих входные данные и правильные ответы, и число соединений в нейронной сети: χ

Для факторов, которые включаются в обучающую выборку, целесообразно предварительно оценить их значимость, проведя корреляционный и регрессионный анализ, и проанализировать диапазоны их возможных изменений.

На втором этапе осуществляется преобразование исходных данных с учетом характера и типа проблемы, отображаемой нейросетевой моделью, и выбираются способы представления информации. Эффективность нейросетевой модели повышается, если диапазоны изменения входных и выходных величин приведены к некоторому стандарту, например [0,1] или [-1,1].

Третий этап заключается в конструирование искусственной нейронной сети, т.е. в проектирование ее архитектуры (число слоев и число нейронов в каждом слое). Структура искусственной нейронной сети формируется до начала обучения, поэтому успешное решение этой проблемы во многом определяется опытом и искусством аналитика, проводящего исследования.

Четвертый этап связан с обучением сети, которое может проводиться на основе конструктивного или деструктивного подхода. В соответствии с первым подходом обучение искусственной нейронной сети начинается на сети небольшого размера, который постепенно увеличивается до достижения требуемой точности по результатам тестирования. Деструктивный подход базируется на принципе «прореживания дерева», в соответствии с которым из сети с заведомо избыточным объемом постепенно удаляют «лишние» нейроны и примыкающие к ним связи. Этот подход дает возможность исследовать влияние удаленных связей на точность сети. Процесс обучения нейронной сети представляет собой уточнение значений весовых коэффициентов  для отдельных узлов на основе постепенного увеличения объема входной и выходной информации. Началу обучения должна предшествовать процедура выбора функции активации нейронов, учитывающая характер решаемой задачи. В частности, в трёхслойных перцептронах на нейронах скрытого слоя применяется в большинстве случаев логистическая функция, а тип передаточной функции нейронов выходного слоя определяется на основе анализа результатов вычислительных экспериментов на сети. Индикатором обучаемости искусственной нейронной сети может служить гистограмма значений межнейронных связей.

На пятом этапе проводится тестирование полученной модели искусственной нейронной сети на независимой выборке примеров.

Важнейшим свойством нейронных сетей является их способность к обучению, что делает нейросетевые модели незаменимыми при решении задач, для которых алгоритмизация является невозможной проблематичной или слишком трудоемкой. Обучение нейронной сети заключается в изменении внутренних параметров модели таким образом, чтобы на выходе искусственной нейронной сети генерировался вектор значений, совпадающий с результатами примеров обучающей выборки. Изменение параметров нейросетевой модели может выполняться разными способами в соответствии с различными алгоритмами обучения. Парадигма обучения определяется доступностью необходимой информации. Выделяют три парадигмы:

обучение с учителем (контролируемое);

обучение без учителя (неконтролируемое);

Смешанное обучение.

При обучение с учителем все примеры обучающей выборки содержат правильные ответы (выходы), соответствующие правильным данным (входам). В процессе контролируемого обучения синаптические веса настраиваются так, чтобы сеть порождала ответы, наиболее близкие к правильным.

Обучение без учителя используется, когда не для всех примеров обучения выборки известны правильные ответы. В этом случае предпринимаются попытки определения внутренней структуры поступающих в сеть данных с целью распределить образцы по категориям.

При смешанном обучении часть весов определяется посредством обучения с учителем, а другая часть получается с помощью алгоритмов самообучения.

Обучение по примерам характеризуется тремя основными свойствами: емкостью, сложностью образцов и вычислительной сложностью. Емкость соответствует количеству образцов, которые может запомнить сеть. Сложность образцов определяет способности нейронной сети к обучению. В частности, при обучении искусственной нейронной сети могут возникать состояния «перетренировки», в которых сеть хорошо функционирует на примерах обучающей выборки, но не справляется с новыми примерами, утрачивая способность обучаться.

Оптимальные значения весов межнейронных соединений можно определить путем минимизации среднеквадратичной ошибки с использованием детерминированных или псевдослучайных алгоритмов поиска экстремума в пространстве весовых коэффициентов. При этом возникает традиционная проблема оптимизации, связанная с попаданием в локальный минимум.

Правило Хебба. Оно базируется на следующем нейрофизиологическом наблюдении: если нейроны по обе стороны синапса активизируются одновременно и регулярно, то сила их синаптической связи возрастает. При этом изменение веса каждой межнейронной связи зависит только от активности нейронов, образующих синапс. Это существенно упрощает реализацию алгоритмов обучения.

Обучение методом соревнования. В отличие от правила Хебба, где множество выходных нейронов возбуждается одновременно, в данном случае выходные нейроны соревнуются (конкурируют) между собой за активизацию. В процессе соревновательного обучения осуществляется модификация весов связей выигравшего нейрона и нейронов, расположенных в его окрестности (''победитель забирает все»).

Метод обратного распространения ошибки. Он является обобщением процедуры обучения простого перцептрона с использованием дельта-правила на многослойные сети. В данном методе необходимо располагать обучающей выборкой, содержащей «правильные ответы», т.е. выборка должна включать множество пар образцов входных и выходных даны, между которыми нужно установить соответствие. Перед началом обучения межнейронным связям присваиваются небольшие случайные значения. Каждый шаг обучающей процедуры состоит из двух фаз. Во время первой фазы входные элементы сети устанавливаются в заданное состояние. Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Полученный выходной вектор сравнивается с требуемым (правильным). Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид: , где изменение в силе связи  для p - й обучающей пары  пропорционально произведению сигнала ошибки j - го нейрона  получающего входной сигнал по этой связи, и выходного сигнала i - го нейрона  посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки

 

 

где  и соответственно желаемое и действительное значения выходного сигнала j - го блока;  производная от выходного сигнала j - го блока. Сигнал ошибки для скрытого блока определяется рекурсивно через сигнал ошибки блоков, с которым соединен его выход, и веса этих связей равны . Для сигмоидальной функции  поэтому на интервале 0 1 производная имеет максимальное значение в точке =0,5, а в точках =0 и =1 обращает в ноль. Максимальные изменения весов соответствуют блокам (нейронам), которые еще не выбрали свое состояние. Кроме того, при конечных значениях весовых коэффициентов выходные сигналы блоков не могут достигать значений 0 или 1. Поэтому за 0 обычно принимают значения <0,1, а за 1 - значения >0,9.

Модификация весов производится после предъявления каждой пары вход-выход. Однако если коэффициент , определяющий скорость обучения, мал, то можно показать, что обобщенное дельта-правило достаточно хорошо аппроксимирует минимизацию общей ошибки функционирования сети D методом градиентного спуска в пространстве весов. Общая ошибка функционирования сети определяется по формуле

D = .

 

Обучение продолжается до тех пор, пока ошибка не уменьшиться до заданной величины. Эмпирические результаты свидетельствуют о том, что при малых значениях η система находит достаточно хороший минимум D. Однако из основных недостатков алгоритмов обратного распространения ошибки заключается в том, что во многих случаях для сходимости может потребоваться многократное (сотни раз) предъявление всей обучающей выборки. Повышения скорости обучения можно добиться, например, используя информацию о второй производной D или путем увеличения η.

Алгоритм обратного распространения ошибки используется также для обучения сетей с обратными связями. При этом используется эквивалентность многослойной сети с прямыми связями и синхронной сети с обратными связями на ограниченном интервале времени (слой соответствует такту времени).

 

Список литературы

1. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные систем: Учебник. - М.; Финансы и статистика, 2004. - 424 с.: ил.

2. Девятков В.В. Системы искусственного интеллекта: Учеб. Пособие для вузов. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. - 352 с.: ил.

.   Бухарбаева Л.Я., Танюкевич М.В. Информационная поддержка финансового менеджмента на основе программного пакета нейросетевого программирования Brainmaker 3.11: Методические указания. / Уфимск. гос. авиац. техн. унив-т. - Уфа, 2001. - 46 с.

.   Черняховская Л.Р., Шкундина Р.А. Нейро-нечёткое моделирование: Методические указания. / Уфимск. гос. авиац. техн. унив-т. - Уфа, 2004. - 22 c.

.   Балдин К.В., Уткин В.Б. Информационные системы в экономике: Учебник. - М.; Финансы и статистика, 2009.

.   Романов В.П. Интеллектуальные информационные систем в экономике: Учебник. - М.; Финансы и статистика, 2007.

.   Соколов Е.Н., Вайтнявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. - М.: Наука, 1989.

.   Осовский С. Нейронные сети для обработки информации: Учебник. - М.; Финансы и статистика, 2002.

.   Мкртчян C. О. Нейроны и нейронные сети (Введение в теорию формальных нейронов и нейронных сетей). - М.: Энергия, 1971.

.   Позин Н.В. Моделирование нейронных структур. - М.: Наука, 1970.

Нейро-нечёткие сети

Введение

Искусственные нейросетевые системы - одно из перспективных направлений в области разработки искусственного интеллекта. Особую привлекательность в утилитарном смысле нейросети получили ввиду способности обнаруживать неявные закономерности в различных процессах при отсутствии необходимости в понимании этих закономерностей, а также из-за способности к запоминанию представленных образов.

Основа для теории искусственных нейронных сетей появилась в процессе попыток нейробиологов смоделировать деятельность нервной системы и мозга живых организмов. Если физические основы действия живых нервных клеток были достаточно ясны, то сам механизм обучения мозга и использования им полученных навыков долгое время оставался неизвестным. Первым шагом к созданию искусственной нейроподобной системы была модель Д. Хэбба, который в 1949 г. предложил закон обучения, который послужил стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дальнейшее развитие теории, периодически наталкиваясь на значительные трудности, привело к появлению в 1986 г. ряда практически применимых знаний и методов для решения ряда актуальных задач.

Нейро-нечёткие сети

Нейро-нечеткая сеть представляет собой многослойную нейронную сеть специальной структуры без обратных связей, в которой используются обычные (не нечеткие) сигналы, веса и функции активации, а выполнение операции суммирования основано на использовании фиксированной Т-нормы, Т-конормы или некоторой другой непрерывной операции. При этом значения входов, выходов и весов гибридной нейронной сети представляют собой вещественные числа из отрезка [0,1].

Назначение нейро-нечётких сетей - извлечение знаний. Они предназначены для реализации нечётких правил на базе нейронных сетей. Такой подход позволяет компенсировать один из главных недостатков нейронных сетей, который состоит в том, что ответ нейронных сетей является не «прозрачным». Сама нейронная сеть - это «черный ящик», т.е. объяснить ответ невозможно. Этот подход позволяет реализовать функцию, объяснения для нейронных сетей.

Существует ряд классических методов прогнозирования экономических показателей, базирующихся на аппарате математической статистики, среди которых выделяются методы анализа и моделирования временных рядов, методы многомерного регрессионного анализа. Особенностью указанных методов является необходимость четкой спецификации конструируемых моделей, кроме того, дополнительные трудности для использования данных методов создает не стационарность исследуемых экономических процессов.

Перспективным направлением в области решения задач прогнозирования является применение аппарата искусственных нейро-нечетких сетей.

Нечеткие нейронные сети или гибридные сети призваны объединить в себе достоинства нейронных сетей и систем нечеткого вывода. С одной стороны, они позволяют разрабатывать и представлять модели систем в форме правил нечетких продукций, которые обладают наглядностью и простотой содержательной интерпретации. С другой стороны для построения правил нечетких продукций используются методы нейронных сетей, что является более удобным и менее трудоемким процессом для системных аналитиков.

Основная идея, положенная в основу модели гибридных сетей, заключается в том, чтобы использовать существующую выборку данных для определения параметров функций принадлежности, которые лучше всего соответствуют некоторой системе нечеткого вывода. При этом для прохождения параметров функции принадлежности используются известные процедуры обучения нейронных сетей.

Основные виды моделей нечеткого вывода: Мамдани и TSK (Тагаки-Сугено-Канга) имеют модульную структуру, идеально подходящую для системного представления в виде равномерной многослойной структуры, напоминающей структуру классических нейронных сетей. В пакете Fuzzy Logic Toolbox системы MATLAB нейро-нечеткие сети реализованы в форме, так называемой адаптивной системы нейро-нечеткого вывода ANFIS (Adaptive Neuro-Fuzzy Inference System).

С одной стороны, гибридная сеть ANFIS представляет собой нейронную сеть с единственным выходом и несколькими входами, которые представляют собой нечеткие лингвистические переменные. При этом термы входных лингвистических переменных описываются стандартными для системы MATLAB функциями принадлежности, а термы выходной переменной представляются линейной или постоянной функцией принадлежности.

С другой стороны, гибридная сеть ANFIS представляет собой систему нечеткого вывода ITS типа Сугено нулевого или первого порядка, в которой каждое из правил нечетких продукций имеет постоянный вес, равный.

Редактор АNFIS позволяет создавать или загружать конкретную модель адаптивной системы нейро-нечеткого вывода, выполнять ее обучение, визуализировать ее структуру, изменять и настраивать ее параметры, а также использовать настроенную сеть для получения результатов нечеткого выхода.

При этом разработка и исследование гибридных сетей оказывается возможной:

в интерактивном режиме с помощью специального графического редактора адаптивных сетей, получившего название редактора ANFIS;