Интерфейс пользователя программы Qnet

 

Программный продукт «Qnet» – система моделирования нейронных сетей. Он разработан, чтобы обращаться с большими и комплексными проектами сети без искусственно наложенных программных ограничений. Однако практические пределы будут существовать и для проекта сети, и для размеров набора обучения. Эти числа могут значительно изменяться, и зависят в значительной степени от скорости оборудования и доступной памяти. Единственное ограничение «Qnet» на размер проекта нейронной сети – это максимум
10 слоев в сети. Этот максимум легко удовлетворяет все мыслимые требования моделирования.

«Qnet» предлагает продвинутые особенности проектирования сетей для создания комплексных сетей, которые используют высоко оптимизированный обучающий алгоритм обратного распространения.

Особенности «Qnet» включают:

- высокую скорость. Обработка более чем 700 000 связей в секунду на персональных компьютерах с процессором Pentium;

- справку с централизованным управлением, которая доступна для всех меню, экранов диалога и элементов ввода;

- быстрое удобное проектирование сети. Функции активации выбираются на послойном основании, чтобы дать сети уникальные характеристики. Можно использовать редактор связей, чтобы управлять связями сети;

- простое представление данных. Обучающие данные легко импортируются в «Qnet» через универсальный совместимый формат файла ASCII с поддержкой разделения чисел пробелами, запятой или знаками табуляции (эти форматы поддерживаются всеми электронными таблицами, текстовыми процессорами, текстовыми редакторами и программами баз данных);

- возможность масштабирования данных. Диапазон выходных значений нейрона лежит в интервале (0,1), либо (-1,1). Поэтому для улучшения работы сети следует предварительно масштабировать данные обучающей выборки к интервалу от 0 до 1 («Qnet» делает это автоматически). Это даст меньшие ошибки при обучении и работе нейросети;

- упорядочивание данных. Чтобы обучение не двигалось в ложном направлении при обработке задачи классификации или распознавания, но не задачи аппроксимирования временных рядов, данные нужно перемешивать случайным образом. Иначе нейросеть «выучит» последовательность случайно оказавшихся рядом значений как истинное правило, и потом будет делать ошибку;

- автоматизированное испытание сети с помощью тестовой выборки для анализа переобучения и целостности. Этот мощный инструмент разрабатывает предположение, когда сеть должным образом обучена и подходит для использования. Испытательные наборы могут быть отобраны из обучающих данных, использующих ряд методов, включая случайный отбор;

- полный интерактивный анализ процесса обучения, используя NetGraph^TM и его мощный элемент AutoZoom. NetGraph мгновенно создает графики всей обучающей информации сети. AutoZoom может использоваться для масштабирования исследуемой информации;

- сложные инструментальные средства анализа сетей. Все инструментальные средства с централизованным управлением и могут использоваться в интерактивном режиме в течение процесса обучения;

- автоматическое сохранение, чтобы автоматически сохранять модель сети в течение обучения. Автоматическое сохранение защищает сеть от переобучения и расхождения сети, позволяя возвратить сохраненную информацию сети из любого пункта управляемого обучения;

- управление величиной шага. По сути, это мера точности обучения сети. Чем шаг больше, тем более грубым будет следующее уменьшение суммарной ошибки сети. Чем он меньше, тем больше времени сеть будет тратить на обучение и тем более возможно ее попадание в окрестность локального минимума ошибки. Поэтому управление шагом имеет важное значение для улучшения сходимости нейронной сети. В «Qnet» пользователь может сам определять, как будет изменяться величина шага;

- режим исследования может использоваться для обученных сетей с новыми наборами данных;

- исходный текст на языке С для внедрения обученных сетей в собственные приложения;

- образцы сетей для решения различных задач.

Главное меню программы «Qnet» показано на рис. 2.1.

 

Рис. 2.1. Главное меню «Qnet»

 

Главное меню является стартовой точкой как для запуска режима создания и обучения сети, так и для режима исследования обученной сети.

Опции главного меню содержат:

- New – создание новой модели нейросети с возможностью последующего обучения;

- Open – открытие сохраненной модели нейросети для обучения или исследования;

- Run – если выбрана опция «Training Mode», то нажатие этой кнопки приведет к запуску режима обучения. Можно обучать как новую, так и уже существующую нейросеть. Если выбрана опция «Recall Mode», то нажатие этой кнопки приведет к запуску режима исследования. Это используется для исследования обученных сетей с новыми наборами входов;

- Help – вывод справки;

- Exit – выход из «Qnet».

После выбора режима обучения переходим к окну установок обучения. С помощью окна установок обучения (рис. 2.2) можно конфигурировать и изменять модель нейросети.

Рис. 2.2. Окно установок обучения

Опции этого меню содержат:

- Network Design;

- Training Data;

- Training Parameters;

- Save Network Setup.

Можно создать новую сеть или изменять уже существующую. Измененная сеть может быть сохранена как в том же самом файле, так и в новом.

Создание и изменение нейросети происходит в окне проектирования сети (рис. 2.3).

С помощью этого окна задаются:

- Network Name – задается имя для сети;

- Number of Network Layers – задается число слоев сети. Сюда включается входной слой, произвольное число скрытых слоев и выходной слой. Минимальное значение – три слоя, максимальное – десять (то есть, от одного до восьми скрытых слоев).

 

Рис. 2.3. Окно проектирования сети

 

При выборе количества скрытых слоев следует учитывать:

1) с большим количеством скрытых слоев, комплексные связи ввода-вывода могут показать лучшее моделирование сетью с меньшим количеством общего количества скрытых узлов;

2) большое количество скрытых слоев замедляет обучение, увеличивая общее число итераций, требуемых чтобы обучиться. Однако время на итерацию может уменьшиться с использованием меньшего количества скрытых узлов.

Использование от 3 до 6 слоев (от 1 до 4 скрытых слоев) достаточно для подавляющего большинства нейронных моделей;

- Number of Input Nodes – задается число входных узлов, которое должно соответствовать числу входов модели нейросети;

- Number of Output Nodes – задается число выходных узлов, которое должно соответствовать числу выходов модели нейросети;

- Number of Hidden Nodes per Layer – задается количество скрытых узлов в каждом скрытом слое. Количество скрытых слоев рассчитывается по формуле: <ЧИСЛО СЛОЕВ – 2>. Заполнение идет по порядку от первого скрытого слоя, следующего за входным слоем, до последнего скрытого слоя, перед выходным слоем. При выборе количества узлов в скрытых слоях следует учитывать:

1) необходимо меньшее количество узлов в каждом скрытом слое, когда используется больше скрытых слоев;

2) комплексные связи между входами и выходами требуют большего числа скрытых узлов в скрытых слоях модели;

3) большее число скрытых узлов можно использовать, когда имеется большое количество обучающих вариантов. При небольшом количестве обучающих вариантов, сравнимых по размеру с сетью, может возникнуть проблема запоминания порядка обучающих данных;

4) когда в качестве функций активации применяются гауссовы или их аналог – гиперболический секанс, большое число скрытых узлов обычно улучшает образцовое выполнение;

5) лучшие результаты дают проекты с использованием постоянного числа узлов в слоях или проекты, в которых постепенно уменьшается число скрытых узлов в последовательных слоях.

Слишком большое количество скрытых узлов может привести к моделям, склонным к запоминанию набора, обучению скорее, чем определят связи. Слишком мало скрытых узлов приведет к моделям, которые не смогут адекватно узнавать обучающие данные. Чтобы определить структуру, которая предлагает лучшие характеристики изучения, может потребоваться экспериментирование с конструкцией сети;

	- Transfer Functions – выбираются передаточные функции для каждого скрытого слоя или выходного слоя (рис. 2.4); - Connections – эта кнопка вызывает редактор связей для данного слоя (рис. 2.5). Это используется для изменения связей сети в соответствии с требуемой задачей; - View Network – используется для просмотра созданной сети.
Рис. 2.4. Выбор передаточных функций (функции активации)

 

Рис. 2.5. Редактор связей слоя

 

С помощью диалогового окна «Данные обучения/испытания» (рис. 2.6) определяются файлы с обучающими данными, которые будут использованы для обучения модели нейросети. Данные можно представлять в ASCII файле, или можно использовать элемент DataPro для преобразования данных, импортируемых в Qnet.

 

Рис. 2.6. Окно «Данные обучения/испытания»

 

В этом окне задаются:

- Input Node Data File – имя файла, содержащего матрицу входов;

- Target Node Data File – имя файла, содержащего матрицу выходов;

- Data Start Column – номер колонки, с которой начинается отбор данных;

- Number of Test Cases – число строк тестовой выборки;

- Test Set Inclusion Method – метод отбора тестовой выборки;

- DataPro – элемент для создания, редактирования и преобразования обучающих данных.

В окне «Параметры обучения» (рис. 2.7) задаются параметры, влияющие на обучение сети.

 

Рис. 2.7. Окно «Параметры обучения»

В этом окне можно задать:

- Max Iterations – задается максимальное число итераций в этом сеансе обучения. Обучение может быть вручную закончено прежде, чем будет достигнуто указанное число итераций. Не имеется никакого способа определить число итераций, которые будут требоваться для схождения сети. Лучше всего установить большее значение итераций и вручную завершать обучение;

- Learn Rate Control Start Iteration – задается номер итерации для начала управления величиной шага обучения (Learn Rate Control – LRC). «Qnet» имеет специальный алгоритм, чтобы управлять величиной шага обучения. Этот алгоритм будет искать оптимальный диапазон шага обучения в течение управляемого обучения. LRC сохраняет сеть от расхождения в течение обучения, при попытке ускорить расчетное время обучения насколько возможно. В течение итераций начального обучения (от 50 до 100) для новой сети, LRC обычно выключается. Веса узлов новых сетей быстро регулируются в течение начальных итераций, и обучающаяся ошибка может изменяться в широком диапазоне. Использование LRC в течение этого периода совершенно безопасно, однако алгоритм LRC может завышать величину шага в попытке устранить эти нормальные колебания;

- AutoSave Rate – задается число итераций, через которое «Qnet» будет автоматически сохранять сеть в течение обучения. Сеть в течение обучения сохраняется во временном файле. В случае необходимости, эти сети могут быть сохранены в постоянном файле. Это может быть необходимо для устранения переобучения или проблемы расхождения сети. Значение по умолчанию – 500 итераций;

- Screen Update Rate – устанавливает интервал обновления экрана в течение процесса обучения. Обновление информации с каждой итерацией обеспечивает лучший визуальный контроль процесса обучения, но может привести к замедлению времени обучения;

- Learning Rate – здесь задается значение шага, с которого начинается изменение весов узлов. Это – мера точности обучения сети. Чем он больше, тем более грубым будет следующее уменьшение суммарной ошибки сети. Чем он меньше, тем больше времени сеть будет тратить на обучение и тем более возможно ее попадание в окрестность локального минимума ошибки. Поэтому управление шагом имеет важное значение для улучшения сходимости нейронной сети. Диапазон изменения шага от 0,0 до 1,0. Лучше начать обучение, используя низкое значение шага из диапазона от 0,001 до 0,1;

- Learn Rate Minimum – устанавливается минимум шага обучения. Значение по умолчанию 0,001;

- Learn Rate Maximum – устанавливается максимум шага обучения. Значение по умолчанию 1;

- Momentum Factor (Alpha) – иногда при изменении весов связей нейронов кроме текущего изменения веса к нему прибавляют вектор смещения с предыдущего шага, взятый с некоторым коэффициентом. В этом случае учитывается предыдущий импульс движения. Этот фактор обеспечивает быстрое, устойчивое изучение. Диапазон изменения 0 £ a £ 1. Большинство сетей обучится, и будет сходиться лучше всего с установкой этого значения от 0,8 до 0,9. Значение 0 обозначает обучение без импульса;

- FAST - Prop Coefficient – коэффициент FAST-Prop управляет алгоритмом, используемым «Qnet» для обучения. Если этот коэффициент установлен в 0, «Qnet» использует алгоритм обратного распространения. Если установлено значение более чем 0,0 (максимум 3,0), используется алгоритм FAST-Prop. В то время как обучающий метод FAST-Prop может часто ускорять процесс обучения, его недостаток в наличие риска, что алгоритм не будет сходиться к минимальной ошибке, особенно, когда используются более высокие значения коэффициента. Рекомендуется, отключать обучающийся алгоритм FAST-Prop и обучать сеть с помощью метода обратного распространения;

- Patterns Per Weight Update Cycle – задается число обучающих образцов модели, обрабатываемых за цикл модернизации веса. Оно может иметь большой эффект на полный процесс обучения и поведение сходимости. По умолчанию «Qnet» должен обработать все обучающие образцы модели до модифицирования весов сети (значение 0). Это допускает, чтобы глобальный вектор ошибки был просчитан до изменения весов. Этот метод строго рекомендуется для обучения наборов, где существуют неточные и несколько шумные связи между входами и выходами;

- Tolerance – выбирает допуск, используемый для контроля точности обучения. В течение обучения этот допуск используется, для определения, совпадает ли предсказание сети с целью;

- Initialize / Reset Weights – значения весов узла представляют изученную информацию, запасенную в нейронной сети. Новые значения веса сети инициализируются произвольно до обучения. Опция «Инициализировать / сбрасывать веса», автоматически установлена для новых сетей. Можно вручную сбрасывать предварительно обученную сеть к начальному необученному состоянию.

Окно анализа обучения (рис. 2.8) используется, чтобы просматривать, анализировать и взаимодействовать с текущим процессом обучения.

Для сохранения текущей информации или выхода из процесса обучения используется меню File. Параметры обучения сети (по аналогии окна «параметры обучения») задаются в меню Options. Проверка процесса обучения происходит с помощью графических средств меню NetGraph и инструментальных средств меню Info. Выбор любого из этих меню временно приостановит обучение сети. Для остановки и продолжения процесса обучения используется меню Training.

 

Рис. 2.8. Окно анализа обучения

 

Информация, отображаемая в окне анализа обучения, показывает детали модели нейросети, параметры текущего обучения и результаты обучения. В группе Network Definition показывается название сети, число слоев, число узлов входа, число узлов выхода, общее число скрытых узлов, число связей сети, количество образцов обучения и испытательных образцов и размер сети в байтах. В группе Training Controls показывается максимальное число итераций, стартовое значение LRC, коэффициент FAST-Prop, значение шага обучения, фактор импульса, значение допуска, значение обновления экрана и автосохранения. Группа Training Results содержит показания текущей итерации, среднеквадратичные ошибки обучения и испытательного набора, коэффициенты корреляции обучения и испытательного набора и проценты допуска обучения и испытательного набора. Также показывается скорость обучения, процент выполнения и время на обучение.

С помощью диалогового окна «Установки исследования обученной сети» (рис. 2.9) определяются файлы с новыми входными данными, которые будут использованы для анализа обученной нейросети. Данные можно представлять в ASCII файле, или можно использовать элемент DataPro для преобразования данных, импортируемых в Qnet.

 

Рис. 2.9. Диалоговое окно «Установки исследования обученной сети»

 

В этом окне задаются:

- Input Node Data File – имя файла, содержащего матрицу входов;

- Target Node Data File – имя файла, содержащего матрицу выходов;

- Data Start Column – номер колонки, с которой начинается отбор данных;

- DataPro – элемент для создания, редактирования и преобразования обучающих данных.

С помощью окна «Исследование обученной сети» (рис. 2.10) можно анализировать отклик обученной сети на новый набор входов.

С помощью меню File можно сохранять значения откликов/целей сети, перезапустить «Qnet» и выйти из программы. Меню NetGraph позволяет строить графики цель/ отклик (Targets vs Outputs), цель-отклик/последовательность образцов (Targets/Outputs vs Pattern Sequence), выходная ошибка/ последовательность образцов (Output Error vs Pattern Sequence), входные узлы/ последовательность образцов (Input Nodes vs Pattern Sequence). В меню Info содержится информация о сети (Network   Information),  значения

Рис. 2.10. Диалоговое окно «Исследование обученной сети»

откликов/целей (Network Outputs/Targets), статистика обучения сети (Statistics), можно вычислить процент допуска отклик/цель (Tolerance Checking) и порога (Threshold Checking).

 

Приложение 3