Выбор наиболее подходящего способа интерактивного описания знаков безопасности

Аннотация

Выпускная квалификационная работа «Разработка программного обеспечения для распознавания знаков безопасности» посвящена разработке программного обеспечения, предназначенного для распознавания изображений знаков безопасности с целью получения их мультимедийного описания.

Исследовательский раздел посвящен обзору и анализу современных мультимедийных технологий применимых для описания знаков безопасности и выбору как метода, так и программного решения для реализации алгоритма распознавания изображений знаков безопасности.

Специальный раздел посвящен разработке модели интерактивного описания знаков безопасности и алгоритма распознавания изображений знаков безопасности, а также оценке основных его параметров, влияющих на скорость и точность распознавания.

Технологический раздел состоит из описания обоснования выбора инструментальных средств реализации программного обеспечения.

 

В разделе «Тестирование» описывается методика тестирования разработанных средств и выполняется анализ полученных результатов.

 

Содержание

Введение. 2

1 Исследовательский раздел. 2

1.1 Обзор и анализ применимости современных мультимедийных технологий для описания знаков безопасности. 2

1.2 Выбор метода распознавания для изображений знаков безопасности. 2

1.2.1 Нейросетевые методы распознавания изображений. 2

1.2.2 Распознавание изображений на основе контурного анализа. 2

1.3 Обзор и анализ имеющихся программных решений для реализации алгоритма распознавания изображений знаков безопасности. 2

1.3.1 Библиотека компьютерного зрения OpenCV.. 2

1.3.2 Пакет расширения MATLAB Image Processing Toolbox. 2

1.3.3 Библиотека 2

1.3.4 Библиотеки обработки изображений 2

1.4 Постановка задачи. 2

Выводы.. 2

2  Специальный раздел. 2

2.1 Разработка модели интерактивного описания знаков безопасности. 2

2.2 Разработка алгоритма распознавания изображений знаков безопасности. 2

2.2.1 Извлечение особенностей. 2

2.2.2 Обучение «визуального словаря». 2

2.2.3 Квантование особенностей по словарю.. 2

2.2.4 Описание картинки частотами «визуальных слов». 2

2.3 Оценка основных параметров разработанного метода распознавания изображений. 2

2.3.1 Детектор Моравеца. 2

2.3.2 Детектор MSER (Maximally Stable Extremal Regions) 2

2.3.3 Дескрипторы особых точек. 2

Выводы.. 2

3  Технологический раздел. 2

3.1 Обоснование выбора инструментальных средств для реализации ПО.. 2

3.1.1 Android Studio. 2

3.1.2 Denwer 2

3.1.3 PHP-скрипты.. 2

3.1.4 Алгоритм кодирования base64. 2

3.1.5 Формат представления данных JSON.. 2

3.1.6 Среда программирования Matlab. 2

3.2 Структура программного комплекса. 2

3.3 Описание основных алгоритмов. 2

3.4 Вычислительный эксперимент. 2

Выводы.. 2

4  Тестирование разработанного ПО.. 2

Выводы.. 2

5  Сопровождение ПО.. 2

5.1 Руковождство пользователя. 2

5.2 Руководство программиста. 2

5.3 Руководство системного администратора. 2

6  Научная новизна и практическая значимость работы.. 2

Заключение. 2

Список использованных источников. 2

Введение

В современном мире все большую популярность набирают интерактивные технологии. Это связано с ростом требований пользователя к удобству получения и представления информации. Кроме того, современному человеку хочется, чтобы процесс получения информации был не только удобным, но и интересным. К счастью, высокий уровень развития информационных технологий на сегодняшний день позволяет удовлетворить потребности почти любого пользователя.

Интерактивные технологии применяются в различных областях, включая образование, рекламу, медицину, бизнес, искусство, индустрию развлечений, постепенно внедряясь во все общественные заведения, сферу охраны труда и пожарной безопасности.

Согласно законодательству РФ во всех организациях, учреждениях имеются стенды по охране труда и пожарной безопасности. Однако не всю информацию о мерах предосторожности можно разместить на стендах, и поэтому в организациях, учреждения где это требуется по правилам и нормам охраны труда и пожарной безопасности установлены знаки безопасности, которые предупреждают сотрудников о той или иной опасной ситуации. Однако запомнить все обозначения знаков безопасности для сотрудников затруднительно, ввиду их большего количества, а от понимая обозначения знака безопасности и исполнения этого предупреждения зависит безопасность жизни сотрудника.

Таким образом, целью данной бакалаврской работы является разработка программного обеспечения  для  распознавания  знаков безопасности в организации.

Исследовательский раздел посвящен обзору и анализу современных мультимедийных технологий применимых для описания знаков безопасности и выбору как метода, так и программного решения для реализации алгоритма распознавания изображений знаков безопасности.

Специальный раздел посвящен разработке модели интерактивного описания знаков безопасности и алгоритма распознавания изображений знаков безопасности, а также оценке основных его параметров, влияющих на скорость и точность распознавания.

Технологический раздел состоит из описания обоснования выбора инструментальных средств реализации программного обеспечения. Кроме того, в нем разрабатывается структура комплекса, описываются основные алгоритмы, применяемые в программе.

В разделе «Тестирование» описывается методика тестирования разработанных средств и выполняется анализ полученных результато

Исследовательский раздел

1.1 Обзор и анализ применимости современных мультимедийных технологий для определения значения знаков безопасности

     Знаки безопасности — цветографическое изображение, имеющее определенную геометрическую форму с использованием сигнальных и контрастных цветов, графических символов и (или) поясняющих надписей, предназначенное для предупреждения людей о непосредственной или возможной опасности, предписания, разрешения или запрещения определенных действий, а также для информации о расположении объектов и средств, использование которых исключает или снижает воздействие опасных и (или) вредных факторов.

Выполнение требований охраны труда на промышленных предприятиях и общественных местах невозможно без размещения знаков безопасности по охране труда, пожарной безопасности. Специальные знаки требуются на предприятиях, в зданиях социального обслуживания, образовательных учреждениях и др.

1.1 Назначение знаков безопасности

· предупредить людей о возможной или существующей опасности

· разрешить, запретить, указать или предписать определенные действия

· проинформировать о наличии рядом потенциально опасных средств или объектов
Основная задача — привлечь внимание людей к опасной или потенциально опасной ситуации.

 

 

Рисунок 1-  Знак отключить перед работой

 

Рисунок 2 –Знак проход здесь

 

 

1.2 Места расположения знаков безопасности:

· На территории организации, в помещениях, зданиях и сооружениях, на строительных площадках

· Непосредственно на рабочих местах и участках производства работ и услуг

· На оборудовании, машинах, механизмах, в салонах транспортных средств

· На путях эвакуации, на входных(въездных) воротах и дверях помещений.

Знаки безопасности и знаки пожарной безопасности должны размещаться в поле зрения людей, они должны быть расположены таким образом, чтобы быть хорошо заметными, и, по возможности, при этом не отвлекать внимание и не создавать неудобств выполнению людьми своих профессиональных обязанностей. Не все знаки безопасности можно запомнить по внешнему виду, эта проблема может быть решена путём внедрения в организации интерактивного описания знаков безопасности, с помощью которой сотрудники смогли бы получить на своё мобильное устройство информацию о знаках безопасности.

 

Немного математики

Постановка задачи

Основной целью разработки программного обеспечения является интерактивное описание знаков безопасности в организации. Предлагается разработать клиент серверное приложение, состоящее из мобильного приложения, работающего как клиент, и сервера. Задача клиентского приложения состоит в получении фотографий знаков безопасности и передаче их на сервер. Функционал сервера заключается в получении от клиента изображений знаков безопасности, их распознавании и отправке ответа клиенту, который выводит интерактивное описание.

Для достижения основной цели выпускной квалификационной работы предлагается поставить и решить следующие основные задачи.

Выполнить обзор и анализ применимости современных мультимедийных технологий описания знаков безопасности в организации. Рассмотреть различные математические методы пригодные для эффективного распознавания изображений знаков безопасности.

Разработать модель и метод распознавания изображений знаков безопасности с целью мультимедийного описания знаков безопасности в организации.

Определить основные рабочие характеристики метода и алгоритмов работы программного комплекса в целом.

Выводы

Выполнен обзор и анализ современных мультимедийных технологий применимых для описания знаков безопасности в организации. Сделан вывод о том, что в качестве средства для мультимедийного описания будет использовано мобильное устройство с установленным программным обеспечением, которое распознаёт изображения знаков безопасности и выводит их описание на экран.

Проведен анализ применимости математических методов обработки изображений с целью распознавания фотографий знаков безопасности.

Проведен обзор и анализ имеющихся программно-технических решений для распознавания знаков безопасности. Предлагается использовать пакет расширения системы Matlab – Image Processing Toolbox.

Сформулирована постановка задачи, уточнены основные задачи, требующие решения.

 

 

Специальный раздел

Извлечение особенностей

На этапе извлечения особенностей изображение делится на фрагменты. Это можно сделать с помощью следующих способов.

- Регулярная сетка - изображение делится сеткой на одинаковые по размеру области, каждая из которых будет являться фрагментом.

- Характерные точки - фрагмент берётся в окрестностях особых точек. Окрестность особой точки будет являться фрагментом.

- Также фрагменты можно выбрать случайным образом.

После выбора фрагментов, их нужно описать.

Если использовался метод характерных точек, то окрестности точек следует нормализовать, путём выбора прямоугольной рамки вокруг области, а затем описать. Одним из наилучших механизмов для описания фрагментов, является SURF (Speeded up Robust Features) - метод обнаружения устойчивых признаков изображения. Работу этого метода можно описать следующим образом.

Поиск особых точек производится с помощью матрицы Гессе. Детерминант матрицы Гессе, достигает экстремума в точках максимального изменения градиента яркости. Область вокруг особой точки делится на 16 квадратов. Для каждой ключевой точки считается градиент и масштаб. Градиент в точке вычисляется с помощью фильтров Хаара. Результатом работы метода SURF является набор из 64 (либо 128) чисел для каждой особой точки. Эти числа отображают отклонения градиента вокруг ключевой точки.

Преимущество этого метода заключается в том, что в процессе поиска особых точек, сразу строятся их дескрипторы (элементы описания, инвариантные к изменению масштаба и поворота). За счет использования вторых производных алгоритм SURF становится инвариантен к перепадам яркости. Благодаря использованию разных размеров области взятия вторых производных и вычислению ориентации ключевых точек алгоритм становится инвариантен к изменению масштаба и повороту объекта в плоскости изображения.

После получения признаков нужно их распределить на группы.

2.2.2 Обучение «визуального словаря» m_k

Разбиение на группы – это типичная задача кластеризации. Классическим методом кластеризации является метод К-средних, который заключается в минимизации суммы Евклидовых расстояний между точками  и ближайшими центрами кластеров  (смотри формулу (2.1)).

 

(2.1)

 

Таким образом, алгоритм метода К-средних выглядит следующим образом. Так как центры кластеров нам неизвестны, случайно инициализируем  центров кластеров. Назначаем каждую точку ближайшему кластеру. Пересчитываем центр каждого кластера как среднее всех назначенных точек. Повторяем до сходимости.

Преимущество метода К-средних в том, что он очень простой и требует только знание о количестве кластеров.

При выборе количества кластеров, следует учитывать то, что маленький объем словаря приведёт к тому, что слова не смогут описать все особенности изображения, и многие особенности попадут в один класс. Слишком большой словарь приведёт к переобучению, а также снижению скорости работы алгоритма.

После кластеризации набора, запишем центр каждого кластера в «визуальный словарь». Центры кластеров и будут «визуальными словами».

На рисунке 2.4 изображён процесс создания «визуального словаря».

Рисунок  Процесс создания «визуального словаря»

 

После получения словаря, выполняется переход к этапу квантования.

Детектор Моравеца

Самым распространённым типом особых точек в изображениях являются углы. Для определения углов используются локальные детекторы. Детектор Моравеца является самым простым детекторов углов. На вход функции реализующей этот детектор подаётся чёрно-белое изображение. На выходе функции формируются матрицы со значениями элементов, на основе которых определяется правдоподобность нахождения углов в каждом фрагменте изображения. Фрагменты выбираются путём смещения анализируемой области на один пиксель в каждом направлении. После нахождения всех углов, повторяющиеся углы удаляются с помощью процедуры NMS (Non-Maximal Suppression).

Недостатками этого детектора являются отсутствие инвариантности к повороту, а также большое число ложных срабатываний на рёбрах вследствие шума.

Эффективность применения данного детектора в используемом алгоритме распознавания сомнительна, в связи с маленьким количеством углов на фотографиях знаков безопасности.

Дескрипторы особых точек

- Дескриптор SIFT (Scale Invariant Feature Transform)

В функционал дескриптора SIFT (Scale Invariant Feature Transform) входит поиск и фильтрация особых точек с последующим их описанием. Исходя из алгоритма этого дескриптора, точка считается ключевой, если она является экстремумом разности гауссианов в выбранной области. Этот дескриптор вычисляет значения магнитуды и ориентации градиента в каждом пикселе, принадлежащем окрестностям особой точки. Строится карта градиентов вдоль вертикального и горизонтального направлений. Фильтрация ключевых точек включает в себя уточнение координат точки с субпиксельной точностью, удаление точек с малым контрастом и удаление точек на границе объектов.

Таким образом, SIFT-дескриптор является инвариантным относительно поворота изображения и масштаба, устойчивым к шуму и изменениям освещения. Но для более быстрого определения и описания особых точек предлагается использовать дескриптор SURF, схожий по эффективности, но работающих в разы быстрее.

- Дескриптор SURF (Speeded up Robust Features)

Точки, описанные данным дескриптором, инвариантны к изменению масштаба и вращения.

Определение особых точек выполняется с использованием матрицы Гессе, что обеспечивает инвариантность относительно поворота, но не обеспечивает инвариантность относительно изменения масштаба. Поэтому SURF использует фильтры разного масштаба для вычисления Гессиана. Детерминант матрицы Гессе достигает экстремума в точках максимального изменения градиента яркости, в результате чего выделяются как белые пятна на тёмном фоне, так и тёмные пятна на светлом фоне.

Далее для каждой найденной особой точки вычисляется преобладающее направление перепада яркости. Понятие ориентации близко к понятию направления градиента, но для определения ориентации особой точки применяется фильтр Хаара.

За счёт того, что этот дескриптор одновременно выполняет поиск особых точек и строит их описание, обеспечивается очень высокая скорость работы этого метода.

Выводы

Разработана модель интерактивного описания знаков безопасности. Предложено использовать клиент серверную архитектуру. Описаны основные шаги, необходимые для получения информации о знаках безопасности.

Выполнена разработка алгоритма распознавания изображений знаков безопасности на базе алгоритма «Bag of features», описаны основные его шаги.

 Отмечены основные особенности работы алгоритма. Показано, что качество работы алгоритма во многом определяется дескрипторами. В качестве дескриптора предлагается использовать поверхностный SURF.

 

 

Технологический раздел

Android Studio

Основным преимуществом Android Studio является то, что разработчиком данной среды является та же корпорация, которая выпускает операционную систему Android. Из этого следует, что все необходимые функции будут иметь более удобную интеграцию для новых версий Android.

Следующим преимуществом является встроенный комплект средств разработки android SDK, который имеет множество полезных функций для более быстрого и удобного создания программ. Также эта среда разработки включает в себя удобный конструктор интерфейсов, который позволяет посмотреть то, как будет отображаться программа на разных устройствах.

Удобный дизайн также является достоинством Android Studio. Удобство заключается в том, что для каждого окна предусмотрена функция, которая сворачивает его в нижнюю часть интерфейса.

В заключение описания достоинств этой среды разработки можно отметить гибкость функций отслеживания ошибок, что позволяет разделить отслеживание для различных потоков, процессов и приложений.

Denwer

Для данного проекта используется установленный на стороне сервера веб сервис с набором дистрибутивов для создания и отладки веб-приложений под названием Денвер. Выбор этого сервиса можно объяснить тем, что он имеет ряд преимуществ и особенностей перед другими серверными платформами.

Во-первых, это легкость установки, использования и настройки. Для установки достаточно, запустить установочный файл и далее следовать инструкциям по первоначальной настройке. Для использования веб сервиса предусмотрено несколько отдельных исполняемых файлов, которые осуществляют запуск всех необходимых для работоспособности сервера служб и их остановку по требованию пользователя данной серверной платформы.

Во-вторых, мобильность. Все установленные на машину компоненты, можно без дополнительных настроек, таких как, например, правка реестра, перенести на другое устройство и на нём выполнить запуск веб-сервера с уже готовыми, настроенными веб-приложениями.

Третьим преимуществом является небольшой размер установочного файла. Он включает в себя минимальный набор приложений и модулей, необходимых для полноценной работы, а именно:

- веб-сервер Apache с поддержкой SSI, SSL, mod_rewrite, mod_php;

- интерпретатор PHP с поддержкой GD, MySQL, SQLite;

- СУБД MySQL с поддержкой транзакций (mysqld-max);

- систему управления виртуальными хостами, основанную на шаблонах;

- систему управления запуском и завершением;

- панель phpMyAdmin для администрирования СУБД;

- ядро интерпретатора Perl без стандартных библиотек;

- эмулятор sendmail и сервера SMTP с поддержкой работы совместно с PHP, Perl и Parser.

PHP-скрипты

Обработка запросов и запуск алгоритма распознавания на сервере реализована с помощью PHP-скриптов.

Главным фактором языка РНР является практичность. РНР предоставляет средства для быстрого и эффективного решения поставленных задач. Практический характер РНР обусловлен пятью важными характеристиками: традиционностью, простотой, эффективностью, безопасностью, гибкостью.

PHP является довольно молодым языком, но на сегодняшний день является чуть ли не самым популярным языком для создания web-приложений (скриптов). При использовании PHP-скриптов нет необходимости подключать библиотеки и указывать специальные параметры компиляции, при этом PHP обрабатывает сценарии с достаточно высокой скоростью.

Алгоритм кодирования base64

Обращение к серверу представляет из себя HTTP запрос по методу POST. Параметром запроса является фотография, закодированная алгоритмом base64. Данный метод выбран в связи с легкостью его реализации и обработки, так как в язык программирования для платформы Android включена функция кодирования алгоритмом base64, а язык PHP имеет встроенную функцию декодирования этим алгоритмом.

Вычислительный эксперимент

Для наиболее точной работы этого алгоритма необходимо чтобы изображения, используемые для обучения программы и снимки, требующие распознавания были одинакового разрешения. Для этого, перед отправкой на сервер, выбранная пользователем фотография программно уменьшается до размеров изображений, использовавшихся для обучения алгоритма распознавания. Помимо увеличения точности работы метода «Bag of features», это приводит к уменьшению сетевого трафика, что положительно влияет на скорость работы android-приложения, а также экономит дисковое пространство мобильного устройства, позволяя сделать много снимков для распознавания. Снимки, используемые в обучении алгоритма, были взяты небольшого разрешения, весом около 100 Кбайт на снимок. Это позволило уменьшить системные требования к компьютеру, на котором происходило обучение и ускорить этот процесс.

Фотографии для обучения алгоритма распознавания снимались с использованием фотовспышки. Это увеличило контрастность контуров знаков безопасности по отношению к фону, что привело к наиболее точным результатам респознавания.

Также, для обучения алгоритма распознавания фотографии были сняты с простых ракурсов, другими словами, с отклонением от «ракурса в анфас» не более 20 градусов. Это привело к улучшению обобщающей способности метода распознавания, что положительно сказалось на точности работы алгоритма.

В результате тестирования, описанного в следующем разделе, выявились зависимости скорости обучения и распознавания, а также точности распознавания алгоритма от размера обучающей базы. На основе этих результатов предлагается использовать обучающую выборку, состоящую из 17 фотографий на одну ёлочную игрушку.

Выводы

Проведено обоснование выбора инструментальных средств для реализации программного комплекса. В качестве модуля распознавания предлагается использовать алгоритм на основе «Bag of features», реализованный в библиотеке Image Processing Toolbox, входящей в состав среды Matlab. В качестве серверного обеспечения предлагается использовать веб сервис Denwer. Для общения между сервером и клиентом предлагается использовать PHP-скрипты. В качестве клиентского обеспечения предлагается использовать мобильное приложение, написанное для платформы Android.

Описана структура разрабатываемого программного комплекса. Показаны ключевые особенности формирования обучающей выборки.

Приводится описание основных алгоритмов работы ПО. Показано, что скорость работы приложения во многом определяется технологиями и аппаратным обеспечением.

Оценка быстродействия

Для оценки быстродействия алгоритма в зависимости от объёма обучающей выборки, предлагается измерить время обучения и время распознавания алгоритма, при объёмах обучающей базы начиная от 5 фотографий, заканчивая 20 фотографиями.

В таблице 4.1 отображено время распознавания и обучения. В неё занесены усреднённые значения измеренных данных.

 

Таблица 4.1 – Время распознавания и обучения

Объем базы, фотографий

Время обучения, c

Время распознавания, мс

60

5

20,205

108,583

72

6

23,542

107,335

84

7

27,466

108,128

96

8

28,731

107,657

108

9

31,903

108,347

Продолжение таблицы 4.1

120	10	34,634	108,375
132	11	38,322	109,685
144	12	39,108	108,547
156	13	42,286	110,345
168	14	45,948	110,593
180	15	46,601	113,784
192	16	50,868	122,309
204	17	54,231	131,747
216	18	59,279	148,958
228	19	66,348	208,375
240	20	74,957	247,423

 

На рисунке 4.1 изображён график зависимости времени обучения от объёма обучающей выборки. График построен на основе данных из таблицы 4.1.

Рисунок 4.1 – График зависимости времени обучения от объёма обучающей выборки

 

 

На рисунке 4.2 изображён график зависимости времени распознавания от объёма обучающей выборки. График построен на основе данных из таблицы 4.1.

 

Рисунок 4.2 – График зависимости времени распознавания от объёма обучающей выборки

 

Графики, изображённые на рисунках 4.1 и 4.2, показывают, что время обучения и распознавания увеличивается с ростом объёма обученной базы. Из рисунка 4.2 видно, что наиболее сильный рост времени распознавания наблюдается, начиная с 16 фотографий на игрушку.

Объем базы, фотографий

Количество ложных распознаваний, %

Количество верных распознаваний, %

60

75

25

72

70

30

84

55

45

96

50

50

Продолжение таблицы 4.2

108	40	60
120	35	65
132	30	70
144	20	80
156	20	80
168	5	95
180	5	95
192	5	95
204	5	95
216	0	100
228	0	100
240	0	100

 

На рисунке 4.4 изображены графики зависимости ложных и верных распознаваний от объёма обученной базы. Графики построены на основе данных из таблицы 4.2.

Рисунок 4.4 – Графики зависимости ложных и верных распознаваний от объёма обучающей выборки

 

На основании графика, отображённого на рисунке 4.4, можно сделать вывод о том, что обученной базы размером в 204 фотографии (17 фотографий на игрушку) будет достаточно для качественного распознавания изображений данным алгоритмом. Увеличение размера базы может привести к явлению переобучения, что повлечёт за собой ухудшение предсказательной способности, а также, согласно выводу, сделанному в результате оценки быстродействия, значительно увеличит время распознавания, в случае обучения алгоритма для распознавания большего количества знаков безопасности.

Выводы

Выполнено тесторование ПО.

Выявлены зависимости скорости и точности распознавания от объёма обучающей выборки.

Показано, что допустимым значением обучающей выборки является база объёмом 204 фотографии, что равняется 17 фотографиям на игрушку, при этом точность распознавания будет очень высокой, а скорость распознавания составит приблизительно 131 мс.

 

Сопровождение ПО

Руковождство пользователя

Данное руководство предназначено для пользователя, обладающего практическими навыками работы с графическим интерфейсом операционной системы Android.

1. Запуск программного комплекса осуществляется с помощью нажатия на иконку приложения.

2. После запуска на экране появится главное окно программного комплекса, представленное на рисунке 5.1.

Рисунок 5.1 – Главное окно программного комплекса

3. Чтобы получить интерактивное описание для ёлочной игрушки пользователю необходимо сделать фотографию интересующего его экспоната, либо выбрать изображение из существующих на устройстве.

4. Чтобы сделать фотографию необходимо нажать на кнопку «Сделать фото», после чего откроется экран, на котором будет видна фотографируемая область. Далее нужно навести камеру устройства на интересующий экспонат таким образом, чтобы его было видно полностью на экране устройства, после чего нажать кнопку «Фото».

5. Чтобы использовать в качестве распознаваемой фотографии изображение уже имеющееся в памяти устройства необходимо нажать кнопку «Загрузить», после чего выбрать нужную фотографию из списка.

6. После того, как фотография будет выбрана, необходимо нажать на кнопку «Отправить».

7. В течение нескольких секунд после нажатия на кнопку «Отправить» на экране устройства отобразится мультимедийное описание экспоната.

Руководство программиста

Данное руководство представляет собой документацию для разработчиков, которым в процессе введения в эксплуатацию разработанного программного комплекса требуется внести изменения в код комплекса или расширить его функционал.

Для того чтобы открыть проект клиентского приложения необходима установленная среда разработки Android Studio 2.1.1 или ее более поздняя версия. Открытие решения осуществляется через интерфейс Android Studio 2.1.1, где необходимо выбрать для открытия папку проекта «description».

Для отладки алгоритма распознавания необходима установленная среда разработки Matlab 2014b. Открытие решения осуществляется либо через интерфейс Matlab 2014b, где необходимо выбрать для открытия файл recognition.m, либо непосредственным открытием этого файла.

 

 

Заключение

Выполнен обзор и анализ современных мультимедийных технологий применимых для описания экспонатов в музее «Фабрика знаков безопасности». Сделан вывод о том, что в качестве средства для мультимедийного описания будет использовано мобильное устройство с установленным программным обеспечением, которое распознаёт изображения знаков безопасности и выводит их описание на экран.

Проведен анализ применимости математических методов обработки изображений с целью распознавания фотографий знаков безопасности. Предлагается использовать методики на основе выделения особых точек, а в качестве алгоритма предлагается использовать «Bag of features».

Проведен обзор и анализ имеющихся програмно технических решений для распознавания знаков безопасности. Предлагается использовать пакет расширения системы матлаб - библиотеку имадж процесс тулбокс. Сформулирована постановка задачи, уточнены основные задачи, требующие решения.

Разработана модель интерактивного описания экспонатов. Предложено использовать клиент серверную архитектуру. Описаны основные шаги, необходимые для получения информации об экспонате.

Выполнена разработка алгоритма распознавания изображений знаков безопасности на базе алгоритма «Bag of features», описаны основные его шаги. Отмечены основные особенности работы алгоритма. Показано, что качество работы алгоритма во многом определяется дескрипторами. В качестве дескриптора предлагается использовать поверхностный SURF.

Проведено обоснование выбора инструментальных средств для реализации программного комплекса. В качестве модуля распознавания предлагается использовать алгоритм на основе “Bag of features”, реализованный в библиотеке Image Processing Toolbox, входящей в состав среды Matlab. В качестве серверного обеспечения предлагается использовать веб сервис Denwer. Для общения между сервером и клиентом предлагается использовать PHP-скрипты. В качестве клиентского обеспечения предлагается использовать мобильное приложение, написанное для платформы Android.

Описана структура разрабатываемого программного комплекса. Показаны ключевые особенности формирования обучающей выборки. Приводится описание основных алгоритмов работы ПО. Показано, что скорость работы приложения во многом определяется технологиями и аппаратным обеспечением.

Выполнено тесторование ПО, в результате чего выявлены зависимости скорости и точности распознавания от объёма обучающей выборки.

 

 

Аннотация

Выпускная квалификационная работа «Разработка программного обеспечения для распознавания знаков безопасности» посвящена разработке программного обеспечения, предназначенного для распознавания изображений знаков безопасности с целью получения их мультимедийного описания.

Исследовательский раздел посвящен обзору и анализу современных мультимедийных технологий применимых для описания знаков безопасности и выбору как метода, так и программного решения для реализации алгоритма распознавания изображений знаков безопасности.

Специальный раздел посвящен разработке модели интерактивного описания знаков безопасности и алгоритма распознавания изображений знаков безопасности, а также оценке основных его параметров, влияющих на скорость и точность распознавания.

Технологический раздел состоит из описания обоснования выбора инструментальных средств реализации программного обеспечения.

 

В разделе «Тестирование» описывается методика тестирования разработанных средств и выполняется анализ полученных результатов.

 

Содержание

Введение. 2

1 Исследовательский раздел. 2

1.1 Обзор и анализ применимости современных мультимедийных технологий для описания знаков безопасности. 2

1.2 Выбор метода распознавания для изображений знаков безопасности. 2

1.2.1 Нейросетевые методы распознавания изображений. 2

1.2.2 Распознавание изображений на основе кон