Алгоритмы и программная система классификации полутоновых изображений на основе нейронных сетей
На правах рукописи
Макаренко Алексей Александрович
АЛГОРИТМЫ И ПРОГРАММНАЯ СИСТЕМА
КЛАССИФИКАЦИИ ПОЛУТОНОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ
Специальность 05.13.18 – математическое моделирование,
численные методы и комплексы программ
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Томск – 2007
Работа выполнена в Томском государственном университете систем управления и радиоэлектроники.
Научный руководитель: кандидат технических наук,
с.н.с. Калайда Владимир Тимофеевич
Официальные оппоненты: доктор технических наук, профессор
Шелупанов Александр Александрович
кандидат физико-математических наук,
доцент Новосельцев Виталий Борисович
Ведущая организация: Институт вычислительного моделирования
СО РАН, г. Красноярск
Защита состоится 17 мая 2007 г. в 15 ч 00 мин на заседании диссерта-
ционного совета Д.212.268.02 в Томском государственном университете систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Белинского, 53.
С диссертацией можно ознакомиться в библиотеке Томского государственного университета систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Вершинина, 74.
Автореферат разослан 17 апреля 2007 г.
Ученый секретарь
диссертационного совета Д.212.268.02 Клименко А.Я.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследований
Многие направления науки, техники и производства в значительной степени ориентируются на развитие систем, в которых информация носит характер поля (изображения). При обработке такой информации возникает ряд сложных научных, технических и технологических проблем. Одной из самых сложных на сегодняшний момент из них являются обработка и распознавание изображений. О важности этой проблемы говорит тот факт, что исследования по распознаванию образов, анализу изображений и речи включены в перечень приоритетных направлений развития науки и техники и критических технологий федерального уровня.
Распознавание изображений находит широкое применение в различных приложениях – это может быть контроль топологии печатных плат, текстуры ткани, робототехника (интеллектуальные системы). В информатике – контроль доступа к информации по идентификации личности (биометрическая идентификация). Спецприменение – доступ к объектам ограниченного доступа, оперативный поиск в картотеке изображений, дактилоскопия и др. Широко используются эти методы для классификации исторических источников на бумаге, а также в физике, химии, биологии и др. областях науки.
Особую значимость задачи анализа и обработки изображений имеют
в обеспечении обороноспособности страны – повышение надежности предотвращения несанкционированного доступа к образцам военной техники и объектам военного назначения. В настоящее время эта задача решается
с помощью организационно-технических мероприятий, реализуемых специальными службами с привлечением значительного количества личного состава и материально-технических ресурсов, не обеспечивая при этом достаточного уровня надежности и оперативности. В последние годы актуальность решения проблемы возрастает в связи с осуществляемым сокращением Вооруженных сил и переходом их на контрактную систему комплектования, а также вследствие активизации деятельности террористических групп, способных, используя несанкционированный доступ к комплексам вооружения и военным объектам, нанести существенный ущерб безопасности страны, привести к гибели людей.
В настоящее время все более широкое распространение получают биометрические системы идентификации человека. Традиционные системы идентификации требуют знания пароля, наличия ключа, идентификационной карточки либо иного идентифицирующего предмета, который можно забыть или потерять. В отличие от них биометрические системы основываются на уникальных биологических характеристиках человека, которые трудно подделать и которые однозначно определяют конкретного человека. К таким характеристикам относятся отпечатки пальцев, форма ладони, узор радужной оболочки, изображение сетчатки глаза. Лицо, голос и запах каждого человека также индивидуальны.
Задача обнаружения лица (выделения сюжета) на изображении является «первым шагом», предобработкой в процессе решения задачи идентификации личности человека по изображению лица (например, узнавания лица, распознавания выражения лица). В настоящее время наиболее перспективными являются подходы с использованием искусственных нейронных сетей. Нейронные сети применяются для решения задач классификации или кластеризации многомерных данных. Основная идея, лежащая в основе нейронных сетей, – это последовательное преобразование сигнала параллельно работающими элементарными функциональными элементами.
Объектом данного исследования являются системы обработки изображений, основанные на искусственных нейронных сетях.
Предметом исследования являются алгоритмы выделения сюжетной части на групповом изображении, основанные на искусственных нейрон-
ных сетях.
Естественно, что конфигурация системы выделения сюжетной части изображения существенно определяется характером решаемых задач, однако в целом она должна удовлетворять некоторой совокупности требований, важнейшими из которых являются следующие.
1. Система должна быть ориентирована на обработку изображений для конкретной предметной области.
2. Система должна обеспечивать возможность обработки данных в реальном режиме времени.
3. Система должна обладать инвариантностью к изменениям условий съемки (освещение, цветовой баланс камеры, искажение изображения, привносимые оптикой системы, качество изображения).
Основная цель исследований – разработка методов и средств повышения эффективности выделения информативных частей группового изображения в системах видеонаблюдения и контроля доступа.
Основные задачи диссертации:
1. Анализ методов построения алгоритмов обработки изображений, основанных на использовании искусственных нейронных сетей.
2. Разработка эффективной архитектуры нейронной сети для выделения информативной части на групповых изображениях.
3. Разработка метода обучения используемой нейронной сети.
4. Реализация и исследование работоспособности и эффективности программной системы выделения сюжетной части изображения, основанной на использовании искусственной нейронной сети.
Методы исследования
В диссертационной работе при решении поставленных задач использованы методы теории искусственных нейронных сетей, математического моделирования, теории вероятностей и математической статистики.
Основные защищаемые положения:
1. Топология нейронной сети, обеспечивающая вероятность обнаружения образа лица на уровне 0,95.
2. Алгоритм обучения нейронной сети, позволяющий обеспечить эффективную работу нейронной сети при изменении углов поворота до ±15°, уровня освещения в ~ 3 раза и изменении масштаба изображения в ~ 2 раза.
3. Программная система, обеспечивающая обработку изображения с вероятностью обнаружения образа лица на уровне 0,95 при времени обработки не более 100 мс.
Достоверность результатов диссертационной работы подтверждается экспериментальными данными, полученными при использовании программно-технических систем, созданных при непосредственном участии соискателя, имеющими как научную, так и практическую ценность. Достоверность результатов, выводов и положений диссертационной работы обеспечивается:
– тщательной разработкой структуры нейронной сети и алгоритма ее обучения;
– тщательной разработкой методики и алгоритмов выделения сюжетной части на групповом изображении;
– качественным и количественным сопоставлением полученных результатов с имеющимися современными теоретическими и экспериментальными данными.
Научная новизна
1. Предложена топология нейронной сети с добавленной сверточной плоскостью и модифицированной активационной функцией нейронов, обеспечивающая выделение сюжета на произвольном фоне с вероятностью 0,95.
2. Разработан алгоритм обучения, использующий процедуру самонастройки, обеспечивающий возможность выделения сюжетной части изображения при изменении углов наблюдения до ±15°, уровня освещения
в ~ 3 раза и изменении масштаба изображения в ~ 2 раза.
3. Предложен алгоритм локализации сюжетной части изображения, основанный на двухэтапной схеме, повышающий вероятность правильного обнаружения и снижающий вероятность ложного обнаружения лиц.
Практическая значимость
Разработанная топология сверточной нейронной сети и алгоритм обучения послужили основой для создания программной системы выделе-
ния сюжетной части на групповом изображении с произвольным фоном. Разработанные в диссертации методические, алгоритмические и информационные средства предназначаются для использования в системах безопасности, видеонаблюдения и видеоконтроля и имеют практическую значимость независимо от типов ЭВМ и операционных сред.
Работа поддержана грантом РФФИ, проект № 06-08-00751.
Апробация работы
Основные научные результаты работы докладывались и обсуждались на следующих конференциях: Международная научная студенческая конференция «Студент и научно-технический прогресс», НГУ (г. Новосибирск, 2005); Всероссийская научно-техническая конференция студентов и молодых ученых «Научная сессия ТУСУР», ТУСУР (г. Томск, 2005, 2006); Всероссийская научная конференция студентов-физиков, АСФ (г. Екатеринбург, 2005, 2006, 2007); Всероссийская научно-практическая конференция «Научное творчество молодежи», Филиал КемГУ (г. Анжеро-Судженск, 2007); Всероссийская конференция «Актуальные проблемы авиации и космонавтики», СИБГАУ (г. Красноярск, 2006); Всероссийская научно-практическая конференция «Проблемы информационной безопасности государства, общества и личности», ТГУ (г. Томск, 2006); Международная научно-практическая конференция «Электронные средства и системы управления», ТУСУР (г. Томск, 2005); Всероссийская научно-практическая конференция «Информационные технологии и математическое моделирование» (г. Анжеро-Судженск, 2005).
Результаты исследований докладывались на научных семинарах кафедры автоматизированных систем управления Томского государственного университета систем управления и радиоэлектроники.
Основное содержание диссертации отражено в 14 научных работах, в том числе в трех научных статьях (1 в журнале из перечня ВАК), 11 докладах
на конференциях различного уровня).
Личный вклад
В диссертации использованы только те результаты, в которых автору принадлежит определяющая роль. Опубликованные работы написаны в соавторстве с сотрудниками научной группы. В совместных работах диссертант принимал участие в непосредственной разработке алгоритмов, в теоретических расчетах и вычислительных экспериментах, в интерпретации результатов. Постановка задачи исследований осуществлялась научным руководителем к.т.н., с.н.с. Калайдой В.Т.
Внедрение результатов
Результаты работы внедрены в Институте оптики атмосферы СО РАН, Томском государственной университете, Томском политехническом университете, Томском государственном университете систем управления и радиоэлектроники.
Структура и объем работы
Диссертация изложена на 110 страницах, содержит 42 рисунка и 7 таблиц и состоит из введения, трех глав, заключения и списка используемой литературы из 84 наименований и работ соискателя.
Основное содержание работы
Во введении дана общая характеристика диссертации, представлено состояние исследуемого вопроса, сформулированы цели и задачи диссертации, выносимые на защиту положения, обоснована их актуальность, достоверность, новизна, научная и прикладная ценность.
В первой главе проведено исследование существующих в настоящее время методов решения задачи выделения сюжетной части изображения. Анализируется эффективность различных подходов к решению поставленных задач, в том числе и для частного случая – выделения лица человека на групповых изображениях. Исходя из проведенного анализа, сформулирована постановка задачи диссертационного исследования. Обоснована целесообразность применения сверточных нейронных сетей для решения поставленной задачи.
В п. 1.1 рассмотрены методы, основанные на выделении характеристик лица: фильтры для выделения перепадов интенсивности, масочные фильтры Лапласа, курсовые градиентные маски, корреляционная маска. Показано, что их основным недостатком является то, что для различных изображений необходимо подбирать индивидуальный фильтр. Этого недостатка
в некотором роде лишены морфологические фильтры (эрозия, наращение, размыкание, замыкание). Но в этом случае необходимо выбирать последовательность применения того или иного оператора.
В п. 1.2 рассмотрены методы, основанные на построении модели лица. Данные методы основываются на закономерностях и свойствах изобра-
жения лица неявно, с применением методов математической статистики
и машинного обучения. Методы этой категории опираются на инструментарий распознавания образов. К данной группе относятся методы главных компонент и опорных векторов, линейный дискриминантный анализ, скрытые марковские модели, искусственные нейронные сети. Достоинство данных методов заключается в том, что, используя все изображение целиком вместо вычисленных на его основе характеристик, из всей процедуры построения классификатора (включая выделение устойчивых признаков для распознавания) полностью исключается участие человека, что потенциально снижает вероятность ошибки построения неправильной модели изображения лица вследствие неверных решений и заблуждений разработчика.
Особое внимание уделено подходам с использованием искусственных нейронных сетей. Нейронные сети широко применяются для решения задач классификации или кластеризации многомерных данных. Несмотря на существенные различия, отдельные типы нейронных сетей обладают несколькими общими чертами.
Первая черта – основу каждой нейронной сети составляют относительно простые, в большинстве случаев – однотипные, элементы (ячейки), имитирующие работу нейронов мозга.
Второй общей чертой, присущей нейронным сетям, является принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом различных слоев, а также в некоторых конфигурациях нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.
Нейронные сети успешно применяются для решения многих задач распознавания. Преимуществом использования нейросетей для решения задачи обнаружения лица является возможность получения классификатора, хорошо моделирующего сложную функцию распределения изображений лиц р(хface). Недостатком является необходимость в тщательной и кропотливой настройке нейронной сети для получения удовлетворительного результата классификации.
Однако настройка нейронной сети для решения определенной задачи производится в процессе обучения на наборе тренировочных примеров. Таким образом, не требуется вручную определять параметры модели (выбирать ключевые признаки, учитывать их взаимоотношение и т.п.) – нейронная сеть извлекает параметры модели автоматически наилучшим образом
в процессе обучения. Остается только построить тренировочную выборку.
Нейронные сети обладают хорошей обобщающей способностью. Это значит, что опыт, полученный в процессе обучения на конечном наборе образов, нейронная сеть может успешно применять на все множество образов. Нейронные сети не требуют ни наложения каких-либо ограничений на тренировочную выборку, ни полагаются на то, что она обладает какими-либо априорными свойствами, в отличие, например, от статистических методов. Естественным образом архитектура нейронных сетей реализуется на параллельных вычислительных средствах. Это открывает широкие перспективы применения нейронных сетей в будущем. Нейронная сеть характеризуется нечетким и распределенным хранением информации, т.е. нет отдельного нейрона, отвечающего за какое-либо понятие или признак, и удаление или искажение работы этого нейрона не приведет к фатальным последствиям.
Но несмотря на все достоинства, применение нейронных сетей к изображениям требует специальных усилий. Это связано в первую очередь
со сложным характером изображений, особенно изображений трехмерных объектов реального мира, какими и являются лица людей.
На основании анализа практического применения различных архитектур нейронных сетей в задачах выделения сюжетной части изображения сделан вывод о необходимости использования сверточных нейронных сетей (рис. 1).
Рис. 1. Архитектура сверточной нейронной сети
В основе сверточных нейронных сетей лежат следующие идеи:
– локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов);
– общие веса (обеспечивают детектирование некоторых черт в любом месте изображения и уменьшают общее число весовых коэффициентов);
– иерархическая организация с пространственными подвыборками.
Сверточная нейронная сеть обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям.
Во второй главе подробно рассмотрен процесс конструирования нейронной сети. Описывается и обосновывается структура сверточной нейронной сети для отделения сюжетной части. Описывается и обосновывается алгоритм ее обучения.
В п. 2.1 анализируются нейросетевые подходы к решению задачи выделения сюжетной части изображения. Из анализа следует, что применение классических нейросетевых архитектур (многослойный пересептрон, сети
с радиально-базисной функцией и др.) в данной задаче является неэффективным, так как они не учитывают структурных свойств изображения. На основании данного анализа делается вывод о необходимости использования в данной задаче сверточных нейронных сетей.
Сверточные нейронные сети обеспечивают частичную устойчивость
к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям. Топология нейронной сети, используемой в работе, изображена на рис. 2.
Сверточная нейронная сеть является многослойной. Используются слои двух типов: сверточные и подвыборочные. Сверточные и подвыборочные слои чередуются друг с другом. В свою очередь, каждый из этих слоев состоит из набора плоскостей, причем нейроны одной плоскости имеют одинаковые веса (так называемые общие веса), ведущие ко всем локальным участкам предыдущего слоя (как в зрительной коре человека).
Рис. 2. Схема используемой нейронной сети
Изображение предыдущего слоя сканируется небольшим окном и пропускается сквозь набор весов, а результат отображается на соответствующий нейрон текущего слоя. Таким образом, набор плоскостей представляет собой карты характеристик и каждая плоскость находит «свои» участки изображения в любом месте предыдущего слоя.
Исходя из особенностей задачи выделения сюжета, предлагается нейронная сеть, состоящая из шести слоев. Входными данными нейронной сети являются полутоновые изображения размером 3236 пикселей, которые классифицируются как лицо или «нелицо».
Так как задача, решаемая нейронной сетью, – классификация, то для ее решения достаточно одного выхода. Выходное значение нейронной сети находится в интервале [–1; 1], что соответственно означает отсутствие или присутствие лица на классифицируемом изображении.
Входной слой размером 3236 нейронов не несет какой-либо функциональной нагрузки и служит лишь для подачи входного образа в нейронную сеть. Следом за входным слоем находится сверточный слой С1. Каждый нейрон в плоскости сверточного слоя получает свои входы от некоторой области предыдущего слоя (локальное рецептивное поле).
Процесс функционирования нейрона сверточного слоя 
задается выражением
где 
– нейрон k-й плоскости сверточного слоя; bk – нейронное смещение k-й плоскости; K – размер рецептивной области нейрона; wk,s,t – элемент матрицы синаптических коэффициентов; x – выходы нейронов предыдущего слоя.
Слой С1 состоит из 5 сверточных плоскостей и выполняет свертывание входного изображения с помощью синаптической маски размером 55. Таким образом, слой С1 осуществляет 5 сверток входного изображения, размер плоскости сверточного слоя С1 – 2832 нейрона. Нейроны в слое организованы в плоскости, в пределах которых все нейроны имеют один и тот же набор синаптических коэффициентов. Каждая плоскость слоя С1 имеет собственную синаптическую маску и нейронное смещение, рецептивные области нейронов пересекаются, нейроны извлекают одни и те же особенности входного изображения, независимо от их точного местоположения. Таким образом, слой С1 имеет всего лишь 130 настраиваемых параметров (синапсов).
Следующий за слоем С1 подвыборочный слой S1 состоит из 5 карт характеристик и обеспечивает локальное усреднение и подвыборку. Этот слой также состоит из плоскостей; как правило, количество плоскостей такое же, как и в предыдущем слое. Рецепторная область каждого нейрона – 22 в соответствующей карте особенностей предыдущего слоя. Каждый нейрон вычисляет среднее его четырех входов, умножает на синаптический коэффициент, добавляет нейронное смещение и передает результат через активационную функцию. Процесс функционирования нейрона подвыборочного слоя задается следующим соотношением:
Полученный результат подвыборки передается через активационную функцию. После операции подвыборки точное местоположение и специфические признаки каждой особенности изображения становятся менее важными, что дает нейронной сети довольно большую степень инвариантности. Смежные нейроны в подвыборочном слое имеют непересекающиеся рецептивные области. Каждая плоскость слоя S1 связана лишь с одной плоскостью слоя С1. Размер каждой плоскости слоя S1 – 1416 нейронов, что вдвое меньше, чем размер плоскости предыдущего слоя. Каждая плоскость слоя S1 имеет единственный синаптический коэффициент и нейронное смещение, что дает в итоге 10 настраиваемых параметров.
Сверточный слой С2 состоит из 20 плоскостей, размер каждой 67 нейронов, слои S1 и С2 перекрестно связаны. Каждая из 5 плоскостей слоя S1 свернута 2 различными синаптическими масками 33, обеспечивая 10 плоскостей в C2, другие 10 плоскостей C2 получены суммированием результатов 2 свертываний на каждой возможной паре плоскостей слоя S1.
Таблица 1
Карта связей между слоем С2 и S1
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | |
| 1 | x | x | x | x | x | x | ||||||||||||||
| 2 | x | x | x | x | x | x | ||||||||||||||
| 3 | x | x | x | x | x | x | ||||||||||||||
| 4 | x | x | x | x | x | x | ||||||||||||||
| 5 | x | x | x | x | x | x |
Таким образом, сети добавляется способность объединять различные виды характеристик, чтобы составлять новые, менее зависящие от искажений входного изображения.
Размер плоскости слоя С2 – 1214 нейронов. Таким образом, данный слой имеет 290 синаптических коэффициентов. Слой S2 состоит из 20 плоскостей. Каждая плоскость слоя S2 имеет единственный синаптический коэффициент и нейронное смещение, что дает в итоге 40 настраиваемых параметров.
Слои N1 и N2 содержат простые нейроны. Роль этих слоев состоит
в обеспечении классификации после того, как выполнены извлечение особенностей и сокращение размерности входа. В слое N1 находится 20 нейронов (по одному на каждую плоскость слоя S2), каждый нейрон полностью связан с каждым нейроном только одной плоскости слоя S2, он выполняет взвешенное суммирование своих 42 входов, добавляет нейронное смещение и пропускает результат через активационную функцию. Таким образом, данный слой содержит 860 синаптических коэффициентов.
Единственный нейрон слоя N2 полностью связан со всеми нейронами слоя N1. Роль этого нейрона – в вычислении окончательного результата классификации. Выход нейрона используется для классификации входного образа на лица и «нелица».
В п. 2.2 предлагается алгоритм обучения и обосновывается методика ускорения сходимости обучения для используемой нейронной сети.
Процесс функционирования нейронной сети зависит от величин синаптических связей, поэтому, задавшись определенной структурой нейронной сети, отвечающей какой-либо задаче, необходимо найти оптимальные значения всех переменных коэффициентов. Для обучения предложенной нейронной сети был использован алгоритм обратного распространения ошибки (back propagation).
В основе алгоритма обратного распространения ошибки лежит методика, позволяющая быстро вычислять вектор частных производных (градиент) сложной функции многих переменных, если структура этой функции известна. В качестве такой функции в алгоритме рассматривается функция ошибки сети и учитывается тот факт, что структура функции ошибки сети полностью определяется архитектурой нейронной сети, которая считается известной.
На основании анализа способов организации алгоритма обучения (стохастическое и пакетное обучение) показано, что для обучения нейронных сетей предпочтительно использовать стохастическое обучение, так как:
– стохастическое обучение сходится обычно намного быстрее, чем пакетный метод обучения;
– стохастическое обучение часто приводит к лучшим решениям;
– затраты на одномерную оптимизацию шага не дают практической пользы, обучение по суммарному градиенту (с оптимизацией шага или без нее) всегда проигрывает стохастическому обучению.
На основании анализа практических результатов делается вывод, что в качестве активационной функции необходимо использовать гиперболический тангенс. Это обусловлено следующими причинами:
– симметричные активационные функции, типа гиперболического тангенса, обеспечивают более быструю сходимость, чем стандартная логистическая функция;
– данная функция имеет простую и непрерывную первую производную.
В задачах классификации целевые выходы типично являются бинарными (например, ± 1), т.е. целевые выходы устанавливаются по асимптотам активационной функции. Такой подход имеет несколько недостатков. Во-первых, результат обучения может быть нестабилен. Во-вторых, в случае если выходы насыщенные, сеть не дает уверенности в правильности классификации.
Решение этих проблем состоит в том, чтобы заставить целевые выходы быть в пределах диапазона активационной функции. Установка целевых значений на грани максимума второй производной активационной функции – лучший способ использовать в своих интересах нелинейность, не насыщая активационную функцию. По этой причине в качестве активационной функции используется гиперболический тангенс y = 1,7159 tanh(2x/3). Она имеет максимальную вторую производную в точках ± 1, которые соответствуют используемым нами целевым значениям.
Начальная инициализация синапсов нейронной сети имеет огромное влияние на количество итераций обучения. Синаптические коэффициенты должны быть выбраны случайно, но таким способом, чтобы активационная функция прежде всего активизировалась в своей линейной области. Для достижения данного эффекта необходимо согласование между нормализацией входных значений нейронной сети, выбором активационной функции и выбором начальных значений весовых коэффициентов. Таким образом, для выбранной активационной функции и выбранного метода нормализации входных данных в этой работе синаптические коэффициенты инициализировались следующим образом: значения весовых коэффициентов были выбраны случайным образом из нормального распределения с нулевым средним и стандартным отклонением
где m – число связей, входящих в нейрон.
Для ускорения сходимости процесса обучения в данной работе каждому синаптическому коэффициенту дана индивидуальная скорость обучения. Для автоматической подстройки скорости обучения на каждой итерации обучения использовался алгоритм подстройки скоростей.
Третья глава посвящена созданию обучающей выборки, обучению нейронной сети с использованием алгоритма самонастройки и оптимизации ресурсных требований программной системы. Также в данной главе приводятся результаты тестирования системы на реальных изображениях с камер слежения.
В п. 3.1 рассматривается процесс создания обучающей выборки и обучения нейронной сети.
Качество обучения нейронной сети напрямую зависит от количества
и качества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную предметную область.
В качестве учебного набора используется большой набор изображений, полученных из различных источников.
В процессе сбора лицевых изображений выполнялась задача: обеспечить нейронной сети эффективный набор изображений, представляющий широкий набор изображений, полученных в различных условиях съемки, тем самым давая системе информацию о реальных изображениях. В данной работе используется входное окно размером 3236 пикселей, таким образом
к входному окну добавляется некоторая вспомогательная информация: граница лица и некоторая часть фона. В процессе извлечения лиц не выполнялось какой-либо нормализации изображений, такой как выравнивание гистограммы или коррекция яркости. В итоге был создан основной набор, состоящий из 1531 изображения. Для создания большего количества примеров и увеличения степени инвариантности нейронной сети к небольшим поворотам к вышеупомянутому набору применялся ряд преобразований, включая отражение, вращение до ± 20°.
Сбор представительного набора нелицевых образов более труден, так как фактически любое изображение может принадлежать к классу нелицевых образов. Для решения данной проблемы была использована процедура самонастройки. Суть данного подхода заключается в том, что система многократно переобучается на ряде изображений, которые не содержат лиц.
Перед началом процедуры самонастройки был построен начальный нелицевой набор. Большинство из этих изображений содержит части лиц, так как в ранних экспериментах было замечено, что этот вид изображений – серьезный источник ложных обнаружений. В итоге начальная нелицевая обучающая выборка состоит из 9700 изображений.
Алгоритм обучения
Шаг 1. Начальная инициализация нейронной сети (инициализируются синапсы). Создаются начальные обучающие выборки.
Шаг 2. Происходят начальная инициализация нейронной сети и инициализация управляющих переменных. Iteration количество итераций процедуры самонастройки нейронной сети. FalseThreshold порог ложных обнаружений при сканировании изображений пейзажа.
Шаг 3. Онлайн-алгоритм обратного распространения с алгоритмом подстройки скоростей.
Шаг 4. Сканирование изображений и выявление участков, в которых отклик сети больше, чем порог FalseThreshold (таким образом выявляются участки, которые потенциально могут стать источниками ложных обнаружений). Количество выявленных участков ограничивается 6 тыс.
Шаг 5. Полученные на шаге 4 изображения добавляются к нелицевой обучающей выборке. Уменьшение порога FalseThreshold. Этими действиями к классифицирующим способностям нейронной сети предъявляются все более жесткие требования.
Процесс обучения останавливается после пяти итераций, когда замечена сходимость процесса обучения, т.е. число ложных обнаружений остается примерно постоянным.
Эффективность работы используемого алгоритма обучения иллюстрируется графиком на рис. 3. Из него следует, что количество ложных лиц перед первой итерацией алгоритма самонастройки очень велико, но уже после первой итерации алгоритма самонастройки число ложных обнаружений уменьшается, а после 2 итераций падает до 700. Таким образом, нейронная сеть учится разделять образы на два класса.
В табл. 2 приведены итоговые данные по процессу обучения и достигнутым результатам.
Таблица 2
Итоговые данные по процессу обучения
| Количество лицевых образов | 12000 |
| Итоговое количество нелицевых образов | 21300 |
| Итоговая ошибка обучения | 0,02 |
Рис. 3. Количество ложных обнаружений на различных итерациях процедуры самонастройки
В п. 3.2 описаны реализация программной системы выделения сюжетной части изображения на основе сверточной нейронной сети, а также оптимизация данной программной системы.
В настоящее время существуют два подхода к реализации искусственных нейронных сетей – аппаратная и программная. Программная реализация, уступая аппаратной по скорости работы и автономности, обладает рядом очевидных преимуществ, связанных с простотой использования и внедрения в информационно-управляющую систему.
Несмотря на то что работы по программной реализации нейронных сетей осуществляются на протяжении более чем 30 лет, найти библиотеку программ, позволяющую моделировать и обучать нейронные сети, пригодную для использования в некоторой разрабатываемой системе, очень сложно.
Исходя из этого для решения поставленной задачи была разработана библиотека классов, позволяющая реализовывать как сверточные нейронные сети, так и многослойные сети прямого распространения, а также реализующая алгоритмы обучения. В качестве языка программирования используется широко известный и легко переносимый на другие платформы язык C++.
Разработанный алгоритм локализации лица можно представить в двух этапах.
На первом этапе происходит сканирование различных масштабов входного изображения с большим постоянным шагом по ширине и по высоте для выявления так называемых участков-кандидатов, т.е. тех, в которых отклик нейронной сети больше некоторого порога; они соответствуют либо лицу, либо некоторой его окрестности. На этом этапе возможно появление ложных обнаружений.
На втором этапе происходит повторное сканирование изображений
с малым шагом по ширине и по высоте в некоторой окрестности выявленных участков и принимается решение о принадлежности их к классу лиц. Отклики нейронной сети в некоторой окрестности лица должны образовываться в нескольких последовательных масштабах. Таким образом отсеиваются ложные обнаружения.
Так как алгоритм локализации лица основывается на последовательном сканировании изображения, то именно процесс сканирования является его критическим участком. При использовании классических нейросетевых архитектур каждый последующий участок изображения рассчитывается не-
зависимо от предыдущих, что очень негативно сказывается на общем объеме вычислений (он становится неоправданно большим). При анализе архитектуры сверточных нейронных сетей установлено, что данные нейронные сети имеют большое преимущество по скорости обработки изображения, так как используются общие веса, это дает возможность при сканировании изображения использовать так называемую технику общих вычислений.
Для расчета следующего участка сверточного слоя можно использовать значения нейронов, рассчитанные на предыдущих итерациях, таким образом добиваясь сильного уменьшения объема вычислений.
Рис. 4. Принцип общих вычислений
Таким образом, при использовании техники общих вычислений, что является важной особенностью сверточных нейронных сетей, достигается экономия вычислении порядка 40 раз.
В п. 3.3 рассматривается процесс тестирования разработанной программной системы на реальных изображениях. Рассматриваются вопросы чувствительности программной системы к различным искажениям изображения.
Целью данных исследований является оценка метрологических характеристик разработанной системы идентификации изображений. Оцениваемыми характеристиками являются экспериментальные оценки вероятностей правильного определения образа лица Prr и ложного определения образа лица Pfr.
Экспериментальная оценка вероятности Prr рассчитывается по формуле
где Nrr – количество правильных результатов идентификации фотоизображений истинных лиц; N – число истинных лиц.
Экспериментальная оценка вероятности Pfr рассчитывается по формуле
где Nfr – количество ложных лиц.
Учитывая, что экспериментальная оценка вероятностей производится по конечному числу испытаний, необходимо найти точность и надежность полученных оценок. Точность характеризуется доверительным интервалом, а надежность – доверительной вероятностью. Для вычисления доверительного интервала используем формулу
где p – доверительная вероятность, которую зафиксируем на уровне 0,95;
P – вероятностная характеристика, подлежащая оценке в результате испытаний (с учетом экстремума произведения P(1 – P) полагаем P = 0,5);
– табулированная функция Лапласа; Nr – число попыток идентификации;
– доверительный интервал, удовлетворяющий условию
– оценка вероятности P, полученная в ходе испытаний; prob{…} – вероятность события {…}.
В заключении приведены сводка основных результатов работы, выводы и рекомендации.
Основные результаты диссертации опубликованы в работах:
- Макаренко А.А., Калайда В.Т. Применение нейросетевых технологий для идентификации изображения лица человека // Докл. Том. гос. ун-та систем управления и радиоэлектроники. Т. 3 (11). Томск: Изд-во Том. гос. ун-та систем управления и радиоэлектроники, 2005. С. 41–49.
- Макаренко А.А. Сверточные нейронные сети в задаче классификации изображений // Информационные системы. Вып. 4.: Тр. постоянно действующего научно-техн. семинара. Томск: Изд-во Том. гос. ун-та систем управления и радиоэлектроники, 2006. С. 39.
- Макаренко А.А., Калайда В.Т. Методика локализации изображения лица для систем видеоконтроля на основе нейронной сети // Изв. Том. политех. ун-та. 2006. Т. 309. № 8. С. 113–118.
- Макаренко А.А. Архитектуры нейронных сетей для выделения лица человека на изображении // Научн. сессия ТУСУР-2005: Матер. Всерос. научно-техн. конф. студентов, аспирантов и молодых специалистов. Ч. 1. Томск, 26–28 апреля 2005 г. Томск: Изд-во Том. гос. ун-та систем управления и радиоэлектроники, 2005. С. 262–265.
- Макаренко А.А. Классификация образов сверточной нейронной сетью // Научн. сессия ТУСУР-2006: Матер. Всерос. научно-техн. конф. студентов, аспирантов и молодых специалистов. Ч. 1. Томск, 26–28 апреля 2005 г. Томск: Изд-во Том. гос. ун-та систем управления и радиоэлектроники, 2005. С. 3.
- Макаренко А.А. Применение искусственных нейронных сетей для распознавания лица человека // Сб. тез. 11-й Всерос. научн. конф. студентов-физиков и молодых ученых (ВНКСФ-11): Тез. докл. Екатеринбург: Изд-во АСФ России, 2005.
С. 510–511. - Макаренко А.А. Классификация изображений с использованием нейронной сети // Сб. тез. 12-й Всерос. научн. конф. студентов-физиков и молодых ученых (ВНКСФ-12): Тез. докл. Екатеринбург: Изд-во АСФ России, 2006. С. 1.
- Макаренко А.А. Методика обучения нейронной сети при классификации изображений // Сб. тез. 13-й Всерос. научн. конф. студентов-физиков и молодых ученых (ВНКСФ-13): Тез. докл. Екатеринбург: Изд-во АСФ России, 2007. С. 1.
- Макаренко А.А. Архитектуры нейронных сетей для выделения лица человека на изображении // Матер. XLIII Междунар. научн. студенческой конф. «Студент и научно-технический прогресс»: Информационные технологии. Новосибирск, 2005. С. 125–126.
- Макаренко А.А., Калайда В.Т. Применение нейросетевых технологий для идентификации изображения лица человека // Электронные средства и системы управления: Докл. Междунар. научно-практ. конф. Ч. 2. Томск: Изд-во ИОА СО РАН, 2005. С. 189–192.
- Макаренко А.А. Сверточные нейронные сети в задаче классификации полутоновых изображений // Матер. IV Всерос. научно-практ. конф. «Информационные технологии и математическое моделирование» (г. Анжеро-Судженск, 18–19 ноября 2005 г.). Ч. 1. Томск: Изд-во Том. гос. ун-та, 2005. С. 53–55.
- Макаренко А.А. Локализация лица нейронной сетью // Мат. 2-й Всерос. научно-практ. конф. студентов, аспирантов и молодых ученых «Актуальные проблемы авиации и космонавтики». Красноярск, 2006. С. 2.
- Макаренко А.А. Обучение нейронных сетей для задач классификации изображений // Матер. XI Всерос. научно-практ. конф. «Научное творчество молодежи». Томск: Изд-во Том. гос. ун-та, 2005. С. 2.
- Макаренко А.А. Детектор человеческого лица на основе искусственной нейронной сети // Матер. докл. 8-й Всерос. НПК «Проблемы информационной безопасности государства, общества и личности». Томск, 2006. С. 2.
Печ. л. 1.
Тираж 100 экз. Заказ № 52.
Тираж отпечатан в типографии ИОА СО РАН.
