Обработка и анализ видеоданных в системах транспортного мониторинга
На правах рукописи
Мотыко Александр Александрович
Обработка и анализ видеоданных в системах транспортного мониторинга
05.13.01 - Системный анализ, управление и обработка информации
(в технике и технологиях)
Автореферат
диссертации на соискание ученой степени кандидата технических наук
Санкт-Петербург - 2012
Работа выполнена на кафедре электронных и телевизионных систем в Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения»
Научный руководитель: доктор технических наук, профессор
Обухова Наталия Александровна
Официальные оппоненты: доктор технических наук, профессор
Красильников Николай Николаевич
кандидат технических наук, профессор
Украинский Олег Владимирович
Ведущая организация: ОАО «НИИПТ «Растр»
Защита состоится _____ мая 2012 г. в _____ часов на заседании диссертационного совета Д 212.233.02 при Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения» по адресу: 190000, г. Санкт-Петербург, ул. Большая Морская, д. 67
С диссертацией можно ознакомиться в библиотеке университета
Автореферат разослан «____» _____________ 2012 г.
Ученый секретарь
диссертационного совета
доктор технических наук, профессор Осипов Л.А.
Общая характеристика работы
Актуальность работы
Обработка и анализ информации о транспортных потоках необходимы для осуществления эффективного управления дорожным движением и повышения безопасности его участников.
Для этой цели используют различные программные и технические средства. В последнее время активно развивают и внедряют системы транспортного мониторинга. Их функции – сбор и автоматический анализ данных о работе транспортной сети, фиксирование фактов нарушения правил дорожного движения. На основании собранной статистической информации возможно прогнозирование дорожной обстановки и планирование развития отрасли.
Современные системы транспортного мониторинга решают частные задачи в зависимости от своей технической оснащенности и реализованных алгоритмов обработки информации. Практически не существует систем, способных оценивать основные параметры транспортного потока с помощью анализа видеоданных, без применения различной специальной аппаратуры (радаров, датчиков движения, лазерных дальномеров). Использование дополнительного измерительного оборудования делает систему более сложной в эксплуатации. Установка, юстировка и настройка подобного программно-аппаратного комплекса - трудоемкие процессы, требующие квалифицированного персонала и постоянного обслуживания. Это ограничивает область применения систем, снижает их эффективность.
Современное развитие вычислительной техники позволяет разрабатывать новые алгоритмы обработки видеоинформации. Таким образом, становится возможным создание системы транспортного мониторинга, формирующей эргономичные и эффективные для автоматического анализа данные, определяющей все необходимые статистические параметры потока (в том числе скорости автомобилей), способной контролировать соблюдение правил дорожного движения, не использующей дополнительной аппаратуры, а также отличающейся простотой эксплуатации.
Цель работы
Разработка алгоритмов анализа и представления видеоданных для систем транспортного мониторинга, позволяющих повысить безопасность и эффективность управления дорожным движением.
Основные задачи диссертационной работы
- Синтезировать алгоритм автоматического формирования панорамного видеоизображения для системы транспортного мониторинга, обеспечивающего широкий угол обзора и сохранение перспективы.
- Разработать алгоритм измерения скорости транспортных средств на основе анализа видеоданных, не требующий трудоемкой юстировки и привязки экранных координат камер к местности.
- Разработать алгоритм автоматической сегментации и сопровождения транспортных средств, движущихся в поле зрения камер системы.
- Разработать алгоритм автоматической оценки основных параметров транспортного потока (средней скорости, плотности и интенсивности) на основе анализа видеоданных.
- Провести экспериментальное исследование синтезированных алгоритмов, оценить их эффективность.
Методы исследования
В работе использованы методы цифровой обработки изображений, функционального анализа, матричного исчисления, регрессионного анализа, методы компьютерного моделирования, экспериментальные исследования.
Основные положения, выносимые на защиту
- Алгоритм построения панорамных изображений, в том числе в условиях низкодетальных сюжетов, типичных для систем транспортного мониторинга.
- Алгоритм идентификации параметров трансформации с учетом оценок достоверности согласованных точек, позволяющий синтезировать панораму при малом количестве особенностей на исходных изображениях.
- Метод измерения скорости транспортных средств для многополосных магистралей на основе анализа данных видеокамеры.
- Алгоритм сегментации и сопровождения движущихся объектов на основе совокупности признаков, позволяющий производить оценку основных параметров транспортного потока.
Научная новизна
1. Предложена оценка достоверности селекции характерных точек, основанная на близости расстояний корректно согласованных пар, позволяющая синтезировать видеопанораму для низкодетальных сюжетов.
2. Разработан алгоритм синтеза панорамных изображений для низкодетальных сюжетов с учетом оценки достоверности селекции пар характерных точек и процедурой автоматической идентификации параметров уравнения трансформации по двум критериям: количеству пар согласованных точек и их средней достоверности, что способствует построению качественных реалистичных изображений.
3. Предложен метод измерения скорости движения автомобиля на основе анализа траектории и увеличения его изображения по мере приближения к видеокамере, не требующий трудоемкой юстировки и привязки экранных координат камеры к местности.
4. Разработан алгоритм автоматической коррекции измерений скорости транспортных средств, основанный на анализе зависимостей коэффициентов увеличения проекции опорного и сопровождаемого автомобиля от экранной координаты. Предложенный алгоритм обеспечивает возможность измерения скорости при изменении параметров камеры вследствие ветровой и вибрационной нагрузки.
5. Разработан алгоритм анализа видеоданных, позволяющий на основе признаков движения и формы идентифицировать основные параметры автомобильного потока: среднюю скорость, плотность и интенсивность, а также осуществлять фиксацию нарушений скоростного режима.
Практическая значимость
1. Разработанный алгоритм автоматического построения панорамного изображения позволяет в многокамерных системах наблюдения обеспечить представление видеоданных с широким углом обзора. Панорамное видеоизображение делает формируемую системами наблюдения видеоинформацию эргономичной и эффективной для автоматического анализа и обработки.
2. Предложенные алгоритмы обработки видеоинформации и измерения скорости автомобилей с помощью анализа видеоданных позволяют построить на их базе систему транспортного мониторинга, которая:
- не требует дополнительной аппаратуры (радаров, датчиков, лазерных дальномеров), следовательно, проще в установке и эксплуатации, имеет широкую область применения;
- не требует сложной юстировки, то есть отличается простотой настройки и ввода в эксплуатацию.
- обеспечивает однозначное соответствие между проведенным измерением скорости и изображением транспортного средства.
3. Разработанные алгоритмы автоматической сегментации и сопровождения объектов и измерения скорости позволяют расширить функциональные возможности уже существующих систем наблюдения за транспортом. Система, использовавшаяся только для видеонаблюдения, сможет осуществлять контроль скоростного режима, фиксацию нарушений, а также формировать данные для автоматической оценки параметров автомобильного потока.
Реализация результатов работы
Основные результаты использованы в научно-исследовательских работах ОАО «НИИПТ «Растр», в научно-исследовательских работах кафедры, а также в учебном процессе кафедры электронных и телевизионных систем Санкт-Петербургского государственного университета аэрокосмического приборостроения. Внедрение результатов работы подтверждено соответствующими актами. Программное обеспечение, реализующее ряд предложенных алгоритмов, зарегистрировано в отраслевом фонде алгоритмов и программ.
Апробация работы
Основные результаты диссертационной работы докладывались и обсуждались на научных конференциях:
- Научные сессии Государственного университета аэрокосмического приборостроения (ГУАП), Санкт-Петербург (2009, 2010, 2011 гг.);
- 7-я и 8-я Международные конференции «Телевидение: передача и обработка изображений», Государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, (2009, 2011 гг.);
- Научная конференция Государственного университета телекоммуникаций (ГУТ), Санкт-Петербург, 2011, 2012 г.
Публикации
Содержание и основные результаты диссертации изложены в 15 научных работах, которые включают 2 статьи, опубликованные в журналах, входящих в список рецензируемых научных журналов ВАК РФ. 7 работ опубликованы в трудах научно-технических конференций, в том числе международных. Получено 5 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ. Материалы диссертации вошли в монографию: Обработка изображений в прикладных телевизионных системах // О.С. Астратов, А.С. Афанасенко, Л.Д. Вилесов, С.А. Кузьмин, А.А. Мотыко, Н.А. Обухова, В.М. Смирнов, Б.С. Тимофеев, В.Н. Филатов. Под ред. проф. Б.С. Тимофеева. – СПб, ГУАП, 2012, с. 272.
Структура и объем диссертации
Диссертация состоит из введения, четырех разделов, заключения и списка литературы. Работа содержит 140 страниц основного текста, 20 таблиц и 98 рисунков. Список литературы включает 92 источника.
Содержание работы
Во введении обоснована актуальность работы, сформулированы цель и задачи исследования. Приведены научные положения, выносимые на защиту, определена научная новизна и практическая значимость диссертационной работы, представлены сведения о реализации и апробации результатов работы.
Первый раздел посвящен обзору и анализу современных систем транспортного мониторинга, принципам формирования панорамных изображений и методам измерения скорости автомобилей, в том числе с помощью анализа видеоданных. Приведена классификация систем наблюдения за дорожным движением по их функциональным возможностям. В результате анализа сделаны выводы:
- Многокамерные системы представляют видеоданные в мультиплексированном режиме. Следовательно, информация имеет фрагментарный характер, что неудобно для восприятия человеком, а также затрудняет реализацию и снижает эффективность работы алгоритмов обработки изображений.
- В силу недостаточной алгоритмической оснащенности, существующие системы мониторинга не способны идентифицировать необходимую совокупность параметров транспортного потока только на основании анализа видеоданных без использования вспомогательных измерительных устройств – радаров, датчиков движения, лазерных дальномеров. Это делает системы сложными в эксплуатации, ограничивает область их применения, снижает эффективность работы. В системах транспортного мониторинга наиболее эффективно применять видеоизмеритель скорости: он использует данные от камер наблюдения и не нуждается в дополнительной аппаратуре.
- Современные видеоизмерители скорости требуют трудоемкой юстировки и привязки экранных координат камер к местности. Для них характерна низкая точность результатов, связанная с погрешностью вследствие пространственной и временной дискретности измерений.
Для достижения цели исследования необходимо разработать алгоритм автоматического построения видеопанорамы и алгоритм анализа изображений, способный оценивать основные параметры транспортного потока, в том числе определять скорости движения автомобилей.
При реализации алгоритма синтеза панорамы в условиях транспортного мониторинга необходимо: исключить на совмещаемых изображениях движущиеся объекты, сохранить единую перспективу для всех фрагментов, выделить характерные точки при низкой детальности и мелком масштабе особенностей в исходных данных. На фрагментах панорамы с изначально небольшим числом характерных точек традиционно используемая пороговая фильтрация сопоставленных особенностей приводит к малому числу согласованных пар, недостаточному для корректной идентификации параметров уравнений трансформации. Следовательно, требуется разработка алгоритма синтеза панорамы, учитывающего максимальное число найденных согласованных пар точек и без пороговой фильтрации.
Для системы транспортного мониторинга требуется разработать алгоритм анализа видеоинформации, не использующий дополнительной аппаратуры при измерении скорости автомобилей. Это обеспечит жесткую связь между измеренной скоростью и транспортным средством и снизит эксплуатационную сложность системы. Точность измерения скорости должна быть конкурентоспособной современным аппаратным аналогам. Необходимо исключить трудоемкую юстировку и привязку экранных координат камер к местности с помощью различных маркеров.
Во втором разделе приведен алгоритм построения панорамного изображения для системы транспортного мониторинга и описаны результаты его экспериментального исследования. Первым шагом алгоритма является получение для каждой камеры изображения статичного фона. Предложено использовать накопление кадров, при котором для яркости каждого пикселя создаваемого изображения фона определяют среднее значение 
и среднеквадратическое отклонение 
. Фон считается сформированным, если для каждого пикселя выполняется:
,
где 
- яркость пикселя с координатами 
в исходных данных, 
, 
- среднее значение и среднеквадратическое отклонение яркости пикселя фона с координатами 
.
Рисунок 1- Исходный кадр и синтезированный неподвижный фон.
Для видеоданных систем транспортного мониторинга свойственно расположение особенностей в дальней зоне. Прототипы характерных точек находятся на значительном расстоянии от камеры, поэтому их изображение имеет мелкий масштаб. Дополнительно, вследствие большого расстояния от камеры до высокодетальных объектов, множество характерных точек сгруппированы в небольшом локальном фрагменте изображения. Это затрудняет сопоставление особенностей. Близкорасположенные точки конкурируют друг с другом, снижая точность совмещения. Для повышения качества выделения характерных точек предложено ввести фильтрацию по следующему принципу. В областях изображения с высоким уровнем детальности определяют точки, которые имеют максимальное значение яркостной производной в локальном фрагменте: каждая особенность изображения будет описываться не близкорасположенной группой, а одной, наиболее характерной точкой, что исключит конкуренцию близких точек между собой при сопоставлении. Найденные на совмещаемых фрагментах точки представлены на рис. 2.
Рисунок 2- Пара фрагментов и найденные на них характерные точки в зоне перекрытия.
После выделения характерных точек на двух соседних изображениях фона, выполняют селекцию пар. Производят корреляционное сопоставление блоков с центрами в найденных характерных точках. В результате, каждой точке из множества первого изображения 
сопоставляют точку из второго изображения 
и формируют множество пар 
. Предложено определять достоверность селекции для каждой найденной пары точек. Из 
выделяют набор корректных сопоставлений 
с высокой средней мерой поддержки (
), которую определяют следующим образом. Если 
и 
корректно согласованные пары, то расстояние между
и 
близко к расстоянию между 
и 
: пара 
подтверждает, что 
согласована верно. Для селекции корректных согласований сопоставляют каждой паре
поддержку 
:
,
где
,
,
,
,
, 
координаты i-ой точки из множества 
, 
– координаты j-ой точки из множества 
, 
– координаты i-ой точки из множества 
, 
– координаты 
j-ой точки из множества 
, 
- количество согласованных пар.
Значение 
для каждой пары изменяется в диапазоне от нуля (нет поддержки) до единицы (максимальная поддержка). Чтобы исключить ложные согласования при переходе к следующей итерации, вычисляют среднее значение 
и используют его как порог. Характерные точки, у которых уровень 
ниже порога, исключают из обработки. Процесс повторяют, пока среднее значение 
не приблизится к установленному значению.
На втором этапе – для каждого элемента
, который не принадлежит к 
определяют меру поддержки парами из множества 
.
В результате для каждой пары 
определена мера поддержки 
, которая соответствует достоверности селекции и будет учтена с соответствующим весом в алгоритме оценки параметров. На рисунке 3 представлены совмещаемые изображения, с найденными соответствующими точками (отмечены маркерами).
Рисунок 3 - Согласованные пары характерных точек.
При синтезе панорамы, для обеспечения единой перспективы используют модель преобразования, которая учитывает все возможные в данном случае искажения растров (масштаб, поворот, смещение, перспективные искажения) и имеет вид:
,
где 
- однородные координаты точки опорного изображения, 
- однородные координаты соответствующей точки в трансформируемом изображении, 
- параметры уравнения, которые необходимо определить. На основании 
пар согласованных характерных точек ({(xip, yip), (xiq, yiq)},i=1..N,N>5) 
, параметры уравнения трансформации определяют посредством сингулярного разложения матрицы 
:
,
как значения девятого столбца сингулярных векторов матрицы 
.
Идентификацию параметров уравнения трансформации проводят по итерационному алгоритму, разработанному на базе традиционного для синтеза панорам метода RANSAC. Принимают оценку, которая имеет лучшие показатели по критериям количества удовлетворительных точек и средней достоверности удовлетворительных точек, рассчитанной с помощью предложенной методики. По найденным параметрам уравнения выполняют трансформацию изображений и синтез видеопанорамы (рис. 4).
Рисунок 4 - Панорама, синтезированная из фрагментов, представленных на рис. 3.
Экспериментальные исследования показали, что создаваемая панорама сохраняет перспективу опорного фрагмента изображения. В отличие от аналогов (известные современные программные пакеты - Hugin, Canon Photostitch), которые воспроизводят некоторую усредненную перспективу для каждых соседних изображений, а при росте числа фрагментов не сохраняют единую перспективу вообще.
Метод обеспечивает построение панорамы при рассогласовании исходных изображений по масштабу и углу поворота. При одновременном влиянии факторов, если изменение масштаба не превышает 3%, угол поворота 2-х градусов. При изолированном влиянии факторов – к изменению масштаба до 4%, угла поворота до 4-х градусов.
Алгоритм демонстрирует лучшие результаты, по сравнению с аналогами, при синтезе панорам на основе видеоряда, характерного для дорожного наблюдения. Максимальная ошибка (наиболее важная для зрительного восприятия) ниже в среднем на 25%, средняя ошибка на 15%. На сюжетах с большим количеством характерных точек алгоритм обеспечивает формирование панорамы с ошибкой совмещения, соответствующей современным аналогам. Максимальная ошибка не превышает 2,4 пикселя, средняя ошибка – не более 1 пикселя.
В третьем разделе предложен алгоритм измерения скорости транспортных средств с помощью анализа видеоданных и представлены результаты соответствующего экспериментального исследования.
Рассмотрены три системы координат: мировая {
,
,
}, система координат камеры с центром в точке фокуса {X,Y,Z} и двумерная экранная {x,y} (рис. 5).
Рисунок 5 - Системы координат: мировая, камеры, экранная.
В трехмерных системах координат скорость автомобиля представляет трехкомпонентный вектор:
, или 
Следовательно, если известны трехмерные координаты объекта в двух точках и время, за которое он переместился из одной точки в другую, то скорость равна:
Изображение объекта, полученное камерой с фокусным расстоянием объектива 
, позволяет с помощью экранных координат {x,y}, определить только две координаты объекта в системе координат камеры:
.
Для идентификации координат объекта по экранным координатам его проекции необходимо помимо данных о текущих экранных {x,y} обладать данными об объектной координате Z. Идея предложенного алгоритма состоит в косвенном способе измерения Z с помощью анализа видеоряда без осуществления привязки камеры к местности с помощью датчиков или линий разметки. Для вычисления скорости транспортного средства v необходимо определить дистанцию от камеры до автомобиля в момент начала сопровождения 
и получить данные об относительном увеличении размера изображения автомобиля 
за время 
.
Если автомобиль, имеющий горизонтальный размер 
, приближается к камере, то на расстоянии до камеры 
горизонтальный размер его проекции на матрице ПЗС - 
, на расстоянии 
- 
. На рис. 6 приведена проекция на плоскость 
. Тогда:
Рисунок 6 - Графическое пояснение измерения размера и дистанции 
.
где 
- коэффициент увеличения размера проекции автомобиля, 
- преодоленное автомобилем со скоростью 
расстояние за некоторое время 
: 
. Следовательно:
.
При размещении камеры над магистралью автомобили, движущиеся по соседним полосам, имеют различные траектории с характерными для каждой полосы горизонтальными и вертикальными составляющими скорости в плоскости растра. Для учета многополосного движения рассчитывают горизонтальные 
и вертикальные 
составляющие скорости перемещения изображений автомобилей. Таким образом, определяют:
; 
;
где 
- «цена» пикселя изображения в метрах, 
- смещения экранных координат проекции объекта за время сопровождения 
.
Параметр 
находят следующим образом. В ходе эксперимента оценивают изменения размера проекции автомобиля, двигающегося с известной скоростью 
, в каждом кадре видеопоследовательности 
раз, где 
- частота кадров. По экспериментальным точкам строят усредненную функциональную зависимость 
(рис. 7), и получают оценку 
при фиксированном 
(или наоборот).
Рисунок 7 - Зависимости 
при различных скоростях: 1 – 60 км/ч (опорная кривая); 2– 80 км/ч.
Так как 
, следует:
.
Определив 
, для сопровождаемого транспортного средства вычисление полной скорости проводят по следующей формуле:
.
Данная формула учитывает угловое положение камеры к автомобилю. Следовательно, при многополосном движении скорость измеряют с равной точностью для полосы, над которой расположена камера и для соседних.
Предложенный алгоритм не нуждается в трудоемкой калибровке камеры и привязке ее экранных координат к мировым. Для начала работы достаточно получить экспериментально опорную кривую увеличения размера и изменения экранной координаты y проекции автомобиля при известной скорости движения.
В идентификации скорости участвуют не только координаты и временные метки автомобиля в двух точках замеров, а вся совокупность данных (изменение координат и размера во времени), собранная при сопровождении объекта, что позволяет снизить влияние погрешностей измерения.
Для оценки характеристик измерителя скорости использован набор видеофрагментов дорожного наблюдения, полученных в различных условиях и местах съемки. Методика исследования: для всех автомашин, попавших в поле зрения видеокамеры, в ручном режиме были измерены скорости. В плоскости растра проводили две линии, расстояние между воображаемыми эквивалентами которых в мировой системе координат известно. Зная параметр частоты кадров видеопоследовательности, отмечали, за сколько кадров изображение автомобиля преодолевало установленную в растре дистанцию и, соответственно, определяли скорость. Затем аналогичные измерения выполнили автоматически с помощью созданного измерителя. Видеофрагменты подобраны таким образом, чтобы интенсивность дорожного движения была примерно одинаковой для всех полос наблюдаемой магистрали, а также, чтобы присутствовали различные типы транспортных средств. Дополнительно, в каждом видеофрагменте присутствовали автомобили, которые двигались с известной скоростью. Получены результаты: среднее значение ошибки: 1.5 км/час, абсолютное значение максимальной ошибки: 3 км/час.
На основании проведенного исследования можно сделать вывод, что точность разработанного алгоритма измерения скорости достаточна и позволяет реализовать на его базе измеритель для системы транспортного мониторинга.
Результаты исследований по полосам движения подтверждают возможность измерения скорости предложенным методом на многополосной магистрали.
В четвертом разделе предложен алгоритм обработки и анализа видеоданных, предназначенный для оценки статистических параметров транспортного потока.
Алгоритм позволяет осуществить:
- оценку скоростей транспортных средств для контроля установленного скоростного режима и расчета базовых параметров потока.
- получение данных о количестве автомобилей, прошедших за известное время через зону наблюдения камер телевизионной системы, требуемое (вместе с измерением их скоростей) для вычисления средней плотности, интенсивности и скорости потока:
, 
, 
,
где 
- интенсивность потока, 
- количество транспортных средств, прошедших по наблюдаемому участку за время 
, 
- плотность потока, 
- средняя скорость потока, 
- скорости отдельных автомобилей.
- классификацию автомобилей по типам (легковые и грузовые), позволяющую определить качественный состав потока.
- построение траекторий транспортных средств, необходимое для анализа загруженности отдельных полос магистрали, фиксации фактов нарушения правил дорожного движения.
Основа алгоритма обработки – сегментация объектов по признакам движения и формы, а также корреляционно-экстремальное сопровождение. Особенность разработанного алгоритма – полностью автоматическое выделение и сопровождение объектов
Количество автомобилей, зафиксированных системой, определяют с помощью процедуры сегментации. Классификацию транспортных средств по типам проводят на основании анализа площадей выделенных проекций. В ходе сопровождения в кадрах видеопоследовательности осуществляют построение траекторий и определение увеличения размеров изображений автомобилей (необходимо для измерения скорости).
Традиционно сопровождение объектов в кадрах видеопоследовательности проводят с помощью корреляционно-экстремального алгоритма, при этом целеуказание осуществляют вручную, или имеют эталонное изображение. В разработанном алгоритме сопровождение реализуют посредством бинарной маски объекта, которую автоматически формируют при сегментации, что делает алгоритм устойчивым к частичному перекрытию проекций разных автомобилей. О каждом объекте имеется информация о его размере, координатах, входящих в него блоках движения и бинарной маске в предыдущих кадрах. Таким образом, даже в случае частичного перекрытия (до 40% площади изображения), сопровождение успешно продолжают, основываясь на имеющихся данных.
Сегментацию начинают с выделения динамического слоя (рис. 8), объединяя по логическому «И» бинаризованные препараты абсолютной межкадровой разности и контуров изображения. Для бинаризации используют процедуру Оцу, которая обеспечивает наименьшую ошибку при неярко выраженных локальных максимумах яркостной гистограммы. Порог 
, разделяющий два класса пикселей (фона и динамического слоя), устанавливают в результате максимизации межклассовой дисперсии 
:
,
где 
, 
- средние арифметические, 
,
- вероятности двух классов.
Рисунок 8 - Слой движения в кадре.
Для повышения качества сегментации предложено разбивать на блоки изображение динамического слоя: 1) блоки движения объектов имеют историю, то есть временную связанность, в отличие от шумовых, возникающих и пропадающих случайно; 2) размер изображения объекта интереса много больше одного блока, блоки движения объектов образуют пространственно связанные группы. Согласно исследованию, фильтрация с учетом признаков связанности позволяет снизить количество шумовых блоков в 3,1 раза (рис. 9).
Рисунок 9 - Блоки движения. а) до фильтрации б) после фильтрации.
Блоки движения объединяют в группы по пространственному положению. Автоматическое нахождение массива блоков соответствующего размера означает выделение нового объекта.
При сопровождении объектов, сразу после выделения, формируют эталон – маску сопровождения (бинарное изображение автомобиля). В текущем кадре выполняют поиск точки 
, минимума меры сходства 
.
,
где 
- яркости пикселей бинарного изображения объекта, 
- яркости пикселей эталона, 
размер эталона в пикселях.
Положение объекта в кадре предсказывают по координатам и смещению в предшествующем. В качестве нового эталона используют бинарное изображение автомобиля в текущем кадре.
Определение изменения размеров изображений объектов проводят с помощью масштабируемой маски. Для только что выделенного автомобиля она представляет его бинарное изображение. Алгоритм состоит из шагов:
- Представление текущей масштабируемой маски объекта в нескольких масштабах с заданным шагом (рис. 10). Пиксели изображений инициализируют:
где 
- коэффициент масштабирования, 
,
- однородные координаты пикселя увеличенной маски и исходной масштабируемой соответственно.
Рисунок 10 - Разномасштабный набор на основе текущей маски (100%).
- Корреляционное сравнение бинарного изображения автомобиля и набора масок. Поиск лучшего соответствия,
которого считают увеличением объекта в кадре. - Модификация масштабируемой маски для улучшения соответствия текущему изображению автомобиля. Постепенно исключают пиксели, полученные при масштабировании, которых нет в реальном изображении.
Маска может содержать часть изображения объекта, что не мешает оценить зависимость увеличения размера от времени.
В результате экспериментального исследования с помощью набора видеофрагментов дорожного наблюдения получены следующие оценки:
- Ошибка сегментации для грузовых автомобилей в среднем не превышает 15% площади изображения объекта. Для легковых - 4,5%.
- При сопровождении, средняя ошибка определения координат не превышает 2 пикселя, при разрешении растра 640х480.
В заключении приведены основные результаты, полученные в диссертационной работе:
1. Разработан алгоритм автоматического синтеза видеопанорамы для системы транспортного мониторинга, обеспечивающий построение панорамного изображения в условиях низкодетальных сюжетов с мелким масштабом особенностей и ограниченным числом характерных точек. На типичных для систем транспортного мониторинга сюжетах алгоритм обеспечивает максимальную ошибку совмещения на 25% ниже, среднюю ошибку на 15% ниже по сравнению с аналогами (программные пакеты: Hugin, Canon Photostitch). На высокодетальных сюжетах алгоритм формирует панораму с ошибкой совмещения, соответствующей современным аналогам: средняя ошибка – не более 1 пикселя.
Алгоритм обеспечивает построение панорамы при рассогласовании исходных изображений по масштабу и углу поворота. При одновременном влиянии факторов, если изменение масштаба не превышает 3%, угол поворота 2-х градусов. При изолированном влиянии факторов – к изменению масштаба до 4%, угла поворота до 4-х градусов.
Формируемое единое изображение сохраняет перспективу опорного фрагмента, что позволяет оператору наблюдать реалистичную картину, делает видеоданные эргономичными, обеспечивает возможность автоматического анализа.
Эффективную работу алгоритма построения панорамы в условиях, характерных для системы мониторинга транспортных потоков, обеспечивают:
- Предложенная фильтрация на основе определения максимумов яркостной производной в локальном фрагменте изображения при выделении характерных точек, позволяющая учесть мелкий масштаб и близкое расположение особенностей.
- Разработанная процедура определения достоверности селекции пар на основе анализа расстояний между найденными согласованными характерными точками, позволяющая при построении панорамы использовать все найденные согласованные пары, что повышает точность совмещения.
2. Разработан алгоритм измерения скорости транспортных средств на основании анализа видеоданных, не требующий трудоемкой юстировки и привязки экранных координат камер к местности.
Основой алгоритма являются данные о траектории и об относительном увеличении проекции транспортного средства.
Точность оценки скорости (максимальная ошибка не более 3 км/ч, среднее значение ошибки - 1.5 км/час, согласно проведенным экспериментальным исследованиям) обеспечивает использование накопления данных по времени и пространству, путем учета изменения размера всей площади изображения автомобиля на интервале сопровождения. Предложенный алгоритм обеспечивает одинаковую точность оценки скорости транспортных средств, идущих по разным полосам при наблюдении их одной камерой, что позволяет использовать его для контроля скоростного режима многополосных магистралей. При этом алгоритм измерения скорости на основании анализа видеоданных позволяет обеспечить однозначную связь между результатом измерения и изображением транспортного средства, которое фиксируется в качестве нарушителя.
Дополнительно к оценке скорости в результате обработки и анализа видеоинформации автоматически оценивают основные параметры дорожного движения в зоне наблюдения камер системы: среднюю плотность, скорость и интенсивность автомобильного потока.
Опубликованные работы по теме диссертации:
- Мотыко А.А. Метод формирования панорамного изображения в телевизионной системе транспортного мониторинга, // Известия высших учебных заведений России. Радиоэлектроника, №2, 2011 г., сс 74-84.
- Мотыко А.А., Тимофеев Б.С. Измерение скоростей автомобилей путем анализа видео последовательности // Информационно-управляющие системы, №1, 2012 г., сс. 2-7.
- Мотыко А.А. Обработка изображений в прикладных телевизионных системах: монография / О.С. Астратов, А.С. Афанасенко, Л.Д. Вилесов, С.А. Кузьмин, А.А. Мотыко, Н.А. Обухова, В.М. Смирнов, Б.С. Тимофеев, В.Н. Филатов. Под ред. проф. Б.С. Тимофеева. – СПб, ГУАП, 2012, с. 272.
- Мотыко А.А. Формирование панорамного представления видеоизображений, получаемых от нескольких камер.// Сборник докладов 7-й международной конференции «Телевидение: передача и обработка изображений»,29-30 июня 2009г, СПб, ЛЭТИ, сс.180-185.
- Мотыко А.А. Алгоритм поиска характерных точек на изображениях при создании панорам.// Сборник докладов Научной сессии ГУАП, ч. 2, технические науки, 12-16 апреля, 2010 г., СПб, сс. 47-50.
- Мотыко А.А., Тимофеев Б.С. Измерение скорости транспортных средств на основе анализа видеопоследовательности.// Сборник докладов Научной сессии ГУАП, ч. 2, технические науки, 12-16 апреля, 2010 г., СПб, сс. 67-70.
- Мотыко А.А., Обухова Н.А. Синтез панорамных изображений с учетом оценки достоверности характерных точек // Материалы шестьдесят третьей научно-технической конференции, 21-25 февраля 2011г., СПб, ГУТ, сс 254-256.
- Мотыко А.А., Обухова Н.А. Особенности построения панорамных изображений в условиях сюжетов с низкой детальностью.// Сборник докладов Научной сессии ГУАП, ч. 2, технические науки, 11-15 апреля, 2011 г., СПб, сс. 42-44.
- Мотыко А.А., Обухова Н.А. Метод формирования панорамных изображений в телевизионных системах транспортного мониторинга. // Сборник докладов 8-й международной конференции «Телевидение: передача и обработка изображений», 30 - 31 мая 2011г, СПб, ЛЭТИ, сс. 156-159.
- Мотыко А.А., Тимофеев Б.С. Измерение параметров транспортных потоков телевизионными средствами // Сборник докладов 8-й международной конференции «Телевидение: передача и обработка изображений»,30-31 мая 2011г,СПб, ЛЭТИ, сс. 164-167.
- Мотыко А.А. Реализация процедуры выделения контуров изображений для алгоритма сегментации движущихся транспортных средств с использованием SSE инструкций процессоров, свид-во об отраслевой регистрации разработки № 17761 / А.А. Мотыко; СПб ГУАП.- М.: ВНИТЦ, 2011, № 50201250048
- Мотыко А.А. Реализация процедуры получения препарата абсолютной межкадровой разности для алгоритма сегментации движущихся транспортных средств с использованием SSE команд процессоров, свид-во об отраслевой регистрации разработки № 17762 / А.А. Мотыко; СПб ГУАП.- М.: ВНИТЦ, 2011, № 50201250049
- Мотыко А.А. Алгоритм корреляционно-экстремального сопровождения транспортных средств в кадрах видеопоследовательности, оптимизированный для современных процессоров производителей Intel и Amd, свид-во об отраслевой регистрации разработки № 17763 / А.А. Мотыко; СПб ГУАП.- М.: ВНИТЦ, 2011, № 50201250050
- Мотыко А.А. Алгоритм определения коэффициента увеличения размера проекции транспортного средства в плоскости растра, по мере приближения транспортного средства к видеокамере, свид-во об отраслевой регистрации разработки № 17764 / А.А. Мотыко; СПб ГУАП.- М.: ВНИТЦ, 2011, № 50201250051
- Мотыко А.А. Алгоритм автоматической сегментации транспортных средств для комплексной телевизионной системы транспортного мониторинга, свид-во об отраслевой регистрации разработки № 17765 / А.А. Мотыко; СПб ГУАП.- М.: ВНИТЦ, 2011, № 50201250052
