Отображение и определение параметров пр о тяженных объектов при телевизионном наблюдении
На правах рукописи
Афанасенко Арсений Сергеевич
ОТОБРАЖЕНИЕ И ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ
ПРОТЯЖЕННЫХ ОБЪЕКТОВ ПРИ ТЕЛЕВИЗИОННОМ НАБЛЮДЕНИИ
Специальность 05.13.01
«Системный анализ, управление и обработка информации
(в технике и технологиях)»
Автореферат
диссертации на соискание ученой степени
кандидата технических наук
Санкт-Петербург
2009
Работа выполнена на кафедре электронных и телевизионных систем Государственного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения» (ГУАП)
Научный руководитель:
доктор технических наук, профессор Тимофеев Борис Семенович
Официальные оппоненты:
доктор технических наук, профессор Сергеев Михаил Борисович
кандидат технических наук, доцент Фисенко Татьяна Юрьевна
Ведущая организация:
Федеральное государственное унитарное предприятие научно-исследовательский институт промышленного телевидения «Растр»
Защита состоится «____» ____________ 2009 г. в ___ час. ___ мин. на заседании диссертационного совета Д 212.233.02 при Государственном образовательном учреждении высшего профессионального образования “Санкт-Петербургский государственный университет аэрокосмического приборостроения” по адресу: 190000, г. Санкт-Петербург, ул. Большая Морская, д. 67.
С диссертацией можно ознакомиться в библиотеке ГУАП
Автореферат разослан «____» ____________ 2009 г.
Ученый секретарь диссертационного совета
д. т. н., профессор Л. А. Осипов
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. На современном этапе развития средств автоматического контроля и управления является актуальной проблема повышения эффективности технических систем сбора и обработки информации. Потребность в таких системах чрезвычайно высока в различных сферах человеческой деятельности, включая промышленность, транспорт, науку, сервис, системы безопасности. Особое экономическое значение имеют так называемые интеллектуальные технические системы, способные полностью заменить человека в ряде случаев или существенно облегчить его труд при обработке больших объемов информации.
Телевизионные системы, как один из классов систем сбора и обработки информации, обладают рядом особенностей. Среди них – объективность и высокая информативность, широкие возможности обработки сигналов с целью извлечения данных об объектах наблюдения. При этом возникают значительные объемы передаваемых данных и повышенные требования к производительности программного и аппаратного обеспечения. Использование телевизионного наблюдения позволяет существенно повысить эффективность интеллектуальных систем.
Задачи извлечения информации из телевизионных сигналов на сегодняшний день решаются, как правило, методами компьютерной обработки. В зависимости от свойств объектов наблюдения и условий применения телевизионных систем алгоритмы и методы обработки существенно отличаются. Настоящая работа посвящена решению задач, связанных с обработкой видеоданных от протяженных объектов. Протяженными считаются такие объекты, геометрические размеры которых сопоставимы с размерами поля зрения применяемых телевизионных камер или существенно превосходят его. При такой формулировке возможны две ситуации:
- изображение объекта в определенные моменты времени полностью умещается в телевизионном растре;
- размеры объекта превосходят поле зрения телевизионной системы, в результате в течение наблюдения в кадр попадают различные части объекта.
В обоих случаях при выделении объекта из фона и определении его параметров возникают специфические трудности, связанные с подобием фрагментов объекта и фона. Во втором случае для целостного отображения объекта необходимо извлекать информацию из последовательности телевизионных кадров. Одним из способов отображения объекта в данном случае является формирование панорамной проекции, которая позволяет:
- расширить поле зрения телевизионной системы без применения дополнительных технических средств (например, поворотных устройств, параболических зеркал, дополнительных камер);
- создать комфортные условия наблюдения для оператора телевизионной системы;
- сохранить изображение протяженного объекта в компактном виде с возможностью его передачи по каналам связи с низкой пропускной способностью;
- провести измерение параметров и характеристик объекта (в том числе габаритов и формы).
Примерами использования интеллектуальных систем, требующих отображения и определения параметров протяженных объектов, являются:
- дистанционный осмотр подвижного состава железных дорог;
- съемка местности с низколетящего летательного аппарата;
- зрение роботов.
Цель работы состоит в разработке и анализе алгоритмов обработки телевизионного сигнала, позволяющих определить параметры протяженного объекта и осуществить его целостное отображение при сложных условиях наблюдения.
Задачи исследования. Достижение поставленной в работе цели требует решения следующих основных задач:
- выработать и обосновать меры адаптации существующих алгоритмов выделения объектов из фона с учетом особенностей наблюдения за протяженными объектами;
- разработать методику синтеза панорамной проекции протяженного объекта при его движении относительно камеры наблюдения;
- исследовать алгоритм оценки скорости протяженного объекта по телевизионному изображению;
- разработать алгоритмы определения параметров протяженных объектов на конкретных примерах;
- выполнить моделирование предложенных алгоритмов и экспериментально оценить их эффективность;
- подтвердить полученные результаты в натурных испытаниях.
Методы исследования. Проведенные исследования базируются на основных положениях теории дискретных сигналов, теории информации, системного анализа. В работе использованы методы цифровой обработки сигналов, методы математической статистики, машинное моделирование.
Научная новизна:
- Предложен алгоритм выделения протяженных объектов с использованием метода главных компонент, отличающийся тем, что он позволяет определить конфигурацию объекта на сложном нестационарном фоне.
- Разработан и исследован метод построения панорамной проекции протяженных объектов, отличительными особенностями которого являются использование одной телевизионной камеры при линейном перемещении объекта относительно нее, возможность коррекции геометрических искажений, увеличение разрешающей способности телевизионной системы.
- Предложен алгоритм опознавания стыков между вагонами грузового железнодорожного состава, инвариантный к типу вагона и не требующий специальных мер по улучшению заметности стыка на изображении.
- Разработан алгоритм оценки скорости протяженного объекта по изображению, устойчивый к наличию аномальной погрешности измерения.
Практическая ценность работы заключается в том, что на основе предложенных алгоритмов разработан ряд систем дистанционного осмотра грузового подвижного состава железных дорог, предоставляющих оператору дополнительную, по сравнению с существующими аналогами, информацию:
- статические изображения вагонов с повышенным разрешением и скорректированными геометрическими искажениями;
- параметры движения состава при въезде на станцию (скорость, направление, факты остановок);
- порядковые номера вагонов и общее число вагонов в составе.
Помимо железнодорожного мониторинга, разработанные алгоритмы могут быть использованы в других областях, где требуется обработка изображений протяженных объектов.
Основные положения, выносимые на защиту:
- Алгоритм определения границ протяженного объекта на сложном нестационарном фоне с использованием метода главных компонент.
- Способ отображения протяженного объекта с помощью панорамной проекции на примере железнодорожного состава.
- Получение устойчивой оценки скорости протяженного объекта на основе кластерного анализа векторов смещения.
- Результаты экспериментальных (в том числе натурных) исследований предложенных алгоритмов.
Внедрение результатов работы. Основные результаты работы использованы в разработках ПК НПК «Автоматизация», а также в учебном процессе кафедры электронных и телевизионных систем Санкт-Петербургского государственного университета аэрокосмического приборостроения. Внедрение результатов работы подтверждено соответствующими актами.
Апробация результатов работы. Основные положения и результаты диссертации докладывались и обсуждались на следующих научных конференциях:
- научные сессии ГУАП (г. Санкт-Петербург, 2005, 2006, 2007, 2008);
- 4-я, 5-я и 6-я Международные конференции «Телевидение: передача и обработка изображений» ГЭТУ (г. Санкт-Петербург, 2005, 2007, 2008);
- XIII Международная научно-техническая конференция студентов и аспирантов МЭИ (г. Москва, 2007);
- 4-я Международная научно-техническая конференция «Цифровые и информационные технологии в электронной медиаиндустрии» ГУКиТ – (г. Санкт-Петербург, 2006);
- Программное обеспечение, реализующее ряд предложенных алгоритмов, зарегистрировано в отраслевом фонде алгоритмов и программ (Тимофеев Б. С., Обухова Н. А., Афанасенко А. С., Калабеков О. А., сертификат № 9285 от 05.10.2007).
Публикации. По теме диссертации опубликовано 11 печатных работ, в том числе одна – в издании, рекомендованном ВАК РФ.
Структура работы. Диссертационная работа состоит из введения, четырех разделов, заключения, списка использованных источников, включающего 87 наименований, и четырех приложений. Основное содержание работы изложено на 154 страницах и включает 70 рисунков и 3 таблицы.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы диссертации, сформулирована цель и основные задачи диссертационной работы, а также основные положения, выносимые на защиту.
В первом разделе рассмотрены общие принципы построения интеллектуальных телевизионных систем и особенности наблюдения за объектами большой протяженности.
Обработка телевизионных изображений в интеллектуальных системах наблюдения включает ряд этапов, среди которых:
- выделение объекта из фона;
- опознавание объекта по совокупности признаков;
- определение параметров объекта;
- улучшение качества изображений, предъявляемых оператору или используемых в дальнейшей обработке.
Степень сложности обработки изображений во многом определяется свойствами объектов и условиями наблюдения. В случае, когда большая часть телевизионного изображения представляет собой неподвижный фон с аддитивным белым шумом, а объект наблюдения занимает небольшую часть кадра и отличается от фона по яркости, для его выделения и сопровождения достаточно использовать упрощенные статистические модели.
Например, яркость пикселя, принадлежащего фону с медленно изменяющимися параметрами, с достаточной точностью описывается авторегрессионной моделью первого порядка
,
где x, y – координаты пикселя, a – коэффициент модели, n – реализация нормального случайного процесса. Для выделения объекта необходимо оценить параметры модели и по значению ошибки предсказания осуществить проверку статистической гипотезы о принадлежности пикселя фону в текущем кадре.
При наличии в составе фона динамических фрагментов (движущиеся облака, волнение на водной поверхности, качающиеся деревья) для адекватного описания изображения требуются многомерные статистические модели, построение которых связано с существенными вычислительными затратами.
В случае наблюдения за протяженными объектами обработка телевизионного сигнала осложняется рядом причин. Фрагменты фона могут быть закрыты различными частями объекта в течение длительного времени. Объект может занимать значительную часть поля зрения камеры, что приводит к резким сменам освещенности в сцене при его перемещении, в частности из-за скачкообразной работы автоматики камер. Отличительной особенностью объекта является его движение, однако фрагменты фона при наблюдении в реальных условиях также могут быть подвижными, а камера – подвержена тряске. Для осмотра протяженных объектов с небольшого расстояния часто используются короткофокусные (2,3 – 2,7 мм) объективы, которые вносят существенные геометрические искажения в телевизионное изображение.
Для целостного отображения объекта наблюдения, который превосходит по своим размерам поле зрения телевизионной камеры, целесообразно сформировать его панорамное (мозаичное) изображение. Несмотря на большое число работ в этой области за последнее десятилетие, проблема автоматического объединения нескольких изображений, на которых объект присутствует в различных ракурсах, активно изучается.
Перечисленные трудности, возникающие при наблюдении за протяженными объектами в сложных условиях, не позволяют решить существующими методами основные задачи, стоящие перед интеллектуальными телевизионными системами при наблюдении протяженных объектов.
Во втором разделе проведена разработка и исследование алгоритма выделения протяженных объектов из фона. Специфика данной задачи выражается в следующих предположениях относительно объекта и фона:
- объект находится в зоне наблюдения значительное время, на протяжении которого может как перемещаться, так и оставаться неподвижным;
- перемещение различных частей объекта на изображении согласовано, но может происходить с различными скоростями, например, из-за различного расстояния от элементов объекта до датчика изображения;
- поскольку наблюдение ведется в реальных условиях, в том числе ночью, алгоритм выделения должен успешно работать при отсутствии информации о цвете, то есть по черно-белому изображению.
Выделение объекта включает два этапа: классификацию пикселей изображения по принадлежности фону или объектам, а также селекцию объектов по характерным признакам (размеры, форма, направление движения, время нахождения в зоне наблюдения), позволяющую выделять только те специфические объекты, для контроля которых предназначена интеллектуальная система. Например, в системе дистанционного осмотра грузового подвижного состава железных дорог объектом интереса выступает состав, движущийся по определенному пути в определенном направлении, тогда как другие объекты (люди, животные, а также поезда, идущие по соседним путям) являются помехами.
В основе предложенного алгоритма выделения лежит идея сравнения поступающего сигнала со статистической моделью фона, сформированной тем или иным способом. Важными свойствами такого подхода являются возможность выделять как подвижные, так и неподвижные объекты, а также отсутствие ограничений на форму и текстуру объекта. При этом сигналы от объекта и фона должны быть статистически различимыми.
Во многих известных алгоритмах при моделировании фона пренебрегают корреляцией между соседними отсчетами изображения, что существенно упрощает вычисления. Показано, что точность сегментации в этом случае резко падает, если значительная часть пикселей объекта совпадает по яркости с фоном. Для протяженных объектов такая ситуация типична. Повышение точности выделения может быть достигнуто введением в модель фона статистической связи между яркостью соседних пикселей. В этом случае фрагмент изображения фона рассматривается как N-мерный случайный вектор x с гауссовой условной плотностью вероятности
где µ - вектор средних значений, оценка которого может быть получена на основе авторегрессионного моделирования, – ковариационная матрица процесса. Величина N выбирается исходя из размеров окрестности, в пределах которой предполагается наличие корреляционных связей, и составляет не менее 64 (фрагмент 88 пикселей). Преобразование двумерного массива отсчетов в вектор осуществляется путем развертки по столбцам.
Такой способ моделирования фона малопригоден в системах реального времени из-за существенных вычислительных затрат (требуется многократное вычисление и обращение заполненной ковариационной матрицы). Эффективным способом понижения размерности модели является применение линейных преобразований. С точки зрения концентрации энергии сигнала в небольшом количестве коэффициентов обобщенного спектра оптимальным является преобразование Карунена-Лоэва, коэффициенты которого вычисляются как
,
где – собственные векторы ковариационной матрицы входного сигнала: 
.
Предложено использовать для приближенного вычисления преобразования Карунена-Лоэва рекуррентный вариант метода главных компонент, позволяющий в реальном масштабе времени вычислять базисные функции для каждого участка изображения фона и строить модель на их основе. Вычисления осуществляются с помощью однослойной линейной нейронной сети с обратной связью. Выходной сигнал сети определяется выражением
,
где w – коэффициенты прямой связи, a – коэффициенты обратной связи, M – число главных компонент. Подстройка коэффициентов выполняется по формулам
, 
,
где – норма обучения. Малая величина нормы обучения гарантирует сходимость коэффициентов w к координатам собственных векторов ковариационной матрицы входного сигнала. Совокупность базисных функций и коэффициентов разложения входного сигнала образует модель невысокой размерности (показано, что для блоков 1616 пикселей достаточно использовать 6-8 главных компонент). Базисные векторы автоматически адаптируется при медленных изменениях входного сигнала. Для адаптации коэффициентов разложения используется линейное предсказание.
Ошибка предсказания участков фона по сформированной модели представляет собой малую случайную величину, некоррелированную со входным сигналом:
Статистический анализ ошибки предсказания позволяет оценить ее дисперсию, которая мало зависит от характера изображения и определяется, в основном, отношением сигнал-шум. Выделение объекта происходит на тех участках изображения, где ошибка предсказания выходит из доверительного интервала. Показано, что на сложном фоне имеет дисперсию на порядок меньше, чем соответствующая ошибка предсказания по авторегрессионной модели, что позволяет снизить порог обнаружения объекта.
Эксперименты с изображениями реальных и синтезированных сцен, содержащими протяженные объекты, позволяют сделать вывод о том, что для таких изображений, при наличии сложного нестационарного фона, использование алгоритма на основе метода главных компонент более эффективно по сравнению с рядом существующих алгоритмов адаптивной компенсации фона. Вероятность правильной классификации пикселей изображения по принадлежности объекту и фону составила более 99% при вероятности ложной тревоги 4% и пиковом отношении сигнал-шум выше 34 дБ. Заключительным этапом выделения является селекция объектов по характерным признакам. Для протяженных объектов это могут быть площадь и направление движения.
В третьем разделе рассматривается алгоритм оценки скорости протяженного объекта по телевизионному изображению. Информация о скорости перемещения объекта в пространстве важна как для определения размеров объекта, так и для выявления нештатных ситуаций. Информация о скорости перемещения различных частей объекта на изображении необходима для построения панорамной проекции, являющейся способом отображения протяженных объектов при наблюдении небольшим числом камер.
Первичными данными для измерения скорости являются оценки межкадровых смещений на телевизионном изображении, полученные в каждом кадре. В качестве метода оценки смещений выбран широко известный метод сопоставления блоков, обладающий высокой помехоустойчивостью при низкой вычислительной сложности. В заданном диапазоне смещений объекта по горизонтали и по вертикали 
вычисляется мера расхождения двух телевизионных кадров:
,
где M и N – высота и ширина прямоугольного фрагмента кадра, в котором производится поиск вектора смещения, k, q – координаты его левого верхнего угла. Координаты минимума функции рассогласования являются оценкой межкадрового смещения.
В случае определения скорости железнодорожного состава поиск смещений производится только в горизонтальном направлении; в качестве области поиска выбирается вертикальная полоса в центре кадра, которую состав гарантированно пересекает во время своего движения.
Непосредственно использовать измеренные смещения в качестве оценки скорости невозможно (рис. 1), так как значительная часть результатов измерения подвержена аномальной погрешности.
Рис. 1. Последовательность векторов смещения: цифрами отмечены истинные (1), нулевые (2) и аномальные (3) векторы
Для приближенной оценки вероятности появления аномальных результатов Pан использован один из существующих методов робастной регрессии – метод наименьшей медианы квадратов. Данный метод является альтернативой традиционному методу наименьших квадратов, который неустойчив к аномальным выбросам. Построены зависимости Pан от ширины блока W (рис. 2, а).
С увеличением ширины блока число аномальных выбросов уменьшается, но вычислительная сложность поиска (число элементарных операций) растет пропорционально квадрату W. Для снижения числа аномальных результатов предложено использовать иерархический подход, который заключается в измерении смещений при пониженном в несколько раз разрешении с последующим уточнением на более высоких уровнях. Показано, что за счет подавления шумов на низких уровнях разрешения вероятность появления аномальных результатов снижается. Вычислительная сложность иерархического алгоритма растет пропорционально логарифму ширины блока, что является его дополнительным преимуществом.
Дальнейшее снижение вероятности появления аномальных результатов при оценке смещений возможно за счет более детального анализа функции рассогласования блоков (рис. 2, б).
Рис. 2. Зависимость вероятности появления аномальной погрешности измерения скорости от ширины блока (а) и пример функции рассогласования, при которой возникает аномальная погрешность (б)
Установлено, что во многих случаях при возникновении аномальной погрешности функция имеет локальный минимум, соответствующий истинному смещению, замаскированный ложным глобальным минимумом. Поиск и сохранение в памяти нескольких локальных минимумов позволяют восстановить значение межкадрового смещения с использованием апостериорной оценки смещения объекта. На практике достаточно запоминать 4-5 экстремальных значений. Совместное использование алгоритма иерархического поиска смещений и многоальтернативной оценки минимума функции рассогласования позволяют снизить вероятность появления аномальной погрешности с 38% до 22% при пиковом отношении сигнал-шум в телевизионном сигнале 30 дБ и выше.
Первичные вектора движения нуждаются в дополнительной обработке с целью получения оценки скорости, наиболее точно отражающей перемещение объекта в сцене. К этой оценке предъявляются следующие требования:
- сглаживание колебаний оценки, вызванных нормальной погрешностью измерения;
- устойчивость к аномальной погрешности, в том числе к пакетам аномальных ошибок;
- отслеживание резких изменений скорости объекта (разгон и торможение вплоть до полной остановки).
Применение линейной калмановской фильтрации для получения устойчивой оценки скорости затруднено необходимостью предварительной отбраковки аномальных данных (например, по методу наименьшей медианы квадратов). Кроме того, к фильтру предъявляются противоречивые требования – с одной стороны, обеспечить сглаженную оценку, с другой – реагировать на достаточно быстрое изменение скорости объекта. Эксперименты подтвердили, что фильтр Калмана при решении поставленной задачи неустойчив к пакетам аномальных ошибок.
Для повышения устойчивости рекурсивного оценивающего устройства предложен нелинейный преобразователь, функция которого заключается в блокировании процесса адаптации фильтра при больших рассогласованиях между входными данными и текущей оценкой. Выходной сигнал устройства оценки в этом случае описывается выражением
,
где W – характеристика нелинейного преобразователя с параметрами k и b, быстро убывающая с ростом аргумента. Разработана процедура расчета параметров нелинейного преобразователя на основе допустимых значений ускорения объекта и нормальной погрешности измерения смещений.
Показано, что в случае использования нелинейного фильтра алгоритм оценки скорости устойчив к одиночным и пакетным аномальным выбросам. Тем не менее, существует вероятность потери сходимости при быстром разгоне или торможении объекта.
С целью устранения недостатков, присущих линейному и нелинейному фильтрам, предложен алгоритм оценки скорости на основе кластерного анализа межкадровых смещений. Основанием для применения кластерного анализа является то, что результаты измерения смещений в последовательности кадров содержат данные из нескольких генеральных совокупностей:
- векторы, отражающие движение объекта интереса в пространстве;
- посторонние векторы, вызванные движением отдельных частей объекта или посторонних объектов, подвижных или неподвижных;
- ложные векторы, не соответствующие движению каких-либо объектов в кадре и вызванные свойствами изображения или метода измерения.
Кластеризация с использованием гауссовой смеси позволяет строить статистическую модель распределения составной выборки
,
где K – число компонентов, 
- набор параметров i-го распределения, 
- весовой коэффициент i-го компонента модели, являющийся также вероятностью появления образцов соответствующего кластера, 
- базовое распределение (нормальное). Наблюдаемый процесс не является стационарным, поэтому параметры модели обновляются в реальном масштабе времени.
Распределение значений в каждом кластере моделируется нормальным законом, причем параметры распределений в каждой группе мало влияют друг на друга. Параметры гауссовой смеси определяются по рекуррентному алгоритму, использующему критерий максимального правдоподобия для ограниченной выборки результатов измерения. При изменении структуры выборки векторов смещения кластеры могут автоматически добавляться и исключаться из модели, а их параметры непрерывно корректируются (рис. 3). Текущей оценкой скорости является центр кластера с наибольшей выборочной вероятностью.
Рис. 3. Гистограмма векторов смещения и сформированная на их основе модель распределения (кластеры пронумерованы в порядке убывания вероятности)
Предложенный алгоритм оценки скорости устойчив к пакетам аномальных ошибок: в начале пакета автоматически создается кластер, в который попадают аномальные векторы, при этом параметры основного кластера не изменяются. После завершения пакета ошибок созданный кластер удаляется (спустя промежуток времени, являющийся параметром алгоритма определения параметров модели). При быстром изменении скорости объекта происходит «перемещение» основного кластера и не происходит потери сходимости, как в случае с нелинейным преобразователем. Инерционность алгоритма определения параметров гауссовой смеси обеспечивает уменьшение дисперсии нормальной составляющей погрешности измерения смещений в 7-9 раз.
В разделе также рассмотрены способы субпиксельной оценки смещений с целью дальнейшего снижения погрешности оценки скорости. Предложено использовать увеличение временного интервала между кадрами, в которых происходит совмещение блоков, по мере уменьшения скорости объекта. При выборе интервала учитывается устойчивая оценка скорости, полученная на этапе кластерного анализа. Такой подход позволяет стабилизировать относительную погрешность измерения скорости на уровне 2,5% и ниже в широком диапазоне скоростей объекта без дополнительных вычислительных затрат. Проведено исследование методов интерполяции для повышения точности измерения смещений. При пиковом отношении сигнал-шум выше 36 дБ алгоритм четырехкратной линейной интерполяции обеспечивает среднюю абсолютную погрешность измерения межкадровых смещений не более 0,12 пикселей.
Четвертый раздел посвящен решению задач определения параметров протяженного объекта и его панорамного отображения. В качестве примера рассматривается система дистанционного осмотра грузовых железнодорожных составов. Задачами такой системы являются оценивание технического состояния вагонов, автоматическая фиксация информации о передвижении составов и выявление нештатных ситуаций. Для этого необходимо обеспечить выполнение следующих функций:
- фиксация времени прохождения локомотива и последнего вагона состава;
- определение скорости и направления движения состава;
- определение порядкового номера вагона в составе и общего числа вагонов;
- синтез цифровых изображений вагонов, формирование информационных кадров и сжатие видеоинформации для последующей архивации и составления базы данных.
Фиксация моментов прохождения локомотива и последнего вагона выполняется с использованием алгоритма выделения объекта из фона, рассмотренного во втором разделе. Анализ скорости позволяет определить направление движения, в зависимости от которого система может по-разному реагировать на появление состава (на некоторых товарных станциях необходимо контролировать только прибывающие или отбывающие составы).
Отличительной особенностью предложенной системы является использование панорамных проекций для визуального отображения вагонов на рабочем месте оператора. При построении панорамы объединяются фрагменты кадров, содержащие различные части объекта. Таким образом, сканирование большой поверхности объекта выполняется за счет его перемещения относительно неподвижной камеры. Камера, как правило, устанавливается на расстоянии около 1,5 метров от железнодорожного полотна и имеет сверхширокоугольный объектив, вносящий значительные геометрические искажения.
Для исследования предложенного в работе алгоритма формирования панорамного изображения произведен расчет геометрической модели проекции точек в пространстве на растр. Вычисления показали, что скорость перемещения различных частей объекта на изображении отличается не менее, чем в 1,25 раза, когда поверхность объекта плоская. Если поверхность объекта выпуклая, что характерно для многих типов железнодорожных вагонов, различие видимой скорости в центре и по краям растра еще более существенно.
Для корректного построения панорамы необходимо измерить карту смещений в строках телевизионного растра. Зависимость смещения от номера строки имеет сложный характер, который определяется типом вагона и направлением оптической оси объектива камеры.
Результаты измерения смещений в строках корреляционным методом могут быть подвержены аномальной погрешности. Для устойчивого определения карты смещений применен анализ двумерной функции рассогласования
где u – величина смещения в пикселях, i – номер строки, x0 – левая граница блока, W – ширина блока, I0 – опорный кадр, I1 – предшествующий кадр.
Для вычисления смещения матрица функции рассогласования разбивается на горизонтальные блоки (рис. 4). Суммирование в границах блока увеличивает помехоустойчивость алгоритма измерения карты смещений, но приводит к снижению точности определения смещений в отдельных строках. При суммировании строк матрицы рассогласования игнорируются те строки, в которых отсутствует локальный минимум (участок функции рассогласования с положительно определенной второй производной), что позволяет существенно снизить чувствительность алгоритма к аномальным смещениям.
Рис. 4. Форма вагона (а), функция рассогласования (б) и кусочно-линейная аппроксимация карты смещений (в)
Диапазон строк телевизионного изображения, в пределах которого строится карта смещений, определяется границами объекта, выделенного из фона по рассмотренному во втором разделе алгоритму. Диапазон поиска минимума при построении карты смещений ограничивается интервалом
где i – номер строки, sign – функция определения знака, V – оценка скорости объекта, полученная на основе кластерного анализа межкадровых смещений. Коэффициенты выбраны таким образом, что при различной конфигурации вагона смещения в отдельных строках не выходят за пределы заданного диапазона относительно скорости перемещения объекта.
Непрерывная карта смещений в строках телевизионного растра, используемая для построения панорамного изображения, формируется путем кусочно-линейной аппроксимации (см. рис. 4, б).
Для построения панорамы из каждой строки каждого кадра необходима выборка длиной d(n) отсчетов (размер выборки зависит от номера строки). Для минимизации пространственных искажений центр выборки должен совпадать с вертикальной беспараллаксной осью изображения. Имеется в виду семейство точек на растре, в которых отсутствует видимое горизонтальное смещение деталей объекта при удалении от камеры. Для стыковки фрагментов панорамы выполняется совмещение выборок из соседних кадров и их интерполяция в узлах равномерной сетки дискретизации панорамного изображения.
Для наблюдения на железнодорожных станциях широко используются камеры с чересстрочной разверткой, имеющие низкую цену и совместимые с широкой номенклатурой аналогового телевизионного оборудования. При наблюдении такого изображения на электронно-лучевом мониторе с чересстрочной разверткой поля воспроизводятся по очереди, а время свечения люминофора мало, поэтому смещение объекта за время одного поля не вызывает видимых искажений. При компьютерном наблюдении движущихся объектов, снятых чересстрочной камерой, на изображении появляются артефакты в виде смаза и «гребенки», что вынуждает разработчиков видеокомпьютерных систем намеренно снижать вертикальную четкость при отображении подвижных объектов, воспроизводя только одно поле, либо выполняя усреднение полей. При построении панорамного изображения описываемым методом становится возможным восстановить полную вертикальную четкость изображения. Для этого выборки из строк четного поля (или нечетного, в зависимости от очередности полей при оцифровке телевизионного сигнала) смещаются на половину кадрового смещения в направлении, обратном направлению движения объекта. Погрешность оценки межкадровых смещений является достаточно низкой для того, чтобы скомпенсировать эффект «гребенки».
Применение предложенного алгоритма построения панорамы протяженного объекта в системе дистанционного осмотра железнодорожных составов позволило:
- расширить поле зрения телевизионной системы наблюдения без применения дополнительных технических средств;
- сформировать изображение с прогрессивной разверткой, имеющее разрешение до 1,5 мегапикселей, с использованием одной чересстрочной камеры стандартной четкости;
- осуществить коррекцию горизонтальных геометрических искажений (коэффициент горизонтальных нелинейных искажений на исходном изображении составляет 110%, на панорамной проекции – менее 1%);
- выполнить эффективное сжатие информации за счет преобразования последовательности телевизионных кадров в серию неподвижных изображений высокого разрешения.
Проведен синтез алгоритма, позволяющего определить моменты прохождения стыков между вагонами по телевизионному изображению. Отличительной особенностью алгоритма является инвариантность к типу вагона и условиям съемки (нет необходимости в использовании дополнительных конструкций, например, контрастных щитов). Алгоритм использует ряд признаков, измеряемых по телевизионному изображению, а также априорные данные о минимальной и максимальной длине вагона. По экспериментальным данным (50 составов) определены характеристики предложенного алгоритма: вероятность правильного обнаружения стыка составила более 99% при вероятности ложного срабатывания 0,5%.
Разработанная система реализована программно. Быстродействие используемых алгоритмов позволяет в реальном времени обрабатывать до 4 телевизионных сигналов стандарта ITU-R BT.601 на ЭВМ с двухъядерным процессором Intel Pentium или AMD с тактовой частотой не менее 2,4 ГГц. На рис. 5 приведено телевизионное изображение железнодорожного состава и сформированная на его основе панорамная проекция одного из вагонов.
Рис. 5. Исходное (а) и панорамное (б) изображения грузового вагона
В заключении сформулированы основные результаты диссертационной работы и приведены рекомендации по перспективным направлениям дальнейших исследований.
В приложениях приведены результаты экспериментальной проверки предложенных в работе алгоритмов на разноплановых тестовых изображениях. Также приведены некоторые математические расчеты, результаты которых использованы в основной части.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ
- Проведен анализ работы существующих алгоритмов обработки изображений в интеллектуальных телевизионных системах. При наблюдении за протяженными объектами основными аспектами обработки изображений, которые неудовлетворительно решаются существующими методами, являются выделение и определение границ объекта при сложных условиях наблюдения, а также целостное отображение объекта, превосходящего по размерам поле зрения телевизионной системы.
- Предложен и исследован алгоритм моделирования фона, учитывающий пространственные и временные корреляционные связи между отсчетами телевизионного сигнала. Для компактного описания фона предложено использовать рекуррентный вариант метода главных компонент, обеспечивающий ряд преимуществ по сравнению с другими линейными преобразованиями изображения. Показано, что такой подход обеспечивает качественное преимущество по сравнению с рядом существующих алгоритмов в случае определения границ протяженных объектов на сложном нестационарном фоне.
- Разработан алгоритм построения панорамной проекции протяженного объекта, позволяющий расширить поле зрения телевизионной системы, скорректировать геометрические искажения, вносимые широкоугольной оптикой (остаточный коэффициент нелинейных искажений по горизонтали менее 1%), а также восстановить прогрессивную структуру растра при съемке чересстрочной камерой. Панорамирование происходит за счет движения объекта относительно неподвижной камеры.
- Предложен и исследован алгоритм оценки скорости протяженного объекта, основанный на кластерном анализе межкадровых смещений с использованием модели гауссовой смеси. Кластерный анализ обеспечивает устойчивость к одиночным и пакетным аномальным ошибкам. Сходимость алгоритма оценки в ряде случаев сохраняется при наличии более 50% аномальных ошибок в выборке. В отличие от алгоритма нелинейной фильтрации, также устойчивого к аномальной погрешности, кластерный алгоритм оценки скорости сохраняет сходимость при значительных по модулю ускорениях объекта, что подтверждено экспериментально.
- Проведена серия экспериментов с использованием машинного моделирования и натурных испытаний, в ходе которых подтверждена эффективность предложенных алгоритмов при определении параметров и панорамном отображении протяженных объектов. Результаты работы использованы в инновационной системе дистанционного осмотра железнодорожных составов.
ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ
- Афанасенко, А. С. Исследование признаков для определения числа вагонов в железнодорожном составе по телевизионному изображению / А. С. Афанасенко, Б. С. Тимофеев // Вестник ТГТУ. 2007. Т. 13. №4. С. 862-873.
- Афанасенко, А. С. Оценка методов формирования видеопанорамы движущихся объектов / А. С. Афанасенко, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы 4-й международной конференции. ГЭТУ. СПб. 2005. С. 89–90.
- Афанасенко, А. С. Многоканальная обработка данных в системе телевизионного наблюдения железнодорожных составов / А. С. Афанасенко, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы 5-й международной конференции. ГЭТУ. СПб. 2007. С. 39.
- Афанасенко, А. С. Обнаружение подвижных объектов на телевизионном изображении в сложной помеховой обстановке / А. С. Афанасенко, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы 6-й международной конференции. ГЭТУ. СПб. 2008. C. 41.
- Дистанционный осмотр железнодорожных составов / Б. С. Тимофеев, Н. А. Обухова, А. С. Афанасенко, М. П. Плетников. М.: ВНТИЦ, 50200702286, 2007.
- Афанасенко, А. С. Формирование видеопанорамы движущегося состава в системе видеонаблюдения на железной дороге / А. С. Афанасенко // 8-я научная сессия ГУАП: сб. докл.: в 3 ч. Ч. I. Технические науки. ГУАП. СПб. 2005. С. 154–157.
- Афанасенко, А. С. Повышение достоверности измерения движения на видеоизображении с помощью нечеткой логики / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. I. Технические науки. ГУАП. СПб. 2006. С. 124–126.
- Афанасенко, А. С. Аналитическая обработка изображения движущегося железнодорожного состава / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. II. Технические науки. ГУАП. СПб. 2007. С. 5–8.
- Афанасенко, А. С. Обработка данных при измерении скорости протяженного подвижного объекта / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. II. Технические науки. ГУАП. СПб. 2008. С. 3–6.
- Афанасенко, А. С. Высокоточное измерение движения на видеоизображениях / А. С. Афанасенко // 4-я Международная научно-техническая конференция «Цифровые и информационные технологии в электронной медиаиндустрии – 2006»: тез. докл. ГУКиТ. СПб. 2006. С. 24.
- Афанасенко А. С., Автоматическое управление платами видеоввода в системе компьютерного видеонаблюдения / А. С. Афанасенко // Радиоэлектроника, электротехника и энергетика. Тринадцатая международная научно-техническая конференция студентов и аспирантов: тез. докл. Т. 1. М.: Издательский дом МЭИ, 2007. С. 428.
________________________________________________________________
Формат бумаги 6090 1/16. Бумага офсетная. Печать ризографическая.
Тираж 100 экз. Отпечатано в ПК «Объединение Вента» с оригинал-макета
заказчика. 197198, Санкт-Петербург, Большой пр. П. С., д. 29а, тел. 718-46-36
________________________________________________________________
