Методы видеонаблюдения, сегментации и сопровождения движущихся объектов
На правах рукописи
Обухова Наталия Александровна
МЕТОДЫ ВИДЕОНАБЛЮДЕНИЯ,
СЕГМЕНТАЦИИ И СОПРОВОЖДЕНИЯ
ДВИЖУЩИХСЯ ОБЪЕКТОВ
Специальность: 05.12.04 – радиотехника, в том числе системы и
устройства телевидения
АФТОРЕФЕРАТ
диссертации на соискание ученой степени
доктора технических наук
Санкт – Петербург -2007
Работа выполнена в Санкт–Петербургском государственном университете аэрокосмического приборостроения.
Научный консультант –
доктор технических наук, профессор Тимофеев Б.С.
Официальные оппоненты:
доктор технических наук, профессор Гоголь А.А.
доктор технических наук, профессор Ерош И.Л.
доктор технических наук, профессор Лысенко Н.В.
Ведущая организации – ФГУП «НИИ телевидения», Санкт – Петербург
Защита диссертации состоится «__» ________ 2008 г. в ____час. на заседании диссертационного совета Д212.238.03 Санкт – Петербургского государственного
Электротехнического университета «ЛЭТИ» им. В. И. Ульянова (Ленина) по адресу: 197376, Санкт – Петербург, ул. Проф. Попова, 5.
С диссертацией можно ознакомиться в библиотеке университета.
Автореферат разослан «__» ________ 2008 г.
Ученый секретарь
диссертационного совета Баруздин С.А.
Общая характеристика работы
Актуальность работы
Прикладные ТВ системы имеют чрезвычайно широкое и разнообразное применение. В соответствии с характером решаемых задач следует выделить системы: видеонаблюдения, измерительные, классификации и распознавания, сегментации и сопровождения объектов, охранные системы и др. По целевому назначению рассматривают системы: космического и воздушного мониторинга, медико–биологические, криминалистические, наблюдения за высокотемпературными процессами, мониторинга газопроводов и нефтепроводов, транспортного и экологического мониторинга и т.д.
Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных и зарубежных ученых:
Катаева С. И., Зубарева Ю. Б., Селиванова А. С., Гуревича С. Б., Рыфтина Я. А., Гоголя А.А., Быкова Р. Е., Лысенко Н.В, Тимофеева Б. С., Пустынского И. Н., Цицулина А. К., Хромова Л. И., Ярославского Л. П., Василенко Г. И., Розенфельда А.А,. Горелика С. Л., Ероша И. Л., Сергеева М.Б., Фисенко В.T., Кузьмина В.П, Хорна Б. К. П., Претта У. К., Колера Д., Марагоса Г., Форести Л., Виарани Л., Хао Тау и др.
Разработкой современных прикладных ТВ систем занимаются научно – производственные коллективы: ФГУП «НИИ телевидения» под руководством А. А. Умбиталиева, ФГУП НИИ ПТ «Растр» под руководством Кузьмина В.П. и Челпанова В.И., компания «ЭВС» (Санкт – Петербург) под руководством Лебедева Н.В., филиал ФГУП ЦНИИ «Комета» под руководством Фисенко В.Т. и др.
Главными особенностями современного этапа развития прикладных ТВ систем являются:
1. Стремительное развитие аппаратной базы и вычислительной техники. Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них.
2. Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач.
Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами.
Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности. Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры. Обычно эту проблему решают путем применения широкоугольных и сверхширокоугольных объективов. Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении. Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности. Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы.
Существующие сегодня системы видеонаблюдения при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Например, при контроле железнодорожного состава его скорость определяет скорость просмотра видеоматериала. Если эта скорость достаточно высока, то нет возможности рассмотреть целостность вагонов, пломб и сверить с натурным листом бортовые номера. В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив. В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения. При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом.
Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных. Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др. Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных.
Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных. Несмотря на высокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям. Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации. Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью.
Помехоустойчивость пассивных телевизионных и тепловизионных систем сегментации и сопровождения обуславливает их высокую востребованность и широкое распространение: при управлении воздушным и водным транспортом, при проведении антитеррористических мероприятий, анализе транспортных потоков и др. Практика применения систем этого класса позволяет выделить следующие основные проблемы.
При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором. Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса.
При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном. Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию). Наиболее часто используемое решение при возникновении ситуации окклюзии – это переход на сопровождение обоих объектов «по памяти». Это увеличивает вероятность потери объектов интереса и требует идентификации объектов после их вторичной сегментации. Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса. В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объекта), при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти.
В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки; возможны существенные изменения фона и освещенности. Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса. Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки.
Сформулированные требования предполагают качественно новый анализ видеоинформации. Необходимо выработать правильные решения для плохо формализованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных.
Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствии с объективными изменениями условий функционирования.
Перечисленные особенности являются признаками информационно–интеллектуальных систем.
Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа.
Цель диссертационной работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем для существенного повышения их эффективности.
Основные задачи диссертационной работы
- Определить функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения; сформулировать основные принципы представления и обработки видеоданных в них.
- Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах.
- Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеонаблюдения.
- Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением.
- Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами.
- Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий: высокую эргономичность видеонаблюдения; сжатие данных без потери информации, позволяющее разрешить противоречие между объемом записанных данных и их качеством; передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью.
- Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем.
- Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса.
- Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации.
Методы исследования
В работе использованы методы теории распознавания образов, теории вероятности и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшей алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования.
Основные научные положения, выносимые на защиту:
- Анализ и обработка видеоданных на основе признака движения реализуют функциональные особенности интеллектуальных прикладных ТВ систем, позволяющие повысить их эффективность: для класса систем видеонаблюдения за протяженными объектами – замену исходных видеоданных синтезированным изображением, получение оперативной информации об объекте интереса и сжатие без потери полезной информации; для класса систем сегментации и сопровождения неточечных объектов – выделение изображений объектов на сложном фоне и разрешение ситуаций перекрытия изображений объектов фоном и друг другом.
- Трехкомпонентные вектора движения, найденные с учетом их априорных оценок достоверности и значимости, обеспечивают взвешенную оценку признака движения, позволяют задать уровень достоверности поля векторов движения и снизить вычислительную емкость в 10 20 раз.
- Использование межкадровой разности, найденной по пакету кадров, позволяет получить субпиксельную оценку векторов движения и повышает уровень достоверности поля векторов движения на 20% по отношению к полю, найденному методом полного перебора.
- Для систем видеонаблюдения за протяженными объектами, синтез изображения объекта интереса на основе признака движения обеспечивает угол обзора до 180 градусов, минимизацию апертурных и пространственных искажений, а также сжатие видеоданных без потери информации об объекте интереса.
- Сегментацию изображений нескольких объектов интереса на сложном фоне и при отсутствии априорной информации о них обеспечивает применение совокупности признаков, и построение решающего правила на основе математического аппарата нечеткой логики
- Описание гауссовой моделью формы объекта и учет признака движения позволяют сопровождать объекты при динамике их свойств и окружающей обстановки, а также разрешать ситуации перекрытия изображений объектов друг другом и фоном.
Научная новизна
- Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения.
- Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами.
- Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения.
- На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности.
- На основе экспериментальных данных аналитически описана функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке.
- На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке.
- Предложен метод определения трехкомпонентных векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи.
- Предложен метод субпиксельной оценки векторов движения на основе многомасштабной межкадровой разности, обеспечивающий точность до 0.07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%.
- Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра более 70%, в центре до 40%.
- Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие.
- Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных.
- Введена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса.
- Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них.
- Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения.
Практическая значимость
- Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами:
- Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов.
- Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади. В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов.
Сформированное изображение объекта интереса имеет пространственные искажения в (2025) раз ниже, чем в исходных кадрах; обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное. Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных.
Метод реализует семантическое сжатие без потери информации об объекте интереса: коэффициент сжатия от 25 до 80 раз. Это снимает противоречие между объемом записанных данных и их качеством и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени
(Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на железной дороге).
- В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при отсутствии априорной информации. Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены.
При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов; сопровождение объектов при существенной динамике их свойств и окружающей обстановки; идентификация объектов интереса при вторичной сегментации.
- Введение трехкомпонентных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве.
- Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых прикладных ТВ систем различного назначения.
Реализация результатов работы
Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем. В рамках научно-исследовательских и опытно – конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; совместно с филиалом ФГУП ЦНИИ «Комета» многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; совместно с ФГУП НИИ промышленного телевидения «Растр» видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами.
Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям: «Аудиовизуальная техника» и «Электронные системы». Они включены в разработанные автором учебно-методические комплексы по дисциплинам: «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др.
С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИТЦ 50200100503, 2001) и изданы 4 учебно – методических указания к выполнению лабораторных работ.
Апробации работы
Основные положения работы докладывались и обсуждались на:
49,50 Научно – технической конференции «НТОРЭС им. А. С. Попова» 1994,1995; 10th International Conference on Control Systems and Computer Science. Bucharest, 1995; I Научно –технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники.» СПб, 1999; III Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВТА РАН,2000; I,II,III,IV,V Международных научно – технических конференциях «Телевидение: передача и обработка изображений» СПб, 2000-2007; The International Conference «Radio – That Connects Time. 110 Anniversary of Radio Invention» St Petersburg, 2005; III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005; The Tenth IEEE International Symposium on Consumer Electronics, St Petersburg, 2006; 15 Всероссийской научно – технической конференции «Современное телевидение» Москва, 2007; Научно – технической конференции профессорско - преподавтельского состава, научных сотрудников и аспирантов СПб ГУТ,2007.
Диссертационная работа получила апробацию:
- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств», СПб ГУАП, 2006;
- научно – техническом совете ФГУП НИИ Прикладного телевидения «Растр» Великий Новгород, 2007;
- на заседании кафедры «Телевидения и видеотехники», СПб ГЭТУ «ЛЭТИ» им. В.И. Ульянова (Ленина), 2007.
Публикации
По теме диссертации опубликовано 48 научных работ, из них – 21 статья, в том числе в ведущих рецензируемых журналах и изданиях, определенных ВАК РФ; 17 работ - в материалах и трудах всероссийских и международных научных и научно – технических конференций и симпозиумов; 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ.
Структура и объем диссертации
Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений. Основная часть диссертации изложена на 297 страницах машинописного текста. Диссертация содержит 116 рисунков и 38 таблиц.
Содержание работы
Во введении обоснована актуальность рассматриваемой проблемы, сформулированы цель и задачи исследований. Даны научные положения, выносимые на защиту, определены их научная новизна и практическая значимость, приведены сведения об апробации и внедрении результатов работы.
В первой главе: выявлена основная тенденция развития современных прикладных ТВ систем; определены функциональные особенности и сформулирован перечень требований к методам анализа видеоданных в интеллектуальных системах видеонаблюдения, сегментации и сопровождения; приведен аналитический обзор методов обработки видеоданных в современных прикладных ТВ системах; показана необходимость и определены основные направления разработки методов представления и анализа видеоданных для интеллектуальных ТВ систем; постановлены задачи, подлежащие решению в данной работе.
Прогресс технических средств определяет современную тенденцию развития прикладных ТВ систем – создание автоматических или автоматизированных с минимальным участием оператора многофункциональных видеокомпьютерных комплексов, обладающих интеллектом.
К функциональным особенностям интеллектуальной системы видеонаблюдения следует отнести: адаптацию к изменениям условий наблюдения: установку режимов работы камеры на основе анализа изображения; синтез изображения объекта интереса, обеспечивающий коррекцию пространственных искажений, комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное; извлечение информации из видеоданных: определение параметров движения объекта интереса, его геометрических характеристик и др.; семантическое сжатие без потери информации, позволяющее обеспечить длительное хранение больших объемов данных и их передачу по каналам связи с низкой пропускной способностью.
Обзор современных прикладных ТВ систем показывает, что решение перечисленных задач особенно актуально при видеонаблюдении протяженных объектов – объектов, проекция которых на плоскость кадра существенно превышает размер последнего.
Системы видеонаблюдения за протяженными объектами следует разделить на две группы.
Первая группа – системы, ведущие наблюдения за объектами с собственным движением. Наиболее показательный пример, видеонаблюдение на железной дороге. В этом случае объектом интереса является железнодорожный состав или железнодорожный вагон. Минимальный размер вагона 12 метров в длину и 5 метров в высоту. По тактическим соображениям видеокамеры бокового обзора должны быть установлены в промежутках между путями с тем, чтобы не допустить перекрытие сектора обзора встречным составом. Расстояние от камеры до объекта 1,5-2 метра.
Вторая группа – обзорные и мониторинговые системы ландшафтов местности или морского дна, водяных акваторий, нефтяных разливов, нефтепроводов и газопроводов. В этом случае объект не имеет собственного движения, но наблюдается перемещающейся камерой. Примерами являются система экологического мониторинга нефтяных разливов или система контроля целостности трубопроводов. Контроль объекта интереса ведут с помощью видеокамеры на борту летательного аппарата.
Для повышения эффективности систем видеонаблюдения за протяженными объектами целесообразно заменить исходное изображение объекта интереса синтезированным, в котором должны быть устранены пространственные искажения и обеспечены комфортные условия анализа видеоданных оператором, сохранена информация только об объекте интереса (обеспечено семантическое сжатие)
Синтез изображения протяженного объекта интереса предполагает его сегментацию от фона и других объектов. Протяженные объекты, как правило, имеют неоднородную яркость, и одновременно являются слабо текстурировнными. Это не позволяет использовать в полной мере яркостный и текстурный признаки. Присутствие в кадре только части объекта затрудняет использование признака формы. Наиболее информативным свойством протяженного объекта является движение. Таким образом, для систем видеонаблюдения за протяженными объектами актуальной является разработка принципов и методов синтеза изображения протяженного объекта на основе признака движения.
Функциональными особенностями интеллектуальной системы сегментации и сопровождения объектов интереса являются: на этапе сегментации – выделение изображений объектов на сложном фоне с максимальным подобием их реальному изображению; на этапе сопровождения – разрешение ситуаций окклюзии (перекрытия изображений объектов интереса фоном или друг другом), слияния и разделения на несколько одного объекта интереса; устойчивое сопровождение объектов при существенной динамики их свойств и окружающей обстановки; идентификация объекта интереса при вторичной сегментации. Все перечисленные задачи должны быть решены в автоматическом режиме.
В рамках диссертационной работы рассматривались объекты интереса размером от 
элементов (пикселей) и обладающие жестким движением. Внесенные ограничения не снижают общность задачи: перечисленным характеристикам соответствуют наземные и водные транспортные средства, летательные аппараты.
Проведенный анализ обработки видеоданных в системах сегментации и сопровождения позволяет сделать следующие выводы
Применение методов обработки на основе одного признака сегментации яркости, текстуры, формы, контура или движения не позволяет одновременно реализовать все перечисленные функциональные особенности интеллектуальной ТВ системы в полной мере при указанных свойствах объектах интереса и сложных условиях наблюдения.
Учет только одного признака не обеспечивает устойчивую сегментацию и сопровождение при существенной динамике свойств объекта интереса. При длительном сопровождении меняются свойства объекта (объект останавливается, маневрирует и меняет ракурс, частично заходит в тень и т.д.) и, соответственно, признак, по которому ранее успешно выполнялась сегментации теряет эффективность.
Для реализации перечисленных требований необходим принципиально новый подход: следует использовать не один признак, а совокупность признаков, отвечающих свойствам объекта интереса в разные моменты времени. Таким образом, для систем сегментации и сопровождения необходимо разработать принципы и методы сегментации по совокупности признаков.
Ключевой особенностью объектов интереса как при видеонаблюдении, так и при сегментации и сопровождении является движение. Достоверная и точная оценка признака движения является основой для решения сформулированных выше задач. Это требует разработки методов оценки признака движения, обеспечивающих его эффективное применение в прикладных ТВ системах.
Во второй главе: сформулирован критерий оценки эффективности методов определения векторов движения в прикладных ТВ системах; проведен анализ эффективности существующих методов определения векторов движения согласно предложенному критерию; на основе экспериментальных данных найдена функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от оценки уровня детальности изображения в блоке; на основе экспериментальных данных найдена функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от модифицированной оценки уровня абсолютной межкадровой разности; разработан метод определения векторов движения с учетом априорных оценок их достоверности и значимости; обоснована необходимость субпиксельной оценки векторов движения; разработаны и исследованы методы субпиксельной оценки векторов движения на основе несимметрии целевой функции в области точки минимума и на основе многомасштабной межкадровой разности.
Главным признаком, положенным в основу разрабатываемых методов видеонаблюдения, сегментации и сопровождения, является движение. Его наиболее информативная оценка – вектора движения.
Основой определения векторов движения является уравнение оптического потока:
, (1)
где 
– яркостный вектор-градиент по пространственным координатам; 
– производная яркости по времени; V = (
) – вектор движения.
Анализ уравнения оптического потока (1) показывает:
1. Уравнение является плохо обусловленным.
2. Однозначное определение вектора движения возможно только в случае, если компоненты яркостного вектора - градиента 
отличны от нуля (имеют место изменения яркости по горизонтали и вертикали). В случае однородной, нетекстурированной поверхности или текстуры только в одном направлении достоверную оценку векторов найти нельзя.
3. Уравнение (1) получено из предположения о постоянной яркости точки (пикселя) при ее движении. Подсветка, тени, блики, прозрачные и зеркальные поверхности нарушают это утверждение и приводят к ошибкам при определении векторов движения.
Вектора движения, методы и алгоритмы их определения были разработаны для стандартов видеокомпрессии MPEG 1,2,4 для обработки изображений студийного качества, где соблюдаются требования текстурированности и постоянства яркости.
При работе в сложных условиях наблюдения с определенным в рамках решаемой задачи классом объектов требования существования пространственных яркостных производных и постоянства яркости при движении точки (пикселя) вдоль траектории нарушаются. Изображение объектов интереса имеет низкую текстурированность. При видеонаблюдении на открытом воздухе высока вероятность изменения уровня освещенности, появления солнечных бликов, теней и др. Не соблюдение обоих требований порождает появление аномальных векторов – векторов, не отражающих реальное движение в кадре.
Тяжесть последствий от аномальных векторов движения в прикладных ТВ системах значительна: рассегментация объектов интереса, снижение точности моделей движения, потеря объекта при сопровождении и др. Это определяет критерий оценки эффективности методов и алгоритмов определения векторов движения в прикладных ТВ системах – уровень достоверности:
,
где 
– общее число найденных векторов, 
– число аномальных векторов в общем числе найденных
Проведенные исследования показали, что даже при использовании корреляционных методов (наиболее робастных по данным литературы) c алгоритмом полного перебора для поиска лучшего соответствия уровень достоверности 
. Этот уровень недостаточен для эффективного применения векторов движения в прикладных ТВ системах. Необходима разработка новых методов определения векторов движения, учитывающих особенности объектов интереса, и свойства видеоданных, получаемых в сложных условиях наблюдения.
В методе совмещения блоков задачу определения векторов движения решают путем минимизации целевой функции, характеризующей степень соответствия (совпадения) двух блоков, на множестве различных положений обрабатываемого блока в области поиска. Результаты решения этой задачи определены видом целевой функции, которая зависит от уровня детальности изображения в блоке (таблица 1).
Под уровнем детальности изображения в блоке будем понимать:
, (2)
| Таблица 1 | ||||
| D(k,l) Dm(k,l) | Описание блока | Рельеф (ось X –смещение блока по горизонтали ; ось Y –смещение блока по вертикали; ось Z – значение целевой функции) | Линии равного уровня (ось X – смещение блока по горизонтали ; ось Y – смещение блока по вертикали) | Характер функции |
| 1546 7 | Блок изображения объекта «самолет» тестовая последовательность «Самолеты» |  |  | Унимодальная целевая функция с ярко выраженным минимумом |
| 137 1 | Блок фона «море» тестовая последовательность «Корабль - катер» |  |  | Унимодальная целевая функция с существенно плоским участком в области минимума («овраг») |
| 181 1 | Блок фона «небо» тестовая последовательность «Самолеты» |  |  | Существенно мультимодальная целевая функция с плохо выраженным глобальным минимумом |
где 
– яркость пикселя в препарате, полученном из исходного изображения 
в результате операции подчеркивания высокочастотной составляющей (пространственного дифференцирования, многомасштабного морфологического дифференцирования и др.); 
– координаты левого верхнего угла блока изображения; k,l – номер блока по горизонтали и вертикали; N,M – число пикселей блока по горизонтали и вертикали.
На основе проведенных экспериментальных исследований и регрессионного анализа найдена функция достоверности, позволяющая определить априорную вероятность корректного нахождения вектора движения 
по модифицированной оценке уровня детальности в блоке 
:
, (3)
где 
0,1 – параметр модели, численное значение которого определено на основе экспериментальных данных методом нелинейного программирования.
Модифицированная оценка уровня детальности в блоке 
:
,
где 
– минимальный уровень детальности в блоке, обусловленный шумами
,
где 
– число блоков в изображении.
Определение векторов движения для всех блоков кадра или области поиска является избыточным: если в блоке кадра 
нет значимых изменений относительно кадра 
, то с большой вероятностью вектор движения равен нулю. Искать векторы движения целесообразно только в тех блоках, где произошли какие-либо изменения.
На основе экспериментальных исследований и регрессионного анализа найдена функция значимости, позволяющая определить априорную вероятность существования значимого (ненулевого) вектора движения 
на основе модифицированной оценки абсолютной межкадровой разности в блоке 
:
, (4)
где 
4 – параметр модели, численное значение которого найдено на основе экспериментальных данных методом нелинейного программирования (рис.1).
Модифицированная оценка уровня абсолютной межкадровой разности:
,
собственно уровень абсолютной межкадровой разности
где 
– яркости пикселя в текущем 
и предыдущем 
кадрах; 
– оценка абсолютной межкадровой разности блока, обусловленная присутствием шумов:
На основе найденных функций предложен метод определения векторов движения с учетом их априорных оценок достоверности и значимости.
На множестве всех блоков изображения 
сформировано два нечетких множества. Первое 
– множество блоков с «высокой детальностью». В качестве функции принадлежности к этому блоку использована функция достоверности (3) 
. Второе нечеткое множество
– блоки « с высоким уровнем абсолютной межкадровой разности» с функцией значимости (4) в качестве функции принадлежности 
. Интересующая совокупность блоков - пересечение этих двух множеств – нечеткое множество 
.
Пересечение нечетких множеств выполняют в соответствии с t - нормой: «вероятностное пересечение» – норма задана перемножением функций принадлежности 
.
Вектора движения ищут для блоков, принадлежащих 
-сечению нечеткого множества 
. В результате поиска им присваивают трехкомпонентный вектор движения 
, где значения 
– это вероятность верного определения вектора движения, определяемая функцией достоверности (3). Блокам, принадлежащим 
-сечению только одного нечеткого множества 
(это блоки с высоким уровнем детальности, но низкой абсолютной межкадровой разностью) без выполнения процедуры поиска присваивают нулевые векторы движения.
В типичных для прикладных ТВ систем сюжетах при установленном уровне достоверности вектора движения 0,95 для дальнейшего анализа оставляют в среднем 20% блоков изображения; собственно процедуру поиска вектора движения выполняют в среднем для 5%-10% блоков изображения (рис. 2). Найденная для каждого вектора вероятность верного определения (оценка достоверности) 
представляет самостоятельную ценность: ее учет на дальнейших этапах обработки позволяет реализовать взвешенную оценку признака движения.
Таким образом, предложенный метод позволяет находить трехкомпонентные вектора движения с заданным уровнем достоверности, одновременно, снижая вычислительные затраты по определению поля векторов движения в 10 – 20 раз.
Необходимость обработки изображений объектов, обладающих медленным движением (видимая скорость движения в плоскости кадра менее 1 пикселя), движением со скоростью, не кратной целому числу пикселей, а также различение объектов с близкими скоростями движения требует субпиксельной оценки векторов движения.
Для субпиксельной оценки векторов движения предложено два метода: интерполяционный метод и метод, основанный на многомасштабной межкадровой разности.
Интерполяционный метод использует несимметрию в области точки оптимума целевой функции, минимизируемой в процессе нахождения векторов движения.
Метод, основанный на многомасштабной межкадровой разности, предполагает использование для определения векторов движения N кадров. Вектор движения находят в (N-1) паре кадров: k-ая пара включает в себя кадр t и кадр t-k, k=1..N. Результатом является (N-1) оценка вектора движения 
. Для обеспечения соизмеримости полученных оценок выполняют пересчет:
; 
,
где 
– k-ый приведенный вектор пакета, (
, 
) – вектор, найденный методом совмещения блоков по кадрам t и t-k, d – расстояние между кадрами t и t-k.
Предложено два варианта получения субпиксельной оценки 
на основе логической фильтрации полученного пакета векторов. Минимально отличный от других вектор пакета:
;
;
;
или медиана пакета:
при условии 
;
при условии 
.
Экспериментальное исследование предложенных методов выполнено по двум критериям: уровень достоверности и точность. При оценке уровня достоверности аномальным считают вектор, отличный от корректного на заданную величину 
. Учитывая субпиксельный характер оценки вектора движения, 
. Точность – величина СКО в полученной выборке верных векторов движения.
Согласно полученным данным установлено, наиболее эффективным методом является метод на основе многомасштабной межкадровой разности с минимально отличным вектором в качестве субпиксельной оценки. Его точность 0,07 пикселя. Уровень достоверности 
0,8. Полученный уровень достоверности поля векторов движения на 20% выше по отношению к полю, найденному методом полного перебора.
Предложенные методы оценки векторов движения в значительной степени устраняют противоречие между жесткими требованиями основного уравнения оптического потока (1) и особенностями видеоматериала, полученного в сложных условиях наблюдения. Обеспеченный уровень достоверности и точность определения поля векторов движения снимают ограничения на их применение в прикладных ТВ системах.
Третья глава посвящена методам обработки видеоданных, обеспечивающим реализацию функциональных особенностей интеллектуальных систем видеонаблюдения за протяженными объектами; проведен анализ и показана низкая эффективность цифровых методов коррекции пространственных искажений, вносимых использованием сверхширокоугольных объективов; предложен метод синтеза панорамного изображения протяженного объекта интереса; выявлены особенности определения векторов движения для оценивания видимой скорости протяженных объектов; предложен алгоритм определения видимой скорости движения протяженного объекта на основе анализа видеоданных.
При видеонаблюдении протяженных объектов в силу целевого назначения прикладной ТВ системы используют широкоугольные объективы. Их применение обуславливает появление пространственных искажений, приводящих к существенному нарушению геометрического подобия в сформированных изображениях (геометрические искажения). Внесенные искажения составляют: нелинейность кубическая до 120%, искажения типа «бочка/подушка» до 30% (рис.3). В этом случае цифровая коррекция пространственных искажений является малоэффективной. Изображения, полученные в результате цифровой коррекции, имеют значительные остаточные искажения и существенную потерю разрешения. Потери разрешения на краях растра превышают 70%, в центре 40%.
Реализация функциональных особенностей интеллектуальной системы видеонаблюдения требует принципиально нового метода обработки видеоданных. Метод должен носить комплексный характер - одновременно обеспечивать решение целого ряда задач: коррекцию пространственных искажений; восстановление построчного растра из чересстрочного; возможность просмотра видеоданных с произвольной скоростью; семантическое сжатие; извлечение дополнительной информации об объекте интереса.
Учитывая ключевую особенность объекта интереса – движение, предложено синтезировать его панорамное изображение. Панораму составляют из фрагментов, вырезанных в центральной части кадра. Ширина фрагмента определена скоростью движения объекта. Принцип синтеза панорамного изображения позволяет одновременно решить все перечисленные выше задачи.
Изображение в центральной части кадра имеет наилучшее качество: высокую четкость, минимальные искажения по горизонтали и вертикали. Использование фрагментов, вырезанных в центре кадра, обеспечивает формирование панорамного изображения, у которого искажения в направлении движения объекта соответствуют величине искажений вырезанного фрагмента, а искажения в перпендикулярном направлении могут быть скорректированы до низкого остаточного уровня.
Четкость изображения по площади синтезированного кадра выше, чем у исходного: в центральной части разрешающая способность короткофокусного объектива больше, чем на краях.
При синтезе панорамного изображения постоянно определяют скорость движения протяженного объекта. Эта информация позволяет корректно выполнить операцию совмещения четных и нечетных полей при использовании камер с чересстрочной разверткой. Сформированная панорама имеет разрешение по вертикали равное разрешению полного кадра без эффекта «ступенек».
Предложенный принцип формирования изображения обеспечивает высокий коэффициент сжатия без потери информации об объекте интереса. Коэффициент сжатия
,
где W – ширина кадра (или высота H в случае движения объекта интереса по вертикали), 
– ширина вырезаемого фрагмента по направлению движения.
При практической реализации небольшой размер фрагментов кадров необходимых для построения панорамы позволяет разместить их в буферной памяти ОЗУ и регулировать скорость анимации синтезированного изображения на экране. Это обеспечивает возможность установки удобной для анализа скорости просмотра материала в режиме реального времени.
Найденные оценки скорости при построении панорамы позволяют извлечь дополнительную информацию об объекте: зафиксировать моменты начала и завершения движения, оценить форму объекта на основе пространственного среза скоростей и др.
Главной задачей при формировании панорамного изображения является определение видимой скорости движения объекта или камеры на основе анализа видеоданных. Для получения оценки видимой скорости использованы вектора движения. В этом случае их определение имеет следующие особенности:
- наличие ярко выраженной функциональной зависимости видимой скорости движения различных частей объекта от расстояния между ними и камерой - пространственный срез скоростей;
- зависимость точности оценки скорости от местоположения блока на изображении, обусловленная значимыми пространственными искажениями;
- существенное число аномальных векторов вследствие низкой детальности исходного изображения.
Даны следующие рекомендации по местоположению и размерам блоков при определении векторов движения.
- Блоки изображения, в которых ищут вектора движения, располагают в центре растра: при движении в горизонтальном направлении – вертикальной полосой, при движении по вертикали – горизонтальной полосой.
- Максимальный размер блока в направлении, совпадающем с направлением движения, определяют в соответствии с уровнем пространственных искажений в кадре и допустимой ошибкой при оценке максимальной скорости.
- Размер блока в направлении, перпендикулярном к направлению движения определен размером зон
пространственного среза скоростей.
Величина зон 
обусловлена конкурирующими показателями: качеством построения панорамы 
и точностью оценки векторов движения
. Уменьшение размера зоны 
повышает точность формируемого среза скоростей и улучшает качество панорамы. Размер блока 
определяет интервал усреднения при определении векторов движения, его уменьшение снижает точность найденной оценки. Дополнительно, для получения равноточных оценок вектора движения размер всех зон должен быть одинаков.
Показатель 
может быть переведен в ограничения: размер зоны L должен обеспечивать потенциальную точность не ниже заданного уровня 
.
,
где K – число зон в пространственном срезе скоростей.
Нахождение L является задачей поиска минимума функции с ограничениями в виде равенств.
Для снижения числа аномальных векторов предложено проводить временную фильтрацию на основе усреднения по мажоритарному принципу. Согласно экспериментальным данным, в результате временной фильтрации число аномальных векторов падает в 2 раза, обеспечиваемый уровень достоверности 
составляет 0,8.
Для повышения уровня достоверности и дополнительного сглаживания поступающей информации введена регрессионная предсказывающая полиномиальная модель
, (5)
где j – номер зоны пространственного среза скоростей j=0..N; 
– оценка вектора движения U для j –го блока; 
– параметры (коэффициенты) регрессионной модели; k(x) – базисные функции k = 0..K, ортонормированные на системе из N точек с весами
, где 
;
Базисные функции получены из последовательности 1, x, x2, … методом ортогонализации Грамма-Шмидта, согласно рекуррентным выражениям, которые при симметричной относительно начала координат области изменений аргумента имеют вид:
; 
.
Для расчета полагают 
, а коэффициенты k определяют из условий нормировки.
Коэффициенты ak определяют из условия минимизации взвешенной квадратической ошибки 
согласно выражению 
, где Ф – матрица, составленная из отсчетов базисных функций k(x); W - диагональная матрица весовых коэффициентов.
На основе регрессионной модели построен предсказывающий фильтр. Для формирования панорамы используют оценки векторов движения 
, рассчитанные по модели (5).
Алгоритм определения оценок векторов движения для каждого блока на основе предсказывающей регрессионной модели включает в себя три основных шага:
Шаг 1: Масштабирование установленных априорно параметров модели 
по найденной средней скорости движения протяженного объекта интереса.
Шаг 2: Идентификация методом наименьших квадратов параметров модели а. Определение параметров выполняют по найденным векторам движения U. При этом вычисляют разницу между измеренным вектором движения и его оценкой. Чем меньшей погрешностью характеризуются измерения, тем больший вес
получают найденные вектора при идентификации параметров модели.
Шаг 3: Расчет по модели значений векторов скорости для каждого из блоков.
Масштабирование модели выполняют один раз после обнаружения начала движения объекта. Обновления параметров модели и расчет по модели оценок векторов движения проводят в течение всего времени формирования панорамы, через заданное число кадров, определяемое средней скоростью движения объекта.
На основе введенного пространственного среза скоростей, временной фильтрации и регрессионной предсказывающей модели разработана процедура определения скорости протяженного движущегося объекта. Согласно экспериментальным данным средняя ошибка при оценке скорости 2,7 %, уровень достоверности 
0,999985.
Полученные показатели обеспечивают все заявленные выше характеристики формируемого панорамного изображения и позволяют реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения.
Четвертая глава посвящена разработке методов анализа видеоданных, обеспечивающих функциональные особенности интеллектуальных систем сегментации и сопровождения; предложена процедура предварительной классификации изображения на основе признака детальности; разработан метод сегментации объектов интереса по совокупности признаков на основе нечеткой кластеризации при незаданном числе кластеров; введена обобщенная модель формы объекта в виде эллипсов рассеивания Гаусса; предложен метод сопровождения объектов интереса, основанный на введении гауссовой модели объекта с обновляемыми параметрами.
Функциональные особенности интеллектуальной ТВ системы сегментации и сопровождения определяют совокупность требований к применяемым в них методам обработки видеоданных: необходимо обеспечить минимальную ошибку сегментации, сегментацию изображений объектов, находящихся в непосредственной близости друг к другу и на сложном фоне; на этапе сопровождения разрешить ситуации окклюзии, слияния и разделения объектов интереса.
Для реализации перечисленных задач предложен метод сегментации и сопровождения неточечных объектов с жестким движением (неподвижные объекты рассматриваются как частный случай: движение с нулевой скоростью), основанный на совокупности признаков с использованием методов нечеткой логики.
Использование математического аппарата нечеткой логики обусловлено отсутствием априорной информации об объектах интереса: количество объектов, данные об их форме и размерах неизвестны.
Как наиболее информативные выделены признаки: детальность, движение и форма.
Признаки детальности, движения и пространственной связности используют для первоначальной сегментации объектов интереса, на этапе сопровождения дополнительно применяют признак формы.
На основании признака детальности, под которым понимают уровень высокочастотной энергии в фрагменте изображения заданного размера (2) выполняют предварительную классификацию.
Процедура предварительной классификации включает: предобработку изображения с целью подчеркивания высокочастотной составляющей; оценку уровня детальности блоков изображения; пороговую обработку.
Для предобработки изображения применяют многомасштабный морфологический градиент
, (6)
где 
и 
– морфологические операции наращивания и эрозии; 
- квадратная группа структурных элементов. Размер 
равен (2i + 1)(2i + 1) пикселей для 
. В соответствии с выражением (6) значения градиентов рассчитывают трижды с использованием структурных элементов различной размерности, а затем результаты складывают.
Данные экспериментов показывают, что применение многомасштабного морфологического градиента обеспечивает максимальную эффективность по сравнению с такими методами предобработки, как пространственное дифференцирование, оператор Превитта и вейвлет фильтр Добеши. Критерии оценки эффективности: 
– степень выделения объектов интереса; 
– степень выделения фона, 
– результативность анализа и 
– инвариантность к свойствам изображения.
Распределение оценок детальности блоков изображения в кадре имеет зависимость Релея. Бинарный характер проводимой классификации и известный закон распределения оценок детальности позволяет реализовать пороговое ограничение.
В результате предварительной классификации выделяют множество блоков 
с высоким уровнем детальности для дальнейшего анализа. Для каждого блока этого множества определяют трехкомпонентный вектор движения 
, где 
– составляющие 
-го вектора движения по направлениям 
и 
, 
- оценка его достоверности
Вектор признаков 
, сопоставленный каждому блоку множества 
, позволяет выделить объекты интереса (принять решение к какому объекту принадлежит k-ый блок с вектором признаков 
).
Предложено сегментировать объекты, объединяя блоки в группы на основе схожести признаков для блоков одной группы и отличий между группами. Этот подход в аппарате нечеткой логики называется кластеризацией. В терминах нечеткой логики блоки – это элементы, подлежащие кластеризации (объединению), объекты интереса – кластеры.
Задачу сегментации объектов интереса при отсутствии априорной информации следует рассматривать как нечеткую кластеризацию при неизвестном числе кластеров.
Исходной информацией для кластеризации является матрица наблюдений
,
каждая строка которой представляет собой значения n признаков одного из M элементов кластеризации.
Нечеткие кластеры описывают матрицей возможностного нечеткого разбиения:
в которой k-ая строка содержит степени принадлежности элемента k к кластерам
. При нечетком разбиении степень принадлежности объекта к кластеру 
принимает значения из интервала [0, 1].
Матрица возможностного нечеткого разбиения должна обладать следующими свойствами
;
.
Для определения центров потенциальных кластеров применен алгоритм горной кластеризации.
Потенциал центров кластеров определен выражением:
,
где 
– вектор признаков потенциального центра h-го кластера, 
; 
– положительная константа; 
– расстояние между вектором признаков потенциального центра кластера 
и вектором признаков элемента кластеризации 
.
Расстояние между вектором признаков потенциального центра и элемента кластеризации:
; 
;
; 
,
где 
– координаты левого верхнего угла, 
и 
– найденный вектор движения и его достоверность для блока, являющегося потенциальным центром кластера; 
– координаты левого верхнего угла, 
и 
– найденный вектор движения и его достоверность для блока, являющегося элементом кластеризации.
В качестве центров кластеров выбирают точки с максимальным потенциалом («горные вершины»). Центром первого кластера назначают точку с наибольшим потенциалом. При выборе следующего центра кластера исключают влияние найденного кластера. Для этого значения потенциала оставшихся возможных центров кластеров пересчитывают:
где 
– потенциал на 1-й итерации; 
– потенциал на 2-й итерации; 
– вектор признаков первого найденного кластера: 
; 
– положительная константа.
Центр второго кластера определяется по максимальному значению обновленного потенциала: 
После определения центров кластеров формируют матрицу нечеткого разбиения. Значение элементов матрицы 
определены степенью принадлежности элемента (блока) кластеру (объекту), которое задано расстоянием между вектором признаков блока и вектором признаков центра кластера.
При сегментации объектов учитывают признак пространственной связности – блоки должны образовывать связную группу и иметь схожие вектора движения. Первым признаком 
принадлежности блока 
к кластеру 
является минимальное расстояние 
до одного из ранее включенных в кластер блоков (на первом шаге к центру кластера).
Вторым признаком 
является взвешенная норма разностного вектора 
, где 
– наиболее вероятный вектор движения для данного кластера, а 
– оценка достоверности вектора движения 
.
Для 
-го блока формируют обобщенный признак в виде нормы вектора 
, составленного из взвешенных значений частных признаков
,
где матрица 
переменных весовых коэффициентов учитывает динамику свойств объектов интереса и окружающей обстановки.
Для определения степени принадлежности блока кластеру введена экспоненциальная функция на основании обобщенного признака 
:
,
где 
– масштабный коэффициент.
Сопровождение объектов интереса реализовано на основе обобщенной модели формы Гаусса и с использованием теории нечетких множеств. Анализируют соответствие вектора признаков фрагмента изображения (блока) векторам признаков объектов, сегментированных на предыдущем шаге.
Представление в виде эллипсов рассевания Гаусса является наиболее общим и несет информацию о центре тяжести объекта
(центр эллипса), его линейных размерах L1, L2 (длины полуосей эллипса), коэффициенте элонгации 
, угле наклона, мере несимметрии объекта 
.
Построение модели формы и движения для каждого сегментированного объекта позволяет использовать для решения задачи сопровождения математический аппарат нечетких множеств. На множестве всех блоков кадра сформированы нечеткие множества объектов 
, где G – число объектов, сегментированных в предыдущем кадре t. Функция принадлежности нечеткого множества 
получена на основе t-нормы вероятностного пересечения нечетких множеств 
и 
.
,
где 
– функция принадлежности нечеткого множества 
блоков, соответствующих модели формы объекта g; 
– функция принадлежности нечеткого множество 
блоков, соответствующих модели движения объекта g
,
; 
; 
где b – блок с координатами 
; 
– значения дисперсии и ковариации, полученные в кадре t при определении параметров модели формы объекта в виде эллипсов рассеивания Гаусса; 
– оценка координат центра тяжести объекта в кадре t+1 на основе координат центра тяжести в кадре t.
,
где 
– вектор движения объекта, найденный согласно модели движения объекта 
, 
– весовой коэффициент, учитывающий выраженность признака движения и особенности окружающей обстановки.
При сопровождении нескольких близко расположенных объектов функция принадлежности имеет вид
.
Сопровождение объектов выполняют выявлением принадлежности блоков кадра t + 1, сформированным нечетким множествам 
кадра t. Для однозначного определения объектов введены 
-сечения каждого из множеств
.
В случае длительного исчезновения объекта необходимо отождествить потерянный объект с одним из вновь захваченных объектов. Операцию отождествления выполняют по критерию минимума расстояния между векторами взвешенных параметров потерянного объекта и одного из вновь захваченных объектов
,
где 
– вектор параметров потерянного объекта 
, G – число объектов, сегментированных в кадре t; 
, 
– центр тяжести, 
– линейные размеры, 
– угол поворота, 
– коэффициент элонгации, 
и 
– вектора скорости и ускорения объекта интереса; 
– вектор параметров найденного объекта; 
, K – число вновь захваченных объектов в кадре t+1; 
– весовая матрица, в общем случае отличная от диагональной.
Как показали экспериментальные исследования, предложенный метод позволяет реализовать автоматический захват до 50 объектов интереса на сложном фоне и обеспечивает устойчивое сопровождение объектов интереса при существенной динамике их свойств и окружающей обстановки, а также при взаимодействии изображений объектов с фоном и друг с другом.
В пятой главе приведены результаты экспериментального исследования предложенных методов представления и обработки видеоданных в контексте их практической реализации; рассмотрены: – многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; – многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; – видеокомпьютерная система контроля запуска космических аппаратов.
Многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов предназначен для обеспечения осмотра и выявления негабаритных грузов движущегося товарного состава с последующим сбором, обработкой, хранением и документированием информации о коммерческом состоянии вагонов и грузов, а также передачей ее в автоматизированную систему управления перевозками.
В состав системы входят сенсоры, электронная система ввода видеоизображений в компьютер, персональный компьютер, программное обеспечение. Сенсорами системы являются три видеокамеры, дающие изображения левого и правого по ходу поезда бортов вагонов, а также вид сверху; габаритные электронные ворота для выявления негабаритного груза.
Комплекс позволяет:
- На одном экране представить панорамные изображения всех трех изображений проходящих вагонов и дать дополнительную информацию о текущем времени, скорости движения состава и порядковом номере вагона (рис. 4).
- Предоставить оператору возможность самому устанавливать комфортную скорость просмотра состава с помощью движка, останавливать движение (стоп-кадр) и возвращаться назад.
- Записать синтезированные изображения в архив с высоким коэффициентом сжатия без потери информации об объекте интереса.
Экспериментальное исследование и результаты, полученные в процессе апробации комплекса, показывают:
- Синтезированное панорамное изображение обеспечивает эффективную коррекцию пространственных искажений (рис. 5):
нелинейные искажения третьего порядка:
исходный уровень 120%; уровень после коррекции менее 5%;
искажения типа «бочка/подушка»:
исходный уровень 20%; уровень после коррекции менее 1%.
- Полученный размер панорамы одного вагона позволяет разместить ее целиком на экране монитора.
- При движении протяженного объекта со скоростью от 20 до 60 км/ час и стандартной ширине кадра 768 пикселей по горизонтали достигаемый коэффициент сжатия от 80 до 25 раз, соответственно.
- Средняя ошибка нарушения геометрического подобия (соответствия с определенным масштабным коэффициентом размеров объекта интереса на созданной панораме размерам реального объекта) составляет 2,7%. Достигнутая точность обеспечивает восприятие оператором синтезированного изображения, как изображения без искажений. Искажения менее 5% не воспринимаются зрительным анализатором человека.
- Информация о скорости движения протяженного объекта при построении панорамного изображения, одновременно с синтезом изображения объекта интереса, позволяет зафиксировать момент начала и окончания движения железнодорожного состава, определить направление и скорость движения, реализовать счет вагонов и выполнить идентификацию типа вагона.
Полученные результаты показывают, что синтезированное панорамное изображение позволяет реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения протяженных объектов.
В многофункциональном оптико–электронном комплексе решены задачи автоматизированного захвата и автоматического сопровождения неточечных объектов интереса. Размеры объектов от 4*4 до 100*100 пикселей. Скорость движения от 0 до 10 пикселей за кадр. Движение объектов произвольное, возможно исчезновение длительностью до 10 сек. Число главных объектов интереса от одного до четырех. Число второстепенных объектов неограниченно. Эффективное отношение сигнал/шум (отношение превышение сигнала цели над фоном к СКО шума) не менее 6 дБ. Автоматизированный захват выполняет оператор.
Система решает следующие задачи:
- Один из главных объектов (по выбору оператора) всегда удерживают в центре растра с ошибкой, не превышающей 1 пиксель по каждой координате.
- Остальные объекты сопровождают стробом. Реализуют непрерывную (с частотой кадров) подстройку стробов под изменяющиеся размеры и ракурсы для всех четырех объектов интереса.
- Выполняют разрешение ситуации окклюзии и временного (до 10 сек) исчезновения объектов интереса.
Экспериментальное исследование показывает:
- Предложенный метод обеспечивает систематическую ошибку сегментации 16% от площади объекта интереса. Указанное значение в 3 раза ниже средней ошибки при сегментации объекта прямоугольным стробом. Случайная ошибка зависит от размеров объекта интереса: для объектов размером до 5 блоков она составляет 15-20%, для объектов большего размера 3-5%.
- При сопровождении объектов статичной камерой ошибка при определении центра тяжести не превышает 1 пиксель.
- Разрешение ситуации окклюзии во всех экспериментах было выполнено корректно и не привело к ложному изменению размеров стробов объектов интереса.
Видеокомпьютерная система контроля запуска космических аппаратов предназначена для дистанционного видеонаблюдения и сопровождения космических аппаратов во время их запуска, оценивания их экранных координат и архивирования видеоданных.
В состав системы входят видеокамера; электронная система ввода видеоизображений в компьютер; поворотный стол; персональный компьютер; программное обеспечение.
В автоматизированном режиме выполняют захват объекта интереса: оператор формирует строб вокруг объекта, подлежащего дальнейшему сопровождению. В автоматическом режиме система реализует удерживание в центре кадра объекта, выделенного оператором. Скорость перемещения объекта интереса в экранной плоскости до 5 пикселей за кадр. Возможно исчезновение объекта интереса длительностью до 3 секунд.
Экспериментальные исследования показывают:
- Средняя ошибка слежения, определяемая предложенным методом (без влияния инерционности поворотного стола), составляет 1,5 пикселя.
- Момент начала движения объекта интереса был зафиксирован на всех тестовых сюжетах.
Полученные показатели и качественные характеристики показывают, что предложенные в диссертационной работе методы представления и обработки видеоданных, позволяют реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения за протяженными объектами и систем сегментации и сопровождения неточечных объектов интереса с жестким движением.
В заключении сформулированы основные результаты, полученные в диссертационной работе:
- Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения, обеспечивающие существенное повышение их эффективности.
- Предложены принципы обработки и представления видеоданных, обеспечивающие реализацию функциональных особенностей интеллектуальных прикладных ТВ систем.
- Введен критерий оценки эффективности методов и алгоритмов определения векторов движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения – уровень достоверности. Проведены экспериментальные исследования существующих методов и алгоритмов, и у них выявлен низкий уровень достоверности 0,58.
- Для оценки векторов движения в интеллектуальных прикладных системах разработаны специальные методы:
- Метод оценки векторов движения с учетом их априорных оценок достоверности и значимости, который позволяет задавать необходимый уровень достоверности и снижает вычислительные затраты по определению поля векторов движения в 10-20 раз. Метод дает возможность найти трехкомпонентные вектора движения. Третьей компонентой является вероятность правильного определения вектора движения (оценка достоверности), имеющая самостоятельную ценность при дальнейшей обработке.
- Метод субпиксельной оценки векторов движения на основе многмасштабной межкадровой разности, позволяющий определить вектора движения с точностью до 0,07 пикселя и одновременно повышающий уровень достоверности на 20%.
- Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра до 70%, в центре до 40%.
- Разработан метод синтеза изображения протяженного движущегося объекта интереса путем построения панорамы, позволяющий компенсировать пространственные искажения без потерь разрешения, присущих методам цифровой коррекции, и обеспечивающий комфортные условия анализа видеоданных, а также существенное сжатие без потери информации об объекте интереса.
- Предложен алгоритм оценки видимой скорости движения протяженного объекта на основе временной фильтрации и фильтрации по предсказывающей регрессионной модели. Средняя ошибка при оценке скорости 2,7%, уровень достоверности 0,999985.
- Построена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса.
- С учетом сложных условий видеонаблюдения и специфики объектов интереса предложено заменить текстурный признак признаком детальности. Введена оценка детальности фрагмента изображения. Разработана процедура предварительной классификации изображения на основе признака детальности, позволяющая исключить из дальнейшего анализа до 80% блоков изображения.
- Разработан метод сегментации объектов интереса по совокупности признаков с использованием математического аппарата нечеткой логики, позволяющий одновременно выделить изображения нескольких объектов на сложном фоне.
- Разработан метод сопровождения объектов на основе гауссовой модели формы с обновляемыми параметрами, позволяющий разрешать ситуации окклюзии, слияния и разделения объектов интереса, а также сопровождать объекты при существенной динамике их свойств и окружающей обстановки.
- На основе разработанных методов реализованы многоцелевая видеокомпьютерная система коммерческого осмотра поездов и вагонов, многофункциональный оптико–электронный комплекс сегментации и сопровождения неточечных объектов, видеокомпьютерная система контроля запуска космических аппаратов.
Совокупность проведенных исследований, полученных новых научных и практических результатов показывает, что поставленная в диссертационной работе проблема повышения эффективности прикладных ТВ систем, путем придания им интеллектуальных свойств решена.
Опубликованные работы по теме диссертации:
- Обухова, Н.А. Система для автоматического оценивания и минимизации растровых искажений ТВ приемников и ВКУ./ Н.А Обухова // К Дню радио: материалы 49-й науч. –техн. конф. «НТОРЭС им. А. С. Попова», г. C.-Петербург, 1994 г. – CПб., 1994. – С. 47.
- Обухова, Н.А. Система автоматической настройки и контроля качества ТВ приемников./ Н.А Обухова // К Дню радио: материалы 50-й науч. –техн. конф. «НТОРЭС им. А. С. Попова», г. C.-Петербург, 1995 г. – CПб., 1995. – С. 34.
- Oboukhova, N. Signal processing in TV-parameters estimation [ Обработка сигналов при оценке показателей качества ТВ приемников] / N. Oboukhova // Control Systems and Computer Science: Proc. of 10th Int. Conf., Bucharest, Romania, 24 – 26 may 1995.- Bucharest, 1995. – P. 154-156.
- Обухова, Н.А. Автоматическое оценивание растровых параметров ТВ приемников / Н.А. Обухова // Телевидение. Видеотехника. Теория и практика: Сб. науч. тр. / CПб ГААП (ГУАП) - СПб., 1996. – С. 86-91.
- Oboukhova, N. Sisteme teleiformatice pentru controlul automat al traficului urban [Автоматическая телевизионная система контроля городских магистралей]/ N. Oboukhova, B. Timofeev, A Tertisco // Informatica Economica (Румыния) – 1998- № 6 (vol II). – P. 63-67.
- Oboukhova, N. Prelucrarea videosemnalelor si etalonarea sistemelor informatice de control tv al traficului urban [Обработка видеосигналов для калибровки (привязки к местности) ТВ системы контроля городских магистралей] / N. Oboukhova, A Tertisco // Revista Romana de Informatica si Automatica (Румыния) - 1998 - № 3 (vol.8) – P. 47-53.
- Обухова, Н.А. ТВ системы экологического мониторинга / Н.А Обухова, Б.C. Тимофеев // Новейшие достижения в области телевидения, аудио и видеотехники: сборник докл. I науч. – техн. конф., г. C.-Петербург, 24-25 июня 1999 г. – CПб., 1999. – С. 15-16.
- Обухова, Н.А. Телевизионная система оперативного оценивания параметров загрязнения акватории/ Н.А. Обухова // Телевидение: передача и обработка изображений: материалы I Междунар. науч. конф., г. C.-Петербург, 20-22 июня 2000 г. – CПб., 2000. – С. 106-107.
- Обухова, Н.А. Алгоритмы оценки параметров загрязнения акватории / Н.А. Обухова // Радиотехнические и телевизионные системы: Сб. науч. тр / CПб ГУАП.- СПб, 2000. – С. 28-34.
- Обухова, Н.А. Оценка параметров модели искажающих сигналов ТВ приемника при неопределенности предиктора / Н.А. Обухова // Радиотехнические и телевизионные системы: Сб. науч. тр / CПб ГУАП.- СПб, 2000. – С. 82-88.
- Обухова, Н.А. Цифровая обработка изображений в ТВ системах контроля водной поверхности./ Н.А. Обухова // Цифровая обработка сигналов и ее применение материалы III Междунар. науч. конф., г. Москва, 2000 г. – М., 2000. – С. 48-50.
- Астратов, О.C. Автоматический контроль транспортных потоков с помощью телевизионных систем /О.C. Астратов, Н.А.Обухова, Б.C. Тимофеев // Радиотехнические и телевизионные системы: Сб. науч. тр / CПб ГУАП.- СПб., 2000. – С. 61-68.
- Обухова, Н.А. Алгоритмы обнаружения и идентификации транспортных средств в телевизионных системах мониторинга городских магистралей. / Н.А. Обухова // Телевидение: передача и обработка изображений: материалы II Междунар. науч. конф., г. C.-Петербург, 21-22 мая 2002 г. – CПб., 2002. – С. 48-50.
- Обухова, Н.А. Особенности применения метода сопоставления блоков для обнаружения и сегментирования медленно движущихся объектов / Н.А. Обухова // Телевидение: передача и обработка изображений: материалы III Междунар. науч. конф., г. C.-Петербург, 5-6 июня 2003 г. – CПб., 2003. – С. 25-27.
- Обухова, Н.А. Особенности цифровой обработки изображений в задачах обнаружения и оценивания параметров нефтяных разливов на водной поверхности / Н.А Обухова.; М-во науки и образования Рос. Федерации. СПб ГУАП. – СПб., 2003 – 15c.- Деп. в ВИНИТИ 30.05.03, № 1064-В2003.
- Обухова, Н.А. Цифровая обработка изображений для оценки характеристик транспортных потоков в ТВ системе экологического мониторинга воздушной среды города / Н.А Обухова.; М-во науки и образования Рос. Федерации. СПб ГУАП. – СПб., 2003 – 12c. - Деп. в ВИНИТИ 30.05.03, № 1065-В2003.
- Обухова, Н.А. Метод видеонаблюдения за медленно движущимися малоразмерными объектами / Н.А. Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. – 2003 - №4. -C. 44-52.
- Обухова, Н.А. Системы видеобнаружения и сопровождения подвижных объектов / Н.А. Обухова, Б.C. Тимофеев //Телекоммуникации.- 2003- №12- C.36-44.
- Обухова, Н.А. Программа исследования на ЭВМ алгоритмов сегментации и сопровождения движущихся объектов методом сопоставления блоков: свид-во об отраслевой регистрации разработки № 2805 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 - № 50200300802.
- Обухова, Н.А. Программа исследования на ЭВМ алгоритмов сегментации движущихся объектов на основе энергии движения: свид-во об отраслевой регистрации разработки № 2806 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 - № 50200300803.
- Обухова, Н.А. Программа сегментации нефтяного разлива и оценивания его параметров: свид-во об отраслевой регистрации разработки № 2807 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 - № 50200300804.
- Обухова Н.А. Программа коррекции геометрических искажений в видеоданных полученных ТВ камерой с короткофокусным объективом: свид-во об отраслевой регистрации разработки № 2808 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 - № 50200300805.
- Обухова Н.А. Программа исследования на ЭВМ алгоритмов сегментации и сопровождения медленно движущихся малоразмерных объектов: свид-во об отраслевой регистрации разработки № 2809 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 - № 50200300806.
- Обухова, Н.А. Обнаружение и сопровождение объектов движущихся объектов методом сопоставления блоков/ Н.А. Обухова // Информационно- управляющие системы. – 2004 - № 1. - C. 30-37.
- Обухова, Н.А. Процедура определения скорости движения протяженного объекта для построения его панорамного изображения: свид-во об отраслевой регистрации разработки № 3894 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2004 - № 50200401170.
- Oboukhova, N. Features of optical flow defination and processing for moving object segmentation [Особенности определения и обработки оптического потока при сегментации движущихся объектов]/ N. Oboukhova, B. Timofeev // Radio – That Connects Time. 110 Anniversary of Radio Invention: Proc. of Int. Conf., St. Petersburg, Russia, May 18 - 21, 2005. – SPb., 2005. – P. 64-68.
- Обухова, Н.А. Сегментация и сопровождение объектов на основе анализа видеопоследовательности / Н.А. Обухова, Б.C. Тимофеев // Телевидение: передача и обработка изображений: материалы IV Междунар. науч. конф., г. C.-Петербург, 24-26 мая 2005 г. – CПб., 2005. – С. 87-89.
- Обухова, Н.А., Тимофеев Б.C. Методы повышения эффективности систем видеонаблюдения/ Н.А. Обухова, Б.C. Тимофеев // Телевидение: передача и обработка изображений: материалы IV Междунар. науч. конф., г. C.-Петербург, 24-26 мая 2005 г. – CПб., 2005. – С. 85-86.
- Обухова, Н.А. Анализ параметров движения в системе видеонаблюдения железнодорожных составов/ Н.А.Обухова, Б.C. Тимофеев // Известия высших учебных заведений России. Сер. Радиоэлектроника. – 2005- №3.-C. 42-50.
- Обухова, Н.А. Захват и сопровождение объектов в автоматизированной системе./ Н.А. Обухова, Б.C. Тимофеев // Электронные средства и системы управления: материалы IV Междунар. науч. – прак. конф., г. Томск, 12-14 октябрь 2005 г. – Томск, 2005. – С. 277-280.
- Обухова, Н.А. Предварительный анализ изображения при сегментации по совокупности признаков/ Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. – 2006- №1.-C. 35-41.
- Обухова, Н.А. Векторы оптического потока в задачах сегментации и сопровождения подвижных объектов/ Н.А.Обухова //Известия высших учебных заведений России. Сер. Радиоэлектроника. – 2006- №2.- C. 42-51.
- Обухова, Н.А. Априорная оценка достоверности векторов оптического потока (векторов движения) /Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. – 2006- №3.- C. 30-36.
- Обухова, Н.А. Алгоритм сегментации объектов в последовательности видеокадров методами нечеткой логики / Н.А.Обухова, Б.С. Тимофеев // Информационно- управляющие системы. - 2006 - № 3. - C. 12-18.
- Oboukhova, N. Automatic segmentation and tracking of objects in videocomputer systems [Автоматическая сегментация и сопровождение объектов в видеокомпьютерных системах]/ N. Oboukhova// IEEE Consumer Electronics (ISCE 2006): Proc. of 10th Int. Symp., St. Petersburg, Russia, June 28 – July 1, 2006. – SPb., 2006. – P. 111-114.
- Oboukhova, N. Calculation and application optical flow vectors with the preliminary estimation of their reliability [ Вычисление и применение векторов оптического потока с учетом априорной оценки их достоверности] / N. Oboukhova, B. Timofeev // IEEE Consumer Electronics (ISCE 2006): Proc. of 10th Int. Symp., St. Petersburg, Russia, June 28 – July 1, 2006. – SPb., 2006. – P. 203-207.
- Обухова, Н.А. Программа исследования на ЭВМ алгоритмов субпиксельной оценки векторов движения: свид-во об отраслевой регистрации разработки № 7412 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 - № 50200700029.
- Обухова, Н.А. Программа исследования на ЭВМ метода сегментации и сопровождения объектов интереса по совокупности признаков: свид-во об отраслевой регистрации разработки № 7413 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 - № 50200700030.
- Обухова, Н.А. Программа исследования на ЭВМ метода предварительного анализа изображения на основе признака детальности: свид-во об отраслевой регистрации разработки № 7414 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 - № 50200700031.
- Обухова, Н.А. Программа исследования на ЭВМ метода определения векторов движения с учетом априорной оценки их достоверности и значимости: свид-во об отраслевой регистрации разработки № 7411 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 - № 50200700028.
- Обухова, Н.А. Предварительная классификация изображения в задачах сегментации объектов / Н.А. Обухова // Информационно- управляющие системы. - 2007 - № 2.- C.22-28.
- Обухова, Н.А. Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах / Н.А.Обухова // Инфокоммуникационные технологии. - 2007 - №1 – C.77-85.
- Обухова, Н.А. Метод определения векторов движения с учетом априорной оценки их достоверности и значимости. / Н.А Обухова. // Современное телевидение: труды 15-й Всеросс. науч. – техн. конф., г. Москва, 20- 21 марта 2007 г. – М., 2007. -C.156-157.
- Амирханов, С.Г Сегментация и сопровождение объектов по совокупности признаков в прикладных ТВ системах / С.Г. Амирханов, Н.А. Обухова // Материалы 59-й науч. – техн. конф. профессорско- преподавательского состава, научных сотрудников и аспирантов СПбГУТ им. Бонч-Бруевича, г. C.-Петербург, 22-26 января 2007 г. – CПб., 2007. – С.94.
- Обухова, Н.А. Интеллектуальные видеосистемы/ Н.А. Обухова, Б.C. Тимофеев // Телевидение: передача и обработка изображений: материалы V Междунар. науч. конф., г. C.-Петербург, 19-20 июня 2007 г. – CПб., 2007. – С. 3-4.
- Обухова, Н.А. Субпиксельная оценка векторов движения / Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. - 2007- №1. - C. 18-23.
- Обухова, Н.А. Метод автоматической сегментации и сопровождения объектов интереса на основе математического аппарата нечеткой логики/ Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. - 2007- №3. - C. 53-63.
- Обухова, Н.А. Интеллектуальные системы видеонаблюдения железнодорожных составов / Н.А. Обухова, Б.C. Тимофеев // Вопросы радиоэлектроники. Сер. Техника телевидения.- 2007- №1. - C 10-23.
