Способы обнаружения аномальных значений при анализе нестационарных случайных процессов
На правах рукописи
Токарева Светлана Викторовна
СПОСОБЫ ОБНАРУЖЕНИЯ АНОМАЛЬНЫХ ЗНАЧЕНИЙ ПРИ АНАЛИЗЕ НЕСТАЦИОНАРНЫХ СЛУЧАЙНЫХ ПРОЦЕССОВ
Специальность 05.12.04 – Радиотехника, в том числе системы и устройства телевидения
АВТОРЕФЕРАТ
диссертации
на соискание ученой степени
кандидата технических наук
Таганрог – 2008
Работа выполнена на кафедре «Радиоэлектронные системы»
Южно-Российского государственного университета экономики и сервиса в г. Шахты.
| Научный руководитель: | доктор технических наук, профессор Марчук Владимир Иванович (ЮРГУЭС, г. Шахты) |
| Официальные оппоненты: | доктор технических наук, профессор Литюк Виктор Игнатьевич (ТТИ ЮФУ, г. Таганрог) |
| кандидат технических наук, доцент Елисеев Александр Вячеславович (Ростовский военный институт ракетных войск, г. Ростов-на-Дону) | |
| Ведущая организация: | Федеральное Государственное унитарное предприятие Всероссийский НИИ «Градиент», г. Ростов-на-Дону |
Защита состоится 19 февраля 2009 г., в 14.20, в ауд. Д 406 на заседании диссертационного совета Д 212.208.20 при Федеральном государственном образовательном учреждении высшего профессионального образования «Южный федеральный университет» в ТТИ ЮФУ по адресу: 347928 Ростовская обл., г. Таганрог, ГСП-17А, пер. Некрасовский, 44.
С диссертацией можно ознакомиться в Зональной научной библиотеке Южного федерального университета.
Отзыв на автореферат, заверенный гербовой печатью организации, просим направлять ученому секретарю диссертационного совета Д 212.208.20 по адресу: 347928 Ростовская обл., г. Таганрог, ГСП-17А, пер. Некрасовский, 44.
Автореферат разослан «___» 2009 г.
Ученый секретарь В.В. Савельев
диссертационного совета Д 212.208.20
кандидат технических наук, доцент
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. Динамика развития научно-технического прогресса привела к появлению сложных радиотехнических систем. Использование таких систем предъявляет серьезные требования к обработке получаемой измерительной информации и точности принимаемых решений. Эти системы по существу можно отнести к категории систем, основной отличительной особенностью которых является не только их сложность и разновидность элементов, сколько вероятностный, случайный характер их поведения во времени. Этим свойством обладает любая радиотехническая система, так как все её параметры являются реализациями случайных величин. Большинство реальных сигналов представляют собой реализацию нестационарных случайных процессов аддитивно-мультипликативной природы. И их можно рассматривать как выборку нестационарного случайного процесса, состоящего из полезной и случайной составляющих. Случайная (шумовая) составляющая может включать и аномальные значения. Аномальными называют значения, резко отличающиеся по величине и статистическим свойствам на фоне основной группы значений реализации процесса. Природа возникновения и источники аномальных значений различны, это может быть импульсная помеха, кратковременные повышения уровня шумов на входах приемников, сбой в работе регистрирующей аппаратуры, отказ оборудования, кратковременное внешнее воздействие на измерительный элемент, «залипание» разряда цифрового счетчика, атмосферные воздействия при передаче радиосигналов, индустриальные помехи и т.д. Аномальные значения, возникающие в каналах передачи и обработки сигналов, даже при небольшой частоте их появления, вносят большие погрешности при дальнейшей оценке полезной составляющей процесса. Поэтому первым этапом обработки нестационарных случайных процессов является проверка его значений на достоверность, т.е. обнаружение и последующее устранение аномальных значений.
В связи с этим, значительный интерес представляет разработка и исследование способов обнаружения аномальных значений при анализе нестационарных случайных процессов, представленных единственной реализацией.
Объектом исследования являются нестационарные случайные процессы, представленные единственной реализацией.
Предметом исследований являются аномальные значения в реализации нестационарного случайного процесса.
Целью работы является повышение эффективности обнаружения аномальных значений при анализе нестационарных случайных процессов, представленных единственной реализацией.
Для достижения поставленной цели необходимо решить следующие основные задачи:
– Анализ основных методов и алгоритмов обнаружения аномальных значений при анализе нестационарных случайных процессов;
– Разработать адаптивный способ обнаружения аномальных значений при анализе нестационарных случайных процессов;
– Разработать способ обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса;
– Исследовать эффективность адаптивного способа и способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса для различных моделей функций полезной и законов плотности распределения вероятности шумовой составляющей нестационарных случайных процессов;
– Сравнительный анализ эффективности адаптивного способа и способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса при аддитивной и мультипликативной шумовой составляющей процесса;
– Исследование эффективности адаптивного способа и способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса при решении задачи выделения полезной составляющей процесса.
Методы исследования основываются на использовании математической статистики, теории фильтрации, статистической радиотехники и машинного эксперимента на ПЭВМ. Проверка теоретических расчетов и выводов проводилась с использованием имитационного моделирования на моделях процессов.
Научная новизна работы заключается в следующем:
1. Предложен адаптивный способ обнаружения аномальных значений при анализе нестационарных случайных процессов и устройство его реализующее (Пат. РФ №2301445), который основан на адаптации порогового значения, при фиксированном значении вероятности ошибки первого рода, с последующим принятием решения о наличии аномальности относительно максимального значения полученного ряда штрафных значений.
2. На основе имитационного моделирования получено выражение, согласно которому пороговое значение определяется в зависимости от априорно задаваемого значения вероятности ошибки первого рода.
3. Предложен способ обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса и устройство его реализующее (Пат. РФ №2302655), который основан на последовательном анализе нестационарного случайного процесса при превышении некоторого дискретно-меняющегося уровня, с последующим принятием решения об аномальности относительно максимального значения полученного ряда штрафных значений.
4. На основе имитационного моделирования определены значения основных параметров способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса.
Практическая значимость заключается в следующем:
1. Показано, что при использовании адаптивного способа обнаружения аномальных значений при анализе нестационарного случайного процесса оценки апостериорной вероятности ошибки первого рода не превосходят априорно задаваемых значений, а оценки вероятности правильного обнаружения с ростом величины аномальных значений стремятся к единице.
2. Экспериментально доказано, что при величине аномальных значений 
, эффективность способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса, не зависит от функции полезной и закона плотности распределения вероятности шумовой составляющих процесса.
3. На основе проведенного имитационного моделирования, как для адаптивного, так и для способа с дискретно-меняющимся уровнем анализа процесса получены оценки вероятности ошибки первого рода и вероятности правильного обнаружения, которые не зависят от места расположения аномальных значений в исследуемом процессе.
4. Показано, что при величине аномальных значений 
, эффективность предлагаемых способов обнаружения аномальных значений при анализе нестационарных случайных процессов с аддитивной и мультипликативной шумовой составляющей отличаются незначительно, не более чем на 5%.
5. Экспериментально установлено, что предварительный анализ нестационарных случайных процессов на наличие аномальных значений улучшает результаты выделения полезной составляющей процесса в среднем на 40-60%.
Достоверность и обоснованность результатов обеспечивается результатами имитационного моделирования на различных моделях полезной составляющей и набора реализаций аддитивной и мультипликативной шумовой составляющей, а также их теоретическим обоснованием. Новизна технических предложений подтверждается экспертизой технических решений, в виде патентов на предложенные способы обработки и свидетельствами на программное обеспечение алгоритмов их реализующих.
Основные результаты и положения, выносимые на защиту.
1. Адаптивный способ обнаружения аномальных значений и устройство его реализующее в условиях ограниченного объема априорной информации о функции полезной составляющей и законе распределения шумовой составляющей исходной реализации нестационарного случайного процесса, который основан на адаптации порогового значения, при фиксированном значении вероятности ошибки первого рода, с последующим принятием решения о наличии аномальности относительно максимального значения полученного ряда штрафных значений.
2. Выражение, согласно которому пороговое значение определяется в зависимости от априорно задаваемого значения вероятности ошибки первого рода.
3. Способ обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса и устройство его реализующее, который основан на последовательном анализе нестационарного случайного процесса при превышении некоторого дискретно-меняющегося уровня и с последующим принятием решения о наличии аномального значения относительно максимального значения полученного ряда штрафных значений.
4. Результаты исследования эффективности адаптивного способа и способа с дискретно-меняющимся уровнем анализа при обнаружении аномальных значений процесса в условиях ограниченного объема априорной информации о функции полезной и законе плотности распределения вероятности шумовой составляющих, как при аддитивной, так и при мультипликативной модели исследуемого процесса.
5. Сравнительный анализ эффективности выделения полезной составляющей процесса при использовании предложенных способов обнаружения аномальных значений.
Научные результат и практические рекомендации реализованы в рамках госбюджетных и научно–исследовательских работ ЮРГУЭС, в том числе по ЕЗН Федерального агентства по образованию РФ (ЮРГУЭС-1.02.Ф, № ГР 0104.0000.218, Инв. № 007.023.58). «Методы повышения достоверности обработки данных при ограниченном объеме априорной информации» и в соответствии с заданием Федерального агентства РФ по теме «Идентификация полезной составляющей результатов измерений в условиях априорной непараметрической неопределенности и ограниченном объеме данных» (ЮРГУЭС – 2.06.Ф, № ГР 0120.0603.492, Инв. № 022.007.023.59). Результаты диссертационной работы внедрены на предприятиях при обработке результатов измерений, что подтверждается соответствующими актами о внедрении: в ООО НПП «Интор» г. Новочеркасск при выполнении конструкторских работ технических средств измерений и программного обеспечения систем автоматизации и во Всероссийском НИИ экономики и нормативов Российской Академии сельскохозяйственных наук, при анализе и обработки временных рядов.
Результаты диссертационной работы в виде алгоритмов и программ используются в учебном процессе ЮРГУЭС по дисциплинам «Устройства цифровой обработки сигналов», «Статистическая радиотехника», «Методы цифровой обработки сигналов». Предложенный способ обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса и устройство его реализующее признаны изобретением и подтверждены патентом №2302655, как и устройство, реализующее адаптивный способ обнаружения аномальных значений подтверждено патентом №2301445. Программное обеспечение для ПЭВМ, реализующее способ обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса и адаптивный способ обнаружения аномальных значений, официально зарегистрированы в Российском агентстве по патентам и товарным знакам (РОСПАТЕНТ).
Апробация, публикация результатов работы. Основные положения диссертационной работы изложены, докладывались и одобрены на научно-технических конференциях: IV Международная научно-техническая конференция «Измерение, контроль, информатизация»: г.Барнаул, 2003г.; Международная научная конференция «Системный подход в науках о природе, человеке и технике» г.Таганрог, 2003г.; IV Международная научно-практическая конференция «Теория, методы и средства измерений, контроля и диагностики», г.Новочеркасск 2004г, VII, IX и X Международная конференция «Цифровая обработка сигналов и её применение», г. Москва 2005, 2007, 2008 гг.; Международная конференция «Цифровые методы и технологии», г.Таганрог, 2005г.; Межрегиональная научная конференция «Современные проблемы радиоэлектроники», г.Ростов-на-Дону 2006г.; Международная научная конференция «Статистические методы в естественных, гуманитарных и технических науках», г.Таганрог, 2006г.; Международная конференция «Информационные технологии в современном мире», г.Таганрог, 2006г.; XIII Международная научно-техническая конференция «Радиолокация, навигация, связь», г.Воронеж 2007г.; Международный конгресс студентов, аспирантов и молодых ученых, г. Нальчик, 2007 г., IV Международная конференция «Методы и средства управления технологическими процессами», г.Саранск, 2007 г., III Международная научно практической конференции, «Наука и образование без границ», г. София, 2007 г.; Международная научная конференция «Информация, сигналы, системы: вопросы методологии, анализа и синтеза», г. Таганрог, 2008 г.
Публикации. По результатам выполненных исследований опубликована 21 работа, в том числе получено 2 патента, 1 свидетельство на программный продукт, 2 статьи в рецензируемых журналах из списка ВАК, 15 тезисов докладов в материалах Международных конференций и симпозиумов, глава в коллективной Международной монографии.
Структура и объем работы. Диссертационная работа состоит из введения, пяти глав с выводами, заключения, списка литературы, включающего 145 наименования, 2 приложений. Основной текст работы изложен на 178 страницах машинописного текста, поясняется 61 рисунком и 22 таблицами.
СОДЕРЖАНИЕ РАБОТЫ
Во введении сформулированы цель и основные задачи, решаемые в работе, обоснована актуальность проблемы, определены научная новизна, практическая значимость и основные положения, выносимые на защиту. Приводятся сведения об апробации и внедрении результатов работы.
В первой главе проведен анализ существующих методов обнаружения аномальных значений, который показал, что не существует универсального подхода к решению задачи обнаружения аномальных значений в реализации нестационарного случайного процесса. Известные методы имеют ряд ограничений, которые являются зачастую решающими для их использования на практике. Из представленного анализа следует, что в условиях априорной неопределенности в настоящее время не существует эффективного метода обнаружения аномальных значений для случайных процессов с нестационарностью по математическому ожиданию и дисперсии. Известные методы и алгоритмы предполагают, что исследуемый нестационарный случайный процесс представлен аддитивной моделью, а шумовая составляющая является гауссовским случайным процессом. Анализ методов обнаружения аномальных значений показал, что основным недостатком является зависимость их эффективности от объема априорной информации.
Во второй главе рассмотрены основные математические модели взаимодействия полезной, шумовой и аномальной составляющих. Введены модели функций полезной и класс функций распределения шумовой составляющих. Предполагается, что полезная составляющая является гладкой и непрерывной. В качестве законов плотности распределения вероятности шумовой составляющей рассматриваются гауссовский, равномерный и рэлеевский. Аномальные значения, полагаются одиночными, т.е. искажают разрозненные отсчеты в последовательности исходного ряда значений процесса.
Разработан адаптивный способ обнаружения аномальных значений при фиксированном значении вероятности ошибки первого рода и представлен его алгоритм (свидетельство № 2006611185 о регистрации программ для ЭВМ). Предлагаемый способ предполагает наличие единственной дискретной реализации исследуемого нестационарного случайного процесса, с аддитивной шумовой составляющей. Априорная информация об исследуемом процессе заключается в том, что на некоторых интервалах полезная составляющая процесса является гладкой функцией, т.е. достаточно точно описывается полиномом не выше второй степени. Реализация исследуемого процесса разбивается на интервалы случайной длины, получаемые следующим образом: с помощью генератора случайных чисел, равномерно распределенных в интервале (0;1), получают 
чисел 
. Для получения каждой новой оценки, процедура разбиения отрезка 
на 
интервалов случайной длины, повторяется. В результате получаем 
разбиений временного отрезка 
. На каждом интервале разбиения 
, где 
и 
с помощью метода наименьших квадратов находятся оценки 
, 
, 
коэффициентов аппроксимирующего полинома 
. Результатом действия способа будет набор определенных на отрезке 
сглаживающих функций 
. Определяются значения разности 
между исходным нестационарным случайным процессом 
и оценкой сглаживающих функций 
:
. При оценке параметров разностного процесса 
, на каждом интервале разбиения 
, используется один из методов стабильного оценивания параметров выборки, т.е. оценка параметров математического ожидания 
и среднеквадратического отклонения 
производится по 
- усеченной выборке. Выражение для оценок математического ожидания 
и среднеквадратического отклонения 
принимают следующий вид: 
и 
, где 
. Далее, на каждом интервале разбиения исследуемого нестационарного случайного процесса, устанавливается пороговое значение:
, (1)
где 
- некоторый коэффициент, 
и 
. Превышение значений разностного процесса 
, на каждом интервале разбиения, установленного порогового значения, штрафуется, т.е. если выполняется условие: 
, то 
получает одно штрафное значение. В соответствии с методом размножения оценок, вышеизложенная процедура, определения штрафов, повторяется 
раз и для каждого повторения проверяется условие для каждого значения 
, где 
, 
- объем выборки исследуемого нестационарного случайного процесса, 
- количество интервалов разбиения, 
- количество повторений процедур. Таким образом, происходит накопление ряда штрафных значений для элементов исходной реализации исследуемого процесса. По окончанию обработки, для всех оштрафованных значений исходной реализации определяется суммарное значение штрафов 
и максимальное значение ряда 
. Проверяется условие: если 
, то 
-ое значение из входной реализации нестационарного случайного процесса 
, будет трактоваться как аномальное.
Модификация, предлагаемого в работе способа обнаружения аномальных значений, предполагает введение адаптации порогового значения относительно коэффициента 
в пороговом значении (1), при априорно фиксированном значении вероятности ошибки первого рода 
. В связи с этим предлагается ввести адаптацию порогового значения о назначения штрафов (1) по коэффициенту 
относительно априорно фиксированного значения вероятности ошибки первого рода 
. Проведенные исследования показали, что значение коэффициента 
, для рассмотренных законов плотности распределения вероятности случайных процессов, практически не зависит от объема исследуемой выборки 
и среднеквадратического отклонения стационарного случайного процесса 
, а зависит только от априорно задаваемого значения вероятности ошибки первого рода 
. На рис. 1 представлен усредненный график зависимости 
для исследуемых стационарных случайных процессов. Графическая зависимость, представленная на рис. 1, может быть аппроксимирована полиномом второй степени, вида:
. (2)
Полученные результаты исследования позволяют при адаптации порогового значения (1) вместо постоянного значения коэффициента 
использовать его оценку, которая вычисляется в соответствии с (2). Использование уравнения (2) в оценке порогового значения (1) позволяет использовать предложенный способ обнаружения аномальных значений при фиксированном значении вероятности ошибки первого рода 
. Разработана структурная схема устройства, реализующего адаптивный способ, представленная на рисунке 2.
Структурная схема состоит из буферного каскада (Б), блока разбиения на интервалы случайной длины (БРИ), блока формирования интервалов разбиения (БФИ), блока аппроксимации (БА), блока нахождения разностного процесса (БР), блока оценки параметров процесса (БОП), блока расчета порогового значения (П1), блока задания коэффициента (БЗК), коммутаторов (К1) и (К2), блока суммирования штрафов (БС), блока формирования второго порогового значение (П2) и блока устранения аномальных значений (БУ).
Предлагается способ обнаружения аномальных значений без оценки полезной составляющей нестационарного случайного процесса, основанный на обнаружении аномальных значений при использовании дискретно-меняющегося уровня анализа нестационарного случайного процесса (Пат. РФ №2302655). Предлагаемый способ обнаружения аномальных значений процесса заключается в следующем: определяется максимальное и минимальное значения исходного процесса и рассчитывается шаг изменения уровня анализа по выражению:
, где 
априорно заданное количество уровней. Значения уровней анализа вычисляется в соответствии с выражением 
, где 
. Для каждого значения уровня 
проверяется условие:
, (3)
где 
. При выполнении условия (3) на каждом шаге 
-му отсчету ставится в соответствие штрафное значение, равное 
. Таким образом, с изменением уровня анализа происходит накопление штрафных значений для элементов исходного процесса, т.е: 
, где 
, ряд штрафных значений с соответствующим номером элемента выборки. Одновременно, после установки каждого уровня 
и проверки условия (3), исследуемый процесс анализируется на наличие участков нестационарности, т.е. значения процесса, превышающие данный уровень 
анализируются согласно априорно задаваемой логике 
. Найденные нестационарности локализуются участки, то есть, если в ряде 
появится последовательность в 
ненулевых элементов, 
, 
, 
, где 
- априорно задаваемая значение, то предполагается, что на отрезке 
ряда 
присутствует полезная составляющая исходного процесса 
, и на этом интервале при дальнейшем изменении уровня анализа 
штрафы не назначаются. В ряду штрафных значений 
определяется максимальное значение ряда 
и проверяется условие 
, при его выполнении принимается решение, что соответствующее значение 
является аномальным. Исследованы и определены значения параметров способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса. Для практического использования, независимо от функции полезной и закона плотности распределения вероятности шумовой составляющих рассмотренных процессов, рекомендованы: количество уровней анализа 
и длина интервала, согласно которой определяются участки нестационарности, порядка 
. Разработана структурная схема устройства, реализующего предлагаемый способ обнаружения аномальных значений, представленная на рисунке 3. Структурная схема состоит из буферного каскада (Б), блока определения количества уровней анализа (БУА), коммутаторов (К1), (К2), (К3), блока проверки на участки нестационарности (ПН), суммирующего устройства (СУ), блока вычисления второго порового значения (БУП) и блока устранения аномальных значений (БУ).
В третьей главе проводится исследование эффективности предложенного адаптивного способа обнаружения аномальных значений. Исследования проводятся при различной величине аномальных значений и гауссовском законе плотности распределения вероятности аддитивной шумовой составляющей. Значения вероятности ошибки первого рода для способа с адаптацией порогового значения априорно фиксируется 
. В результате проведенных исследований, для нестационарных случайных процессов, получены зависимости оценок вероятности правильного обнаружения 
и вероятности ошибки первого рода 
. Для случая, когда не используется адаптация порогового значения – графики 
, 
, 
, 
, 
и с применением адаптация порогового значения – графики 1, 2, 3, 4, 5 (рис. 4). Для следующих моделей функции полезной составляющей: графики 1, 
экспоненциальной; графики 2, 
параболической; графики 3, 
гармонической; графики 4, 
составной и графики 5, 
сложной функции.
а) б)
Рис. 4. Зависимость а) 
и б) 
Анализ результатов, представленных на рис. 4а показывает, что при введении адаптации порогового значения, оценки вероятности правильного обнаружения 
возрастают для всех, рассмотренных функций, полезной составляющей процесса. Причем, для параболической, гармонической и экспоненциальной модели функций, при величине аномальных значений порядка 
, оценки 
возрастают в среднем на 66%. С ростом величины аномальных значений (
),оценки 
увеличиваются в среднем на 54%. Из анализа зависимостей 
, так же следует, что при использовании адаптации порогового значения, с ростом величины аномальных значений 
, оценки 
стремятся к единице, независимо от модели функции полезной составляющей процесса. Из анализа, полученных зависимостей рис. 4б, следует, что при использовании адаптации порогового значения оценки вероятности ошибки первого рода 
практически не превосходят априорно задаваемого значения, для всех исследуемых нестационарных случайных процессов.
В результате проведенных исследований, с адаптацией порогового значения получены зависимости 
и 
с аддитивной и мультипликативной шумовой составляющей, которые представлены на рисунке 5 для экспоненциальной модели функции полезной составляющей процесса: график 1 – мультипликативная шумовая составляющая; график 2 – аддитивная шумовая составляющая. Анализ результатов, представленных на рис. 5а, показывает, что при величине 
, оценки вероятности правильного обнаружения 
для мультипликативной модели нестационарного случайного процесса выше, чем при аддитивной модели на 10%. При введении адаптации порогового значения, для данной модели полезной составляющей, при величине 
, оценки 
. С ростом величины аномальных значений 
оценки 
стремятся к единице независимо от модели шумовой составляющей исследуемого нестационарного случайного процесса. Анализ результатов, представленных на рис. 5б, показывает, что при введении адаптации порогового значение оценки вероятности ошибки первого рода 
не превосходит априорно задаваемого значения 
. Причем, для мультипликативной модели шумовой составляющей процесса значение 
на 57% меньше, чем для аддитивной модели шумовой составляющей процесса. Аналогичная зависимость наблюдается и для других моделей функций полезной и законах плотности распределения вероятности шумовой составляющих нестационарного случайного процесса.
а) б)
Рис. 5. Зависимость а) 
и б) 
для аддитивной и мультипликативной модели шумовой
составляющей процесса
Проведенные исследования показали, что: использование адаптивного способа при анализе нестационарных случайных процессов с аддитивной и мультипликативной шумовой составляющей позволяет при фиксированном значении вероятности ошибки первого рода, получить оценки 
, которые с ростом величины аномальных значений стремятся к единице. Введение адаптации порогового значения, позволяет получить оценки 
, не превосходящие априорно задаваемого значения для всех рассмотренных моделей полезной и шумовой составляющих процесса.
В четвертой главе приведены результаты исследования способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса. Зависимости оценок 
и 
представлены на рис. 6. при гауссовском законе плотности распределения вероятности аддитивной шумовой составляющей, для следующих моделей функций полезной составляющей процесса: график 1 – гармонической, график 2 – сложной, график 3 – экспоненциальной, график 4 – составной, график 5 – параболической. Из анализа рис. 6б следует, что оценки 
при величине аномальных значений 
составляют в среднем 
, а при 
в среднем – 
(рис. 6а). Анализ зависимостей, представленных на рис. 6б, показывает, что оценки 
, при 
, в среднем для рассмотренных функций полезной составляющей процесса, составляют величину порядка 
. С ростом величины аномальных значений, оценки 
стремятся к своим минимальным значениям независимо о функции полезной составляющей процесса.
а) б)
Рис. 6. Зависимость а) 
и б) 
Влияние модели исследуемого процесса на эффективность способа с дискретно-меняющимся уровнем анализа рассматривается на примере экспоненциальной функции модели полезной составляющей процесса. В результате проведенных исследований, получены зависимости 
и 
с аддитивной и мультипликативной шумовой составляющей, которые представлены на рис. 7 (график 1 – аддитивная шумовая составляющая, график 2 – мультипликативная шумовая составляющая). По результатам анализа, графиков на рис. 7а видно, что при мультипликативной шумовой составляющей процесса, оценки 
максимальны (график 2). С ростом величины аномальных значений, разница в оценках 
уменьшается. Например, если 
на 26%, а при 
на 9%. Оценки 
при экспоненциальной функции полезной составляющей и мультипликативной шумовой составляющей процесса значительно меньше, чем при аддитивной шумовой составляющей, при 
, примерно на 84% (рис. 7б).
а) б)
Рис. 7. Зависимость а) 
и б) 
для аддитивной и мультипликативной модели шумовой
составляющей процесса
Результаты исследований показали, что при 
, эффективность способа с дискретно-меняющимся уровнем анализа выше на 10%, когда шумовая составляющая является мультипликативной. С ростом величины аномальных значений эффективность предлагаемого способа практически не зависит от формы взаимодействия полезной и шумовой составляющей нестационарного случайного процесса.
В пятой главе рассмотрена эффективность адаптивного и способа с дискретно-меняющимся уровнем анализа процесса при решении задачи выделения полезной составляющей нестационарного случайного процесса. Рассмотрены следующие методы сглаживания: скользящее среднее, медианное, экспоненциальное сглаживания и метод размножения оценок. Анализ полученных оценок среднеквадратического отклонения 
показывает, что они мало отличаются от полученных без наличия аномальных значений в выборке нестационарного случайного процесса, и значительно отличаются от тех, которые получены при наличии аномальных значений. Обнаружение аномальных значений может повысить эффективность выделения полезной составляющей в среднем на 40-60% в зависимости от её функции. Использование способов обнаружения аномальных значений при анализе нестационарных случайных процессов позволяет повысить точность выделения полезной составляющей в условиях комбинированной шумовой составляющей, т.е. учета наличия аномальных значений.
При решении многих практических задач, актуальной является задача обнаружения аномальных (резко выделяющихся) значений, их выделение или устранение. В связи с этим, рассмотрим возможность использования предлагаемых способов обнаружения аномальных значений при решении некоторых практических задач. В качестве натурной реализации для определения эффективности предлагаемых способов рассмотрен сигнал с металлодетектора. Металлодетектор, в данном случае, имеет два инверсных канала. Входной сигнал содержит в себе полезный сигнал и шумы, т.е. является нестационарным по среднему. Полезный сигнал имеет строго определённую форму во времени, но различную амплитуду. Графический пример такого входного сигнала с одного канала металлодетектора представлен на рис. 8. Анализ результатов обнаружения аномальных значений, представленных на рис. 8а и 8б, показывает, что оба способа определяют положение экстремальных значений сигнала с вероятность практически равной единице. Экстремальные значения соответствуют 240, 284 и 1250, 1284 отсчетам.
В качестве данных для обработки использовались так же результаты фотометрических наблюдений. Обрабатываемый процесс представляет цикл наблюдений и содержит 30 индивидуальных измерения блеска в V-фильтре. Результаты обработки, предлагаемыми способами, исследуемого стационарного случайного процесса, представлены на рис. 9. Рис. 9а – результат применения адаптивного способа обнаружения аномальных значений, при 
. Рис. 9б –
результат применения способа с дискретно-меняющимся уровнем анализа исследуемого процесса.
а) б)
Рис. 8. Результаты обнаружения аномальных значений при анализе сигнала с металлодетектора: а) адаптивный способ; б) способ с дискретно-меняющимся уровнем анализа
При использовании, адаптивного способа обнаружения аномальных значений выявлено, что результаты измерений, соответствующие 10, 12 и 26 отсчетам является аномальными (рис. 9а). При использовании способа с дискретно-меняющимся уровнем анализа, к числу аномальных значений добавился еще и 24 отсчет (рис. 9б).
а) б)
Рис. 9. Результаты обнаружения аномальных значений при анализе фотометрических данных: а) адаптивный способ;
б) способ с дискретно-меняющимся уровнем анализа
На рис. 10 представлена выборка, которая характеризует работу аккумуляторной батареи в режиме непланируемого короткого замыкания. Режим работы устройства, при коротком замыкании характеризуется наличием резких выбросов амплитуды сигнала.
а) б)
Рис. 10. Результаты обнаружения аномальных значений при анализе значений при анализе работы аккумуляторной батарее в режиме короткого замыкания: а) адаптивный способ; б) способ с дискретно-меняющимся уровнем анализа
При автоматизированном режиме диагностики работы устройства, важность определения этих выбросов, позволит определить резкое изменение параметров либо самого устройства, либо параметров и режимов работы, подключенных к нему внешних систем. При использовании как адаптивного способа обнаружения аномальных значений (рис. 10а), так и способа с дискретно-меняющимся уровнем анализа процесса (рис. 10б), вероятность обнаружения выбросов практически равна единице. Отсчеты 34 и 68 определены как аномальные.
В заключении сформулированы основные результаты работы
В приложении приведен листинг программ, реализующих адаптивный способ обнаружения аномальных значений и способ с дискретно-меняющимся уровнем анализа процесса.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
При решении поставленных задач получены результаты, на основании которых можно сделать следующие выводы:
- Проведенный анализ существующих методов и алгоритмов обнаружения аномальных значений показал, что их эффективность зависит от объема априорной информации об исследуемом процессе. Большинство рассмотренных методов используют для случаев, когда процесс стационарный и имеет гауссовский закон плотности распределения вероятности. При анализе нестационарных случайных процессов, существующие методы и алгоритмы опираются на то, что шумовая составляющая является аддитивной и априорно известны характеристики аномальных значений (величина, частота появления, место расположения).
- Предложен новый адаптивный способ, позволяющий при анализе нестационарных случайных процессов аддитивно-мультипликативной природы обнаруживать аномальные значения в условиях ограниченного объема априорной информации, и алгоритм, его реализующий (свидетельство № 2006611185 о регистрации программ для ЭВМ). Предлагаемый способ обнаружения аномальных значений является модификацией метода размножения оценок, которая заключается во ведении адаптации порогового значения относительно вероятности ошибки первого рода. Применение предлагаемого адаптивного способа для анализа нестационарных случайных процессов, позволило обнаруживать аномальные значения при априорно фиксированном значении вероятности ошибки первого рода.
- Получено выражение, согласно которому пороговое значение определяется в зависимости от априорного значения вероятности ошибки первого рода.
- Предложена структурная схема устройства, реализующая адаптивный способ обнаружения аномальных значений при фиксированном значении вероятности ошибки первого рода (Пат. РФ № 2311445).
- Экспериментально показано, что при адаптивном способе, с ростом величины аномальных значений, оценки вероятности ошибки первого рода не превосходят априорно задаваемых, а оценки вероятности правильного обнаружения стремятся к единице, независимо от модели функции полезной и закона плотности распределения вероятности шумовой составляющих исследуемого процесса. Эффективность обнаружения аномальных значений возрастает, при величине
, для процессов с аддитивной шумовой составляющей на 66-54% и с мультипликативной – на 43-50% независимо от места расположения аномальных значений и закона плотности распределения вероятности шумовой составляющей процесса. - Экспериментально установлено, что эффективность адаптивного способа возрастает при использовании стабильного оценивания параметров выборки нестационарного случайного процесса, в зависимости от модели функции полезной составляющей, при
, от 11% до 36%. - Предложен новый способ обнаружения аномальных значений с дискретно-меняющимся уровнем анализа процесса и предложена структурная схема устройства его реализующее (Пат. РФ №2302655). Построен алгоритм способа обнаружения аномальных значений с дискретно-меняющимся уровнем анализа и рекомендованы его параметры.
- Экспериментально показано, что для способа с дискретно-меняющимся уровнем анализа процесса, при величине аномальных значений
оценки вероятности ошибки первого рода и вероятности правильного обнаружения не зависят от модели функции полезной и от закона плотности распределения вероятности шумовой составляющих, а так же и от места расположения аномальных значений в исследуемом нестационарном случайном процессе. - Экспериментально показано, что при наличии аномальных значений в исследуемом нестационарном случайном процессе, использование предлагаемых способов в задаче выделения полезной составляющей, позволяет повысить их эффективность в среднем на 40-60%.
- Определено, что применение предлагаемых способов при анализе экспериментальных данных позволяет в автоматическом режиме эффективно обнаруживать аномальные значения.
- Разработаны пакеты прикладных программ и программных комплексов, реализующих адаптивный способ обнаружения аномальных значений и способ с дискретно-меняющимся уровнем анализа процесса, которые внедрены в рамках госбюджетной НИР по заданию Федерального агентства по образованию РФ (ЮРГУЭС – 2.06.Ф, № ГР 0120.0603.492, Инв. № 022.007.023.59), по ЕЗН Федерального агентства по образованию РФ (ЮРГУЭС-1.02.Ф, № ГР 0104.0000.218, Инв. № 007.023.58), в ООО НПП «Интор» г. Новочеркасск при выполнении конструкторских работ технических средств измерений и программного обеспечения систем автоматизации и во Всероссийском НИИ экономики и нормативов российской академии сельскохозяйственных наук, при анализе и обработки временных рядов. Результаты диссертационной работы в виде алгоритмов и программ используются в учебном процессе ЮРГУЭС по дисциплинам «Устройства цифровой обработки сигналов», «Статистическая радиотехника», «Методы цифровой обработки сигналов».
ПО ТЕМЕ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ СЛЕДУЮЩИЕ РАБОТЫ:
- Токарева С. В., Шерстобитов А. И. Повышение вероятности правильного обнаружения аномальных измерений при параметрической неопределённости//Известия ВУЗов Сев.-Кав. регион «Техника, Технология и экономика сервиса». Технические науки. - Новочеркасск: ЮРГТУ, – 2004. - приложение № 6. – С.197-199.
- Токарева С. В., Марчук В.И. Способ обнаружения аномальных значений при анализе нестационарных случайных сигналов//Известия ЮФУ. Технические науки. Тематический выпуск “Безопасность телекоммуникационных систем”.– Таганрог: Издательство ТТИ ЮФУ, 2008, №3(80), С. 66-72.
- Пат. № 2301445 Российская Федерация, С1, МПК G06F 17/18. Устройство для обнаружения и устранения аномальных измерений/ Токарева С.В., Марчук В. И., В.В. Воронин, Шерстобитов А.И.; заявитель и патентообладатель Южно-Рос. Гос. ун-т экономики и сервиса. –; заявл12.10.2005; опубл. 20.06.2007, Бюл. № 17. – 16 с. 9 ил.
- Пат. №2302655 Российская Федерация, С1, МПК G06F 15/00. Способ обнаружения аномальных измерений без оценки функции тренда и устройство его реализующее / Токарева С.В., Марчук В. И., В.В. Воронин, Шерстобитов А.И.; заявитель и патентообладатель Южно-Рос. Гос. ун-т экономики и сервиса; заявл. 17.10.2005; опубл. 10.07.2007, Бюл. № 19. – 14 с. 9 ил.
- Свидетельство об официальной регистрации программ для ЭВМ № 2006611185. Обнаружение аномальных измерений при возможности фиксирования вероятности ложной тревоги / Токарева С.В., Марчук В. И., В.В. Воронин, Шерстобитов А.И.; заявитель и патентообладатель Южно-Рос. гос. ун-т экономики и сервиса. – заявл. 13.02.06 г., г. Москва. – опуб. 3.04.06 г.
- Токарева С.В., Шерстобитов А.И. Сравнительный анализ метода экспоненциального сглаживания и размножения оценок при выделении полезного сигнала//Измерение и контроль. Информация: мат. 4-ой междунар. тех. конф., Барнаул: АГТУ, 2003. – С. 83-86.
- Токарева С.В. Сравнительный анализ модификации нового метода обнаружения аномальных измерений//Междунар. науч. конф. «Системный подход в науках о природе, человеке и технике», Таганрог: ТРТУ, 2003. – Ч.5. – С.99-103.
- Токарева С. В., Шерстобитов А.И. Способ уменьшения погрешности при использовании метода размножения оценок//Моделирование. Теория, методы и средства: Мат. 4-ой междунар. науч-прак. конф.. - Новочеркасск: ЮРГТУ, 2004. – С.4-5.
- Токарева С. В., Марчук В.И., Анализ вероятностных характеристик адаптивного порога при обнаружении аномальных измерений//Цифровая обработка сигналов и её применение: Труды Рос. науч.-техн. общ. Радиотех., электрон. и связи им. А.С.Попова.- Москва, 2005. – Вып.VII-2. – С.387-389.
- Токарева С. В. Возможность адаптации порогового значения при симметричных и несимметричных законах распределения шумовой составляющей//Цифровые методы и технологии: Мат. междунар. науч. конф. - Таганрог: ТРТУ, 2005. – Ч.3. – С.61-63.
- Токарева С.В. Использование адаптивного метода обнаружения аномальных измерений при заданной вероятности ошибки первого рода//Современные проблемы радиоэлектроники: мат. 1-ой межрег. науч. конф. - Ростов-на-Дону, 2006. – С.132-134.
- Токарева С.В., Марчук В.И., Шерстобитов А.И. Использования адаптивного метода при анализе стационарных случайных процессов//Информационные технологии в современном мире: мат. междунар. науч. конф. - Таганрог: ТРТУ, 2006. – Ч.2. – С.76-78.
- Токарева С.В. Использование адаптивного метода обнаружения аномальных измерений для нестационарных случайных процессов//Статистические методы в естественных, гуманитарных и технических науках: Мат. междунар. науч. конф. - Таганрог: ТРТУ, 2006. – Ч.3. – С.83-86.
- Токарева С.В. Исследование эффективности адаптивного метода обнаружения аномальных значений при мультипликативной шумовой составляющей//Цифровая обработка сигналов и её применение: Труды Российского научно-тех общества радиотехники, электроники и связи им. А.С.Попова. – Москва, 2007. – Вып.IX-2. – С. 386-389.
- Токарева С.В., Воронин В.В. Обнаружение аномальных значений в реализации нестационарного случайного сигнала с мультипликативной шумовой составляющей//XIII междунар. науч-тех. Конф. «Радиолокация, навигация, связь», Том 1. Воронеж, НПФ «САКВОЕЕ» ООО 2007. – С.82-87.
- Токарева С.В., Воронин В.В., Семенищев Е.А. Сравнительный анализ обнаружения аномальных значений при аддитивной и мультипликативной шумовой составляющей//Перспектива-2007: Мат. междунар. конгресса студентов, аспирантов и молодых ученых. - Нальчик: Каб.-Балк. Ун-т, 2007. – Том II. – С. 79-81.
- Практические аспекты цифровой обработки сигналов/Окорочков А.И., Федосов В.П., С.В. Токарева и др.: Монография//под ред. В.И.Марчука.–Шахты: Изд-во ЮРГУЭС, 2007. – 207 с.
- Токарева С.В., Воронин В.В., Шерстобитов А.И. Анализ эффективности метода обнаружения аномальных значений без выделения функции полезной составляющей процесса//Методы и средства управления технологическими процессами: Мат. IV Междунар. конф. – Саранск: Мордовский гос. университет, 2007. – С. 225-227.
- Токарева С.В., Воронин В.В. Исследование модификации метода обнаружения аномальных значений//Наука и образование без границ: Мат. 3 междунар. науч. практ. конф. – София: «Бял ГРАД-БГ» ООД, 2007. – Т.16.Технологии. – С.74-77.
- Токарева С.В Обнаружение аномальных измерений при многопороговом уровне анализа нестационарного случайного процесса//Цифровая обработка сигналов и её применение: Труды Российского науч-тех общества радиотехники, электроники и связи им. А.С.Попова. – Москва, 2008. – Вып.X-2. – С. 537-540.
- Токарева С.В. Оценка эффективности обнаружения аномальных значений при наличии корреляции между отсчетами шумовой составляющей//Информация, сигналы, системы: вопросы методологии, анализа и синтеза: Мат. международ. научной конференции. – Таганрог: ТТИ ЮФУ, 2008. – Ч.4. – С. 72-75.
____________________________________________________
Типография Технологического института
Южного федерального университета в г. Таганроге
347928, Таганрог, ГСП-17А, ул. Энгельса 1
Тираж 100 экз.
