Анализ и обработка информации информационно-вычислительной инфраструктуры нефтегазовых предприятий
На правах рукописи
Хартьян Денис Юрьевич
АНАЛИЗ И ОБРАБОТКА ИНФОРМАЦИИ
ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ ИНФРАСТРУКТУРЫ НЕФТЕГАЗОВЫХ ПРЕДПРИЯТИЙ
Специальность 05.13.01 – Системный анализ, управление и обработка
информации (нефтегазовая отрасль)
Автореферат
диссертации на соискание ученой степени
кандидата технических наук.
Тюмень, 2006
Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Тюменский государственный нефтегазовы университет» Федерального агенства Российской федерации на академической кафедре технической кибернетики (ТюмНЦ СО РАН).
Научный руководитель: доктор технических наук, профессор
Шапцев Валерий Алексеевич
Официальные оппоненты:
доктор технических наук, профессор
Глухих Игорь Николаевич
кандидат технических наук
Алтунин Александр Евгеньевич
Ведущая организация: ООО “КогалымНИПИнефть”
Защита состоится 23 июня 2006 г. в 1430 часов на заседании диссертационного совета Д 212.273.08 при Тюменском государственном нефтегазовом университете по адресу: 625039, г. Тюмень, ул.Мельникайте, 72, конференц-зал, каб. 46.
С диссертацией можно ознакомиться в библиотеке Тюменского государственного нефтегазового университета по адресу: 625039, г.Тюмень, ул. Мельникайте, 72.
Автореферат разослан 23 мая 2006 г.
Ученый секретарь
диссертационного совета Т.Г. Пономарева
Общая характеристика работы
Актуальность темы. Нефтегазовый комплекс в настоящее время интенсивно создает и развивает системы управления распределенными технологическими процессами на нефте- и газопромыслах. Телекоммуникационной базой, обеспечивающей интенсивные потоки информации об объектах и на объекты, для этих систем управления, являются сети компьютерных телекоммуникаций. Управление функционированием этих сетей, с целью исключения простоев из-за всевозможных коллизий трафика и тренда параметров аппаратуры, возможно только упреждением сбоев. Поэтому задача автоматизации мониторинга такого объекта управления стала актуальной. По исследованиям маркетинговой компании Market-Visio (Россия, г. Москва, 2004г.) аудит текущего состояния информационных систем, функционирование которых обеспечивает корпоративную информационно-вычислительную инфраструктуру (КИВИ), является одной из наиболее актуальных задач нефтегазового комплекса, (22%) по сравнению с другими исследуемыми показателями. Необходимость мониторинга подчеркивается и в отчете компании IBS, в котором исследовано текущее состояние инфраструктуры корпоративной информационной системы ООО «Сургутгазпром».
В то же время растет интеграция внедряемых на предприятиях информационных технологий в единую инфраструктуру с целью повышения эффективности производственных и бизнес-процессов в нефтегазовом комплексе. Вследствие такой интеграции происходит усложнение КИВИ нефте- и газопромыслов, нефтегазодобывающих предприятий и их сервисных подразделений. КИВИ таких предприятий – это гетерогенная, распределенная в пространстве сложная система. Развитие и управление такой КИВИ – один из важнейших факторов успешного бизнеса и процветания организаций. Возрастает актуальность задачи оперативного управления КИВИ предприятий и организаций в условиях существенного повышения ее сложности; дефицита времени, связанного с динамичностью рыночных и социально-экономических отношений; а также дефицита кадров достаточной квалификации. Разработке эффективного в этом смысле (динамичного и менее трудоемкого) механизма администрирования КИВИ посвящена настоящая работа. В разработке системы мониторинга учтены результаты исследований, полученные российскими учеными. Среди них - Н.А. Олифер, В.Г. Олифер, В.А.Васенин, Э.Я. Якубайтис, Джорж Мартин, Ю.И. Шокин, А.М. Федотов, И.А. Мизин и др. Исследования проведены на конкретном предприятии нефтегазового комплекса (НГК) – ОАО 'ТНГФ".
Цель работы состоит в разработке системы автоматизированного мониторинга, повышающей оперативность выявления аномалий в КИВИ.
Основные задачи исследований:
- Системный анализ КИВИ на примере вычислительной сети ОАО "ТНГФ", являющейся типичным представителем сервисной компанией НГК, с целью выявления факторов, ограничивающих ее функционирование, с учетом эффективности применения различных методов и программных средств в управлении и поддержке функционирования КИВИ.
- Системный анализ традиционной деятельности администратора по обеспечению функционирования КИВИ с целью ее рационализации.
- Разработка методики мониторинга КИВИ. В частности, поиск информативного множества параметров для мониторинга КИВИ и разработка метода прогнозирования состояний КИВИ.
- Экспериментальное исследование разработанных методов.
Методы исследований: методы системного анализа, математической статистики, таксономии, теории нейронных сетей; программирование, вычислительные эксперименты, информационное моделирование.
На защиту выносятся следующие положения:
- Разработанный и реализованный алгоритм отбора информативных параметров КИВИ, используемых в АСУ НГК, позволяет в 10–100 раз сокращать количество необходимых для мониторинга параметров при заданной точности. Алгоритм использует совокупность методов непараметрического корреляционного анализа и самоорганизующихся карт Кохонена (SOM).
- Созданные две нейронные сети позволяют распознавать и прогнозировать состояния КИВИ по сокращенной выборке информативных параметров с надежностью от 0,5 до практически 1, что подтверждено, в частности, двумя другими методами (интервальный и SOM) в случае распознавания состояний.
- Реализованный оригинальный программный комплекс автоматизированного сбора и анализа данных позволяет систематизировать значительный объем данных о функционировании КИВИ в виде базы данных и знаний.
- Предложенная классификация прецедентов деятельности по управлению функционированием КИВИ и экспертные оценки их приоритетности позволяют повысить эффективность этой деятельности на конкретном предприятии НГК по критериям: эксплуатационная готовность и адекватность функциональности КИВИ.
Научная новизна работы.
- Разработан оригинальный комплексный алгоритм выбора информативных параметров, включающий последовательное использование методов: непараметрического корреляционного анализа и самоорганизующихся карт Кохонена (SOM).
- Впервые реализован алгоритм распознавания состояния КИВИ посредством нейронных сетей, особенностью которого является введение дополнительных векторов значения параметров характеризующих аномальное состояние КИВИ.
- Создано и апробировано программное обеспечение (ПО), существенно повышающее эффективность поддержки деятельности администратора КИВИ на предприятиях НГК.
- Разработана методика системного анализа и формализации деятельности по управлению КИВИ по предложенной схеме, создана информационная модель деятельности администратора КИВИ в виде совокупности прецедентов и функциональных диаграмм.
Достоверность полученных результатов подтверждается корректной обработкой данных, с использованием методов корреляционного анализа, самоорганизующихся НС Кохонена и НС прямого распространения, апробацией результатов на научно-практических семинарах и конференциях, положительным эффектом внедрения, логикой анализа и выводов, допустимой точностью измерений, применением для расчетов типового ПО.
Практическая значимость работы. Разработанные в работе методы, алгоритмы и программы используются для мониторинга КИВИ ОАО «Тюменнефтегеофизика», также могут быть использованы для анализа, формализации и поддержки деятельности администраторов посредством автоматизированного, ускоренного мониторинга КИВИ других предприятий или организаций, в первую очередь на распределенных промыслах нефти и газа. Предлагаемые методы и разработанные средства позволяют прогнозировать аварийные состояния КИВИ и принимать решения о внеочередных профработах и необходимой модернизации. Полученный экспериментальный материал в виде базы данных и знаний, формализованных в процессе мониторинга, полезен для исследователей и обслуживающего персонала ЛВС в составе КИВИ месторождений.
Публикации. По материалам диссертации опубликовано 12 работ (список в конце автореферата).
Апробация работы. Результаты диссертационной работы были представлены на конференциях и семинарах: Всероссийская научно-техническая конференция "Новые информационные технологии в университетском образовании" (Новосибирск, 2003); IIX международная научно-практическая конференция "Проблемы функционирования информационных сетей" (Бишкек, 2004); Международная научная конференция «Модернизация образования в условиях глобализации», круглый стол "Компьютерная поддержка профессиональной деятельности" (Тюмень, 2005); II Всероссийская научно-техническая конференция "Методы и средства обработки информации" (Москва, МГУ, 2005); Всероссийская научно-техническая конференция "Нефть и газ Западной Сибири" (Тюмень, 2005).
Результаты работы апробированы и внедрены в ОАО "Тюменнефтегеофизика". Результаты работы докладывались на семинарах института интеллектуальных технологий при ТГУ и семинарах академической кафедры тех. кибернетики ТГНГУ. По результатам работы соискатель стал лауреатом всероссийского конкурса "Инженер года" по версии "инженерное искусство молодых" в номинации "Информатика, информационные сети, вычислительная техника".
Объем и структура диссертации. Диссертация состоит из введения, 5 разделов, изложенных на 122 страницах машинописного текста, содержащих 38 рисунков, 11 таблиц, списка литературы из 108 наименований и 9 приложений на 52 страницах.
ОСНОВНОЕ Содержание работы
Во введении сформулирована актуальность темы диссертационного исследования с учетом особенностей предприятий нефтегазового комплекса (НГК). Обосновывается актуальность задач: 1) выбора наименьшего набора актуальных для мониторинга параметров, характеризующих состояние объекта управления (КИВИ); 2) выявления и классификации состояний объекта управления; 3) разработки средств мониторинга объекта управления - КИВИ. При этом учтены результаты исследований, полученные учеными. Среди них - Н.А. Олифер, В.Г. Олифер, В.А.Васенин, Э.Я. Якубайтис, Джорж Мартин, Ю.И. Шокин, А.М. Федотов, И.А. Мизин, Е.Л. Дружинина, О.А. Усенко, А.Г. Карамзина и др.
В первом разделе осуществлена постановка задачи исследования. Представлены результаты анализа КИВИ конкретного предприятия, ОАО "Тюменнефтегеофизика". Обоснована типичность полученных результатов. Проведен анализ существующей терминологии в области информационных технологий. Сформирован новый термин КИВИ (Корпоративная Информационно-Вычислительная Инфраструктура), он базируется на основных понятиях информационных систем и вычислительных сетей. Он наиболее точно определяет название исследуемого объекта. Вводится понятие набора информативных параметров (ИП), которые являются значениями актуальных для мониторинга характеристик ПАО. Проанализированы состояние и тенденции развития средств мониторинга компьютерных сетей, история становления стандартов и методов мониторинга КИВИ.
Аналитический обзор средств мониторинга КИВИ показал многообразие соответствующих средств. Основными классами этих средств являются: Network Management Systems (системы управления сетью); System Management (средства управления системой); Embedded systems (встроенные системы диагностики и управления); оборудование для диагностики и сертификации кабельных систем. Все проанализированные средства не обладают возможностью выделения минимального набора ИП для полнофакторного анализа и ограничены по функциям идентификации состояний КИВИ. Анализ работы протокола SNMP, как основного протокола используемого в системах мониторинга позволил выделить его достоинства: доступность, широкое использование, простота, независимость от производителей. Есть и недостатки: отсутствие надежных средств идентификации в SNMPv1, работа через ненадёжный протокол UDP.
Формируется поэтапная схема разработки системы мониторинга с подбором для каждого этапа соответствующих методологий анализа и инструментальных средств. Во всем процессе разработки выделены 4 основных этапа: 1) формальное описание исследуемого процесса используются методологии структурного анализа IDEF0, IDEF3, DFD, инструментарий – AllFusion Process Modeler фирмы Computer Associates; 2) анализ данных и разработка внутреннего хранилища информации, используется метод сущность-связь, инструментарий – AllFusion Erwin Data Modeler фирмы Computer Associates;; 3) разработка алгоритмической базы программного комплекса, применяется cовокупность методологий унифицированного языка моделирования UML, таких как диаграммы вариантов использования и диаграммы классов, средство Rational Rose компании Rational Software;; 4) программирование, используется Borland Delphi 7, математический пакет Matlab 7.
Особенности КИВИ ОАО «ТНГФ». Отмечено многообразие этапов становления от совокупности одноранговых сетей до распределенной инфокоммуникационной инфраструктуры с мощными вычислительными комплексами и клиент-серверными приложениями. Следствием этого является наличие большого парка устаревшей техники. Существуют следующие проблемы управления: 1) сложность управления гетерогенной средой предприятия; 2) непрозрачностью для руководства компании действий администраторов КИВИ и отсутствие понимания необходимости ее развития; 3) применение платформ управления ограничено сложностью их настройки, высокой стоимостью, необходимостью кадров высокой квалификации.
Проанализированы методы обработки и анализа данных. Интересен опыт разработок ЗАО "ПроЛан", где используют статистические и эвристические методы анализа данных о состоянии КИВИ. Многие методы обработки и анализа данных относятся к технологии Data Mining. К перспективным методам Data Mining относят интенсивно развиваемые технологии нейронных сетей (НС). Это можно отследить по работам А.И. Галушкина, А.Н. Горбаня, С.А. Шумский, и др. В работе технологии НС используются совместно с методами статистического анализа и таксономии.
Второй раздел посвящен разработке системной модели деятельности администратора (А). В научной литературе анализу деятельности А КИВИ уделяется мало внимания, поэтому становится необходимым проведение такого анализа. Основные проблемы существующего процесса администрирования КИВИ:
- объектом деятельности А являются факты сбоев в КИВИ, а не предкатастрофические ситуации;
- состояния КИВИ отображаются сверхбольшим количеством параметров (чрезмерные трата ресурсов КИВИ и сложность интерпретации ее состояния);
- отсутствие интеллектуальных средств поддержки деятельности А на фоне огромных вычислительных мощностей КИВИ;
- динамичность функционирования КИВИ как сложного объекта, требующая оперативности в деятельности А для минимизации простоев.
Для решения этих проблем необходимо снижение нагрузки на А, и реализация функции по предсказанию аномалий в функционировании КИВИ. Для этого проведен системный анализ, позволивший формализовать деятельность администратора в контексте обеспечения бесперебойного функционирования КИВИ, в частности: - выявить наиболее узкие и проблемные компоненты деятельности А; - наиболее эффективно распределить имеющиеся трудовые ресурсы; - сместить акцент деятельности администратора на профилактику сбоев. После реализации модели основными функциями администратора становятся профилактика сбоев и планирование развития КИВИ, а не реагирование на сбои, число которых существенно уменьшено.
Исследован перечень видов деятельности А. Для каждого вида деятельности сделаны экспертные оценки трех параметров: P – уровня приоритетности (по времени) выполнения прецедентов; K - квалификации персонала, реализующего прецеденты; – частость возникновения задачи. Модель деятельности администратора (ДА), представленная в виде перечня и моделей прецедентов, позволила: 1) выделить четыре множества прецедентов: F1 (P 5, K < 5, > 2) - прецедентов деятельности службы администрирования КИВИ, которые организации рекомендуется исполнять собственными силами; F2 (P = 4, K = 5) - критическое множество прецедентов, не требующих оперативного реагирования; F3 (P < 4, K = 5, < 4) - множество прецедентов, не требующих оперативного реагирования, но требующих высокой квалификации специалиста; F4 (P = 5, K = 5, > 2) - критическое множество прецедентов, требующих квалифицированной поддержки и автоматизации; 2) выработать рекомендации по эффективной реализации прецедентов в каждом множестве Fk, k = 1,…,4.
Для оптимизации выполнения сформированного перечня деятельностей А разработаны функциональные диаграммы. Такое представление деятельности А позволило провести ее оптимизацию за счет автоматизации и реорганизации, а также сделать его деятельность прозрачной для руководства. Детально была проанализирована деятельность администратора локальной вычислительной сети (ЛВС) по мониторингу активного сетевого оборудования (АСП). Анализ функциональных диаграмм выявил, что при вводе в эксплуатацию АСП, систем мониторинга и сетевых программных продуктов, а также на стадии выявления и устранения причин сбоя необходимо определять множество ИП (с целью существенного уменьшения размерности факторного пространства). Так же введено аналитическое описание, с использованием теории множеств, взаимодействия А с КИВИ и ее пользователями.
В Третьем разделе проводится разработка комплекса алгоритмов для системы мониторинга КИВИ.
Разработана концептуальная схема мониторинга КИВИ из двух этапов (рис. 1): I этап: формирование информационной базы мониторинга. Проводится однократно при вводе системы в эксплуатацию; II этап: текущая обработка данных о КИВИ. Проводится регулярно.
Для I-го этапа разработан оригинальный алгоритм сокращения размерности пространства параметров (факторного пространства) и определения априорного (до мониторинга) набора состояний КИВИ. Особенность алгоритма заключается в формализации принципиально нового подхода к выбору ИП для мониторинга и определению исходного перечня состояний функционирования КИВИ. Этот алгоритм включает:
Рис. 1. Концептуальная схема мониторинга КИВИ
Формирование границ мониторинга. Собираются знания о составе эксплуатируемой КИВИ. Для этого предложен метод классификации ПАО с целью выявления множества параметров, адекватно отображающих состояние КИВИ. Он требует анализа: природы исследуемых параметров; принципов формирования групп параметров; степени обоснованности выполняемой классификации. Предметом классификации являются параметры функционирования КИВИ. Проведенный в работе анализ позволил выявить адекватные подходы к классификации объектов КИВИ и их параметров. Для задания границ мониторинга КИВИ предложено использовать классификацию объектов по функциональной принадлежности программных продуктов, по целевому признаку выполняемых сегментов задач, по аппаратно-системной принадлежности. Затем для отобранных объектов проводится классификация параметров, характеризующих состояние отобранных для мониторинга объектов в соответствии с MIB-деревом (management information base) и природой параметров. Такая многоуровневая классификация позволяет выделить ПАО, функционирование которого нуждается в мониторинге. Результатом ее является множество параметров PA, которое является объектом измерения, обработки и анализа.
2. Предварительная обработка данных. Проводится сбор представительной выборки данных: 1) из матрицы пассивного эксперимента со значениями параметров – PA выделяется подматрица, отображающая измерения подмножества PV параметров, вариативность которых больше заданного порога; 2) определяется корреляционная (по Спирмену) матрица R = {Rij} множества элементов PV ; 3) посредством анализа этой корреляционной матрицы и сопоставления сути пар коррелированных (Rij > 0.99, например) параметров удаляются дублирующие PV PD ; 4) Дальнейшее уменьшение мощности множества PD осуществляется оригинальным методом последовательной выборки ИП (на базе метода корреляционных плеяд): PD PR.
3. Для формирования исходного множества состояний КИВИ {Si} применительно к множеству PR пространство состояний разбивается на кластеры с использованием SOM Кохонена. Используется автоматизированная группировка измерений на основе критерия Дэйвиса-Боулдинга. (Davies-Boulding), которая может быть уточнена экспертом. В результате снижается размерность пространства состояний, что позволяет перейти к сокращению набора ИП. Формулируется набор исходного множества состояний КИВИ с занесением их описаний в БД.
4. Вычисление ИП проводится с применением SOM Кохонена. В результате сокращается множество PR. Вычисляется итоговое множество ИП PI, по совокупности значений которых можно распознавать состояние КИВИ с заданной точностью. Вычисляются границы нормального функционирования КИВИ: Pi,m,max, Pi,m,min для каждого Si, m = 1,2, …. Все эти значения заносятся в БД.
На этапе I в результате описанных преобразований множества параметров PA PV PD PR PI система мониторинга становится готовой к работе. На основе полученных данных эксперт может проводить: формирование правила поведения; отслеживать траекторию функционирования КИВИ; предсказывать ее состояния.
На II этапе используются алгоритмы, применяемые для текущей обработки наблюдаемых значений параметров функционирования КИВИ. При этом процедуры 1-3 (см. ниже) выполняются циклически, а 4-6 - по мере необходимости (заданной администратором):
1. Распознавание текущего состояния Анализ текущей работы КИВИ. После подготовки системы к работе и описания ее состояний запускается анализ текущей работы. В рамках этого мониторинга выявляются аномалии в работе КИВИ и причины, приведшие к их возникновению. Для распознавания текущего состояния используется два метода: 1) анализ знаний на созданной информационной базе SOM; 2) учет вычисленных при уточнении ИП границ функционирования КИВИ. В результате получаем оценку Sc текущего состояния КИВИ.
2. Для проверки нормальности текущего состояния анализируется сходство Sc и Si+z с определенными состояниями нормы Sn и аномалии Sa с учетом сформированных ранее правил поведения КИВИ.
4. Для прогнозирования состояния КИВИ формируется нейронная сеть прямого распространения, которая позволяет предсказать состояния Si+z КИВИ на заданное администратором число измерений - z.
5. Для информирования администратора о текущем состоянии КИВИ разработан соответствующий интерфейс (см. Разд.4), который отображает функционирование КИВИ на экране монитора администратора.
6. Корректировка существующего состояния становится необходимой в ходе изменения значений ИП характеризующих это состояние. Проводится уточнение граничных значений параметров в ходе функционирования КИВИ.
7. Формирование нового состояния. Выполняется при необходимости задания новых состояний КИВИ. Такая необходимость может быть вызвана отклонением измерений от уже определенных состояний и опытом администратора. При формировании нового состояния учитываются: вектор состояния; причины, вызвавшие такое состояние; способ разрешения возникшей аномалии; выявление тенденции, приведшей к такому состоянию.
8. Проверка ИП. Периодическая верификация параметров на их информативность и уточнение их набора, так как возможно появление новых состояний или изменения существующих, а также изменения в логике функционирования и составе ПАО КИВИ.
В четвертом разделе описана реализация программного комплекса, реализующего разработанные в разд. 3 алгоритмы. Основные функции ПО: получение текущих значений параметров устройств КИВИ; выявление ИП; определение текущего и прогнозируемых состояний; выдача рекомендаций (проектов решений) администратору.
В качестве среды программирования использован Borland Delphi 7. Математический аппарат реализован в среде Matlab 7. Для связи модулей, написанных в различных средах используется COM-технология. Для обращения к БД использованы SQL-запросы.Система не ориентирована на определенную СУБД и может работать с любой, которая поддерживается компонентом ADOConnection. На рис. 2 изображена структура ПО. В качестве СУБД используется MS SQL Server 2000. Программный комплекс содержит 31 программный модуль, содержащий более 11000 строк кода. По функциональному назначению все модули делятся на интерфейсные и вычислительные. Интерфейсные модули системы обеспечивают: инициализацию работы других модулей; задание имени БД и границ мониторинга КИВИ при формировании БД; отображение состояния КИВИ; изменение данных при необходимости проверки или изменения информации администратором в БД. При разработке интерфейсных модулей учтены требования по эргономике. Интерфейс адаптирован под потребности администратора-эксперта. Вычислительные модули системы реализуют: алгоритмы отбора ИП и формирования перечня состояний; алгоритмы вычисления текущего и прогнозного состояний.
Рис. 2. Структура программного комплекса
Разработка структуры хранилища данных проведена методом сущность-связь. Модель БД разработана с использованием инструментария AllFusion ERwin Data Modeler компании Computer Associates. Особенностями БД являются: большой объем хранимой информации, сжатие хранимой информации и оптимизация по скорости выполнения запросов предоставления информации.
В пятом разделе приводятся результаты экспериментальных исследований и дается решение задачи выявления ИП КИВИ.
Описывается лабораторная база эксперимента и уточняется цель исследований. Цель эксперимента - опробирование методов, предложенных в разделе 3. В качестве экспериментальной базы использована вычислительная сеть ОАО "ТНГФ", где исследовались характеристики 10 коммутаторов фирмы Cisco Systems, модель Catalyst 2950 и одного коммутатора с функциями маршрутизации Catalyst 3550, что в совокупности составило 282 порта. Для сбора и обработки значений параметров была реализована оригинальная система сбора данных, которая посредством протокола SNMP собирает в базу данных (БД) значения параметров функционирования ПАО. Корректность результатов сбора данных в разработанной программе сверялась с данными, получаемыми с использованием утилиты snmpwalk. Математическая обработка данных реализована в среде Matlab. Для работы программы использовался сервер под управлением СОС Microsoft windows server 2003.
Результаты предварительной обработки данных. Общее число наблюдаемых параметров - 44586. Анализ матрицы эксперимента позволил сократить количество параметров до 3285 за счет исключения статичных и дублированных параметров.
Таблица 1.
Количество ИП, полученное разными методами и при разных значениях
| Rlim | Упорядочение параметров по убыванию сумм корреляций | Метод корреляционных плеяд | |
| 0,6 | Независимые параметры | 233 | 274 |
| Вошедшие в иерархию | 310 | 466 | |
| 0,7 | Независимые параметры | 401 | 484 |
| Вошедшие в иерархию | 416 | 614 | |
| 0,8 | Независимые параметры | 658 | 753 |
| Вошедшие в иерархию | 403 | 746 |
На основании анализа корреляций выстроена иерархия «сходства» параметров. Приведен анализ полученной иерархии, статистика идентификаторов параметров. Корреляционная матрица (3285 х 3285) по Спирмену позволила выделить некоррелированное (Rij < 0,7) множество из 401 параметра, играющее роль совокупности претендентов на ИП (табл. 1).
Предложенный метод выделения претендентов на ИП был сопоставлен с методом корреляционных плеяд. Результаты сравнения позволяют утверждать о преимуществе предложенного метода по критерию минимального количества параметров – претендентов на ИП (табл. 1).
Результаты выделения исходного набора состояний КИВИ алгоритмом самоорганизующейся нейронной сети (SOM) Кохонена. Подробно рассматривается один из экспериментов, цель которого - разбить на классы N точек в PV -мерном пространстве. N – число измерений, получаемых с интервалом 15 минут, PV – число параметров. В качестве входных параметров для обучения SOM использована матрица (NPV) размерностью 33581429. Для обработки данных эксперимента была создана модель нейронной сети: входной слой – 3358 нейрона; выходной слой – двухмерная сетка размерностью 2020 нейронов. Для определения начального множества состояний применена процедура автоматизированного и ручного (для уточнения) выделения областей U-матрицы соответствующих состояниям КИВИ. В результате получено 44 кластера, которые идентифицированы определенными состояниями.
Уточнен перечень ИП с использованием значений весовой матрицы SOM и метода СПА. Результаты применения самоорганизующихся сетей Кохонена в сочетании с алгоритмом СПА для отбора ИП сведены в таблицу 2.
Таблица 2.
Сравнение процедуры уточнения множества ИП методом СПА и с использованием матрицы весов SOM.
| Точность | Необходимое количество параметров при использовании весовой матрицы SOM с обратной прогонкой | Необходимое количество параметров при использовании СПА с обратной прогонкой с учетом принадлежности состояниям | Необходимое количество параметров при использовании весовой матрицы SOM с обратной прогонкой с учетом принадлежности состояниям |
| 99% | 610 | 639 | 436 |
| 95% | 481 | 79 | 67 |
| 90% | 448 | 57 | 48 |
| 80% | 358 | 20 | 19 |
| 70% | 135 | 9 | 15 |
1. Проведенные экспериментальные исследования показали, что применяемые методы позволяют в 10–100 раз сократить набор параметров, необходимых для мониторинга. На примере одного из экспериментов по выявлению ИП было проведено преобразование множеств PA PV PD PR PI с результатами: PA PV дало уменьшение количества параметров 44586 3285; PD PR PI 1429 1211 67. 2. Было сформировано множество состояний, отражающих различные режимы работы КИВИ. 3. Сформированы нейронные сети для распознавания и прогнозирования состояний КИВИ.
Основные выводы по работе.
- Выявлены недостатки существующих систем мониторинга. Они не обладают возможностью выделения минимального набора ИП для полнофакторного анализа и ограничены по функциям идентификации состояний КИВИ.
- Сформированы рекомендации по организации деятельности администратора и выявлено направление ее рационализации, при выполнении задач мониторинга (п.2.1).
- Разработана методика мониторинга КИВИ, которая состоит из двух этапов:
- I этап, формирование информационной базы мониторинга, где разработаны алгоритмы выявления множества ИП и формирования исходного набора состояний КИВИ, включающий последовательное использование методов непараметрического корреляционного анализа и самоорганизующихся карт Кохонена;
- II этап, текущая обработка данных о КИВИ, где разработаны алгоритмы мониторинга ее текущего и прогнозного состояний. Для распознавания текущего состояния сформирована архитектура НС, особенностью которой является введение дополнительных векторов значений параметров характеризующих аномальное состояние системы. Для прогнозирования состояний сформирована архитектура НС, особенностью которой является подбор ретроспективного набора данных необходимых для наиболее успешного выполнения этой функции.
- Разработан программный комплекс для мониторинга функционирования КИВИ, реализующий разработанные алгоритмы. Сформирована база данных и знаний. Ее особенностями являются: большой объем хранимой информации, сжатие хранимой информации и оптимизация по скорости выполнения запросов предоставления информации.
В работе выполнены задачи исследования и дополнительно осуществлено формирование нового термина КИВИ (Корпоративная Информационно-Вычислительная Инфраструктура) базирующегося на основных понятиях информационных систем и вычислительных сетей, с целью определения области функционирования разрабатываемой системы мониторинга внедрение которой крайне желательно.
Публикации по теме диссертации
- Хартьян Д.Ю. Проблема адекватного развития инфокоммуникационной инфраструктуры территориально распределенного предприятия /В.А. Шапцев // Вестник кибернетики. Изд-во ИПОС СО РАН, Тюмень, Вып. 2, 2003.– С. 55-63.
- Хартьян Д.Ю. Проблема снижения трудоемкости поиска в интернете / В.А. Шапцев // Матер. регион. межвуз. науч.-метод. конф. "Роль информационных технологий в обучении: проблемы, перспективы, решения". Тюмень: Изд-во ТюмГНГУ, 2003. – С.111-113.
- Хартьян Д.Ю. Об адекватном множестве параметров мониторинга инфокоммуникационной инфраструктуры / В.А. Шапцев // Тез. докл. науч.-техн. конф. "Новые информационные технологии в университетском образовании". Новосибирск: Изд-во СибГУТИ, Том.1, 2003.– С.158-159.
- Хартьян Д.Ю. Результаты корреляционного анализа совокупности параметров инфокоммуникационной инфраструктуры / В.А. Шапцев // Тез. докл. 8-й м/н науч.-практ. конф. "Проблемы функционирования информационных сетей" (Бишкек) - Новосибирск: ЗАО РИЦ Прайс Курьер, Том.2, 2004.– С.298-306.
- Хартьян Д.Ю. Метафоричность термина "интеллект" и проблема интеллектуализации средств связи / В.А. Шапцев // Тез. докл. 8-й междунар. науч.-практ. конф. "Проблемы функционирования информационных сетей" (Бишкек) - Новосибирск: ЗАО РИЦ Прайс Курьер, Том.2, 2004.–С.296-297.
- Хартьян Д.Ю. Повышение эксплуатационной готовности интенсивно развивающихся компьютерных сетей НГК // Сборник научных трудов ИНиГ ТГНГУ. Тюмень: Изд-во ТГНГУ, 2005 – С.35-44.
- Хартьян Д.Ю. Модель деятельности администратора инфокоммуникационной инфраструктуры организации / В.А. Шапцев // Вестник кибернетики. Тюмень: Изд-во ИПОС СО РАН, Вып. 4, 2005.– С.84-95.
- Хартьян Д.Ю. Организация мониторинга корпоративной информационно-вычислительной инфраструктуры / И.А. Фатыхов // Модернизация образования в условиях глобализации: Круглый стол "Компьютерная поддержка профессиональной деятельности" / под ред. проф. В.А. Шапцева / Тюмень: Изд-во ТюмГУ, 2005.– С. 84-85.
- Хартьян Д.Ю. Средство поддержки деятельности администратора корпоративной информационно-вычислительной инфраструктуры // Модернизация образования в условиях глобализации: Круглый стол "Компьютерная поддержка профессиональной деятельности" / Под ред. проф. В.А. Шапцева / Тюмень: Изд-во ТюмГУ, 2005.– С. 85-88.
- Хартьян Д.Ю. Деятельность администратора и информативные параметры корпоративной информационно-вычислительной инфраструктуры / В.А. Шапцев // Труды II Всероссийской научной конференции "Методы и средства обработки информации". – Москва: Изд-во МГУ, 2005.– С.201-206.
- Хартьян Д.Ю. Применение самоорганизующихся карт Кохонена (SOM) для анализа функционирования коммуникационной инфраструктуры (КИ) предприятия // Тез. докл. науч.-практ. конф. "Нефть и газ Западной Сибири".– Тюмень: Изд-во ТГНГУ, 2005.– С.150-151.
- Хартьян Д.Ю. Распознавание состояний коммуникационной инфраструктуры нефтегазовых предприятий посредством нейросетей прямого распространения // Горные ведомости. Тюмень: Изд-во ОАО «СибНАЦ», Вып. 4, 2006.– С.70-77.
| Подписано к печати __.05.2006 г. | Бум. Писч. №1 | |
| Заказ № | Уч. – изд. л. 1.2 | |
| Формат 60х84 1/16 | Усл. печ. л. 1.2 | |
| Отпечатано на RISO GR 3750 | Тираж 100 экз. |
–––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
Издательство «Нефтегазовый университет»
Государственного образовательного учреждения
высшего профессионального образования
«Тюменский государственный нефтегазовый университет»
625000, г. Тюмень, ул. Володарского, 38
Отдел оперативной полиграфии издательства «Нефтегазовый университет»
625039, г. Тюмень, ул. Киевская, 52
