Математическое обеспечение информационной системы учета и прогнозирования продовольственных р е сурсов региона
На правах рукописи
ЗУЕВА Виктория Николаевна
Математическое обеспечение информационной
системы учета и прогнозирования
продовольственных ресурсов региона
Специальность 05.13.01 - Системный анализ, управление
и обработка информации (информационные и технические системы)
автореферат
диссертации на соискание ученой степени
кандидата технических наук
Краснодар – 2007
Работа выполнена в ГОУ ВПО «Кубанский государственный
технологический университет»
| Научный руководитель: | доктор технических наук, профессор Ключко Владимир Игнатьевич |
| Официальные оппоненты: | доктор технических наук, профессор Хисамов Франгиз Гельфанетдинович кандидат технических наук, доцент Николаева Ирина Валентиновна |
| Ведущая организация: | Кубанский государственный аграрный университет |
Защита состоится "11" апреля 2007 г. в 14.00 час. на заседании
диссертационного совета Д 212.100.04 в Кубанском государственном
технологическом университете по адресу: 350072, г. Краснодар,
ул. Московская 2а, конференц - зал
С диссертацией можно ознакомиться в библиотеке Кубанского
государственного технологического университета по адресу: 350072,
г. Краснодар, ул. Московская, 2а
Автореферат разослан " 9 " марта 2007 г.
Ученый секретарь
диссертационного совета Д 212.100.04,
канд. техн. наук, доцент А. В. Власенко
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследования. Важной задачей в области экономического анализа и управления предприятием является построение моделей поведения предприятия в условиях неполных данных на краткосрочный период прогнозирования. При этом возникают сложности с оценкой состояния окружающей среды и нахождении необходимых для описания и прогноза поведения ключевых и сопутствующих данных. Для построения моделей поведения перспективными являются нейросетевые технологии и нечеткая логика. Интеграция и предобработка данных осуществляется с помощью технологий: хранилищ данных, OLAP и Data – mining. Объединение этих технологий происходит в рамках Business Intelligence систем (далее BI - система).
Анализ существующих BI - систем выявил необходимость реализации автоматического развертывания данных и создания единой платформы для реализации блока поддержки принятия решений, состоящего из модулей: построения зависимостей, прогноза изменения факторов, выбора действий и прогноза развития. Создание BI – системы позволяет получить доступное средство для оперативного анализа и управления деятельности предприятия.
Целью диссертационной работы является разработка нейро–нечеткой архитектуры в топологии с подкреплением для прогнозирования и принятия решений; создание адаптивной поисковой системы и реализация их в составе разработанной BI - системы предприятия.
Задачи исследования:
- исследовать существующие методы построения систем прогнозирования и принятия решений на основе обучения с подкреплением;
- провести сравнительный анализ методов построения BI - систем;
- разработать нейро – нечеткую топологию с использованием обучения с подкреплением;
- разработать метод обучения нейросети в топологии с подкреплением;
- применить разработанную топологию для реализации основных блоков BI - системы;
- разработать и реализовать адаптивную поисковую систему в сети Internet и интегрировать ее в состав BI - системы;
- разработать и реализовать архитектуру BI - системы предприятия;
- провести экспериментальные исследования прогнозирования с помощью различных методов;
- провести экспериментальные исследования модуля принятия решений BI - системы.
Методы исследования. Задачи исследования решены с использованием методов теории искусственных нейронных сетей, системного анализа, математической статистики, нечеткой логики и искусственного интеллекта.
Научная новизна исследования заключается в следующих результатах:
- разработана нейро - нечеткая архитектура в топологии с подкреплением и метод ее обучения;
- разработана архитектура BI - системы предприятия с использованием нейро – нечеткой топологии, реализующей блок поддержки принятия решений;
- разработана модель адаптивного поиска в сети Internet.
Практическая ценность работы заключается в разработке и апробации метода создания нейро - нечетких моделей с использованием принципов обучения с подкреплением, разработке системы Predictor класса Business Intelligence предназначенной для анализа и управления предприятием, исследовании и применении нейросетевых имитационных моделей.
Реализация и внедрение результатов работы. Разработанная система Predictor внедрена в департаменте сельского хозяйства и перерабатывающей промышленности Краснодарского края.
Основные положения, выносимые на защиту:
- метод создания нейро – нечеткой модели;
- система Predictor класса Business Intelligence;
- система принятия решений на основе нейро – нечеткой топологии;
- результаты сравнительного анализа прогнозирования ценовых показателей созданных тремя способами: линейная регрессионная модель, нелинейная регрессионная модель, нейросетевая модель;
- результаты работы системы принятия решений на базе нейро – нечеткой системы.
Публикации. Результаты исследования опубликованы в 5 печатных работах соискателя (в том числе 3 в рецензируемой печати).
Структура и объем диссертации.
Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и приложений. Объем диссертации составляет 141 страницу, содержащую 13 таблиц и 69 рисунков.
ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ
Во введении обоснована актуальность и сформулирована научная проблема исследования, определены его объект и предмет, поставлены цель и задачи исследования.
В первой главе выполнен анализ текущего состояния проблемы использования BI – систем в деятельности предприятий и основные способы их построения. Рассмотрены модели построения OLAP и Data – mining систем. Проведен анализ существующих методов обучения с подкреплением (Q-learning, сети адаптивных критиков и других) с использованием нейронных сетей. Выявлены достоинства и недостатки существующих методов.
Во второй главе обоснован и описан метод создания нейро – нечеткой топологии. Разработанный метод позволяет обучить нейросеть на небольшом количестве примеров, а также дообучать в режиме реального времени по мере поступления новой информации без участия эксперта. В ходе исследований предложена следующая модернизированная сеть адаптивного критика с использованием аппарата нечеткой логики, показанная на рисунке 1:
Рисунок 1 - Схема нейро – нечеткого адаптивного критика
Схема работы предлагаемого алгоритма основана на методе обучения с подкреплением. Будем рассматривать агента, который взаимодействует с внешней средой, в общем случае недетерминированной. В ситуации S(t) агент выполняет действие a(t) и получает подкрепление R(t), при этом попадает в ситуацию S(t+1). Время дискретное: t = 1, 2 … 
.
На рисунке 2 приводится структурная схема работы нейро – нечеткого адаптивного критика.
Рисунок 2 - Структурная схема работы схема работы
нейро – нечеткого адаптивного критика
Целевая функция агента: получаемое подкрепление в течение времени не должно убывать и по возможности расти.
Агент оценивает суммарную награду с учетом коэффициента забывания оценки ожидаемой награды:
, (1)
где 
- оценка суммарной награды;
- коэффициент забывания оценки ожидаемой награды, 
.
Рассмотрим структуру разработанного нейро – нечеткого адаптивного критика.
Модель – нейронная сеть, непосредственно управляющая объектом. В качестве Модели можно использовать любой тип нейронной сети, в частности многослойный персептрон. Тип сети и метод обучения зависит от решаемой задачи.
Модель работает вне зависимости от подкрепления, ее структура меняется, если Модель на нескольких итерациях подряд дает не удовлетворяющие результаты.
Работа Модели описывается формулой:
, (2)
где z – количество слоев Модели;
X – входной вектор;
Y – выходной вектор.
Блок критика предназначен для оценки 
суммарной награды для текущей и прогнозируемой ситуации. При подаче на блок критика вектора 
на выходе формируется оценка ожидаемой суммарной награды 
для прогнозируемой ситуации 
для каждого из возможных действий.
Математическое ожидание награды равно:
(3)
Далее следует, что:
(4)
Ошибку временной разности определим следующим образом:
(5)
Критик обучается с помощью временной разности:
(6)
Реализуем это соотношение с помощью нейро – нечеткой системы. Переменные сразу переведем в термины теории критиков.
Пусть 
- входной вектор.
Пусть правила описываются помощью следующей нечеткой базы:
IF 
, (с весом 
)
OR 
, (с весом 
), (7)
THEN 
где 
;
- лингвистический терм, оценивающий переменную 
в строке 
;
- количество строк конъюнкций, соответствующих классу 
выходной переменной 
;
- число, характеризующее субъективную меру уверенности эксперта в части высказывания с номером 
, при этом классы 
формируются путем квантования диапазона 
, выходной переменной на 
уровней по формуле:
. (8)
Блок генетического поиска модели необходим для быстрого поиска адекватной нейросетевой модели без вмешательства эксперта. Блок работает следующим образом – создается К популяций нейронных сетей по T штук в каждой, далее производится их обучение и скрещивание лучших особей, от которых рождаются новые популяции. Всего происходит P смен популяций. Эксперименты проводились при следующих значениях параметров: К = 10-12, Т = 100, Р = 4. На рисунке 3 приведен принцип работы блока генетического поиска модели. На выходе формируется нейрокомитет из пяти лучших нейросетей и в качестве прогнозного значения используется среднее значение их ответов.
Рисунок 3 - Принцип работы генетического поиска
адекватной нейросетевой модели
Блок фильтрации предназначен для сглаживания и «очистки» входных данных, убирает сезонную составляющую и пробелы в истории. В качестве методов используемых блоком фильтрации в работе используются – скользящая средняя и выявление тренда.
Блок подкрепления вычисляет числовое значение подкрепления на основе обработки сведений о внешней среде и объекте управления. Блок подкрепления хранит историю изменения значения подкрепления.
Алгоритм работы предлагаемой системы приведен на рисунке 4:
Рисунок 4 - Алгоритм работы нейро - нечеткого критика
Несомненными достоинствами систем, использующих данную топологию и метод обучения, являются:
- Адаптация системы при поступлении новых данных, за счет полного покрытия пространства состояний.
- Работа системы происходит в автоматическом режиме.
- В качестве компоненты модели может быть использована любая существующая топология нейронных сетей и любой алгоритм ее обучения.
- Начало работы системы может происходить без знания истории работы системы.
Перечисленные достоинства определяют созданную топологию как современный, эффективный и доступный метод создания систем управления действующих в недетерминированной среде.
В третьей главе разработана BI - система департамента сельского хозяйства и перерабатывающей промышленности, охватывающая как учет движения сельскохозяйственной продукции, так и полный анализ ситуации на сельскохозяйственном рынке края. BI - система включает в себя складской модуль, модуль прогнозирования, модуль добычи данных в Internet и модуль поддержки принятия решений.
Предложена модель системы поддержки принятия решений по принципу классического автотрейдера, реализованного на нейро - нечеткой основе с применением обучения с подкреплением.
Целевая функция системы поддержки принятия решений: сельскохозяйственную продукцию необходимо продавать по таким ценам и в таком количестве, чтобы не произошло резкого скачка цен вверх.
Введем понятие регулятора локального рынка – это система: Predictor + эксперт, первый делает прогноз и предлагает варианты решений с оценкой последствий, второй принимает решение. На рисунке 5 приводится структурная схема регулятора локального рынка.
Рисунок 5 - Регулятор локального рынка
Также введем следующие обозначения:
- реакция Департамента на временном шаге 
. При этом:
, продавать;
, не предпринимать действий;
, покупать.
Целевая функция достигается с помощью системы поддержки принятия решений на базе нейро – нечеткого критика и следующим принципом формирования ценового рынка: на многие сельскохозяйственные продукты устанавливается конкретная цена, на остальные задается диапазон допустимой цены.
Входным данным для Модели является вектор 
компонентами, которого являются временные ряды продажных цен на сельскохозяйственную продукцию 
; закупочных цен на сельскохозяйственную продукцию 
; остатков 
; расхода 
; прихода 
; спроса 
. На выходе мы должны получить значение цены на следующий квант времени 
.
Блок критика предназначен для оценки подкрепления на последующем шаге. На блок критика на каждом шаге подаются три варианта входных данных, при этом различно лишь действие 
, а изменение цены на основе прогноза остается неизменным. После расчета критика мы получаем величину подкрепления для действий: покупать, продавать и не действовать. Подкрепление считается следующим образом:
, если 
, (9)
, если 
, (10)
, если 
, (11)
где 
и 
- заданные «сверху» максимальная и минимальная цены на 
-ю сельскохозяйственную продукцию.
То есть в случае, если цена после выполненного действия на рынке входит в допустимый диапазон, то подкрепление максимальное, если выходит за пределы диапазона, то подкрепление снижается.
При этом реализация системы поддержки принятия решений на основе нейро – нечеткой топологии адаптивного критика, позволит выдавать предложения в терминах нечеткой логики: «скорее покупать, чем продавать», «скорее продавать, чем покупать», то есть варианты действий со степенью уверенности, что позволит реализовать «мягкое» управление ценовой политикой. Отталкиваться будем, от следующих лингвистических переменных: продавать, не действовать, покупать. Тогда правила критика будут выглядеть следующим образом (для системы типа Мадмани): в случае, если цена по прогнозу повышается, то необходимо продавать данный товар, то есть:
Если Цена снижается, то Культуру покупать
Которое, в свою очередь трансформируется в нечеткие правила для критика:
Если Цена снижается и Действие покупать, то Подкрепление увеличится
Рассмотрим более простой пример применения адаптивных критиков – модель агента брокера на сельскохозяйственном рынке. Основные отличия – действия агента не влияют на рыночные цены. Его главная задача – точно спрогнозировать и принять правильное решение по купле/продаже. Сумма ресурсов составляет общий капитал агента 
. Брокер стремится увеличить свой капитал 
, изменяя значение 
. Система управления агента содержит блок Модель, которая служит для прогнозирования цен на сырье 
. Система управления содержит блок Критика, который оценивает качество ситуации 
.
В данной задаче управление облегчается тем, что необходимо всегда играть на повышение капитала, в отличие от задачи регулятора локального рынка. В качестве подкрепления используется разница между капиталом на шагах t+1 и t:
(12)
В разработанной BI - системе для поддержки принятия решений необходима новостная лента с данными ценах и ситуации на продовольственных рынках как России, так и за рубежом. К сожалению, на сайте Министерства Сельского хозяйства РФ такой информации нет. В качестве помощи по ценам и сделкам можно использовать сайты бирж on-line торговли сельскохозяйственными культурами. Всю остальную информацию необходимо собирать по частям с новостных сайтов. Для автоматизации процесса поиска информации разработан адаптивный Web – модуль поиска информации в сети Internet, назовем его WebMiner. WebMiner отслеживает страницы в Web, посещаемые пользователем, сохраняет статистику и на базе этой статистике создает дайджест.
Дайджест – это сборник новых (обновленных) источников (то есть ссылок), на интересующие пользователя темы с наиболее посещаемых пользователем страниц.
В WebMiner используются:
- база знаний для данного пользователя (БЗП), которая содержит информацию о темах наиболее интересующих пользователя;
- база сайтов пользователя (БС), которая содержит информацию о наиболее посещаемых сайтов пользователем.
Возможно два варианта работы WebMiner:
- Режим слежения за пользователем;
- Режим автономной работы, в котором по таймеру делается обход десяти наиболее посещаемых страниц пользователя (TOP10).
Общий алгоритм работы WebMiner:
1. При первом запуске инициируются БЗП и БС.
2. При последующих запусках в случае захода пользователя на любой сайт происходит сканирование и вычисление частот встречаемости и частот взаимовстречаемости слов.
3. Происходит обновление БС.
4. С заданной периодичностью WebMiner посещает наиболее встречаемые сайты и ищет в заголовках (или по всей странице) статей слова с наибольшим рангом. В случае нахождения в заголовке (или непосредственно на странице) ранжируемого слова, пользователю посылается сообщение о новостях.
На рисунке 6 приведен алгоритм работы WebMiner.
Рисунок 6 - Алгоритм работы WebMiner
В четвертой главе проведено сравнение результатов анализа данных полученных при помощи нейронной сети и методов математической статистики. Проведены эксперименты, имеющие цель сравнить эффективность использования для данной прикладной задачи – прогнозирование цен на сельскохозяйственные культуры и работы брокера и регулятора, рассматриваемых методов моделирования.
В результате анализа полученных экспериментальных данных сделаны следующие выводы:
1. Линейные регрессионные модели показали недостаточную воспроизводимость исходной таблицы данных и тестовых примеров, хотя имели значительно меньшее время создания модели.
2. Высокая воспроизводимость исходной таблицы данных рассмотренными нейросетевыми моделями, еще раз подтверждает способность многослойных нейронных сетей к нелинейной аппроксимации функций многих переменных и целесообразность выбора этого типа моделей для такой важной прикладной задачи как прогнозирование объема продаж.
3. При оценке адекватности созданных нейросетевых моделей при краткосрочном прогнозе, по имеющимся таблицам данных модели созданные с помощью нейро – нечеткой топологии адаптивного критика показали на 5% меньше среднюю ошибку прогноза и коэффициент эффективности после адаптации больше на 12% чем топология SARSA.
4. При долгосрочном прогнозе, с горизонтом прогнозирования четыре недели система, созданная с использованием нейро – нечеткой топологии адаптивного критика показала результат, превосходящий модель SARSA по средней ошибке на 4 %, по подкреплению на 9 %.
В заключении описаны выводы и результаты проделанной работы.
В приложениях представлено краткое руководство пользователя системы Predictor и приведен анализ современных нейропакетов.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
Проделанная в рамках диссертации работа позволила ответить на поставленные вопросы, цели и задачи исследования. Основными задачами исследования являлись: создание BI - системы предприятия, создание новой нейросетевой топологии и алгоритма обучения, создание обоснованной методики и ее апробация в важной прикладной проблеме. Выполненные нами исследования и разработки позволили сделать следующие выводы:
- разработана топология нейро – нечеткого адаптивного критика и методов ее обучения;
- создана система Predictor класса BI – систем для департамента сельского хозяйства и перерабатывающей промышленности;
- создана адаптивная нейросетевая модель прогнозирования цен на сельскохозяйственную продукцию;
- разработаны и реализованы математические модели регулятора локального рынка и брокера сельскохозяйственного рынка на основе нейро – нечеткой топологии адаптивного критика;
- экспериментально установлено, что при краткосрочном прогнозе модели созданные с помощью нейро – нечеткого адаптивного критика при краткосрочном прогнозировании имеют ошибку прогноза меньше на 5% и большее на 12% подкрепление, чем нейросетевые модели SARSA. При долгосрочном прогнозировании нейро – нечеткие модели также показали лучший результат.
Нейро – нечеткая топология адаптивного критика и предложенный метод обучения может использоваться в случаях, когда невозможно построить точную модель среды. При этом объект в недетерминированной среде выполняет конкретную задачу с заданным подкреплением.
Созданный метод является инвариантным от моделируемой задачи и может применяться для построения систем управления для недетерминированных сред.
Разработанная система нейросетевого моделирования является удобным и доступным инструментом для исследования и прикладного использования нейросетевых моделей, а также реализации новых методов создания, обучения нейронных сетей и моделей на их основе.
Построение BI - системы позволило получить доступное средство для оперативного контроля и анализа деятельности предприятия.
ПЕРЕЧЕНЬ РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ
ДИССЕРТАЦИИ
- Зуева В. Н. Программный комплекс учета основных видов продовольственных товаров // Инновационные системы в высшей школе: Материалы X Всероссийской научно-практической конференции – Краснодар, 2006. - C. 214.
- Зуева В. Н., Стасевич В. П., Шумков Е. А. Построение адаптивных АБС с применением обучения самообучению // Известия вузов. Северо-Кавказский регион. Технические науки. – 2006. - №2. - C. 76 – 79.
- Зуева В. Н., Шумков Е. А. Программный комплекс учета основных видов продовольственных товаров // Известия вузов. Северо-Кавказский регион. Технические науки. – 2006. - №2. – С. 84 – 86.
- Зуева В. Н., Стасевич В. П., Шумков Е. А. Обучение и самообучение в адаптивных системах управления // Известия вузов. Северо-Кавказский регион. Технические науки. – 2006. - доп. номер, № 6. -
С. 134-137. - Зуева В. Н., Стасевич В. П., Шумков Е. А. Построение адаптивных АБС // Интеллектуальные системы: Труды VII Международного симпозиума / Под ред. К. А. Пупкова.- М.: РУСАКИ, 2006. – C. 519 – 522.
