Доменная модель нейронной сети и ее применение в задачах оптимизации
На правах рукописи
Магомедов Башир Маликович
Доменная модель нейронной сети и ее
применение в задачах оптимизации
Специальность 05.13.17 - Теоретические основы информатики
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата физико-математических наук
Москва – 2006
Работа выполнена в Вычислительном Центре им. А. А. Дородницына РАН и в Институте оптико-нейронных технологий РАН.
| Научный руководитель: | доктор физико-математических наук Крыжановский Борис Владимирович |
| Официальные оппоненты: | доктор физико-математических наук, Ососков Геннадий Алекссевич кандидат технических наук, Костенко Валерий Алексеевич |
| Ведущая организация: | Московский инженерно-физический институт |
Защита диссертации состоится « 22 » июня 2006 года в 14:00 часов на заседании диссертационного совета Д002.017.02 в Вычислительном центре им. А.А. Дородницына Российской академии наук по адресу: 119991, г. Москва, ул. Вавилова, д. 40.
С диссертацией можно ознакомиться в библиотеке ВЦ РАН
Автореферат разослан « 19 » мая 2006 г.
Ученый секретарь
диссертационного совета *
д.ф-м.н. В. В. Рязанов
Общая характеристика работы
Актуальность темы
Теория искусственных нейронных сетей (ИНС) – одна из областей математики, существующая уже более полувека и активно развивающаяся по настоящее время. Одним из важных применений ИНС является решение задач оптимизации, особенно тех из них, которые не могут быть решены точными детерминистическими методами, а также решение NP-полных задач.
Основной моделью нейронной сети, с помощью которой решаются такие оптимизационные задачи, является модель Хопфилда, предложенная в 1982 году. Эта циклическая нейронная сеть, в ходе функционирования меняет свое состояние, понижая при этом значение некоего функционала, называемого энергией, и конвергирует в состояние соответствующее минимуму. Это свойство сети активно используется для случайного поиска оптимального решения: сеть произвольным образом инициализируется (выбирается случайное начальное состояние сети) и затем она, в результате функционирования согласно ее динамической процедуре, переходит в какой-либо локальный минимум энергии. Поскольку наиболее оптимальное решение задачи заранее неизвестно, то описанная процедура случайного поиска повторяется много раз. После большого числа стартов из найденных решений выбирается наиболее оптимальное, т.е. выбирается конфигурация, соответствующая наиболее оптимальному значению функционала. К сожалению, специфика модели такова, что в процессе поиска она имеет тенденцию сходиться к неглубоким локальным минимумам. Кроме того, реализация алгоритма показывает, что время, затрачиваемое на поиск удовлетворительного решения, может оказаться неприемлемо большим.
В этой связи, активно исследуются различные модификации архитектуры и алгоритмы функционирования нейронной сети Хопфилда, которые позволяли бы ускорить поиск, и улучшить ее оптимизационные свойства.
Все это свидетельствует о необходимости исследований и разработки новых подходов, которые будут удовлетворять более жестким требованиям по качеству и скорости работы.
Цель работы
Основная цель диссертационной работы состояла в разработке нового метода случайного поиска в задачах комбинаторной оптимизации на базе нейронных сетей.
В диссертационной работе были решены следующие задачи:
- Предложена и исследована новая модель искусственной нейронной сети – доменная нейронная сеть. Проведен анализ распознающих свойств предложенной модели и даны теоретические и экспериментальные оценки помехоустойчивости, емкости памяти и скорости работы.
- Исследована возможность применения доменной нейросети в задачах комбинаторной оптимизации. Проведен сравнительный анализ оптимизационных свойств предложенной модели.
- Исследована зависимость между глубиной локального минимума и вероятностью его обнаружения в процессе случайного поиска, на основании которой даны рекомендации по проведению процедуры оптимизации. Выработан критерий останова процесса случайного поиска.
Научная новизна
В диссертационной работе впервые предложена и исследована новая модель нейронной сети, позволяющая в сотни раз ускорять решение оптимизационных задач и получать при существенно меньших вычислительных затратах более оптимальное решение, чем при использовании стандартной нейронной сети Хопфилда
Впервые найдена зависимость между глубиной локального минимума и вероятностью его обнаружения в процессе случайного поиска, на основании которой даны рекомендации по проведению процедуры оптимизации.
Практическая ценность
Практическая ценность результатов работы состоит в следующем:
- на основе доменной нейросетевой модели создан алгоритм, позволяющий на порядки ускорять решение оптимизационных задач и получать при существенно меньших вычислительных затратах более оптимальное решение, чем при использовании стандартного подхода, основанного на модели Хопфилда;
- полученные выражения, устанавливающие взаимосвязь между глубиной локального минимума и вероятностью его обнаружения, позволяют принимать обоснованное решение об остановке процедуры случайного поиска или ее продолжении при решении задач комбинаторной оптимизации.
Апробация работы и публикации
По материалам диссертации опубликованы работы [1-8].
Основные положения работы докладывались на следующих конференциях и семинарах:
- 7th International Conference on Pattern Recognition and Image Alalysis: New Information Technologies (PRIA-7-2004), St. Petersburg, SPbETU 2004.
- Всероссийская научно-техническая конференция "Нейроинформатика-2005", Москва 2005.
- III-й Международный научно-практический семинар "Интегрированные модели и мягкие вычисления в искусственном интеллекте", Коломна, 2005.
- Международная научно-техническая конференция "Интеллектуальные и многопроцессорные системы" ИМС'2005, пос. Дивноморское, 2005.
- II всероссийская конференция: "Методы и средства обработки информации", Москва, МГУ, 2005.
- ICANN 2005: 15th International Conference On Artificial Neural Networks, Warsaw, Poland, September 11-15, 2005.
- Всероссийская научно-техническая конференция "Нейроинформатика-2006", Москва 2006.
Структура и объем диссертации
Работа состоит из четырех глав, заключения, приложения и списка литературы. Общий объем диссертации составляет 82 страницы. Список литературы насчитывает 68 наименований.
Краткое содержание работы
В первой главе, дана краткая характеристика диссертационной работы, описана стандартная "спиновая" нейронная сеть (модель Хопфилда) и возможность ее применения для решения оптимизационных задач. Также приведен обзор работ по современным подходам к решению задач комбинаторной оптимизации на базе модели Хопфилда.
Нейронная сеть Хопфилда относится к полносвязным циклическим сетям. Базовым элементом сети является нейрон – спин, который по аналогии с магнитным моментом атома в спиновом стекле, может устанавливаться либо вдоль, либо против локального поля, принимая значения 
. Взаимодействие нейронов сети описывается гамильтонианом
(1)
где 
– число нейронов сети, а 
- матрица межсвязей, организованная по правилу обучения Хебба:
(2)
в которую записывается 
образов – N-мерных бинарных векторов 
, 
.
Таким образом, в сети Хопфилда матрица связей является симметричной 
, а диагональные элементы матрицы полагаются равными нулю (
), что исключает эффект воздействия нейрона на самого себя.
Все нейроны такой системы свободны и их динамика определяется только локальным полем, вдоль которого они устанавливаются. Во время динамики, в каждый момент времени случайным образом выбирается какой-либо 
й нейрон, и определяется локальное поле 
действующее на него со стороны всех остальных нейронов сети:
(3)
Далее рассматривается энергия нейрона в данном поле 
. Если состояние (знак) нейрона совпадает с направлением локального поля (
), то его положение энергетически устойчиво и в последующий момент времени состояние нейрона остается неизменным. В противном случае (
) положение нейрона неустойчиво и он меняет свой знак, переходя в состояние 
с энергией 
. Далее эта же процедура повторяется на другом случайно выбранном нейроне, причем локальное поле вычисляется с учетом изменений, произошедших на предыдущем такте. При каждом изменении состояния нейрона, энергия системы понижается. Это означает, что система за конечное число шагов перейдет в стабильное состояние. Полученное стабильное состояние сети будет соответствовать одному из образов записанных в матрицу.
Таким образом, нейронная сеть Хопфилда, изначально задумывалась как система автоассоциативной памяти, способная решать задачу распознавания. Однако, распознавание образов не единственная область применения модели Хофпилда. Динамическая процедура, описанная выше, на каждом шаге понижает значение энергии нейронной сети. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии, т.е. если оптимизируемый функционал можно представить как энергию нейронной сети.
Впервые о возможности использования нейросети для поиска оптимумов, заявил сам Хопфилд в его совместных работах с Танком, в которых был разработан нейросетевой подход к решению задачи путешествующего коммивояжера (Traveling salesman problem - TSP). Эти публикации вызвали большой интерес к сети Хопфилда, благодаря ее параллелизму, простоте аппаратной реализации и общему подходу к решению различных оптимизационных задач. Однако последующие исследователи выявили и ряд недостатков, основными и которых оказались высокая вероятность нахождения неоптимального решения и недостаточная скорость работы алгоритма.
В дальнейшем было разработано большое число модификаций архитектуры сети и алгоритмов нахождения минимумов, наиболее известные из которых: имитация отжига, поиск с запретами, метод ветвей и границ, генетические алгоритмы, и другие. Однако эти методы либо усложняют задачу, либо позволяют находить решение только для частных случаев, либо увеличивается время работы сети.
Таким образом, представленная работа стоит в одном ряду с выше-обозначенными методами, и ставит своей целью найти новые методы оптимизации на базе ИНС удовлетворяющие более жестким требованиям по качеству находимых оптимумов и времени их обнаружения.
2-я глава посвящена описанию предлагаемой доменной модели нейронной сети, динамика которой определяется переворотами не отдельных спинов, а целых блоков - "доменов".
В основу доменной нейронной сети, легла модель Хопфилда, с той лишь разницей, что 
спинов разбито на группы по 
спинов в каждой. Каждая группа – это домен, в котором все спины жестко связаны и при переворотах домена одновременно изменяют свой знак(
[1] 1). Итого, мы имеем систему, состоящую из 
таких доменов. Описываемую ниже динамику, в которой состояние системы изменяется только при переворотах домена, будем называть доменной. С физической точки зрения, динамика доменной нейросети, будет определяться тем, насколько энергетически устойчиво положение домена в локальном поле. Рассмотрим, например, первый домен, т.е. группу связанных спинов с номерами 
. Чтобы определить устойчивость домена, представим его энергию (сумму энергий всех входящих в него k спинов.) в виде двух слагаемых. Первое слагаемое - это внутренняя энергия домена, т.е. энергия взаимодействия спинов домена между собой. Второе - это энергия взаимодействия (
) данного домена с прочими доменами системы, т.е. энергия взаимодействия спинов данного домена с спинами всех прочих доменов:
(4)
Очевидно, что устойчивость домена всецело определяется только знаком энергии взаимодействия 
. Поэтому динамика доменной нейросети задается следующим образом. Если в момент времени t имеет место 
, то в следующий такт времени домен перевернется, т.е. перейдет в состояние 
, в котором энергия взаимодействия отрицательна 
. В противном случае, данный домен устойчив и его знак, в следующий момент времени остается неизменным. Энергия всей системы при описанной выше динамике понижается и, следовательно, алгоритм сходится за конечное число шагов. Следует подчеркнуть, что домен может перевернуться даже в том случае, когда каждый из его спинов находится в устойчивом состоянии, т.е. направлен вдоль локального поля.
Такая модификация оказывается весьма существенной, поскольку в ходе анализа распознающей способности доменной нейросети было получено оценочное выражение для вероятности ошибки распознавания входного вектора:
(5)
где 
, а p – вероятность искажения домена.
Это выражение справедливо в асимптотическом пределе 
, когда число доменов достаточно велико для проведения статистических оценок.
Рис.1. Зависимость ошибки распознавания от размера домена.
(Кривая – теория, точки – эксперимент)
При 
выражением (5) описываются свойства модели Хопфилда. Как видим, с ростом размера доменов величина ошибки экспоненциально спадает. Сказанное подтверждается результатами численного эксперимента, проведенного при N=600, M=1200, p=0. (рис.1.).
Из (5) следует, что число устойчивых состояний доменной сети задается выражением 
и, следовательно, в k раз больше, чем в спиновой модели Хопфилда.
Кроме того, скорость работы доменной нейросети возрастает в 
раз по сравнению с моделью Хопфилда. Это можно легко показать введя двойную нумерацию и переписав выражение (1) в виде:
, (6)
где
- номера доменов, а 
- номера спинов в этих доменах, ND = 
- число доменов. Новые индексы связанны с используемыми в (1) индексами соотношениями 
, 
.
Переворот домена означает одновременный переворот всех его спинов. Следовательно, все 
спиновых переменных домена можно представить как 
, 
,
. Здесь 
- направление спина в начальный момент времени, а 
- доменная переменная, характеризующая зависимость направления домена от времени (
). В этих переменных выражение (6) принимает вид:
(7)
где
(8)
где 
– новая матрица размерности 
.
Как видим, введение доменной переменной 
позволило свести задачу к модели Хопфилда с матрицей 
. Описанная выше доменная динамика в новых обозначениях сводится к следующему: вычисляется локальное поле 
и домен ориентируется вдоль направления этого поля 
. Нетрудно заметить, что 
. Вычислительная сложность такого алгоритма снижается в 
раз, поскольку размерность матрицы 
в 
раз меньше, чем у исходной матрицы 
.
В 3-й главе описана возможность применения доменной нейронной сети в задачах комбинаторной оптимизации. Замена спиновой динамики на доменную означает увеличение шага движения по энергетической поверхности, что позволяет проскакивать мелкие локальные минимумы, в которых застревает сеть Хопфилда. Традиционную спиновую динамику модели Хопфилда принято сравнивать с движением материальной точки по энергетической поверхности. В этих терминах динамику доменной сети можно сравнить с движением крупного тела, которое не замечает мелких дефектов поверхности. Если продолжить такую аналогию, то можно ожидать, что доменная нейросеть будет ощущать тренд поверхности и «двигаться» в сторону наиболее глубоких минимумов.
Для подтверждения этой гипотезы была проведена серия экспериментов. Так как оптимизационные свойства нейронной сети сильно зависят от типа матрицы связей, то были исследованы матрицы с различной спектральной плотностью минимумов – от матриц с сильно разреженным спектром минимумов до матриц с практически сплошным спектром. Для моделирования таких спектров, матрицы формировались по правилу Хебба с различным параметром загрузки (
). Образы генерировались случайным образом: компоненты вектора с вероятностью принимали значение +1 либо -1. Кроме того, для получения энергетической поверхности с ярко выраженными минимумами для построения матрицы использовалось обобщенное правило Хебба:
(9)
где 
- случайные статвеса образов, подчиняющиеся равномерному распределению. При таком построении матрицы межсвязей, энергетический рельеф (1) усложняется: разным векторам, записанным в матрицу, соответствуют разные по глубине локальные минимумы.
Оптимизация проводилась в два этапа. На первом этапе генерировался случайный конфигурационный вектор, элементы которого объединялись в домены с размером 
. Из этого начального состояния сеть конвергировала в локальный минимум с помощью доменной динамики. На втором этапе из сети удалялись жесткие связи, группирующие спины в домены, т.е. параметр k принимался равным 1, и спуск продолжался с помощью стандартной спиновой динамики сети Хопфилда. Такой комбинированный подход с применением доменной и спиновой динамик, использовался в связи с тем, что при достижении доменной динамикой локального минимума в системе как правило оставались неудовлетворенные спины. Выстроив их вдоль направления локального поля с помощью спиновой динамики, удавалось существенно понизить значение энергии.
Оптимизационная эффективность проверялась одновременно для четырех видов алгоритмов: доменные алгоритмы при 
и спиновая динамика (
). Матрица межсвязей и начальные состояния сети задавались одинаковыми для всех алгоритмов.
Чтобы оценить оптимизационную эффективность доменной динамики велось наблюдение за целым рядом параметров. Во-первых, фиксировались энергии минимумов, в которые приводили систему доменная динамика (
) и спиновая динамика (
). Во-вторых, вычислялась вероятность, с которой: a) доменная динамика приводит систему в более глубокий минимум (
); b) доменная и спиновая динамика приводят систему в один и тот же минимум (
); c) доменная динамика приводит систему в более высокий минимум (
). В-третьих, вычислялась величина выигрыша:
(10)
позволяющая оценить относительный выигрыш (при отрицательных 
- проигрыш) доменной сети по сравнению с моделью Хопфилда.
Для каждой матрицы осуществлялось по 5104 случайных стартов. Всего было исследовано более 500 матриц размерности 100100. Полученные результаты для вышеописанного эксперимента можно условно разделить на три группы по типу матриц: матрицы с разреженным (линейчатым) спектром минимумов, матрицы со сложным (линейчато-сплошным) и матрицы со сплошным спектрами минимумов. Качественно эти результаты не отличаются, поэтому здесь приведем результаты лишь для матриц с разреженным спектром.
Типичный спектр и плотность распределения минимумов таких матриц приведены на рис. 1а. Указанный спектр образуют матрицы с небольшим числом минимумов, при этом, между глубокими и высоко-лежащими минимумами имеется широкая область, в которой минимумы не образуются. Матрицы такого типа моделировались при помощи обобщенного правила Хебба (9), с параметром загрузки 
Рис. 2. Матрица с разреженным (
) спектром. а) На графике сплошной линией показана спектральная плотность минимумов - количество минимумов на отрезке длины 
. В верхней части рисунка показан сам спектр минимумов – каждому минимуму соответствует вертикальная черта. Ось абсцисс – нормированные значения энергии минимумов. Ось ординат – значение спектральной плотности (%) b) вероятность нахождения минимума с энергией E с помощью доменной динамики (k=2). Ось абсцисс - нормированные значения энергии минимумов. Ось ординат – вероятность обнаружения минимума (%).
Вероятность попадания в самый глубокий минимум у всех динамик примерно одинакова. Так, например, спиновая динамика приводила систему в самый глубокий минимум в 27.9% случаев, а доменная (k=2) в 28%. Однако к оценке эффективности можно подойти и с другой точки зрения. Рассмотрим результаты экспериментов, приведенные в Таблице 1. По столбцам отложены значения 
, 
и 
, а также значения выигрыша 
. По строкам рассматриваются различные вариации доменной динамики (с различным параметром 
).
Таблица 1. Матрицы с линейчатым спектром (
).
 |  |  | |
  |   |   | |
 =2 | 0.27 30.5% | 0.58 0 | 0.15 -19.9% |
 =5 | 0.30 28.2% | 0.48 0 | 0.22 -24.8% |
 =10 | 0.30 27.4% | 0.46 0 | 0.24 -24.5% |
Например, доменная динамика с размером домена равным 2, приводила систему к более низко-лежащему минимуму в 27% случаев, при этом удавалось спуститься на 30.5% ниже, чем при использовании спиновой динамики. Тогда как, спиновая динамика оказывалась лучше лишь в 15% случаев, и это улучшение составляло 19.9%.
Для всех исследовавшихся типов матриц, чаще всего доставлялся либо самый глубокий, либо один из низко-лежащих минимумов. Это хорошо согласуется с теоретическими оценками и экспериментальными данными, опубликованными в работе [2], где показано, что вероятность обнаружения минимума возрастает с ростом его глубины.
В 4-й главе получены выражения, устанавливающие связь между глубиной локального минимума энергии и шириной области притяжения. На основании этого вероятность нахождения локального минимума при случайной инициализации нейронной сети можно представить как функцию глубины этого минимума. В практических приложениях наличие таких выражений позволит по ряду уже найденных минимумов оценить вероятность нахождения более глубокого минимума и принять решение на остановку программы поиска или ее продолжение.
В данной главе рассматривается обобщенная модель Хопфилда, в которой матрица межсвязей
(11)
строится с использованием статвесов, что, в отличие от стандартной модели, позволяет описывать нейронную сеть с невырожденным спектром минимумов. Для удобства рассмотрения принята нормировка 
. Все основные выражения (1), (3) остаются прежними.
Исследуем при каких условиях присутствующий в матрице (11) образ 
будет являться неподвижной точкой, в которой энергия сети 
достигает своего (локального) минимума 
. Для получения корректных оценок рассмотрение проведем в асимптотическом пределе 
. Определим область притяжения образа 
как совокупность точек N-мерного пространства, из которых нейронная сеть релаксирует в конфигурацию 
, и попробуем оценить размер этой области. Пусть начальное состояние сети S находится в некоторой окрестности образа 
. Тогда, вероятность того, что сеть сойдется к точке 
, опишется выражением:
(12)
Здесь 
- функция ошибок переменной 
:
(13)
где 
– хеммингово расстояние между 
и 
.
Из (12) следует, что область притяжения определяется как совокупность близких к 
точек конфигурационного пространства, для которых справедливо соотношение 
:
(14)
где
(15)
Действительно, в случае 
имеем 
при 
, т.е. вероятность схождения в точку 
с асимптотически стремится к единице; в противном случае (
) имеем 
. Это означает, что величину 
можно рассматривать как радиус области притяжения локального минимума 
.
Из (14) следует, что при 
радиус области притяжения стремится к нулю. Это означает, что образы, прописанные в матрицу межсвязи (11) с статвесом, меньшим 
, попросту не образуют локальных минимумов. Локальные минимумы имеются только в точках 
, образы которых прописаны в матрице межсвязей с относительно большими статвесами 
. Более того, если статвес одного из образов, например образа 
, сделать значительно больше чем у остальных (
), то область его притяжения (
) охватит половину всего 
-мерного пространства (остальное полупространство занимает область притяжения его негатива 
). При этом, сеть будет иметь всего лишь два локальных минимума в точках 
и 
, остальные локальные минимумы исчезнут. Этот предельный случай не представляет практического интереса для оптимизационных задач и ниже мы его рассматривать не будем.
В другом предельном случае, когда все статвеса равны друг другу (
), условие существования локальных минимумов 
преобразуется в известное ограничение 
на емкость памяти модели Хопфилда.
Из анализа выражения (1) следует, что энергию локального минимума Em с точностью до незначительной флуктуации порядка 
можно представить в виде
(16)
Тогда, с учетом соотношения (14) из (16) нетрудно получить выражение
(17)
где
(18)
устанавливающее связь между глубиной локального минимума Em и шириной его области притяжения nm. Видно, что чем шире область притяжения, тем глубже минимум, и наоборот – чем глубже минимум, тем шире область его притяжения.
Вероятность попадания в минимум можно представить в виде числа точек в сфере радиуса nm, приведенное к общему числу точек в 
-мерном пространстве:
(19)
Выражениями (17) и (19) в неявном виде задается связь между глубиной локального минимума и вероятностью его нахождения. Применяя к биномиальным коэффициентам асиптотическое разложение Стирлинга и заменяя в (19) суммирование интегрированием, можно представить искомую связь как
(20)
где 
– функция Шеннона
(21)
Здесь 
- не существенная для дальнейшего анализа медленная функция от 
, которую можно получить асимптотической оценкой (20) при условии 
, а зависимость 
всецело определяется быстрой экспонентой.
Как следует из (17), вероятность обнаружения локального минимума малой глубины (
) убывающе мала как 
. Заметно отличной от нуля вероятность 
становится только в случае достаточно глубоких минимумов 
, размеры областей притяжения которых сопоставимы с величиной 
. Выражение (20) с учетом (17) в этом случае преобразуется к зависимости 
, задаваемой выражением
(22)
Как следует из (22), вероятность обнаружения минимума растет с ростом его глубины. Эта зависимость подтверждается результатами экспериментов, проведенных для матриц (11) с малым загрузочным параметром 
, при котором проведенный выше анализ справедлив.
Вместе с тем, эксперимент показывает, что описываемая выражениями (19)-(22) зависимость "глубже минимум – больше область притяжение – больше вероятность попадания в этот минимум" как правило сохраняется при любых параметрах загрузки.
Отметим, что зависимость (19)-(22) выполняется тем лучше, чем глубже описываемый этим выражением минимум. А поскольку для задачи оптимизации важно описать поведение именно наиболее глубоких минимумов, то наличие этих выражений позволяет спланировать процесс оптимизации, и соответственно сократить затрачиваемое на него время.
Основные результаты работы
В диссертационной работе получены следующие основные результаты.
1. Разработана новая модель нейронной сети – доменная нейронная сеть, спины которой группируются в домены по 
жестко связанных спинов в каждом. Показано, что доменная модель обладает в k раз большей емкостью памяти и в 
раз большей скоростью работы по сравнению со стандартной моделью Хопфилда.
2. Исследована возможность применения доменной сети в задачах комбинаторной оптимизации. Показано, что использование доменного алгоритма позволяет значительно ускорять решение таких задач и получать при существенно меньших вычислительных затратах более оптимальное решение, чем при использовании стандартных нейросетевых подходов.
3. Получены выражения, устанавливающие зависимость между глубиной локального минимума энергии, шириной области притяжения, и вероятностью отыскания этого минимума в процессе случайного поиска. Полученную зависимость можно сформулировать в виде правила "глубже минимум – больше радиус области притяжения – выше вероятность отыскания этого минимума". В практических приложениях наличие таких выражений позволит по ряду уже найденных минимумов оценить вероятность нахождения более глубокого минимума и принять решение на остановку программы поиска или ее продолжение.
Публикации
- Б.В.Крыжановский, Б.М.Магомедов, А.Л.Микаэлян. Доменная модель нейронной сети. Доклады АН, том. 401, №4, с. 462-466 (2005).
- Б.В.Крыжановский, Б.М.Магомедов, А.Л.Микаэлян. Взаимосвязь глубины локального минимума и вероятности его обнаружения в обобщенной модели Хопфилда. Доклады АН, том. 405, №3, с. 320-324 (2005).
- B.V.Kryzhanovsky, B.M.Magomedov. Application of Domain Neural Network to Optimization Tasks. ICANN 2005: 15th International Conference On Artificial Neural Networks, Warsaw, Proc. Part II, ISSN: 0302-9743, Springer-Verlag, pp.397-403.
- B.V.Kryzhanovsky, V.M.Kryzhanovsky, B.M.Magomedov and A.L.Mikaelian. Vector perceptron as fast search algorithm. Optical Memory&Neural Network, vol.13, No.2, pp.103-108 (2004).
- L.B.Litinskii, B.M.Magomedov. Global minimization of a Quadratic functional: neural network approach. Pattern Recognition and Image Analysis, Vol. 15, No. 1, pp. 80-82 (2005).
- Б.В.Крыжановский, Б.М.Магомедов, А.Л.Микаэлян. Доменная модель как мультиагентная система. Искусственный интеллект, №4, с. 354-363 (2005).
- Б.В. Крыжановский, Б.М. Магомедов. Доменная динамика в спиновых моделях нейронных сетей. VII всероссийская научно-техническая конференция "Нейроинформатика-2005". Сборник научных трудов, часть - 2. М.: МИФИ, сс. 69-76 (2005).
- Б.В. Крыжановский, Б.М. Магомедов. Доменная модель в задачах оптимизации III-й Международный научно-практический семинар "Интегрированные модели и мягкие вычисления в искусственном интеллекте". Сборник научных трудов. М: Физматлит, сс. 309-314 (2005).
| Подписано в печать 17.05.2006 Тираж 100 экз. | Формат 60 84 1/ 16 Объем 1,5 п.л. Заказ № 8 |
Участок оперативной полиграфии
Института этнологии и антропологии РАН
119334 Москва, Ленинский пр., 32-А
(1) В отличие от реального домена, в котором все спины выстроены в одном направлении, направления спинов внутри нашего формального "домена" могут быть произвольными.
