В. А. ФИЛИППОВ

Тюменский государственный университет,

Тюменское ассоциативных систем объединение (ТАСО)

filippov-vadim

КОРТИКОМОРФНАЯ НЕЙРОСЕТЕВАЯ АРХИТЕКТУРА,

МОДЕЛИРОВАНИЕ КОНСОЛИДАЦИИ СЛЕДА ПАМЯТИ И

КИБЕРГЕНОМИКА – ПЕРСПЕКТИВНЫЕ ТЕХНОЛОГИИ

РАЗРАБОТКИ ИСКУССТВЕННЫХКОГНИТИВНЫХ СИСТЕМ

// Научная сессия НИЯУ МИФИ – 2010. Материалы избранных научных трудов по теме: «Актуальные вопросы нейробиологии, нейроинформатики и когнитивных исследований». М.: НИЯУ МИФИ, 2010. – С. 111-144.

Выбранный из многих вариант нейросетевой архитектуры для анализа семантики текста на ЕЯ рядом особенностей напомнил организацию связанных неокортикальных колонок, выявленную в исследованиях мозга. Важное значение для реализации когнитивных процедур имело применение модели нейрона с многофазной консолидацией следа памяти. Избранные решения основываются на использовании афферентно-инвариантных нейронов («бабушки») и подразумевают построение ИНС большой размерности, которые не могут быть созданы вручную. Для решения этой проблемы в модель нейрона была включена модель генетического и эпигенетического регулирования. Эти технологии представляются перспективными для создания различных искусственных когнитивных систем.

Введение.

Гонка за технологией сингулярности. 20 ноября 2008 г. крупнейшая американская компьютерная корпорация IBM распространила пресс-релиз под названием «IBM планирует создать компьютер будущего, основанный на принципах работы мозга», в котором заявила о начале реализации амбициозного проекта разработки принципиально новой архитектуры вычислительной системы, воспроизводящей организацию межнейронных соединений (синапсов) и нейронных сетей мозга млекопитающих. Официальное название нового проекта IBM – “Создание компьютера, способного к познанию с помощью синаптроники и высокопроизводительных вычислений» (“Cognitive Computing via Synaptronics and Supercomputing» (C2S2).

К реализации проекта IBM привлекла команду специалистов мирового класса в области нейробиологии, вычислительной техники, нанотехнологий и разработки новых материалов во главе с доктором Дхармендрой С. Модхой из IBM Almaden Research center, руководителем группы проектов IBM в сфере разработок искусственных когнитивных систем («IBM’s cognitive computing initiative»). Основу команды создания новой компьютерной архитектуры на принципах организации живого мозга также составили профессора Квабена Боаэн (Kwabena Boahen), Х.-С. Филип Вонг (H.-S. Philip Wong) и Брайен Уонделл (Brian Wandell) из Стэнфордского университета, профессор Галайо Тонони (Gulio Tononi) из университета Висконсина-Мэдисона, профессор Раджит Манохар (Rajit Manohar) из Корнуэльского университета, профессор Стефано Фузи (Stefano Fusi) из медицинского центра Колумбийского университета и профессор Кристофер Келло (Christopher Kello) из Калифорнийского университета. От IBM Almaden Research center в состав группы вошли доктора Стюарт Паркин (Stuart Parkin), Чанг Лам (Chung Lam), Балент Керди (Bulent Kurdi), Дж. Кампбелл Скотт (J. Campbell Scott), Пол Маглайо (Paul Maglio), Симоне Рау (Simone Raoux), Раджагопал Анантанараьянан (Rajagopal Ananthanarayanan) и Рагейвндра Сингх (Raghavendra Singh). От исследовательского центра IBM им. Т. Дж. Уотсона в проекте примут участие доктор Чанг Лам (Chung Lam) и доктор Бипин Рейджндран (Bipin Rajendran). К работам привлечены также многие другие ученые и студенты [1].

В финансировании проекта принимает участие Агентство перспективных оборонных исследовательских программ США (DARPA) в рамках проекта «Системы нейроморфной пластичной масштабируемой электроники» («DARPA’s Systems of Neuromorphic Adaptive Plastic Scalable Electronics initiative» (SyNAPSE) [2]. DARPA финансирует исследования IBM в сфере изучения синапсов, разработки наноматериалов для их аппаратного моделирования на молекулярном уровне, создания нейросетевых архитектур. Новый проект знаменует решительный поворот DARPA в деле создания искусственных интеллектуальных систем от разработки логико-математических алгоритмов машинного рассуждения (вроде создававшихся по контракту с DARPA в Rensselaer Polytechnic Institute) к решениям на основе биологически реалистичных нейросетевых моделей. Не вызывает также сомнений стремление DARPA объединить в будущем когнитивные технологии, получаемые в рамках нового проекта, с успешно реализуемыми агентством программами создания мобильных военных роботов, наподобие систем, разрабатываемых по заказу DARPA компанией Boston Dynamics.

Проект C2S2 базируется главным образом на успехе двух исследовательских программ, реализованных IBM в последние годы. Во-первых, это Blue Brain Project, начатый IBM летом 2005 г. совместно со Швейцарским федеральным технологическим институтом в Лозанне (EPFL) под руководстовом Г. Маркрама. Во-вторых, это проект, реализованный во второй половине 2007 г. Д. Фраем, Р. Анантанараьянаном и Д. Модхой в IBM Almaden Research center.

Целью Blue Brain Project является детальное моделирование отдельных нейронов и образуемых ими типовых колонок новой коры мозга – неокортикальных колонок (NCC). Участники проекта учитывают тот факт, что в коре нейроны организованы в элементарные функциональные единицы – NCC, имеющие порядка 0,5 мм в диаметре и 2 мм высотой. Каждая такая колонка содержит около 10 тыс. нейронов со сложной, но упорядоченной структурой связи между собой и с внешними по отношению к колонке нейрогруппами. Фактологической базой для моделирования послужили данные о морфологии и динамике активности нейронов крысы, другие данные о физиологии нейрона, полученные за прошедшие десятилетия исследований нервных клеток [3].

В модели нейрона в рамках Blue Brain Project учитываются различия между типами нейронов, пространственная геометрия нейронов [4], распределение ионных каналов по поверхности мембраны клетки и другие параметры нейронов-прототипов. Разработчики модели отмечают, что разнообразие типов нейронов, объединенных в нейрогруппу, весьма важно для реализации когнитивных функций данной группы, причем каждый тип нейронов присутствует в определенных слоях колонки, а пространственное расположение, плотность и объем распределения нейронов различных типов служат основой упорядоченного распространения активности по сети в целом. В рамках модели также принимается во внимание, что точная форма и структура нейрона влияют на его электрические свойства и возможность соединения с другими нейронами, а электрические свойства нейрона определены в большой степени разнообразием ионных каналов.

Для трехмерного моделирования нейрогрупп в рамках Blue Brain Project используется компьютер IBM Blue Gene с 8192 процессорами, который позволяет моделировать распространение электрической активности внутри неокортикальной колонки в режиме реального времени. При этом за одну секунду моделирования система обрабатывает 100 гигабайт данных, связанных с моделированием структуры межнейронных связей, и еще 150 гигабайт данных, связанных с моделированием прохождения электрического импульса через колонку.

К началу 2007 г. участниками проекта была построена модель неокортикальной колонки крысы [5], состоящей из десяти тысяч биологически правдоподобных моделей нейронов с приблизительно тридцатью миллионами синапсов между ними.

Авторами отмечаются следующие основные результаты реализации первой фазы проекта:

• разработана новая методология моделирования для автоматизированного построения связей между нейронами и распространения активности в рамках модели неокортикальной колонки на основе нейробиологических данных, а также соответствующее программное обеспечение с интерфейсами визуализации;
• создана технология калибровки и оценки получаемых моделей на основе критерия соответствия модели биологическому прототипу нейронов и нейрогрупп;
• разработана модель неокортикальной колонки мозга, полностью построенная на основе биологических данных.

Авторы отмечают, что полученные в рамках проекта клеточные модели нейронов и модель колонки в целом позволяют непосредственно соотносить моделируемые процессы распространения активности с аналогичными процессами в биологической колонке-прототипе.

На будущее в рамках Blue Brain Project поставлены задачи моделирования молекулярных взаимодействий в нейроне, биохимических каскадов, включения в модель процессов генетической регуляции изменений нейронов, в том числе связанных с обработкой нейронами различных сигналов, с регулированием воздействия на клетку различных специфических нейромедиаторов, а также сборки из многих неокортикальных колонок моделей более крупных функциональных областей мозга млекопитающих. По мнению исследователей, Blue Brain Project сыграет важную роль в развитии наших представлений о функционировании и дисфункциях нейронов и нейрогрупп, в нейрофармакологии, в борьбе с широким спектром неврологических и психиатрических болезней, в разработке систем искусственного интеллекта.

Следует учитывать, что Blue Brain Project является лишь небольшой частью исследовательской программы корпорации IBM по созданию программных и аппаратных моделей нейрона и живых нейросетей. Помимо исследовательского центра IBM в Цюрихе и Швейцарского федерального технологического института в Лозанне, в программе участвуют IBM Almaden Research center, исследовательский центр IBM им. Т. Дж. Уотсона, а также исследовательские центры IBM в Аустине, Пекине, Индии, Хайфе и Токио.

В частности, во второй половине 2007 г. исследователи Джеймс Фрай (James Frye), Раджагопал Анантанараьянан (Rajagopal Ananthanarayanan) и Дхармендра С. Модха (Dharmendra S. Modha) из IBM Almaden Research center, используя суперкомпьютер BlueGene/L с 4096 процессорами и оптимизированную ими модель нейрона, смогли смоделировать работу уже 8 млн. нейронов коры мыши, причем на каждый нейрон в среднем приходилось 6300 синапсов [6].

При принятии решения о реализации проекта C2S2 IBM исходила из того, что количество цифровых данных в мире ежегодно увеличивается на 60 %, открывая возможности к ускорению развития в самых разных сферах деятельности. Но без возможности анализировать эту информацию в режиме реального времени значительная часть ее ценности теряется, замедляя научные разработки и прогресс общества в целом. Для решения этих задач IBM планирует создать систему, способную к быстрому анализу информации, получаемой из самых различных источников, включая изображения и потоки видеоданных. Участники проекта отмечают, что если раньше исследования в области искусственного интеллекта и моделирования нейросистем ставили перед собой задачу воспроизведения фрагментов некоторых отделов мозга, то с накоплением нейробиологических данных появляются возможности моделирования мозга в целом.

В центре всех исследований по проекту C2S2 находится синапс, обеспечивающий, благодаря своей пластичности, формирование индивидуального опыта. Планируется разработка моделей нейросетей с числом и плотностью распределения синапсов, сравнимым с соответствующими параметрами у живых организмов. Отмечается, что мозг, скорее, представляет собой не нейронную, а синаптическую сеть, а мышление является результатом биохимической организации (wetware) мозга.

Д. Модха видит три причины своевременности начала проекта C2S2. Во-первых, к настоящему времени нейробиология уже располагает достаточным количеством данных об организации обработки информации живым мозгом. Во-вторых, созданы суперкомпьютеры, способные обеспечить разработку и функционирование крупномасштабных моделей с чрезвычайно большим числом элементов. В-третьих, успехи современных нанотехнологий привели к тому, что могут быть созданы модели синапсов и нейронов в виде искусственных аппаратных устройств на молекулярном уровне [7].

Официально заявленная IBM конечная цель проекта определена как «создание интеллектуальных компьютеров, способных к самостоятельному усвоению новых знаний, постоянно получаемых из различных источников, распознаванию образов, продолжительному обучению, к пониманию контекстуального значения многозначной информации для решения сложных проблем в условиях реального мира на основе своих способностей к восприятию, поведению и познанию». В случае успеха проекта, по мнению его участников, родится принципиально новый класс искусственных когнитивных систем, новая парадигма вычислительной архитектуры с многочисленными практическими приложениями во всех областях человеческой деятельности, а также появятся новые отрасли промышленности.

Еще одной крупной программой DARPA по созданию искусственных когнитивных систем стала начатая в 2009 г. программа «Машинное чтение» (Machine Reading Program (MRP). Её целью является создание автоматизированной системы чтения и понимания текстов на естественном языке (ЕЯ), способной извлекать востребованную информацию из текста без участия человека [8].

Целый ряд проектов по моделированию мозга и созданию искусственных нейросистем осуществляется и в странах Евросоюза. В качестве примера можно упомянуть начатый в 2007 г. проект создания когнитивных систем, способных к обучению – COSPAL (COgnitiveSystems using Perception-Action Learning), цель которого состоит в том, чтобы разработать архитектуру технических систем, способных к получению элементарных познавательных навыков способами, подобными тем, которые использует человек. Координатором проекта является европейская Computer Vision Laboratory. В реализации проекта задействованы Linkping University (Швеция), Christian-Albrechts-University of Kiel (Германия), University of Surrey (Великобритания), Czech Technical University (Чехия) и др. организации.

Участники проекта констатируют, что в настоящее время технические системы обычно состоят из предопределенного набора правил, которые управляют действиями системы в зависимости от влияния на них извне. Непредвиденные сочетания входных сигналов и их комбинации не могут быть обработаны такой системой. Игра в шахматы - решаемая проблема для такого вида систем, потому что шахматная игра руководствуется точными правилами и имеет конечное число комбинаций. Моделирование познавательных способностей однолетнего ребенка, однако, не может быть осуществлено такой системой по двум причинам. Во-первых, при рождении ребенка нет никаких точных правил в поведенческих схемах, они остаются слишком нечеткими, чтобы использоваться в технической системе. Во-вторых, число возможных входных стимулов и их комбинаций практически бесконечно. Всегда существуют стимулы, не подпадающие под ранее определенные правила. Именно из-за этих ограничений не удалось создать систем, построенных на основе правил.

Согласно концепции проекта COSPAL, машина должна уметь анализировать большое число входных стимулов и понимать смысл их комбинаций, делая соответствующие выводы. Ожидаемые результаты проекта – архитектура системы для перцепционных схем, где связано понимание входных стимулов и результирующая реакция системы. Также ставится задача учета семантики контекста. По мнению участников проекта, искусственные когнитивные системы (ИКС, Artificial Cognitive Systems, ACS) в будущем станут ключевой технологией, влияющей на экономику, общество и ежедневную жизнь [9].

В целом когнитивные технологии, согласно современным представлениям, должны выступить неотъемлемой частью квадриги из четырех так называемых конвергентных NBIC (НБИК, нано, био, инфо, когно) технологий, способных в предстоящий период внести наибольший вклад в повышение производительности человеческого труда [10].

Еще одно положение, которое сформировалось в последние годы, заключается в том, что именно когнитивным технологиям принадлежит в этой квадриге важнейшая роль обеспечения достижения так называемой «точки сингулярности» предполагаемого взрывного роста скорости научно-технического прогресса, следующего из создания искусственного интеллекта и открытий в сфере нано- и биотехнологий [11]. По-видимому, именно этим обстоятельством во многом обусловлено большое количество крупных исследовательских проектов в этой сфере, стартовавших в последние годы в развитых странах. В связи с этим очень своевременным представляется создание центра НБИК-технологий в РНЦ «Курчатовский институт». Но также крайне актуальным в этой связи представляется реализация комплексного отечественного проекта в сфере исследований мозга и создания искусственных когнитивных систем, способного интегрировать усилия профильных российских научных центров. О необходимости такого проекта говорилось в рамках состоявшейся в декабре 2009 г. научной сессии Общего собрания РАН. По всей видимости, очередь теперь за конкретными организационными решениями.

Интеллект – это сеть. Характерной чертой всех вышеназванных проектов стало проведение четкой грани между ними и парадигмой «старого доброго искусственного интеллекта (ИИ)». Работы в рамках классического ИИ были сосредоточены на разработке алгоритмов работы машин без их соотнесения с живыми прототипами. Напротив, новая парадигма когнитивных вычислений требует разработки способных к познанию вычислительных устройств как целостных систем, воспроизводящих микроструктуру нейронов и синапсов, а также макрорганизацию путей обработки информации в нейросетях мозга. Важное место при этом занимает моделирование архитектуры NCC, представления об организации которых были заложены в работах В.Б. Маунткастла [12], П.С. Голдман-Ракич [13], Г. Маркрама [14], С. Гроссберга [15], Р.Д. Фримана [16] и др. [17]. Воспроизводящие работу живых нейронов spiking-вычисления представляются ключом к успеху проекта. К примеру, IBM декларирует готовность полностью отказаться от традиционной «фон-неймановской» архитектуры (архитектуры Маучли-Эккерта) и парадигмы компьютера как программируемой машины, развивающейся с 1940-х гг., и, взяв за образец живой мозг, построить новую систему как аппаратную нейросеть с синаптическими соединениями между искусственными нейронами.

Действительно, сети в целом и нейросети, в частности, потенциально являются наиболее успешным когнитивным инструментом, так как позволяют выстроить любое сочетание объектов и обеспечить любое сочетание их влияний друг на друга. Соответственно, любая интеллектуальная проблема решается сетевыми средствами, а все технические проблемы, возникающие при разработке сетевых архитектур также решаются сетевыми средствами. Если в построенной сети нет возможности решить новые задачи без ущерба для реализованного решения ранее определенных задач, то всегда можно создать рядом еще одну сеть, решающую вновь поставленные задачи, причем при формировании итоговой реакции системы в целом возможно учитывать результаты работы всех этих сетей. Корректно построенная сеть правильно решит задачу, даже если пользователю вначале покажется, что она ошибается. По сути, интеллект – это сеть.

Ниже хотелось бы обсудить некоторые архитектуры моделей нейросетей, которые, возможно, могут рассматриваться в качестве эффективного инструмента создания искусственных когнитивных систем. Мы сочли возможным назвать рассматриваемые архитектуры «кортикоморфными», заметив некоторые общие их особенности со структурами коры, ставшими известными из нейробиологических исследований. При этом особо подчеркнем, что мы ни в коей мере не претендуем на их идентичность живым сетям.

Кроме того, представляется важным обсудить еще два тезиса. Из вышеприведенного заключения о том, что нейросети позволяют выстроить любое сочетание объектов и обеспечить любое сочетание их влияний друг на друга, может показаться, что проблема создания когнитивной системы, способной к анализу и синтезу семантической информации, сводится к разработке удовлетворяющей сетевой архитектуры и что решение любой когнитивной задачи может быть реализовано на базе самых различных сетевых архитектур. По всей видимости, оба эти тезиса неверны, а создание искусственных когнитивных систем на основе нйросетей станет возможным только в том случае, если сетевые архитектуры будут дополнены технологией, условно названной нами «кибергеномикой», а успех разработки таких сетей существенно зависит от применяемых в их рамках моделей нейронов.

1. Искусственные кортикоморфные нейросети

Как мы пришли к кортикоморфным архитектурам? Описываемые в настоящей работе технологии и архитектуры были разработаны в рамках проекта российского предприятия «Тюменское ассоциативных систем объединение (ТАСО)» по созданию когнитивной электронной нейрогенетической системы, способной к обработке семантики текста на ЕЯ. Анализ ЕЯ является, как известно, одной из наиболее сложных задач для машинной обработки в силу размерности языкового пространства, его иерархичности и нелинейности, большого числа алгоритмов ассоциирования, используемых при обработке ЕЯ, дискурсивности языковых высказываний, значимости контекста, а также открытости языкового общения для неязыковых средств.

Система анализа и синтеза семантики текста на ЕЯ должна быть способна к распознаванию и пониманию (прямому и контекстуальному ассоциированию с дефинициями) различных фрагментов текста (слогов, морфем, слов, предложений, групп предложений), она должна обеспечивать самостоятельное продолжающееся ассоциирование на основе полученного текста, включая синтез нового знания с реализацией алгоритмов ассоциирования, встречающихся у человека, и когнитивных процедур обработки семантики текста (обучение в ходе диалога с пользователем или самостоятельного чтения, ветвление ассоциаций, логические выводы и т.д., при корректной управляющей синхронизации реализуемых процедур). Наконец, система должна принимать во внимание всю структуру введенной текстовой информации – ассоциативного основания – с тем, чтобы корректно определять ассоциативную мишень. Под ассоциативным основанием мы понимаем текстовый ввод, получаемый системой от пользователя или при самостоятельном чтении, который полностью или частично совпадает со структурой знания, ранее усвоенного системой в результате обучения в прошлые периоды развития системы. Например, системе известно как истинное высказывание «Мария вышла погулять на улицу». После этого система получает вопрос от пользователя: «Мария, наверное, вышла с утра погулять и отдохнуть?». Система должна подтвердить известную ей информацию. При этом слова «Мария», «вышла», «погулять» будут являться ассоциативным основанием для ответной реакции системы.

В данном случае мы имеем довольно трудный для ответа системы случай разорванного, но сохраняющего свою внутреннюю упорядоченность ассоциативного основания (чтобы понять значимость внутренней упорядоченности ассоциативного основания, достаточно представить на месте вышеприведенного высказывания математический пример вычитания, вольно сформулированный с помощью слов).

Корректная обработка ассоциативных оснований и является ключом к успешной обработке ЕЯ ассоциативной системой, естественной или искусственной. По нашему мнению, в реальном ЕЯ встречается 4 пары видов ассоциативных оснований, которые образуют 16 типов встречающихся на практике сочетаний этих видов, причем лишь 12 встречаются в единичном высказывании (слове, предложении), а не в серии. Реализация различающихся процедур обработки этих 12 сочетаний видов ассоциативных оснований на основе различных видов алгоритмов ассоциирования (ассоциативной трансляции, дивергенции, конвергенции, процедурных и логических функций) позволяет выстроить логику системы в целях получения ее корректного отклика. Причем при таком подходе исчезает грань между активацией уже известной системе информации и синтезом нового знания в результате реализации алгоритмов ассоциирования.

Соответственно, своего решения потребовала задача практической реализации ассоциативной системы на основе вышеназванных способностей. Нейросетевое решение при этом представилось наиболее продуктивным именно в силу его эвристической мощности. Вопрос встал за разработкой конкретной архитектуры.

Для программной эмуляции нейросетей была создана программная инструментальная среда разработки динамических моделей нейронных сетей и сложных систем «ТАСО-Нейроконструктор» (рис. 1), в состав которой вошли редакторы моделей нейронов (отсеков), нейронных сетей и «кибергенетического» кода. Исследователь имеет возможность создавать с ее помощью произвольные математические модели элементов и сетей на их основе, включая регулирование их структурных перестроек. Созданы версии среды для одноядерных и многоядерных машин. Основной решенной задачей при создании среды является обеспечение поддержки искусственных нейросетей (ИНС) с большим числом элементов (дендритов, сом, аксонов) – порядка 100 млн. для современного ПК. Количество элементов при использовании многоядерных машин зависит от их характеристик. Нами в качестве аппаратной базы сетей используются кластеры и суперкомпьютеры с общей памятью производства компании «Т-Платформс».

Рис. 1. Общий вид программной инструментальной среды разработки динамических моделей нейронных сетей и сложных систем «ТАСО-Нейроконструктор»

Первоначально вполне логичным представилось создать сеть, обеспечивающую последовательное ассоциирование текстовых объектов (букв, слогов, морфем, слов, предложений, абзацев текста) с учетом структуры введенного ассоциативного основания. Такой учет мог быть обеспечен сохранением потенциации от всех активированных в рамках ассоциативного основания вершин на период решения задачи в эфферентных отростках («аксонах») нейрона-основания или афферентных отростках («дендритах») нейрона-мишени. Подобный подход может быть реализован на основе полносвязной сети с изначально слабыми, но потенцируемыми в результате обучения связями (рис. 2).

Рис. 2. Вверху: принципиальная схема полносвязной сети ассоциирования вершин текстовых объектов. В результате последовательной активации объектов при обучении происходит потенциация связей (моделируется синтез рецепторов постсинаптических мембран) по принципу правила Хэбба. После потенциации активация любого из объекта обучающей последовательности может обеспечить дальнейший самостоятельный переход активности от активированного объекта вдоль по цепочке потенцированных связей, восстанавливая известную системе информацию на основе введенного ассоциативного основания. Вверху: принципиальная схема сети. Внизу: одна из первых сетей, построенная на основе данной идеологии в среде «ТАСО-Нейроконструктор»

Позднее данные архитектуры были усовершенствованы, дополнены аппаратом ветвления ассоциаций, созданы системы кодирования текстовых объектов как одиночными нейронами, так и их комбинациями (рис. 3). Затем от всех подобных архитектур последовательного ассоциирования текстовых объектов пришлось отказаться в силу появления непреодолимой в ее рамках ошибки одновременного вызова правильного и неправильного ответа в результате появления в ходе обучения комбинации потенцированных связей на мишень от нейронов-членов разных последовательностей (ошибка КИОС).

Рис. 3. Полносвязная (внутри ассоциативных локусов) нейросеть ассоциирования вершин текстовых объектов с аппаратом ветвления ассоциаций. Данная сеть обеспечивает точный учет введенного ассоциативного основания на каждом шаге продолжающегося самостоятельного ассоциирования. В окне чата диалога с сетью видно проявление ошибки КИОС, когда после соответствующего обучения примерам запрос пользователя «1+3=» приводит к появлению и правильного (4) и неправильного (5) ответов системы.

Суть ошибки КИОС заключается в следующем. Допустим, что мы ассоциируем ассоциативное основание с некоторой вершиной-мишенью, например, потенцируем связи последовательно активирующихся нейронов «1», «+», «4», «=» с нейроном «5». В ходе дальнейшего обучения потенцируем связи последовательно активирующихся нейронов «2», «+», «3», «=» также с нейроном «5». Затем разучиваем пример, согласно которому 1+3=4. В результате при вводе ассоциативного запроса, сколько будет «1+3=», полносвязная сеть последовательного ассоциирования объектов с учетом полного ассоциативного основания выдаст нам и правильный ответ «4», и неправильный ответ «5» (рис. 4).

Рис. 4. Ошибка одновременного вызова правильного и неправильного ответа в результате появления в ходе обучения комбинации потенцированных связей на мишень от нейронов-членов разных последовательностей (ошибка КИОС) в рамках полносвязной сети последовательного ассоциирования вершин объектов на ассоциативную мишень с учетом всей длины введенного ассоциативного основания. Слева: ошибка КИОС при обучении примерам (пояснения в тексте). Справа: ошибка КИОС при разучивании слов. После выучивания слов «дон», «сан» и «дал» мы просим систему продолжить ассоциирование после ввода «да». В результате она корректно выдает выученное слово «Дал» и некорректно добавляет к нему неизвестное ей слово «дан», так как вершина «н» активируется связями, потенциированными в рамках разных последовательностей «дон» и «сан». В схеме подразумевается, что нижерасположенный нейрон активируется на такт раньше вышерасположенного.

Ответ «4» корректен, он является проекцией нейронов «1», «+», «3» и «=». А вот ответ «5» получается в такой сети в силу того, что нейроны «1», «+» и «=» потенциируются на нейрон «5» в рамках обучения примеру «1+4=5», а нейроны «3», «+» и «=» потенциируют свои связи с нейроном «5» в ходе обучения примеру «2+3=5». Тот же процесс происходит и при припоминании запомненных слов.

Уйти от появления ошибки КИОС стало возможным лишь после перехода к сетевым архитектурам, основанным на афферентно-инвариантных нейронах (АИН), т.е. таких, поле входов которых однозначно соответствует восприятию некоторого объекта или его части. В литературе они часто называются «нейронами моей бабушки», «нейронами Холли Берри» и т.п.

Принципиальная структура сети для формирования АИН весьма проста: это крестообразная сеть со вставками (рис. 5). Структуры нейросетей, напоминающие показанную на рис. 5, описаны в литературе [18]. Когда семантика, введенная на предыдущем такте работы сети, уходит на свою вставку, а новый сигнал активирует свою семантическую вершину, она и вставка предыдущей семантики могут образовать АИН комбинации объектов.

Рис. 5. Концептуальная схема простой крестообразной сети со вставками для формирования АИН.

В представленной сети формирования АИН интригует такое совпадение, как обусловленное решаемыми задачами наличие в нашей сети вертикальных, горизонтальных и расходящихся под увеличивающимися углами диагональных связей, а также кустов ветвления связей вокруг нейронов - семантических аттракторов, и наличие таких же четко выделяющихся связей в структуре коры живого мозга (рис. 6).

Рис. 6. Монтаж из нескольких микрофотографий участка новой коры, полученных в рамках Blue Brain Project (BBP/EPFL, 2006 г.). Видны четко выделяющиеся характерные вертикальные (А), горизонтальные (Б) и диагональные, с расходящимися углами (Г) связи, а также кусты ветвления вокруг сом пирамид (В).

Таким образом, в ходе разработки и «отбраковки» архитектур ИНС, способных решать задачи обработки семантики текста, мы столкнулись с тем обстоятельством, что некоторые особенности структуры связей в наших сетях стали напоминать структуру живых кортикальных сетей. Что это: случайное совпадение или закономерность, обусловленная общностью решаемых задач? На этот вопрос еще предстоит ответить. Пока мы наши сети сочли возможным назвать «кортикоморфными», не претендуя на их идентичность живым сетям.

Кортикоморфмная нейросетевая архитектура. Единственным недостатком концептуальной схемы простой крестообразной сети со вставками для формирования АИН, которая приведена на рис. 5, является ее нереализуемость на практике для таких задач, как обработка ЕЯ или реального потока данных иной сенсорной природы в силу размерности задачи: количество требуемых комбинаций в слоях для многообъектных комбинаций становится чрезмерно большим. К примеру, в русском алфавите 33 буквы, а наибольшая длина слов в русском языке – до 28 букв (слова же из 20-22 букв дольно распространены). Таким образом, в показанной архитектуре нам понадобилось бы 3,3*1042 АИН только для кодирования слов, которые могут встретиться системе (комбинационное кодирование в данной архитектуре невозможно, так как при таком подходе невозможно будет разделить ассоциации при ветвлении). Учитывая же, что есть еще корковые области АИН слов и предложений, а также и то, что соответствующие ассоциативные континуумы повторяются многократно для реализации различных процедур обработки семантики текста, размерность сети становится неконструктивной (к примеру, в русском языке около 170 млн. словоформ). Кроме того, такая архитектура является крайне неэффективной, так как не может распознать объект, не предусмотренный проектировщиком, а большая часть её ресурсов может остаться никогда не использованной.

Для решения этой проблемы нами разработана сеть, обеспечивающая захват будущей АИН-вершины для использования в качестве маркера объекта из некоторого существующего пула свободных нейронов резерва. Это достигается в результате срабатывания незаторможенных знакомой информацией «нейронов новизны» в ходе повторного ввода сигнала. В результате структура АИН сети становится абсолютно адекватной реальному опыту обучения системы.

Вся сеть построена как ламинарная структура, состоящая из вертикально ориентированных колонок с четкими функциональными ролями слоев в них. В рамках каждой колонки обеспечивается запоминание текстовых объектов (включая захват АИН из пула резерва и моделирования синтеза рецепторов в потенцируемых связях), их припоминание с учетом введенного ассоциативного основания (логика), самостоятельное продолжающееся ассоциирование системы после завершения ввода текста извне, ветвление ассоциаций и др. когнитивные функции.

Каждая ассоциативная колонка, расположенная правее, обрабатывает объекты большей размерности или большего уровня абстракции. Внутри в архитектуре колонки присутствуют вертикальные связи подъема сигнала, горизонтальные связи передачи сигнала на комплементарную вершину гомологичного локуса и торможения некомплементарных вершин, а также веера расходящихся диагональных связей, поддерживающих образование АИН (рис. 7).

Рис. 7. Небольшой фрагмент кортикоморфной сети континуума полных и неполных упорядоченных ассоциативных оснований для обработки текста на ЕЯ.

Под колонками расположены «ядра» управления и синхронизации, включая «нейроны новизны». Наряду с показанными ассоциативными колонками существуют и колонки, обеспечивающие вывод информации, которому система обучается одновременно с усвоением новой текстовой информации (рис. 8).

Помимо прочего, разработка представленных сетевых архитектур потребовала и стала возможной благодаря созданию специальной модели нейрона с многофазной консолидацией следа памяти и синаптической пластичностью.

Рис. 8. Фрагмент сети формирования АИН вершин слов (запоминания), припоминания, корректного продолжающегося самостоятельного ассоциирования, ветвления ассоциаций и вывода. Показанный локус включает в себя около 2,5 тысяч нейронов с примерно 40 тыс. отсеков (сом, аксонов и дендритов). Справа и слева от него находятся другие ассоциативные континуумы (не показаны). Мощность данной сети – немногим более 100 слов. Под колонками расположены управляющие и синхронизирующие ядра. И в колонках, и в ядрах расположены многочисленные сетевые пейсмекеры.

2. Модель нейрона с многофазной консолидацией следа памяти и синаптической пластичностью

Какая модель нейрона нам нужна? Профессор В. Герстнер (Wulfram Gerstner) из Швейцарского федерального технологического института в Лозанне (EPFL), известный специалист в сфере моделирования нейронов, в октябрьском (2009) номере Science в заголовок своей статьи вынес вопрос о том, насколько же хороши используемые в настоящее время и в различных областях модели нейронов [19]. Исследователь отметил, что на сегодня сформировалось по сути две основные традиции: биофизическая, восходящая к модели Ходжкина-Хаксли, и теоретическая кибернетическая, главным образом включающая в себя простые формальные модели нейронов класса «интегрировал и выстрелил» (Integrate-and-fire). И если сложные портретные модели нейронов находят свое применение главным образом в нейробиологических исследованиях тонкой структуры и реакций нервных клеток на изменение условий окружающей среды, то простые модели с несколькими параметрами, которые легко поддаются математическому анализу, применяются в традиции искусственных нейросетей при разработке интеллектуальных систем различного назначения.

Вопрос, поставленный профессором Герстнером, крайне важен.

Действительно, разработка моделей нейронов сегодня во многом разделена на нейробиологическое «портретное» моделирование клетки и на создание весьма упрощенных нейроподобных элементов «классических» ИНС.

В традиции нейробиологии разработаны такие классы моделей нейронов, как Detailed Neuron Models, включая Nernst potential Models, Reversal Potential Models, Hodgkin–Huxley Model, Two-Dimensional Neuron Models, включая Morris-Lecar Model, FitzHugh-Nagumo Model, Formal Spiking Neuron Models, включая Integrate-and-fire Models, Spike Response Model, Stochastic firing and rate Models, включая Poisson Model, Dynamic rate models, осцилляторные модели, например Nearst-Neighbor Model, модели синаптической пластичности, включая Hebbian Models, Kinetic Model, Calcium-Based Model, модели нейрогенеза, например, модель Фреда Гейджа, TagTriC-модели и мн. др. [20-23]. Реализуются крупные комплексные проекты портретного моделирования нейроцитов: подпроект E-Neuron в рамках проекта E-CELL (Institute for Advanced Biosciences at Keio University), проект Virtual Cell и др. [24-25] Для поддержки математического моделирования клеток приняты различные стандарты представления биологических данных (SBML и др. [26-28]). При этом нейробиологические модели часто моделируют лишь отдельные процессы в клетке или же являются портретными (e-cell), включающими в себя тысячи параметров, в т.ч. связанных с поддержанием жизнедеятельности клетки, что препятствует их использованию в ИНС большой размерности при ограниченности аппаратных ресурсов.

В традиции кибернетики разработаны MCP-нейрон, нейроны «Адалайн», WTA, Гроссберга, стохастический, Паде, Сигма-Пи нейроны и мн. др. [29-30]. Простые формальные модели нейрона имеют такие недостатки, как отсутствие моделирования каскада фаз формирования памяти, что снижает их функциональные возможности, отсутствие различных типов активирующих и различных типов тормозящих медиаторов, отсутствие моделирования разнообразия видов межклеточных соединений и взаимодействия, отсутствие модели генетического регулирования развития клеток и сетей на их основе.

К примеру, описанные выше архитектуры наших кортикоморфных сетей требуют таких особенностей моделей нейронов, как возможность создания десятков и сотен различных шаблонов отсеков нейрона (дендритов, сом и аксонов), динамика моделируемых потенциалов и структурных изменений в отсеках во времени, потенциация связи в результате обучения, включая импринтинг клетки, и ослабление связи в случае обучающего отрицания, эндогенная пейсмекерная активность, наличие встроенной модели «генетического» и «эпигенетического» регулирования развития и деления клетки и др. Как представляется, дополнительное заимствование нейроподобным элементом искусственных нейросетей некоторых ключевых особенностей живого прототипа может решающим образом повысить функциональные способности моделей нейрона. Поэтому весьма актуальной задачей является создание моделей нейрона, которые будут обладать ключевыми способностями живого нейроцита как базового элемента когнитивных систем, но также будут и достаточно компактными для реализации сверхбольших, динамически изменяющихся ИНС.

Возможно, что приходит пора частично преодолеть разрыв между биологической и кибернетической традициями нейромоделирования.

Как работает модель нейрона с консолидацией следа памяти? Составной частью нашего проекта стала разработка модели нейрона «ТАСО-2005» с многофазной консолидацией следа памяти и синаптической пластичностью, реализация которой представляется важным условием для использования данной модели в качестве базового элемента искусственных когнитивных систем [31, 32]. Данная модель значительно сложнее простых формальных моделей нейрона, разработанных в парадигме «классических нейросетей» кибернетики. Однако, моделируя лишь функции нейрона, существенно важные для обработки сигналов, в отличие от нейробиологических «портретных» моделей нейронов она остается относительно компактной, позволяя строить на ее основе ИНС большой размерности.

В модели нейрона «ТАСО-2005» моделируется процесс консолидации следа памяти, включающий в себя краткосрочные, среднесрочные и долгосрочные фазы формирования памяти, причем более краткосрочные фазы служат основой для формирования более долгосрочных. Кроме того, в рамках модели нейрона «ТАСО-2005» принято положение, согласно которому с каждой из фаз формирования памяти связаны важные когнитивные способности нейросетей. К примеру, с краткосрочными фазами памяти, привязанными, главным образом, к явлениям фасилитации и формирования кальциевого микродомена в аксонной терминали, диффузии медиатора и его взаимодействия с рецепторами постсинаптической мембраны, связано обеспечение перевода активации с одной клетки на другую. Со среднесрочными событиями, такими, как фосфорилирование постсинаптических рецепторов и формирование вызванных постсинаптических потенциалов (ВПСП), связаны некоторые способности сетей к логическим выводам, пониманию контекстуальных значений и т.п. Наконец, долгосрочное запоминание обеспечивается моделированием структурных изменений в виде синтеза рецепторов различных медиаторов, а также структурных изменений в аксоне пресинаптического нейрона. Модель нейрона «ТАСО-2005» является отсековой и составляется как совокупность моделей дендритов, сомы и аксонных терминалей, причем все эти отсеки могут иметь разные параметры. В целом модель представляет собой систему из немногим более чем тридцати уравнений, описывающих эти процессы. При необходимости модель нейрона "ТАСО 2005" может быть редуцирована до простой формальной модели нейрона путем обнуления ряда коэффициентов.

Рассмотрим, как работает модель нейрона «ТАСО-2005» в среде «ТАСО Нейроконструктор» на примере реализации обучения согласно правилам Хэбба.

Формулируя свои известные правила, Хэбб писал: «Предположим, что постоянное или повторяющееся возбуждение вызывает в клетках долговременные изменения, которые это возбуждение еще усиливают. Это предположение можно точно сформулировать следующим правилом: «Если аксон клетки А расположен достаточно близко, чтобы возбудить клетку Б, и постоянно или многократно участвует в активации последней, то в одной или обеих клетках происходят процессы роста или метаболические изменения, в результате которых усиливается активирующее действие клетки А на клетку Б». Еще одним выводом из теории Хэбба стало правило усиления связи между двумя нейронами третьим. Согласно модели Хэбба, для возбуждения синапса не обязательно, чтобы разряд нейрона Б был следствием разряда нейрона А. Предположим, что с нейроном Б, помимо нейрона А, через синапс связан третий нейрон – В. Причем синапс А на Б еще слаб, а синапс В на Б уже значительно более эффективен. Соответственно, нейрон Б пока может разрядиться при активации нейрона В, но не А. Итак, такая активация происходит. Но в результате усиливается не только синапс между нейронами В и Б, и до того достаточно сильный, чтобы активировать нейрон Б самостоятельно. Одновременно усиливается и слабый синапс между нейроном А и Б. Таким образом, с помощью нейрона В усиливается (обучается) синапс от нейрона А к Б. Через некоторое время синапс нейрона А становится настолько эффективным, что получает возможность в одиночку активировать нейрон Б, даже если не активен нейрон В [33]. Идея синаптической пластичности Хэбба в целом вскоре была подтверждена экспериментально Э. Руттенбергом.

Таким образом, для иллюстрации правил Хэбба нам достаточно построить сеть из трех нейронов. Нейроны 1 и 2 являются рецепторными нейронами, которые генерируют ПД в ответ на ввод соответствующего символа (в данном случае «1» и «2») в окне чата диалога с сетью. Оба они имеют связи с нейроном 3. Нейрон 3 является моторным нейроном, выводя в качества ответа сети, в случае генерации им потенциала действия (ПД), соответствующий символ «3».

Рис. 9. Сеть для иллюстрации правила Хэбба

Вначале проиллюстрируем, каким образом один нейрон (нейрон 1), имеющий первоначально слабую связь с другим нейроном (нейрон 3), прохождение сигнала через которую не может в момент начала обучения и на первых стадиях обучения вызвать ПД в нейроне 3, по мере продолжения активности нейрона 1 таким образом усиливает эту связь, что оказывается способен вызвать ПД в нейроне 3 даже после одиночного разряда нейрона 1. Затем покажем, как активация нейрона 1, уже усилившего свою связь с нейроном 3, может помочь нейрону 2, также имеющему слабую связь с нейроном 3, активация которой не способна вызвать ПД нейрона 3, всего за одну близковременную последовательную активацию нейронов 1 и 2 таким образом усилить связь между нейронами 2 и 3, что непосредственно после этой единичной совместной активации нейронов 1 и 2 одиночный ПД нейрона 2 сможет вызвать ПД в нейроне 3.

Перед началом обучения и нейрон 1, и нейрон 2 имеют слабые связи с нейроном 3: аксоны обоих этих нейронов выбрасывают малое количество медиатора; постсинаптические мембраны дендритов нейрона 3 имеют небольшое число глутаматных рецепторов НМДА и вовсе не имеют АМПА-рецепторов. Как следствие, ВПСП в дендритах нейрона 3 очень мал и не способен привести к генерации серии разрядов или даже одиночного ПД нейрона 3. Именно поэтому, если мы однократно активируем вводом символа «1» нейрон 1, то, хотя небольшое количество медиатора и выделится в щель, мы не получим ПД нейрона 3 (рис. 10, слева).

Рис 10. Слева: выброс медиатора нейроном 1. Однократная активация нейрона 1 приводит к выбросу медиатора из терминали его аксона на уровне 2,6 условных единиц. Этого количества медиатора оказывается недостаточно для генерации ВПСП в постсинаптическом нейроне 3, способного, в свою очередь, вызвать ПД в нейроне 3 (событие 1). При неоднократной активации нейрона 1 на протяжении нескольких тактов работы сети количество выбрасываемого из его аксона медиатора возрастает в результате влияния моделируемого накопления кальция в аксонной терминали – аксонной фасилитации. События 2, 3, 4 и 5 – выброс медиатора аксоном нейрона 1 в результате генерации им ПД на протяжении, соответственно, 2-х, 3-х, 4-х и 5-ти тактов подряд. При активации на протяжении 5 тактов подряд аксон нейрона 1 выбрасывает уже 3,97 условные единицы медиатора. События 6 и 8 показывают выброс медиатора после одиночных ПД нейрона 1 соответственно на 37 и 48 тактах. Так как без участия фасилитации аксона количество выбрасываемого медиатора постоянно, то экстраполируемая программой линия графика показана в виде прямой. Справа: усиление поступления кальция в аксонную терминаль нейрона 1, способствующее увеличению выброса нейромедиатора в синаптическую щель – аксонная фасилитация. При однократной активации нейрона фасилитации нет – внутриклеточные механизмы успевают вывести кальций из аксона. При активации нейрона 1 на протяжении 2 тактов подряд кальций не успевает выводиться полностью и начинает накапливаться в терминали - появляется фасилитация на уровне 3 условных единиц (событие 2). При активации нейрона 1 на протяжении 5 тактов работы системы подряд уровень фасилитации достигает уже 6 условных единиц (событие 5). По горизонтали на всех графиках показаны такты работы нейрона в сети. По вертикали – условные величины, характеризующие величину явления в условных единицах. Цифрами на поле графиков показаны анализируемые события.

Попробуем ввести символ 1, активирующий нейрон 1 два, три, четыре и пять раз подряд. При продолжающейся активации нейрона 1 в его аксонной терминали моделируется накопление кальция, который не успевает быть полностью выведен из терминали до подхода нового ПД из сомы нейрона 1 – аксонная фасилитация. Соответственно, уровень фасилитации возрастает в зависимости от продолжительности непрерывной активации нейрона 1 (рис 10, справа, события 2, 3, 4 и 5). Явления фасилитации не было при однократной активации нейрона 1, так как кальций при перерыве в генерации ПД довольно быстро выводится из аксона. Поэтому на графике 2 не было пика в момент первой активации нейрона 1 (события 1 на рис. 10, слева). Повышение уровня фасилитации обусловливает увеличение выброса медиатора данным нейроном в синаптическую щель (рис. 10, слева, события 2,3,4,5). Фасилитация в модели «ТАСО-2005» - событие с небольшим временем жизни, одна из основ краткосрочных фаз памяти, но ее значение для проведения сигнала между клетками весьма велико.

Несмотря на увеличение выброса медиатора, количество событий медиаторно-рецепторного соединения в эксордиуме дендрита нейрона 3, образующего синапс с аксоном нейрона 1 вначале остается неизменным, так как неизменно количество НМДА рецепторов не постсинаптической мембране нейрона (рис 11, слева). В то же время, хотя количество событий медиаторно-рецепторного соединения остается неизменным, величина положительных ВПСП в дендрите нейрона во время каждой из серии ПД нейрона 1 со все увеличивающейся продолжительностью (с 1 до 5 тактов подряд) также увеличивается, так как при непрерывном совершении событий медиаторно-рецепторных соединений в дендрите моделируется фосфорилирование рецепторов и накопление остаточного ВПСП. С этими процессами в модели нейрона «ТАСО-2005» связывается понятие среднесрочных фаз формирования памяти (рис 11, справа).

Рис. 11. Слева: количество событий медиаторно-рецепторного соединения на постсинаптической мембране дендрита нейрона 3, образующего синапс с аксоном нейрона 1. Так как до начала обучения в мембрану встроено малое и не изменяющееся вначале число рецепторов, то и после активации нейрона 1 на протяжении одного такта работы сети (событие 1), и после активации на протяжении 2, 3, 4 и 5-ти тактов (события 2-5) количество событий медиаторно-рецепторного соединения остается неизменным, на уровне одной условной единицы. После того как в нейроне 3 произошел синтез новых молекул-рецепторов медиатора, возрастает количество событий медиаторно-рецепторного соединения на постсинаптической мембране дендрита, имеющего синапс с аксоном нейрона 1 (события 6 и 8), после выброса медиатора этим аксоном. Справа: ВПСП в дендрите нейрона 3, образующем синапс с аксоном нейрона 1 в результате получения медиатора от нейрона 1. Если при получении медиатора в результате единичного ПД нейрона 1 в нейроне 3 образуется ВПСП величиной 5 условных единиц (событие 1), то после получения медиатора из аксона нейрона 1 на протяжении пяти тактов работы сети в данном дендрите нейрона 3 образуется уже ВПСП величиной 13 условных единиц (событие 5). При этом данный ВПСП превышает установленный порог нейрона 3 и приводит к генерации ПД нейрона 3. События 2-4 – ВПСП в дендрите нейрона 3, вызванные выбросом медиатора из нейрона 1, соответственно, не протяжении 2,3 и 4 тактов работы сети. После того, как в результате синтеза новых АМПА рецепторов в дендрите нейрона 3, имеющим синапс с нейроном 1, данная связь оказывается структурно потенцированной, даже одиночные ПД нейрона 1 могут вызвать в этом дендрите ВПСП, достаточно высокие (события 6 и 8), чтобы превысить порог и вызвать ПД нейрона 3.

После получения от нейрона 1 медиатора на протяжении 5 тактов работы сети подряд величина ВПСП в нейроне 3 достигает величины в 13 условных единиц и превышает порог нейрона 3, вызывая генерацию первого потенциала действия этого нейрона (рис. 12, слева, событие 5)

Рис. 12. Слева: частота ПД нейрона 3. После получения медиатора из аксона нейрона 1 на протяжении пяти тактов работы сети в дендрите нейрона 3, образующем синапс с аксоном нейрона 1, накопленный ВПСП превышает порог нейрона 3 и приводит к генерации первого единичного ПД нейроном 3 (событие 5). Более слабые ВПСП, сформировавшиеся в дендрите нейрона 3, имеющем синапс с аксоном нейрона 1 в результате получения медиатора из нейрона 1 на протяжении 1-4 тактов работы сети не превышали величину порога нейрона 3 и не приводили к генерации им ПД. После синтеза рецепторов в дендрите нейрона 3, имеющем синапс с аксоном нейрона 1, даже одиночные ПД нейрона 1 вызывают ПД нейрона 3 (событие 6).Совместная активация нейронов 1 и 2 вызывает серию ПД нейрона 3 на протяжении 2-х тактов работы системы (событие 8/9). После структурной потенциации с помощью нейрона 1 дендрита нейрона 3, имеющего синапс с аксоном нейрона 2, одиночный ПД нейрона 2 становится способным привести к генерации ПД (событие 10) нейроном 3. Справа: синтез АМПА-рецепторов в дендрите нейрона 3, имеющем синапс с нейроном 1. После генерации каждого ПД в нейроне 3 происходит моделируемый синтез новых АМПА-рецепторов. Так, например, после первого единичного ПД (событие 5) в нейроне 3 синтезируются и встраиваются в постсинаптическую мембрану дендрита нейрона 3, образующего синапс с нейроном 1, новые АМПА-рецепторы в количестве 10,82 условных единиц. Синтез и встраивание новых рецепторов происходит всякий раз после генерации нейроном ПД (события 6,8 и 9). После синтеза рецепторов начинается более медленный процесс их распада – забывание.

В том случае, если в каком-либо дендрите возникает положительный ВПСП, который приводит к генерации этим нейроном ПД с какой-либо частотой, в модели нейрона «ТАСО-2005» происходит синтез новых молекул-рецепторов медиатора, вызвавшего соответствующий ВПСП, и их встраивание в постсинаптическую мембрану всех тех и только тех дендритов, в которых присутствует положительный ВПСП. Подчеркнем, что новые рецепторы встраиваются и в те дендриты данного нейрона, ВПСП в которых слишком мал для самостоятельного вызова ПД, естественно, при условии, что ПД нейрона все же был вызван суммой всех ВПСП в дендритах данного нейрона. В данном случае моделируется синтез новых глутаматных АМПА-рецепторов (рис. 12, справа). В модели нейрона «ТАСО-2005» также моделируется синтез различных рецепторов, например ГАМК, которая обычно играет роль тормозного медиатора, но здесь эти процессы не описываются.

Так как количество рецепторов. воспринимающих медиатор, на постсинаптической мембране нейрона 3 после генерации им первого ПД резко возрастает, то теперь уже даже единичного выброса медиатора нейроном 1 (рис. 10, слева, событие 6), без аксонной фасилитации нейрона 1, оказывается достаточным, чтобы обеспечить такой уровень ВПСП в связанном с аксоном нейрона 1 дендрите нейрона 3 (рис. 11, справа, событие 6), который сразу же вызывает ПД нейрона 3 (рис. 12, слева, событие 6). Моделируемый синтез молекул-рецепторов медиатора происходит после каждого ПД. После синтеза рецепторов проведение возбуждения по связи между первым и третьим нейронами существенно облегчилось в результате структурного изменения клетки: увеличения количества молекул-рецепторов, связывающихся с выбрасываемым медиатором. Таким образом, произошло обучение связи. В модели «ТАСО-2005» время жизни АМПА-рецепторов на постсинаптической мембране довольно велико, а структурные изменения клетки рассматриваются в качестве основы долговременной памяти, хотя моделируется и медленный распад рецепторов – забывание.

Покажем теперь, как потенцированная связь между нейроном 1 и 3 может обеспечить достаточное для вызова ПД в нейроне 3 усиление связи от нейрона 2 к нейрону 3 в результате генерации нейроном 2 всего лишь единичного ПД. В начале обучения связи от нейрона 2 к нейрону 3 и аксон нейрона 2, и образующий с ним синапс дендрит нейрона 3 имеют те же самые параметры, что имела связь от нейрона 1 к нейрону 3 до обучения. Поэтому если мы однократно активируем вводом символа 2 нейрон 2, то выброшенные из аксона этого нейрона 2,6 условные единицы медиатора не приведут к генерации ПД в нейроне 3. Фасилитация при однократном ПД возникать не успевает, и положительный ВПСП в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2, слишком мал, чтобы превысить порог нейрона 3 (рис. 13, слева, событие 7).

Рис. 13. Слева: ВПСП в дендрите нейрона 3, образующем синапс с аксоном нейрона 2 в результате получения медиатора от нейрона 2. Одиночный ПД нейрона 2 на 44 такте работы сети слишком мал, чтобы сформировать на 45 такте ВПСП, достаточный для преодоления порога нейрона 3. Таким же остается и ВПСП в этом дендрите нейрона 3 при близковременной последовательной активации нейронов 1 и 2 (событие 9). После того как в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2, происходит синтез новых АМПА-рецепторов, вызываемый выбросом медиатора из аксона нейрона 2, ВПСП в этом дендрите, даже при отсутствии активности нейрона 1, становится достаточно большим (событие 10), чтобы самостоятельно вызвать генерацию ПД нейроном 3. Справа: синтез АМПА-рецепторов в дендрите нейроне 3, имеющем синапс с нейроном 2. Событие 9 – синтез рецепторов в результате близковременной последовательной активации нейронов 1 и 2. После того как при помощи нейрона 1 увеличивается число рецепторов в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2, даже одиночная аткивация нейрона 2 приводит к ПД нейрона 3 и синтезу новых рецепторов (событие 10) в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2.

Активируем теперь последовательно нейрон 1 (на 48 такте работы системы (рис. 10-11, событие 8) и нейрон 2 (на 49 такте). Выброс медиатора нейроном 1 в результате одиночного ПД теперь сразу же приводит к генерации ПД нейроном 3 (рис. 10-12, событие 8). Аксон нейрона 2 по-прежнему выбрасывает 2,6 условные единицы медиатора и, как и раньше, вызывает в дендрите нейрона 3, имеющем синапс с нейроном 1, слишком слабый ВПСП для самостоятельного превышения порога нейрона 3 (рис. 13, слева, событие 9). Но ПД в нейроне 3 вызывается в это время нейроном 1 (рис. 12, слева, событие 8). В нейроне 3 происходит синтез молекул рецепторов медиатора (АМПА). Но теперь вновь синтезированные молекулы встраиваются как в дендрит нейрона 3, имеющий синапс с нейроном 1, так и в дендрит нейрона 3, имеющий синапс с нейроном 2, так как в нем также присутствует хоть и меньший, но ВПСП. В эти два дендрита нейрона 3 встраивается различное количество рецепторов, пропорционально уровню ВПСП (рис. 12, справа, события 8 и 9 и рис. 13, справа, событие 9).

Теперь встроенных в постсинаптическую мембрану дендрита нейрона 3, имеющего синапс с нейроном 2, рецепторов медиатора оказывается достаточно, чтобы в том случае, если мы снова активируем уже только один нейрон 2, без разряда нейрона 1, самостоятельно сформировать ВПСП в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2 (рис. 13, слева, событие 10), вызывающий ПД в нейроне 3 (рис. 12, слева, событие 10).

Итак, мы продемонстрировали, как два вышеприведенных правила Хэбба могут выполняться в рамках моделей нейронов с биологически правдоподобным моделированием процессов обработки сигналов. Биологически более реалистичные модели нейронов позволяют строить искусственные нейронные сети с существенно большими способностями к решению ряда задач, например, к обработке ЕЯ и моделированию процессов мышления. Для нас же особенно важно, что рассмотренная модель нейрона может обеспечить построение архитектур, основанных на вербовке АИН из пула резерва, и реализацию других существенно важных функций искусственных кортикоморфных нейросетей. Многообещающим представляется потенциал приближения используемых при разработке искусственных когнитивных систем моделей нейронов к их живым прототипам.

И, по-видимому, не случайно профессор В. Герстнер в вышеупомянутой статье [19] замечает, что иногда обогащение моделей дендритов всего двумя дополнительными уравнениями позволяет добиться значительно лучших способностей модели нейрона в целом.

3. Кибергеномика

Используемые в рассмотренных кортикоморфных нейросетях решения основываются на АИН. Для решения проблемы размерности задачи были разработаны сети, в рамках которых обеспечивается захват нижележащими нейронами-вершинами текстовых объектов вышестоящих нейронов из некоторого пула первоначально свободных нейронов резерва. Несмотря на такой подход, размер сетей, используемых для обработки ЕЯ, весьма велик, а число отсеков в сети (дендритов, сом и аксонов) достигает 107-1011. Кроме того, хотя такие сети внутри своих локусов имеют довольно регулярную структуру, они также имеют и управляющие ядра, синхронизирующие развертки, которые обычно связаны со всеми или со многими элементами в различных колонках и различных сетевых локусах (рис. 14).

Рис. 14. В используемых кортикоморфных архитектурах регулярные повторяющиеся элементы моделей неокортикальных колонок (в верхней части рисунка) соседствуют с различными управляющими ядрами (внизу).

В силу своей размерности и, отчасти, сложности организации, такие сети, предназначенные для построения искусственных когнитивных систем, в принципе не могут быть построены вручную, а искусственная когнитивная система может быть создана лишь как модель генетического кода, модель «ДНК», обеспечивающая развитие необходимой нейросети.

Кроме того, даже если пул нейронов резерва, предназначенных для их захвата и использования в качестве АИН, довольно велик, то со временем его ресурсы все же заканчиваются. Соответственно в области сети, в которой сосредоточены АИН соответствующего уровня, должен начаться процесс неонейрогенеза – т.е. синтеза новых сом и их связей, причем как с вновь образуемыми, так и ранее образованными, «старыми» нейронами.

В чем-то этот процесс напоминает явление «взрослого нейрогенеза» в живом мозге. Во взрослом мозге новорожденный нейрон должен занять свое место в рамках существующей сети нейронов. Новые нейроны должны связываться со зрелыми клетками мозга, уже хорошо связанными в пределах установленных схем. Для этого новорожденные нейроны посылают свои отростки – дендритные филоподии, чтобы найти в своих пресинаптических областях выходные терминали других нервных клеток, которые уже хорошо связаны с ранее образованными нейронами в пределах установленных нейросетевых схем. Со временем дендритные выступы вновь образованных нейронов утолщаются, укрепляя связи между молодыми и старыми нейронами. По мере созревания молодой нейрон монополизирует площадку синаптического соединения [34].

Растущая сеть имеет дополнительные степени свободы. Видимо, поэтому потенциал моделирования ростовых процессов в ИНС уже давно привлекает исследователей: разработаны различные алгоритмы растущих нейросетей [35-37]. Однако практически все из них предполагают реализацию ростовых процессов между «здесь и сейчас» активированными нейронами. Такой подход не может обеспечить формирование нерегулярной структуры кортикоморфных сетей.

Для решения этой проблемы в нашу модель нейрона включается модель «генетического регулирования» развития клеток и, соответственно, нейрогенеза, а также модель «эпигенетического регулирования». Модель «генетического регулирования», или модель «ДНК» нейрона состоит из участков программного кода, описывающего структурную организацию различных типов отсеков нейронов, участков, запускающих или останавливающих процесс нейрогенеза в зависимости от сигналов, получаемых клеткой извне, участков, описывающих процедуры привязки ростовых процессов к общей топологии сети и др. Данные участки получили у нас условное название «кибергены». Моделирование механизмов эпигенетического регулирования позволяет «включать» и «выключать» те или иные гены, формируя модель «эпигенома» нейрона, ответственного за ростовые процессы.

Заключение

Таким образом, столкнувшись с задачами анализа семантики ЕЯ, мы вынуждены были перебрать различные варианты нейросетевых архитектур, способных к их решению. При этом наличие некоторых видов системных ошибок в архитектурах, основанных на последовательном ассоциировании групп объектов, заставило перейти к применению АИН и кортикоморфным нейросетевым архитектурам с четкой колончатой организацией и ламинарной структурой. Построение этих сетей во многом стало возможным благодаря ранее разработанной модели нейрона с многофазной консолидацией следа памяти и синаптической пластичностью. А большая размерность кортикоморфных сетей заставила, в свою очередь, разработать технологию «кибергеномики» – моделирования генетического и эпигентического развития клетки и нейрогенеза.

Достаточно ли этих технологий для создания искусственных когнитивных систем анализа семантики текста? Безусловно, нет. Помимо упомянутых сетевых локусов в решении такой задачи должны быть задействованы многие другие локусы, описание которых выходит за объем статьи. Но представляется весьма вероятным, что описанные выше технологии кортикоморфной нейросетевой архитектуры, моделирования консолидации следа памяти и кибергеномики станут эффективными инструментами разработки искусственных когнитивных систем.

Список литературы

1. http://www-03.ibm.com/press/us/en/pressrelease/26123.wss

2. http://www.sainc.com/SyNAPSETeaming/index.asp

3. http://bluebrain.epfl.ch

4. http://mediatheque.epfl.ch/sv/modules.php?include=view_photo.php&file=

idex&name=gallery&op=modload&id=gridNeuron_B3_WM&set_albumName=Blue_brain_project

5. http://mediatheque.epfl.ch/sv/modules.php?include=view_photo.php&file=

idex&name=gallery&op=modload&id=WholeColumn_wm&set_albumName=Blue_brain_project

6. Frye J., Ananthanarayanan R.,Modha D.S. Towards Real-Time, Mouse-

Scale Cortical Simulations // Computational and Systems Neuroscience (COSINE). – 2007. / http://eugen.leitl.org/postbiota/tt/2007-April/000349.html

7. http://p9.hostingprod.com/@modha.org
8. http://www.darpa.mil/IPTO/solicit/baa/BAA-09-03_PIP.pdf
9. http://www.mobiledevice.ru/COSPAL-Technology-iskusstvennii-intellekt-obuchenie-algoritm-Sys.aspx

10. Converging Technologies for Improving Human Performance. Nanotechnology, Biotechnology, Information Technology and Cognitive Science. Arlington, Virginia. 2002. P. 256-259.

11. Филиппов В.А. На пути к сингулярности // Поиск. 2009. № 3-4. С. 8.

12. Mountcastle V.B. The columnar organization of the neocortex // Brain. 1997. V. 120. P. 701-722.

13. Compte A., Brunel N., Goldman-Rakic P.S., Wang X.-J. Synaptic Mechanisms and Network Dynamics Underlying Spatial Working Memory in a Cortical Network Model // Cerebral Cortex. 2000. V. 10. No. 9. P. 910-923.

14. Rinaldi T., Silberberg G., Markram H. Hyperconnectivity of Local Neocortical Microcircuitry Induced by Prenatal Exposure to Valproic Acid // Cerebral Cortex. 2008. V. 18. No. 4. P. 763-770.

15. Rajeev D. S. Raizada R.D.S., Grossberg S. Towards a Theory of the Laminar Architecture of Cerebral Cortex: Computational Clues from the Visual System // Cerebral Cortex. 2003. V. 13. No. 1. P. 100-113.

16. Freeman R.D. Cortical Columns: A Multi-parameter Examination // Cerebral Cortex. 2003. V. 13. No. 1. P. 70-72.

17. Краснощекова Е.И. Модульная организация нервных центров. С-Пб.: Изд-во С-ПбГУ. 2007. С. 4-70.

18. Шуклин Д.Е. Структура семантической нейронной сети извлекающей в реальном времени смысл из текста // Кибернетика и системный анализ. Киев: Изд-во Института кибернетики НАН Украины. 2001. № 2. С. 43-48.

19. Gerstner W., Naud R. How Good Are Neuron Models? Science. 2009. October. Vol. 326. № 5951. P. 379 – 380.

20. Gerstner W., Kistler W.M. Spiking Neuron Models. Single Neurons, Populations, Plasticity. Cambridge University Press. 2002. P. 41-428.

21. Abarbanel H.D., Talathi S.S. Biophysical modeling of synaptic plasticity and its function in the dynamics of neuronal networks. San Diego: U.of C. 2006. P. 16-48.

22. Benda J. Single Neuron Dynamics Models Linking Theory and Experiment. Berlin: Humboldt-Universitat. 2002. P. 7-168.

23. Raaijmakers J.G.W. Mathematical Models of Human Memory // Learning and Memory V. 2: Cognitive Psychology of Memory. Elsevier. 2008. P. 445-466.

24. http://www.e-cell.org
25. http://vcell.org
26. Лахно В., Назипова Н., Ким В., Филиппов С. и др. Информационно-вычислительная среда Mathcell для моделирования живой клетки // Математическая биология и биоинформатика. 2007. Т. 2. № 2. С. 361-376.
27. Апонин Ю.М., Апонина Е.А. Иерархия моделей математической биологии и численно-аналитические методы их исследования // Математическая биология и биоинформатика. 2007. Том 2. №2. С. 348.
28. Ратушный А.В., Лихошвай В.А., Ананько Е.А., Владимиров Н.В. и др. Новосибирская школа системной компьютерной биологии: исторический экскурс и перспективы развития // Вестник ВОГИС. 2005. Т.9. С. 232-261.

29. Хайкин С. Нейронные сети: полный курс. М.: Вильямс. 2006. C. 42-48.

30. Тарков М.С. Нейрокомпьютерные системы. M.: БИНОМ. 2006. С. 16-25.

31. Александров Ю.И., Анохин К.В., Безденежных Б.Н., Гарина Н.С., Греченко Т.Н., Латанов А.В., Палихова Т.А., Савельев С.В., Соколов Е.Н., Тушмалова Н.А., Филиппов В.А., Черноризов А.М. Нейрон. Обработка сигналов. Пластичность. Моделирование. Под ред. Е.Н. Соколова, В.А Филиппова, А.М. Черноризова. Тюмень: Издательство ТюмГУ. 2008. С. 512-527.

32. Филиппов В.А. Нейросетевые решения на основе модели нейрона с многофазной памятью // Материалы XV Международной конференции по нейрокибернетике. Т. 2. Ростов-на-Дону. 2009. С. 202-205.

33. Hebb D.O. The Organisation of Behavior. A Neuropsychological Theory. New York: Wiley and Sons. 1949. P. 62-63.

34. Newborn neurons like to hang with the in-crowd // Press releases The Salk Institute for Biological Studies, May 7, 2007 // http://www.salk.edu/news/pressrelease _details.php?press_id=268].

35. Гладун В.П. Партнерство с компьютером. Киев.: Port-Royal, 2000. С. 19-21.

36. Гладун В.П. Растущие пирамидальные сети – организация памяти интеллектуальных систем // Искусственный интеллект. 2003. № 3. С. 70-77.

37. Ященко В.А., Сорокин Д.Ю. Построение и применение экспертной системы реального времени на основе нейроподобных растущих сетей // Искусственный интеллект. 2001. № 3. С. 692-698.