Исследование и управление режимами самоорганизации в сетях обобщенных нейронных автоматов тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Коновалов, Евгений Владиславович

• Коновалов, Евгений Владиславович
• кандидат физико-математических наук
• 2008

Оглавление диссертации кандидат физико-математических наук Коновалов, Евгений Владиславович

Введение

Глава 1. Математическая модель обобщенного нейронного автомата

§1.1 Биологическая справка.

§1.2 Формальное описание обобщенного нейронного автомата.

§1.3 Универсальный характер обобщенного нейронного автомата.

Глава 2. Распространение волны возбуждения в кольцевых структурах

ОНА-пейсмейкеров

§2.1 Организация колебаний в кольцевой структуре ОНА-пейсмейкеров.

§2.2 Хранение последовательности импульсов кольцевой структурой ОНА-пейсмейкеров

Глава 3. Пачечная активность и задача адаптации в кольцевых структурах

ОНА-пейсмейкеров

§3.1 Задача о пачечном воздействии на обобщенный нейронный автомат

§3.2 Проблема адаптации нейронов.

§3.3 Задача адаптации ОНА-пейсмейкера.

§3.4 Задача адаптации в кольцевых структурах ОНА-пейсмейкеров.

Глава 4. Распространение волны возбуждения в кольцевых структурах

О НА-детекторов

§4.1 Организация колебаний в кольцевой структуре ОНА-детекторов.

§4.2 Хранение последовательности импульсов кольцевой структурой ОНА-детекторов

§4.3 Поведение кольцевых структур ОНА-детекторов при изменении синаптических весов.

§4.4 Сравнительный анализ распространения возбуждения по кольцевым структурам ОНА-пейсмейкеров и О НА-детекторов.

Введение диссертации (часть автореферата) на тему «Исследование и управление режимами самоорганизации в сетях обобщенных нейронных автоматов»

1. Обзор основных направлений моделирования нейронных сетей

Изучение нейронных сетей является одним из приоритетных направлении современной науки. При изучении процессов мышления в естественных нейронных средах (в том числе человеческом мозге) исключительно биологический инструментарий оказывается явно недостаточным. Создание математических моделей искусственных нейронных сетей и изучение их свойств представляет собой важнейший метод исследования в данной области. В современной биологии исследования нейронных сетей занимают одно из ведущих мест по объему и сложности решаемых математических задач. В последние годы опубликован ряд обзоров [1], [10], [22], [76], которые дают представление о мощности научных исследований в области нейронаук, о консолидации математических, физических, биологических, информационных ресурсов для решения поставленных проблем.

В последней четверти XX века произошло беспрецедентно быстрое накопление экспериментальных данных о функционировании человеческого мозга. Одновременно произошел колоссальный рост информационных мощностей в результате бурного развития компьютерной индустрии. Всё это подготовило фундамент если не для разгадки всех тайн человеческого мышления, то, по крайней мере, для построения такой концепции работы мозга, которая бы не противоречила экспериментальным данным. Помимо теоретического интереса к процессам мышления и биологической эволюции [63], интенсивное развитие нейросетевых технологий обусловлено целым спектром практических запросов — в медицине [8], [60], экономике [16], [58] физике [15[, [29], [57[, информатике [59] и др. Следуют упомянуть и основополагающую роль нейронных сетей в такой популярной области исследований как создание "искусственного интеллекта" [13], [84] и др. В 1989 году по инициативе конгресса США, поддержанной АН СССР, 1990-е годы были объявлены "десятилетием мозга". И если в Советском Союзе программа исследований [3], [21], в силу исторических причин, сорвалась, то за рубежом прошел настоящий бум нейросетевых исследований.

При этом важно подчеркнуть, что в современной нейроинформатике соотношение фундаментальных и технологических задач складывается в пользу технологических.

Фундаментальные задачи — моделирование ощущений, восприятия, распознавание образов, обучение и запоминание паттернов — являются основными задачами когнитивной науки. Технологические задачи связаны с повышением эффективности использования искусственных нейронных сетей в решении задач кластеризации, классификации образов и сцен, аппроксимации функций для процессов технической, экономической или биологической природы. Постановка и решение таких технологических задач привели к разработке целого спектра разнообразных нейронных сетей (подробно рассмотренные, например, в [72]): сетей с прямым распространением сигнала, рекуррентных сетей, радиально базисных сетей, клеточных сетей, всевозможных гибридных сетей, в том числе с использованием нечеткой логики, генетических алгоритмов [65] и др. Зачастую при разработке подобных нейронных сетей соображения биологической интерпретации отступают на второй план. Кроме того, решая узко практические задачи, многие современные нейронные сети не предназначены для решения когнитивных задач, из которых важнейшие — хранение, воспроизведение и анализ динамически поступающей информации. Ниже будут классифицированы основные нейросетевые модели, существующие на сегодняшний день, применительно к специфике настоящей работы. Но прежде обозначим основные вехи в развитии теории нейронных сетей.

Возникновение теории нейронных сетей связывают с классической работой 1943 года У. Мак-Каллока и В. Питтса [51]. В последующих работах У. Мак-Каллока и его учеников [7], [52], [53], [105] развиваются принципы работы искусственного нейрона как логического сумматора, представляющего некоторые логические функции, изучаются вопросы надежности предложенных нейронных систем. В соответствие с гипотезой, выдвинутой Д. Хэббом [92] и развитой Дж. Экклсом [83], нервные клетки генерируют импульсы в ответ на последовательности поступающих импульсов в зависимости от распределения синаптических весов, которые характеризуют эффективность соответствующих связей. Согласно синаптической теории сведения отражаются в структуре синаптических весов. Эта теория лежит в основе всех нейросетевых моделей.

В 1958 году Ф. Розенблат и группа его коллег разработали примитивную модель работы мозга, названную ими персептрон (от perception — восприятие, понимание), и алгоритм обучения этой модели [64], [109]. В 1969 М. Минский и С. Пейперт ]55] детально проанализировали алгоритм обучения персептрона, предложенный Розенблатом, и показали, что модель имеет существенные ограничения. В частности, однослойный иерсептрон не может решить проблему исключающего ИЛИ. Было показано, что простота обучения, которая так привлекла исследователей, приводит к тому, что иерсептрон может распознавать только очень узкий класс свойств геометрических фигур. Исследовался вопрос о параллельных вычислениях. Авторами была высказана точка зрения, что аналогия подобных устройств с мозгом человека не совсем корректна. В делом была дана пессимистическая оценка дальнейшего развития персептронной модели. Это надолго затормозило дальнейшее изучение нейронных сетей. Тем не менее, некоторые исследователи продолжили работу в данной области.

В 1982 году Т. Кохонен [100] выдвинул идею самоорганизующейся топологической карты, которая внесла существенный вклад в развитие нейронных сетей. В том же году Дж. Хоифилд [96] предложил модель ассоциативной памяти и исследовал некоторые свойства запоминания информации нейронными сетями. Сети Хопфилда до сих пор остаются популярной нейросетевой моделью, привлекающей внимание исследователей (например, [19], [34], [68]). Это связано и с простотой описания, и со способностью таких сетей обеспечивать хранение и воспроизведение образов, то есть выступать в качестве модели ассоциативной памяти. В 1985 году несколько групп ученых почти одновременно пришли к идее обучения многослойных персептронов. С этого момента началась новая волна интереса к искусственным нейронным сетям.

Параллельно с исследованием свойств нейросетевых моделей развивалось знание о биологических нейронных сетях. Так еще в 1926 году Э. Эндрианом [85] было установлено, что сенсорная информация в человеческом мозге передается в виде импульсов (кратковременных сигналов "все или ничего") в форме частотного кода. Этим фактом определяется интерес к моделям нейронов, которые способны генерировать подобные импульсы. В 1949 были получены данные о наличие в мозге замкнутых кольцевых нейронных образований [103]. Во второй половине XX века появились и стали широко применяться различные инструменты исследования активности мозга. Наряду со снятием импульсной активности отдельных нейронов, разработаны методы снятия локальных полевых потенциалов нейронных ансамблей и электроэнцефалограмм (ЭЭГ). Последние получают методом миогоэлектродного отведения от мозга в целом. К настоящему времени, помимо ЭЭГ, разработано множество альтернативных методов наблюдения нейронной активности человеческого мозга. Важнейшими из них являются позитронно-эмиссионная томография (PET), основанная на регистрации Сахаров, и различные модификации метода магниторезонансных изображении (MRI), связанные с регистрацией распределения кислорода в структурах мозга. Эти методы имеют достаточно хорошее пространственное разрешение, но сравнительно низкое (порядка 1 с) временное разрешение, что затрудняет их применение при анализе быстрых процессов в мозге.

Одним из новейших методов регистрации нейронной активности является магнитная энцефалография (MEG). Открытие сверхтемпературной проводимости позволило создать датчики, регистрирующие чрезвычайно малые магнитные поля. Это дало возможность наблюдать электромагнитные процессы в возбудимых и сокращающихся органах (сердце, желудок, мышцы) и, прежде всего, в мозге. Преимущество метода состоит в том, что он дает "магнитное изображение"органа неинвазивным путем, то есть без применения каких-либо зондов, вводимых в орган. Регистрируя изменение контуров магнитных полей вблизи поверхности головы, можно сравнительно точно локализовать очаги электрической активности мозга. Этот метод обладает высокой пространственно-временной разрешающей способностью, но его применение сопряжено с серьезными трудностями при интерпретации получаемых данных.

Несмотря на подобный инструментарий и большое количество экспериментальных данных, сложность человеческого мозга и протекающих в нем процессов (например, [2]) такова, что до сих пор не выработано общей точки зрения о способах анализа информации мозгом. Остаются неясными и механизмы функционирования внимания, разделения бессознательных и осознаваемых психических процессов, влияния эмоций, не говоря уже о процессах, лежащих в основе абстрактно!« мышления. Без теоретического осмысления эмпирических результатов целенаправленное дальнейшее исследование затруднительно. Проверка выдвигаемых теоретических гипотез не мыслима без создания искусственных нейронных сетей, функционирующими в соответствии с данными гипотезами. Кроме того, различные практические задачи вносят свои коррективы в разработку пейросетевых моделей и анализ полученных свойств. В результате, существующие на сегодняшний момент нейронные сети в большой степени различаются между собой. Подобное разнообразие обусловлено как множеством моделей нейронного элемента, из которого "собирается "сеть, так и различием в архитектуре связей между отдельными элементами.

Различают четыре типа нейронных сетей, соответствующих используемым типам элементов.

1. Сети из интегративно-пороговых нейронов. Интегративно-пороговая модель нейрона является сравнительно простым устройством, которое накапливает поступающие сигналы и при достижении некоторого порога генерирует импульс (спайк). В этой модели могут учитываться такие аспекты функционирования реального нейрона как абсолютная и относительная рефрактерность, синаптическая задержка при передаче импульса, динамика постсинаптических потенциалов, различный нейронный шум (имитирующий, например, периферическое влияние далеких дендритов) и др. Однако большинство интегративно-пороговых моделей (и соответствующих нейронных сетей) ограничивается лишь общим свойством нейрона генерировать мгновенный импульс в зависимости от меры внешнего воздействия. До настоящего времени такие сети являются наиболее распространенным объектом как в теоретических исследованиях, так и при имитационном моделировании. Это объясняется формальной простотой описания и, одновременно, широким классом практических задач, решаемых сетями из интегративно-пороговых нейронов. В качестве наиболее известных примеров таких сетей можно указать персептрон Розенблата [109|, сеть Хопфилда [96], многослойные персептроны [110] и др.

2. Сети из взаимодействующих нейронных осцилляторов. Осциллятор обычно включает взаимодействующие популяции возбудительных и тормозных нейронов. Динамика осциллятора описывается средним уровнем активности этих популяций. Сети из нейронных осцилляторов исследуются методами теории бифуркаций, что позволяет аналитически и численно описать области параметров, при которых имеет место тот или иной вид динамики сети. Результаты исследования могут быть соотнесены с экспериментальными данными но регистрации локальных потенциалов, вызванных потенциалов, ЭЭГ и поведенческих реакций. Введение в модель важных свойств биологических нейронов (например, задержек в передачу сигнала между элементами сети) значительно усложняет как динамику сети, так и задачу ее исследования, поскольку описывающая данную сеть система с запаздыванием требует рассмотрения бесконечномерного пространства начальных условий. Типичным примером таких сетей является популярный осциллятор Вилсона - Коуэна [113].

3. Сети из фазовых осцилляторов. В случае, когда активность нейронного ансамбля имеет осцилляторный характер, эту активность удобно описывать посредством фазового осциллятора [102], динамика которого характеризуется лишь одной переменной — фазой колебания. Сети из фазовых осцилляторов полезны для аналитического и численного исследования условий синхронизации в системе осцилляторов. Основная задача состоит в описании областей пространства параметров, соответствующих различным режимам синхронизации (полной или частичной).

4. Сети из нейронов, в которых динамика каждого элемента описывается дифференциальным уравнением или системой дифференциальных уравнений. К данным сетям относится класс исследуемых в настоящей работе, поэтому остановимся на таких сетях поподробнее. Наиболее известной и общепринятой моделью для описания процесса генерации спайков является базовая модель Ходжкина - Хаксли [74], [95]. Она представляет собой систему четырех обыкновенных дифференциальных уравнений. Первое из них — уравнение баланса для токов, проходящих через мембрану. Учитываются емкостный, натриевый, калиевый токи и ток утечки. Второе и третье уравнения описывают соответственно процессы активации и инактивации натриевых каналов. Последнее уравнение служит для описания калиевых каналов. К этому же классу относятся так называемые сегментные модели (compartment models), в которых на основе законов Кирхгофа объединяются уравнения, описывающие динамику токов в сегментах нейрона. В модели Ходжкина - Хаксли учтены многие биологические свойства нервных клеток, но получившаяся система уравнений сложна и не поддается аналитическому исследованию, а, кроме того, она чувствительна к выбору параметров. Поэтому неоднократно предпринимались попытки упростить данную модель, не теряя биологической интерпретации. Так модель Ходжкина - Хаксли существенно упрощена с сохранением биофизического смысла в [20], но и этот вариант, к сожалению, допускает только компьютерное исследование. В [1], [62] дается обзор дальнейших упрощений системы уравнений Ходжкина-Хаксли. Там же приведен ряд феноменологических моделей, из которых важнейшие — Хинд-марша - Роуза [94], ФитцХью - Нагумо [90], [107], Морриса - Лекара [106] и др. Все они исследуются компьютерными методами. Феноменологический вывод еще одного из возможных уравнений динамики мембранного потенциала нейрона подробно изложен в [24], [40], [41]. Данная модель, получившая название импульсного нейрона, при сохранении основных биологических свойств нейрона, допускает аналитическое исследование.

В последние годы появились и другие нейронные модели подобного плана. В настоящей работе используется аналогичная феноменология, но в качестве модели нейронного элемента предлагается модель обобщенного нейронного автомата (ОНА).

Как уже отмечалось, сети этого класса позволяют наиболее полно учитывать многие детали функционирования реального нейрона, однако анализ их динамики обычно сопряжен с трудностями. Поэтому такие феноменологическим модели, которые допускают не только компьютерное, но и аналитическое исследование, при сохранении биологического смысла, вызывают существенный интерес.

С точки зрения архитектуры связей все нейронные сети можно разделить на следующие основные классы.

1. Полносвязные сети, сети с локальными и случайными связями. Однородность архитектуры связей и идентичность элементов обуславливают возможность аналитического исследования таких сетей методами статической механики. Наиболее известным примером является уже упоминавшаяся модель ассоциативной памяти Хопфилда с симметричными связями "все-на-всех"[96].

2. Многослойные сети с прямыми, обратными и рекуррентными связями между слоями. Такая архитектура связей является более сложной но сравнению с локальными сетями. Подобные сети обладают большей потенциальной мощью, но при их исследовании зачастую возникают трудности. В частности, такую архитектуру имеют многослойные персеитроны, широко используемые в различных задачах обучения. Обучение сети формулируется как задача минимизации функции ошибки. Данная задача, как правило, решается с использованием так называемого метода обратного распространения ошибки (backpropagation of errors) [110]. Такая архитектура наиболее популярна в приложениях нейронных сетей к ряду практических задач: распознавание образов, прогнозирование, кодирование и фильтрация сигналов, запоминание временных последовательностей и др.

3. Сети с центральным элементом. Такие сети позволяют избежать большого числа связей, характерного для полносвязных сетей, благодаря тому, что элементы сети взаимодействуют через специальный центральный элемент, который связан со всеми остальными элементами сети. Эта архитектура была предложена в связи с моделированием внимания [101]. Динамика и режимы синхронизации в таких сетях описаны в работах [98], [99].

4. Сети со сложной архитектурой. К этой категории относятся сети с иерархической структурой, состоящие из более простых сетей различных типов. Потребность в таких сетях возникает при решении задач многоэтапной обработки информации и при моделировании сложного поведения [91], [112].

Важнейшим свойством естественных и большинства искусственных нейронных сетей является способность к обучению. Поэтому в процессе функционирования многих ней-росетевых моделей величины связей могут меняться. В настоящей работе рассмотрены нейронные сети различной архитектуры, в том числе с меняющимися в процессе работы связями.

Охватив основные классы современных нейронных сетей, рассмотрим основные подходы к решению фундаментальных нейросетевых задач, связанных с процессами хранения и воспроизведения информации мозгом. Несмотря на общность базисных предпосылок, в настоящее время нет единой точки зрения касательно механизмов подобных процессов. Попытка классификации различных точек зрения на проблему представления и хранения сведений в мозге предпринята К. Прибрамом [61]. Говоря о представлении, следует различать информацию, актуальную в данный момент и потенциально хранимую мозгом. Это связано с проблемой внимания [35], [89].

Существуют две основные парадигмы касательно способов представления и хранения информации в мозге. Данные парадигмы (и соответствующие концепции моделирования нейронных сетей) можно условно охарактеризовать как частотную и фазово-частотную. Частотный (детекторный) подход предполагает, что поведение нейрона определяет частота его имнульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только как результат изменения воздействия. Детекторное направление возникло в уже упоминавшихся работах [51], [92], развивалось в работах [17], [54], [55], [69], [83], [96], [109]. Различные точки зрения в рамках этого направления сравниваются в [69], [70], [71]. В теории В. Маунткастла и Д. Эдельмена в качестве детекторов выступают нейронные .модули, так называемые миниколонки [54]. Применительно к восприятию зрительной информации, детекторное направление получило серьезное развитие в исследованиях [66| и др., где разрабатывается теория кодирования информации номером канала. Эта теория основана на концепции рефлекторной дуги [97]. Согласно данным работам, в ответ на стимул срабатывает канал (цепочка нейронов), входы которого лучше всего настроены на параметры сигнала (векторы синаптических весов воздействия коллипеарны, или почти коллинеарны).

Детекторный подход является весьма продуктивным. В рамках этох о подхода выполнены работы JI. Чуа [87], [88], где моделируются сети из нейроноподобных элементов — операционных усилителей. В данных сетях в результате запоминания (обучения) на соответствующем фазовом портрете системы образуется набор устойчивых состояний равновесия, которые и хранят информацию. В процессе воспроизведения под действием внешнего сигнала сеть попадает в бассейн притяжения одного из этих состояний.

До недавнего времени такой подход являлся основным. Гипотеза о частоте как базовой характеристике последовательностей спайков опиралась на тот факт, что нейроны могут менять частоту генерации спайков при изменении стимуляции. Было показано, что частота генерации спайков кореллирует с интенсивностью входной стимуляции (например в [93]). Сомнения в эффективности частотного кодирования и в его универсальное!и связаны с тем, что разные виды стимуляции могут приводить к идентичным частотам генерации нейронных импульсов. Кроме того, частотное кодирование может быть эффективным в условиях медленно меняющейся стимуляции, но оно непригодно при быстром изменении стимулов.

Альтернативой частотному кодированию является гипотеза о кодировании информации паттерном расположения импульсов в последовательности. При этом множество нейронов может функционировать согласованно не только во времени, но и в пространстве. Данный подход можно назвать фазово-частотным. Потенциальное богатство и сложность временных структур гарантирует возможность кодирования информации независимо от ее объема и разнообразия [86], [104], [111]. По мнению Н.П. Бехтеревой [5], [6] и др., кодирование информации в паттерне осуществляется за счет интервалов между импульсами. В тех же работах развито представление о жестких и гибких звеньях. Жесткие звенья образованы нейронами, которые в рамках информационного процесса определенного класса слабо зависят от внешних воздействий. Гибкие звенья, наоборот, оперативно формируются в зависимости от воздействия в каждой конкретной ситуации. Это подразделение развивается в современной теории нейронных сетей в терминах нейронов-детекторов и нейронов-пейсмейкеров. Проведенный Н.П. Бехтеревой анализ показал, что в некоторых структурах мозга наблюдаются достоверные изменения текущей частоты импульсации, связанные с физическими и смысловыми характеристиками стимула. Одновременно обнаружена значительная изменчивость реакции, что является необходимым условием нестереотинной деятельности. Ответные реакции могли исчезать в одних и возникать в других, ранее не задействованных зонах. В этом проявляется роль гибких звеньев (нейронов-детекторов). Подробнее о нейронах-детекторах и нейропах-пейсмейкерах пойдет речь в параграфе 1.3.

Согласно Н.П. Бехтеревой, механизм запоминания и воспроизведения можно представить следующим образом. Информация, извлекаемая из памяти, закодирована группами импульсов, синхронно возникающими в разных пунктах мозга. Кодирование осуществляется интервалами между импульсами и порядком их следования в группе. Такой рисунок активности, иначе паттерн, обеспечивается согласованной активностью множества нейронов. 11ри этом пропуск импульса одним нейроном на положенном месте в паттерне может компенсироваться активностью другого нейрона в положенный момент времени при активации, например, образа в памяти. Такие системы когерентно работающих нейронов способны кодировать информацию как извлекаемую из памяти, так и погружаемую в нее.

Важным этапом в развитии представлений о механизмах памяти послужили исследования М.Н. Ливанова о фазово-частотном взаимодействии циклических (волновых) нейронных процессов [38], [39] и др. М.Н. Ливанов ввел понятие пространственной синхронизации (когерентности) периодических процессов мозга и показал, что она играет важную роль в механизмах условных рефлексов и в психике человека.

Гипотеза о фазово-частотном кодировании сигналов в нервной системе была разработана А.Н. Лебедевым [18], [36], [37] и др. Согласно гипотезе, воспроизводимая информация записывается в памяти в виде комбинаций различающихся по фазе когерентных незатухающих волн нейронной активности. Элементами кода служат пакеты волн, имеющих одинаковую частоту и различающихся только фазами. Пакет волн создается согласованной активностью массы нейронов, объединенных в ансамбль. Представления о волновых кодах оказались полезными для объяснения ряда психологических феноменов, проявляющихся в скорости поиска, в быстроте принятия решения в ситуации выбора. А.Н. Лебедев главенствующую роль придает волнам медленной активности. Однако, как показано в ряде работ, между волнами медленной активности и импульсными потенциалами существует тесная связь [80], [81], [82] и др. Гипотеза А.Н. Лебедева объясняет феномен памяти с позиции самоорганизации колебаний и не использует возможные механизмы закрепления сведении, основанные на модификации синаптических проводимостей. Перечисленные работы А.Н. Лебедева но волновому кодированию и хранению информации в мозге основаны на экспериментальном материале, но выполнены во многом на описательном и эмпирическом уровне. Всё это дает основания считать, что фазово-частотный подход является весьма перспективным для понимания процессов, лежащих в основе памяти и мышления. Настоящая работа выполнена в рамках данного подхода.

Как уже отмечалось, в современной теории нейронных сетей несомненный интерес вызывают такие модели, которые, одновременно, учитывают важные свойства биологического нейрона и допускают не только компьютерное моделирование, но и исследование аналитическим путем. Некоторые такие модели обсуждаются в [35]. Упоминавшаяся в связи с этим модель импульсного нейрона, предложенная в работах [24], [40], [41], получила дальнейшее развитие. В цикле публикаций [25], [26], [27], [28], [43] аналитически удалось изучить вопросы о структуре, планировании и синхронизации колебательных режимов для сетей из импульсных нейронов. Однако исследования в рамках данных моделей сопровождаются серьезными техническими трудностями. Это не позволяет рассмотреть ряд важных вопросов, связанных с распространением волн импульсов.

На пути решения этой проблемы в работе [77] была разработана модель нейронного клеточного автомата (НКА) — нейронного элемента, который сохраняет биологическую подоплеку поведения, но формальное описание которого обходится без дифференциальных уравнений. Для сетей НКА удалось решить ряд задач о планировании и синхронизации колебательных режимов в кольцевых структурах, локальных и нолносвязных сетях, сетях модульной архитектуры [45], [46], [78], [79] и др. Нейронные клеточные автоматы являются моделью пейсмейкерного типа, поэтому использование их в ряде задач оказалось связанным с существенными трудностями. Так в сетях НКА зачастую возникает трудно контролируемая периферическая нейронная активность, которая может разрушить устойчивые колебательные режимы. Во избежание этого необходимо задавать специальные начальные условия и постоянно следить извне за поведением элементов сети. Это часто затруднительно, кроме того, подобный контроль вряд ли имеет биологическую интерпретацию.

Поэтому возникает необходимость в создании новой феноменологической модели, которая сохраняла бы биологический смысл, имела достоинства моделей импульсного нейрона и нейронного клеточного автомата, и преодолевала их недостатки. Такой моделью может служить обобщенный нейронный автомат (ОНА). Исследование нейронных сетей ОНА различной архитектуры является предметом настоящей работы.

Полученные результаты являются актуальными, поскольку:

1. Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.

2. Модель обобщенного нейронного автомата обладает многими важными достоинствами.

3. Открываются новые перспективы решения проблемы обработки информации, которые связаны с тем, что носителем информации является не статическое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем. Сети обобщенных нейронных автоматов могут служить достаточно удобными объектами для организации такого рода режимов.

Характер исследований определялся поставленными в работе целями:

• используя биологические предпосылки, разработать модель нейронных элементов, генерирующих импульсы;

• на основе данной модели сформировать ряд нейронных сетей различной архитектуры, способных хранить информацию в волновом виде;

• создать эффективный метод анализа функционирования нейронной популяции;

• изучить вопросы строения колебательных режимов и управления ими.

Научная новизна работы заключается в следующем:

• предложена новая модель нейронного элемента — обобщенный нейронный автомат, объединяющий свойства различных типов нейронов;

• разработана модель взаимодействия обобщенных нейронных автоматов;

• изучен ряд сетей обобщенных нейронных автоматов, доказана их способность хранить и воспроизводить данные, представленные в динамическом виде;

• разработан метод анализа сетей обобщенных нейронных автоматов. Показано, что эти сети молено эффективно использовать при моделировании ассоциативной памяти;

• решена задача управления параметрами модели и сети в целом так, чтобы нейронная сеть имела аттракторы заранее заданной структуры.

Исследования позволили решить важные конкретные задачи. Наибольший интерес из них представляют следующие положения:

1. Кольцевые структуры обобщенных нейронных автоматов способны хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Периодическое пачечное воздействие способно навязывать обобщенным нейронным автоматам свой колебательный режим (механизм синхронизации).

3. Кольцевые структуры обобщенных нейронных автоматов способны успешно подвергаться адаптации (обучению). Это обеспечивает дублирование и запоминание информации.

4. В кольцевых структурах обобщенных нейронных автоматов-детекторов оказываются возможными разрушение со временем упорядоченной нейронной активности.

В силу специфики исследуемых задач, на первый план выходят методы имитационного моделирования, нелинейной динамики, исследования дифференциальных и разностных уравнений. Анализ биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Строится итерационный оператор, который описывает динамику системы. Доказывается, что он переводит выбранное множество начальных условий в себя. Производится анализ конечномерного отображения.

Работа носит теоретический характер. Результаты могут быть использованы для моделирования проведения волн возбуждения в нейронных структурах. Данные результаты могут найти применение при создании новых сред для обработки информации, представленной в виде колебательных режимов динамических систем.

Результаты работы были представлены на следующих конференциях и семинарах: XII Всероссийский семинар "Нейроинформатика и ее приложения"(Красноярск, 2004); VI Всероссийская научно-техническая конференция "Нейроинформатика-2004"(Москва,

2004); XIII Всероссийский семинар "Нейроинформатика и ее приложения" (Красноярск,

2005); VIII Всероссийская научно-техническая конференция "Нейроипформатика-2006" (Москва, 2006); IX Всероссийская научно-техническая конференция "Нейроинформати-ка-2007" (Москва, 2007); Международная научная конференция "Математические методы в технике и технологиях" (Ярославль, 2007); X Всероссийская научно-техническая конференция "Нейроинформатика-2008"(Москва, 2008); Научный семинар "Моделирование и анализ нейронных сетей "(Ярославль, 2004-2008).

По теме исследования опубликовано 13 статей, в том числе 2 в изданиях из перечня ВАК.

2. Краткое содержание работы

Работа состоит из четырех глав, заключения и списка литературы.

В первой главе приведены необходимые сведения о строении и функционировании биологического нейрона. На основе биологических данных вводится новая математическая модель нейронного элемента — обобщенный нейронный автомат (ОНА). Каждый такой автомат описывается набором параметров, важнейшими из которых являются величины мембранного потенциала и его порогового значения. В момент времени, когда величина мембранного потенциала оказывается равной пороговому значению, ОНА генерирует импульс (спайк), который может оказывать влияние на изменение мембранных потенциалов других автоматов. После генерации импульса автомат некоторое время находится в состоянии рефрактерности — невосприимчивости к внешнему воздействию. После выхода автомата из рефрактерного состояния его мембранный потенциал даже без внешнего воздействия монотонно растет. Поступающее на автомат внешнее воздействие ускоряет (замедляет) рост мембранного потенциала и приближает (отдаляет) момент генерации следующего импульса. Эффективность воздействия одного автомата па другой описывается величиной синаптического веса. Обобщенный нейронный автомат обладает многими свойствами биологического нейрона. Формальное описание ОНА носит строгий математический характер. Доказывается ряд утверждений о свойствах и особенностях функционирования отдельных обобщенных нейронных автоматов. Особенное внимание уделяется универсальности модели обобщенного нейронного автомата. В зависимости от параметров модели, ОНА может функционировать в режиме пейсмейкера (генерировать импульсы без внешнего воздействия) или детектора (генерировать импульсы лишь в ответ на достаточно сильное внешнее воздействие). В работе рассматриваются различные нейронные сети, состоящие из ОНА-пейсмейкеров и ОНА-детекторов.

Во второй главе решается задача о распространении импульсов (проведении возбуждения) по замкнутой кольцевой структуре, образованной обобщенными нейронными автоматами-пейсмейкерами. Рассмотрена ориентированная кольцевая структура из N ОНА-пейсмейкеров возбудительного тина, в которой г-й автомат имеет синаптическую связь возбудительного типа с г + 1-м автоматом. Показывается, что в данной кольцевой структуре существует устойчивый колебательный режим, при котором автоматы циклически генерируют импульсы в порядке возрастания их номеров. При этом можно выбрать синаптические веса воздействия таким образом, чтобы спайки соседних автоматов происходили через заранее заданные промежутки времени. Формулируется и доказывается ряд теоретических фактов. Система бесконечно долго хранит заранее заданную периодическую последовательность импульсов. Такое функционирование нейронной сети может быть интерпретировано как хранение информации в динамическом виде.

В третьей главе решаются две связанные между собой задачи. Первая из них — поведение обобщенного нейронного автомата под действием пачечной активности. Под начеч-ной активностью понимается кратковременная серия импульсов, которая воздействует на отдельный обобщенный нейронный автомат. Этот феномен обнаруживается во многих биологических нейронных сетях, в том числе в человеческом мозге. Рассматриваются га обобщенных нейронных автоматов. Каждый из этих автоматов имеет синаптическую связь возбудительного типа еще с одним обобщенным нейронным автоматом, поведение которого изучается. Первые тп автоматов последовательно генерируют импульсы, которые при определенных условиях образуют пачку (берет). Данная пачка из т импульсов определенным образом воздействует на исследуемый автомат. Формулируется и доказывается ряд теоретических фактов. Многократное пачечное воздействие навязывает исследуемому автомату свою частоту колебаний. Задача пачечной активности, помимо самостоятельного интереса, используется в более сложных задачах, связанных с дальнейшим изучением обобщенных нейронных автоматов. Данная задача решается в общем виде — и для ОНА-пейсмейкеров и для ОН А-детекторов.

Вторая задача, рассматриваемая в третьей главе, представляет собой задачу адаптации в кольцевых структурах ОНА-пейсмейкеров. Рассматривается подзадача об адаптации одного ОНА-иейсмейкера. Под адаптацией понимается постепенная подстройка синаптических весов в процессе функционирования нейронной сети. Формулируется и доказывается ряд теоретических фактов, выписываются условия корректной адаптации. В дальнейшем осуществляется переход к задаче адаптации кольцевой структуры. Рассматриваются два связанных друг с другом кольца из N ОНА-пейсмейкеров. Одно из них — эталонное (стандартное), в котором установилась устойчивая волна нейронной активности. Другое кольцо — адаптивное, в котором происходит подстройка синаптических весов (процедура обучения). В результате в адаптивном кольце устанавливаются колебательный режим, идентичный эталонному. При решении задачи адаптации ОНА-пейсмейкеров используются результаты задачи пачечной активности.

В четвертой главе объектом исследования является кольцевая структура, образованная обобщенными нейронными автоматами-детекторами. Решаются две задачи: распространение импульсов по кольцевой структуре О НА-детекторов с постоянными синанти-ческими весами и с весами, меняющимися с течением времени. Обе поставленные задачи успешно решаются аналитическими методами. Рассматривается кольцевая структура из N ОНА-детекторов возбудительного типа, в которой г-й автомат связан с г + 1-м автоматом. Показано, что можно выбрать синаитические веса воздействия таким образом, чтобы спайки соседних автоматов начинались через заранее заданные промежутки времени. Система бесконечно долго хранит заранее заданную периодическую последовательность импульсов. Такое функционирование нейронной сети может быть интерпретировано как хранение информации в динамической виде. В случае переменных синаптических весов возможно разрушение со временем устойчивого колебательного режима, а также его восстановление в прежнем виде. Это может быть интерпретировано как явления потери и возвращения памяти в биологических нейронных сетях. Также производится сравнительный анализ кольцевых структур ОНА-детекторов и ОНА-пейсмейкеров.

В заключении подводятся основные итоги работы.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Коновалов, Евгений Владиславович

Заключение

На основе биологических предпосылок разработана новая модель нейронного элемента — обобщенный нейронный автомат. Данная модель носит универсальный характер, будучи способной, в зависимости от своих параметров, функционировать в режиме нейрона-пейсмейкера или нейрона-детектора. Предложена модель взаимодействия обобщенных нейронных автоматов. Как отдельные автоматы, так и сеть в целом обладают автоколебательными свойствами. Изучен ряд сетей обобщенных нейронных автоматов различной архитектуры, доказана их способность хранить и воспроизводить данные, представленные в динамическом виде. Разработан метод анализа сетей обобщенных нейронных автоматов. Решена задача управления параметрами модели и сети в целом так, чтобы нейронная сеть имела аттракторы заранее заданной структуры. Показано, что эти сети можно эффективно использовать при моделировании ассоциативной памяти.

Получены следующие результаты:

1. Кольцевые структуры обобщенных нейронных автоматов способны хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Пачечная активность в сети обобщенных нейронных автоматов способна навязывать отдельным автоматам свой колебательный режим (механизм синхронизации).

3. Кольцевые структуры обобщенных нейронных автоматов способны успешно подвергаться адаптации (обучению). Это обеспечивает дублирование информации.

4. В кольцевых структурах обобщенных нейронных автоматов-детекторов оказываются возможными разрушение со временем и восстановление упорядоченной нейронной активности.

Список литературы диссертационного исследования кандидат физико-математических наук Коновалов, Евгений Владиславович, 2008 год

1. Абарбанель, Г. Д. И. Синхронизация в нейронных ансамблях / Г. Д. И. Абарбанель, М. И. Рабинович, А. Селверстон, М. В. Баженов, Р. Хуэрха, М. М. Сущик, Л. Л. Рубчинский // Успехи физических наук. — 1996. — Т. 166, № 4. — С. 363-390.

2. Азимов, А. Человеческий мозг: от аксона до нейрона / А. Азимов. — М., Центрпо-лиграф, 2005. 461 с.

3. Ахапкин, Ю. К. Биотехника — новое направление компьютеризации. Серия "Теоретическая и прикладная биофизика"/ Ю. К. Ахапкин, С. И. Барцев Н. Н. Всеволодов и др. — М: Наука, 1990. — 144 с.

4. Бахвалов, Н. С. Численные методы / Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. М., Наука, 1987. — 600 с.

5. Бехтерева, Н. П. Нейрофизиологические аспекты психической деятельности человека / Н. П. Бехтерева. — Л: Медицина, 1971. — 120 с.

6. Бехтерева, Н. П. Здоровый и больной мозг человека / Н. П. Бехтерева. — М.: Наука, 1980. 208 с.

7. Блюм, М. Свойства нейронов со многими входами (в кн. Принципы сомоорганиза-ции) / М. Блюм. М.: Мир, 1966. — С. 136-162.

8. Богомолов, С. Д. Применение искуссственных нейронных сетей для прогнозирования в хирургии. С. Д. Богомолов, С. В. Киселев, А. П. Медведев, В. М. Назаров. — Н. Новгород, Государственная медицинская академия, 2003. — 210 с.

9. Борисюк, Г. Н. Модели динамики нейронной активности при обработке информации мозгом — итоги "десятилетия"/ Г. Н. Борисюк, Р. М. Борисюк, Р. Р. Иваницкий, Я. Б. Казанович // Успехи физических наук. 2002. - Т. 172, № 10. - С. 1189-1214.

10. Введенский, В. Л. Ритмы мозга и самовоспроизведение информации / В. Л. Введенский, А. А. Ежов // Природа. — 1990. — № 4. — С. 33-44.

11. Винер, Н. Проведение импульсов в сердечной мышце / Н. Винер, А. Розенблют // Кибернетический сборник. — М.: Изд-во иностранной литературы, 1961. — Т. 3. — С. 3-56.

12. Гаврилова, Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. — СПб: Питер, 2000. — 384 с.

13. Грин, Н. Биология: В 3-х т. / Н. Грин, У. Стаут, Д. Тейлор. — М.: Мир, 1993.

14. Дубров, А. М. Моделирование рисковых ситуаций в экономике и бизнесе / А. М. Дубров, Б. А. Лагоша, Е. Ю. Хрусталев, Т. П. Барановская. — М.: Финансы и статистика, 2003. — 224 с.

15. Дунин-Барковский, В. Л. Информационные процессы в нейронных структурах / В. Л. Дунин-Барковский. — М.: Наука, 1978. — 166 с.

16. Забродин, Ю. М. Психофизиология и психофизика (под ред. М. Н. Ливанова и Б. Ф. Ломова) / Ю. М. Забродин, А. Н. Лебедев. — М.: Наука, 1977. — 286 с.

17. Зафиевский, А. В. Емкость ассоциативной памяти в модели Хопфилда / А. В. За-фиевский // Сборник научных трудов IV Всероссийской научно-технической конференции "Нейроинформатика-2002". 4.1. М.: МИФИ. — 2002. - С. 142-148.

18. Иваницкий, Г. Р. Математическая биофизика клетки / Г. Р. Иваницкий, В. И. Крин-ский, Е. Е. Сельков. — М.: Наука, 1978. — 310 с.

19. Иваницкий, Г. Р. Нейроинформатика и мозг / Г. Р. Иваницкий. — М.: Знание (Сер. Физика), 1991. 63 с.

20. Иваницкий, Г. Р. От динамики популяционных автоволн, формируемых живыми клетками, к нейроинформатике / Г. Р. Иваницкий, А. Б. Медвинский, М. А. Цыганов // Успехи физических наук. 1994. - Т. 164, № 10. - С. 1042-1071.

21. Катц, Б. Нерв, мышца и синапс / Б. Катц. — М.: Мир, 1968. — 220 с.

22. Кащенко, С. А. Исследование дифференциально-разностных уравнений, моделирующих импульсную активность нейрона / С. А. Кащенко, В. В. Майоров // Математическое моделирование. — 1993. — Т.5. Я2 12. — С. 13-25.

23. Кащенко, С. А. Исследование колебаний в кольцевых нейронных системах / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Докл. Российской АН. — 1993. — Т. 333, № 5. С. 594-597.

24. Кащенко, С. А. Волновые структуры в кольцевых системах из однородных нейронных модулей / С .А. Кащенко, В. В. Майоров // Докл. Российской АН. — 1995. — Т. 342, № 3. С. 318-321.

25. Кащенко, С. А. Распространение волн в простейших кольцевых нейронных структурах / С. А. Кащенко, В. В. Майоров, И. К). Мышкин // Математическое моделирование. 1995. - Т. 7, № 12. - С. 3-18.

26. Кащенко, С. А. Волновые образования в кольцевых нейронных системах / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1997. Т. 9, № 3. - С. 29-39.

27. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи / В. И. Комашинский, Д. А. Смирнов. — М., Горячая Линия Телеком, 2002.- 96 с.

28. Коновалов, Е. В. Устойчивый колебательный режим в нейронной сети обобщенных нейронных автоматов-детекторов / Е. В. Коновалов // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ, 2007. — Т.14, № 2. — С. 30-35.

29. Коновалов, Е. В. Задача о пачечном воздействии на обобщенный нейронный автомат / Е. В. Коновалов // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ, 2007. Т.14, № 3. - С. 43-49.

30. Коновалов, Е. В. Задача об адаптации обобщенного нейронного автомата / Е. В. Коновалов // Международная научная конференция "Математические методы в технике и технологиях" (ММТТ-20). Материалы конференции. — Ярославль, 2007.

31. Крыжановский, В. В. Адаптивные свойства рандомизированной модели Хоифилда / В. В. Крыжановский, В. Н. Кошелев // Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2001". 4.1. — М.: МИФИ. 2001. - С. 46-54.

32. Крюков, В. И. Метастабильные и неустойчивые состояния в мозге / В. И. Крюков, Г. Н. Борисюк, Р. М. Борисюк, А. Б. Кириллов, Е. И. Коваленко. — Пущино: НЦБИ АН СССР, 1986. 112 с.

33. Лебедев, А. Н. Память человека, ее механизмы и границы (в сб. Исследование памяти иод ред. Н. Н. Коржа) / А. Н. Лебедев. — М.: Наука, 1990. — С. 104-118.

34. Лебедев, А. Н. Константа М. Н. Ливанова в количественном описании психологических явлений / А. Н. Лебедев, О. И. Артеменко, Ю. Н. Белехов // Психологический журнал. 1997. — Т. 18, № 1. — С. 96-105.

35. Ливанов, М. Н. Избранные труды / М. Н. Ливанов. — М.: Наука, 1989. — 400 с.

36. Майоров, В. В. Об одной модели функционирования нейронной сети / В. В. Майоров, И. Ю. Мышкин // Модел. динам, попул. — Н. Новгород, 1990. — С. 70-78.

37. Майоров, В. В. Математическое моделирование нейронов сети на основе уравнений с запаздыванием / В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1990. Т.2, № 11. - С. 64-76.

38. Майоров, В. В. Сообщение о сетях \У-нейронов / В. В. Майоров, Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1997.- № 4. С. 37-50.

39. Майоров, В. В. Самоорганизация колебаний в кольцевой системе из однородных нейронных модулей. Часть 1. Модель нейронов и взаимодействия между ними / В. В. Майоров // Изв. вузов, Прикладная нелинейная динамика. — 1999. — Т. 3, № 4.- С. 87-96.

40. Майоров, В. В. Организация режимов пачечной волновой активности в сети \У-нейронов / В. В. Майоров, Г. В. Шабаршина // Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2001"; 4.1. — М.: МИФИ, 2001. С. 78-85.

41. Майоров, В. В. Обобщенный нейронный автомат в задаче распространения волны возбуждения по нейронной сети / В. В. Майоров, Е. В. Коновалов // Нейрокомпьютеры: Разработка, применение. — М.: Радиотехника. — 2007. — № 7. — С. 3-8.

42. Майоров, В. В. Задача адаптации в сетях нейронных клеточных автоматов / В. В. Майоров, Е. В. Коновалов, Г. В. Шабаршина // Сборник научных трудов X Всероссийской научно-технической конференции "Нейроинформатика-2008"; 4.2. М.: МИФИ, 2008. - С. 193-199.

43. Мак-Каллок, У. С. Логическое исчисление идей, относящихся к нервной активности (в кн. Автоматы, иод ред. Шеннона К. Э. и Маккарти Дж. М.) / У. С. Мак-Каллок, В. Питтс // М.: ИЛ, 1956. — С. 362-384.

44. Мак-Каллок, У. С. Надежность биологических систем (в кн. Самоорганизующиеся системы) / У. С. Мак-Каллок // М., Мир, 1964. С. 359-380.

45. Мак-Каллок, У. С. Символическое изображение нейрона в виде некоторой логической функции (в кн. Принципы самоорганизации) / У. С. Мак-Каллок // М.: Мир, 1966. С. 131-135.

46. Маунткасл, В. Разумный мозг / В. Маунткасл, Д. Эдельмен. — М.: Мир, 1981. — 135 с.

47. Минский, М. Персептроны / М. Минский, С. Пейперт. — М.: Мир, 1971. — 264 с.56. фон Нейман, Дж. Теория самовоспроизводящихся автоматов / Дж. фон Нейман.- М.: Мир, 1971. 382 с.

48. Овчинников П. Е. Нейросетевое детектирование сигналов с частотной манипуляцией / П. Е. Овчинников, М. Ю. Семенова // Лекции по нейроипформатике. X Всероссийская научно-техническая конференция "Нейроинформатика-2008". 4.1.- М.: МИФИ. 2008. - С. 18-25.

49. Орлов, А. И. Теория принятия решений: учебник / А. И. Орлов. — М.: Экзамен, 2006. 574 с.

50. Осовский, С. Нейронные сети для обработки информации / С. Осовский. — М.: Финансы и статистика, 2004. — 344 с.

51. Прибрам, А. А. Языки мозга / А. А. Прибрам. — М.: Прогресс, 1975. — 464 с.

52. Рабинович, М. И. Хаос и нейродинамика / М. И. Рабинович // Известия ВУЗов. Радиофизика. 1996. - Т. 39, № 6. — С. 757-770.

53. Редько, В. Г. Эволюция, нейронные сети, интеллект: модели и концепции эволюционной кибернетики / В. Г. Редько. — М.: Комкнига, 2005. — 224 с.

54. Розенблаг, Ф. Принципы нейродинамики / Ф. Розенблат. — М.: Мир, 1965. — 480 с.

55. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. — М: Горячая линия Телеком, 2004. - 452 с.

56. Соколов, Е. Н. Нейроинтеллект: от нейрона к нейрокомпьютеру / Е. Н. Соколов, Г. Г. Вайткявичюс. — М: Наука, 1989. — 238 с.

57. Тасаки, И. Нервное возбуждение / И. Тасаки. — М.: Мир, 1971. — 222 с.

58. Фролов, А. А. Нейронные модели ассоциативной памяти / А. А. Фролов, И. П. Муравьев. — М.: Наука, 1987. — 160 с.

59. Фролов, А. А. Информационные характеристики нейронных сетей / А. А. Фролов, И. П. Муравьев. — М.: Наука, 1988. — 156 с.

60. Фролов, A.A. Структура и функции обучающихся нейронных сетей (в сб. Нейрокомпьютер как основа мыслящих ЭВМ) / А. А. Фролов. — М.: Наука, 1993. — С. 92-110.

61. Хайкин, С. Нейронные сети / С. Хайкин. — М: Вильяме, 2006. — 1104 с.

62. Халмош, П. Гильбертово пространство в задачах / А. Л. Ходжкин. — М.: Мир, 1970. 352 с.

63. Ходжкин, А. Л. Нервный импульс / А. Л. Ходжкин. — М.: Мир, 1965. — 125 с.

64. Ходоров, Б. И. Общая физиология возбудимых мембран / Б. И. Ходоров. — М., Наука, 1975. — 406 с.

65. Чернавский, Д. С. Проблема происхождения жизни и мышления с точки зрения современной физики / Д. С. Чернавский // Успехи физических наук. — 2000. — Т. 170, № 2. — С. 157-183.

66. Шабаршина, Г. В. Проведение возбуждения по кольцевой структуре нейронных клеточных автоматов / Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1994. — № 2. С. 116-121.

67. Шабаршина, Г. В. Проведение возбуждения по кольцевой структуре модулей нейронных клеточных автоматов / Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1996. — № 3. — С. 46-56.

68. Шабаршина, Г. В. Волновые структуры в полносвязной однородной сети нейронных клеточных автоматов возбудительного тина / Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1997. — № 4. — С. 3-11.

69. Шульгина, Г. И. Влияние фоновой активности сети из возбудительных нейропо-добных элементов на проведение по ней возбуждения / Г. И. Шульгина, В. Н. Понамарев, И. Р. Резвова, А. А. Фролов // Журн. высш. нервн. деят. — 1988. — Т. 38. С. 715 -724.

70. Шульгина, Г. И. Исследование роли ритмической активности в процессах фиксации и воспроизведения информации на модели из нейроноподобных элементов / Г. И. Шульгина // ДАН СССР. 1990. - Т. 312, № 5. - С. 1275-1279.

71. Экклс, Дж. Физиология синапсов / Дж. Экклс. — М.: Мир, 1966. — 395 с.

72. Ярушкина, Н. Г. Нечеткие и гибридные системы: Обзор итогов и тенденций развития / Н. Г. Ярушкина // Новости искусственного интелекта. — 2003. -- № 5. — С. 5-12.

73. Adrian, Е. D. Electrical activity of the nervous system / E. D. Adrian // Arch. Neurol, and Psychiatr. 1934. - V. 34. № 6. - P. 1125-1136.

74. Aguera y Areas, B. What can a single neuron compute? / B. Aguera y Areas, W. Bialek, A. L. Fairhall // Advances in neural information processing systems. — 2001. — V. 13.- P. 75-81.

75. Chua, L. O. Cellular neural networks: Theory / L. O. Chua, L. Yang // IEEE Transactions on Circuits and Systems. — 1988. V. 35, № 10. - P. 1257-1272.

76. Chua, L. O. Cellular neural networks: Applications / L. O. Chua, L. Yang // IEEE Transactions on Circuits and Systems. 1988. - V. 35, № 10. - P. 1273-1290.

77. Crick, F. Towards a neurobiological theory of consciousness / F. Crick, C. Koch // Sernin. in Neurosci. — 1990. V.2. - P. 163-191.

78. FitzHugh, R. A. Impulses and physiological states in theoretical models of nerve membrane / R. A. FitzHugh // Biophys. J. — 1961. — V. 1. — P. 445-466.

79. Grossberg, S. Contrast-sensitive perceptual grouping and object-based attention in the laminar circuits of primary visual cortex / S. Grossberg, R. Raizada // Vision Research.- 2000. V.40. - P. 1413-1432.

80. Hebb, D.O. The organization of behaviour: a neuropsychological theory / D.O. Hebb.- N.Y.: J. Wiley and Sons, 1949. 436 c.

81. Henry, G. H. Receptive field classes of cells in the striate cortex of the cat / G. H. Henry // Brain research. — 1977. — V. 133. P. 1-28.

82. Hindmarsh, J. L. A model of neuronal bursting using three coupled first order differential equations / J. L. Hindmarsh, R. M. Rose // Proc. R. Soc.; Ser.B Biol. Sci. — London, 1984. V. 221. - P. 87-102.

83. Hodgkin, A. L. A quantitative description of membrane current and its applications to conduction and excitation in nerve / A. L. Hodgkin, A. F. Huxely // J. Physiol. — London, 1952 V. 117. - P. 500-544.

84. Hopfield, J.J. Neural networks and physical systems mith emergent collective computational abilities / J. J. Hopfield // Proc. Nat. Acad. Sci. — USA, 1982. — V. 79. № 8. -P. 2554-2558.

85. Hopfield, J. J. Neurons with gradual response have collective computational properties like those of two-state neurons / J. J. Hopfield // Proc. Natl. Acad. Sci. USA. — 1984.- V. 81, № 10. P. 3088-3092.

86. Kazanovich, Y. B. Synchronization in a neural network of phase oscillators with the central element / Y. B. Kazanovich, R. M. Borisyuk // Biol. Cybern. — 1994. — V.71.- P. 177-185.

87. Kazanovich, Y. B. Dynamics of neural networks with a central element / Y. B. Kazanovich, R. M. Borisyuk // Neural Networks. — 1999. — V.12. — P.441-454.

88. Kohonen, T. Self-organized formation of topologically correct feature maps / T. Kohonen // Biological Cybernetics. — 1982. — № 43. — P. 59-69.

89. Kryukov, V. I. An attention model based on the principle of dominanta / V. I. Kryukov // Neurocomputers and attention. I. Neurobiology, synchronization and chaos. Eds.: Holden A. V., Kryukov V. I. — Manchester: Manchester Press., 1991. — P. 319-351.

90. Kuramoto, Y. Chemical Oscillations, Waves and Turbulence (Springer Series in Synergetics, vol.19.) / Y. Kuramoto. — Berlin: Springer-Verlag, 1984.

91. Lorente de No, R. Physiology of Nervous System (3rd ed., edited by ,I.F. Fulton) / R. Lorente de No // Oxford University Press, New York. — 1949. P. 288-330.

92. Mainen, Z. F. Reliability of spike timing in neocortical neurons / Z. F. Mainen, T. J. Sejnowski // Science. — 1995. — V. 268. — P. 1503-1506.

93. McCulloh, W. S. Agathe Tyche of nevous nets — the lucky reckoners / W. S. McCulloh // Proc. Symposium on Mechanization of Thought Prozesses N. P. L. — Teddington, 1958.

94. Morris C. and Lecar H. // Biophys. J. — 1981. — V. 35. P. 193-213.

95. Naguino, J. S. An active pulse transmission line simulating nerve axon / J. S. Nagumo, S. Arimoto, S. Yoshizawa // Proc. Ire. 1962. - V. 50 - P. 2061-2070.

96. Omata, S. Entrainment among coupled limit cycle oscillator with frustration / S. Omata, Y. Yamaguchi, H. Shimuzi // Physica D. 1988. - V. 31. - P. 397-408.

97. Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt // Psychological Review. — 1958. — № 65. — P. 386-408.

98. Tononi, G. Reentry and the problem of integrating multiple cortical areas: simulation of dynamic integration in the visual systems / G. Tononi, O. Sporns, G. Edelman // Cereb. Cortex. 1992. - V.2. - P. 310-335.

99. Wilson, H. R. Excitatory and Inhibitory Interactions in Localized Populations of Model Neurons / H. R. Wilson, J. D. Cowan // Biophysical J. — 1972 — V. 12. P. 1-24.