Проблемы построения развивающейся искусственной нейронной сети с ассоциативной памятью тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Ионов, Сергей Дмитриевич

• Ионов, Сергей Дмитриевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Ионов, Сергей Дмитриевич

Оглавление

Введение

Глава 1. Теории памяти

1.1. Понятие памяти. Роль памяти в структуре сознания

1.2. Исследования памяти в области психологии

1.2.1. Типология памяти

1.2.2. Процессы и свойства памяти

1.3. Структуры памяти с точки зрения нейробиологии

1.3.1. Основные элементы памяти в мозге и их назначение

1.3.2. Обработка сигналов памятью

1.3.3. Принципы хранения информации в памяти

1.3.4. Принципы развития памяти

1.4. Математические подходы к моделированию психофизических процессов и, в частности, работы памяти

1.4.1. Классический подход

1.4.2. Портретный подход

1.4.3. Структурно-иерархический подход

1.4.4. Функциональный подход

1.4.5. Алгоритмические подходы

Глава 2. Воспроизводящиеся искусственные нейронные сети

2.1. Основные элементы ВИНС

2.1.1. Общая структура элемента

2.1.2. Аддитивный нейрон

2.1.3. Принцип растущих связей

2.1.4. Шаблон

2.1.5. Мультипликативный нейрон

2.2. Построение простых блоков ВИНС

2.2.1. Ячейка памяти

2.2.2. Блок сравнения

2.2.3. Блок ветвления

2.2.4. Блок умножения

2.3. Построение ВИНС для решения алгоритмических задач

2.3.1. Связь ВИНС и классических нейронных сетей

2.3.2. Полнота ВИНС по Тьюрингу

2.3.3. Проверка расстановки скобок

2.3.4. Вычисление числа Фибоначчи

2.3.5. Вычисление факториала

2.4. Обучение ВИНС

2.4.1. Методы обучения однослойного перцептрона

2.4.2. Методы обучения многослойного перцептрона

Глава 3. Язык описания ВИНС

3.1. Языковые единицы

3.1.1. Блоки

3.1.2. Выражения

3.1.3. Шаблоны

3.1.4. Структура имен

3.1.5. Комментарии

3.1.6. Строки

3.2. Особенности построения компилятора

3.2.1. Синхронизация

3.2.2. Экстроспекция имен

3.2.3. Преобразование шаблонов

3.3. Выразительность языка

Глава 4. Система ассоциативной памяти

4.1. Понятие ассоциативной памяти

4.2. Основные блоки ассоциативной памяти

4.2.1. Блок памяти

4.2.2. Блок построения ассоциативных связей

4.2.3. Блок анализа различий сигналов

4.2.4. Блок выбора наилучшей ассоциации

Глава 5. Программный комплекс разработки ВИНС

5.1. Компилятор

5.1.1. Размещение нейронов на плоскости

5.2. Среда разработки

5.2.1. Система контроля версий

5.2.2. Система подключения сторонних редакторов

5.2.3. Система подключения сторонних компиляторов

5.2.4. Редактор для языка ВИНС

5.2.5. Визуальный редактор графа ВИНС

5.3. Система тестирования ВИНС

5.3.1. Файл запуска

5.3.2. Отладочный режим

5.4. Система распределенного запуска ВИНС

5.4.1. Архитектура системы

5.4.2. Реализация системы обработки запросов ВИНС

Глава 6. Интеграция с системой автоматического управления

6.1. Интерфейс взаимодействия с САУ «Умный дом»

6.1.1. Сетевые протоколы

6.1.2. Принципы событийного управления

6.2. Виртуальные контроллеры системы ассоциативной памяти

6.3. Результаты обучения и применения ВИНС

6.3.1. Блок переноса контекста

6.3.2. Экспериментальные данные применения ВИНС

Заключение

Список сокращений и условных обозначений

Литература

Введение диссертации (часть автореферата) на тему «Проблемы построения развивающейся искусственной нейронной сети с ассоциативной памятью»

Введение

Основные направления развития современных информационных технологий напрямую связаны с хранением и управлением знаниями [1] и, следовательно, требуют автоматизации как сбора знаний, так и представления результатов их обработки либо пользователю, который должен принять решение, либо непосредственно устройствам управления тем или иным процессом. В любом случае сам ход принятия решений так же важен, как и результат. Не случайно в последнее время при построении систем принятия решений (СПР) отходят от искусственных нейронных сетей, существующие реализации которых не могут предоставить пользователю информацию, убедительно обосновывающую полученный результат, из-за чего теряется важная часть процесса принятия решения - доказательство его допустимости и оптимальности. Однако отказ от нейронных сетей влечет и отказ от всех их преимуществ, в частности, распределенной параллельной природы функционирования и достаточно быстрой адаптации к новым обстоятельствам, что в современном постоянно меняющемся мире довольно актуально. Чтобы не отказываться от этих преимуществ, надо уметь выделять осмысленные части нейронной сети и обеспечивать возможность их контролируемого изменения.

Для реализации указанных возможностей в нейронных сетях наиболее простым подходом представляется такая модификация нейронных сетей, которая приближала бы их описания к описаниям процедур, реализующих тот или иной алгоритм. В этом случае уже на этапе проектирования выделяются осмысленные части, результаты которых могут быть предоставлены для анализа пользователем или даже самой нейронной сетью, что позволит контролировать изменения вплоть до возможности самоконтроля их допустимости.

Надо понимать, что управление знаниями и самоконтроль невозможны без наличия в нейронной сети той или иной разновидности памяти, которая позволила бы учитывать предыдущий опыт при появлении новых знаний. В нейросетевом подходе на этапе обучения знания чаще всего опосредованно сохраняются в виде значений весовых коэффициентов. Однако для наглядности при обосновании принятия того или иного решения или для контроля допустимости самомодификации в процессе переобучения необходимо явное хранение значений поступающих сигналов. Действительно, достаточно хорошим обоснованием принятого решения во многих случаях является демонстрация запомненного при обучении примера, максимально схожего с полученным во время работы.

Для построения новой модели нейронной сети с памятью, адекватной современным задачам построения систем принятия решений, следует обратиться к исследованиям физиологии мозга и, в частности, к теориям организации памяти. С течением времени познания в области нейрофизиологии развивались и уточнялись, и часть новых открытий была применена в построении различных подходов к моделированию нейронных сетей. Тем не менее, в этих подходах и получаемых моделях не было явной направленности на моделирование работы памяти. Из анализа существующих теорий и моделей можно выделить наиболее устоявшуюся концептуальную часть, основную идею которой положить в основу модели памяти для искусственной нейронной сети. Этот анализ должен быть достаточно тщательным, чтобы уровень детализации моделируемых процессов функционирования элементов нейронной сети соответствовал решаемым задачам.

Цельная искусственная нейронная сеть, строящая свою структуру только посредством своих внутренних элементов и включающая память, подсети анализа сигналов и обучения с модификацией связей и порождением новых ансамблей нейронов с заранее заданной функциональностью, обладает рядом преимуществ. Так, представленные в единой форме различные функциональные блоки, касающиеся одной смысловой части нейронной сети, могут быть выделены в пакеты и включены в библиотеки для их повторного использования. Кроме того, возможно описание этих блоков с использованием одного специализированного языка, что представляется более последовательным решением, чем то, когда задание топологии сети и правил ее работы разрозненны и указываются в сложных взаимозависимых структурах одного или даже нескольких универсальных языков. Правда, специализированный язык требует создания, обучения использованию и развития среды исполнения, включая набор стандартных библиотек. Важно отметить, что этот язык должен быть способен выразить любую структуру потоковой нейронной сети, включающей классические примеры перцептрона или рекуррентных сетей.

Наличие такого языка позволит нейросетевому подходу не уступать доминирующим в настоящее время подходам при построении систем принятия решений: экспертные системы [2], системы логического вывода [3], вопросно-ответные системы [4] и т. д., - а на ряде задач превзойти их.

Цель работы - построение нового класса нейронных сетей, предоставляющих в своей структуре возможности реализации алгоритмов и сохраняющих способности нейронных сетей к изменчивости и обучению.

Для достижения этой цели необходимо решить ряд задач, связанных с особенностями нейронных сетей.

Одной из первых задач является упрощение использования математической модели нейронных сетей за счет усложнения минимального элемента сети - нейрона. Для решения этой задачи необходимо выбрать минимальный достаточный функционал, который бы позволял строить логику произвольной сложности и оставаться в терминах нейронов и связей между ними. Кроме создания самого элемента также требуется обоснование его структуры с точки зрения теории нейронных сетей и, в частности, приводимость одного вида нейронных сетей к другому.

Вторая задача, следующая из поставленной цели, требует внесения в нейронную сеть возможностей обучения, указанных в терминах самой нейронной сети, так как именно в нейронной сети должны задаваться алгоритмы ее работы. К возможностям обучения относится изменение параметров связей между нейронами, что возможно продемонстрировать на примерах реализаций стандартных алгоритмов обучения перцептрона.

Третьей задачей устанавливается расширение нейронных сетей для построения произвольных алгоритмов изменения структуры сети. Решение этой задачи позволяет в нейронной сети создать память, по потребности расширяемую за счет порождения новых нейронов. Таким образом, например, в рассматриваемой математической модели открывается возможность создания теоретически бесконечной ленты машины Тьюринга.

Четвертая задача заключается в обеспечении эффективного распределенного параллельного запуска получаемых нейронных сетей путем применения соответствующих численных методов. В задаче требуется разместить граф нейронной сети на узлах графа физической сети, выполнив ряд требований оптимальности, обеспечивающих эффективное использование ресурсов кластера вычислительных узлов. Так как при некоторых упрощениях задача может быть сформулирована как квадратичная задача размещения [5], то требуется построить приближенный численный алгоритм. Примененный к кластеру физических узлов этот алгоритм в результате должен обеспечивать максимальную утилизацию вычислительных

ресурсов с минимальной задержкой работы, вызванной передачей сигнала по сети между узлами. Кроме самого размещения, в задачу также включается вычисление настроек синхронизации работы отдельных нейронов, расположенных на удаленных физических узлах. Синхронизация осуществляется определением задержки получения сигналов нейроном, зависящей от производительности как отдельных узлов, так и связей между ними.

Наконец, последняя пятая задача заключается в разработке языка описания алгоритмов для нейронной сети и комплекса всех соответствующих инструментов: среды разработки, компилятора, среды отладки и тестирования, системы запуска. Решение включает в себя описание грамматики языка, рекомендаций по построению компилятора и примера компилятора. На основе выдаваемых компилятором кодов определяется поведение остальных инструментов, принимающих эти коды в качестве входных данных для исполнения.

В ходе работы вводится новый вид нейронных сетей, и обосновываются его вычислительные и выразительные возможности. Также определяется и проектируется необходимый минимум инструментов для применения этого вида сетей. В качестве подтверждения результатов строится система принятия решений, применимая для поддержки систем автоматизированного управления.

Результаты настоящей работы позволяют по-новому взглянуть на нейронные сети и расширить область их применения в различных задачах. Возможности задания алгоритмов в терминах нейронных сетей автоматически делают их подходящими для распределенного параллельного запуска. Изменчивость нейронных сетей дает доступ к описанию алгоритмов нечеткой логики, а также самонастраивающихся алгоритмов. Кроме того, полученные в ходе исследования структуры элементов нейронных сетей упрощают задание массивных систем с миллионами нейронов, с одной стороны, благодаря возможностям роста уже в процессе работы, а с другой стороны, за счет построения самих элементов через группировку в себе множества более простых классических нейронов. В работе впервые показывается реализация простейших алгоритмов с использованием нейронных сетей, но в то же время строится эмулятор машины Тьюринга с теоретически бесконечной лентой.

Основная практическая цель работы - создание системы, которая базируется на искусственной нейросетевой ассоциативной памяти и осуществляет обработку сигналов с датчиков окружающей среды и подачу управляющих сигналов на контроллеры для приведения

окружающей среды к некоторому заданному оптимальному состоянию. В дальнейшем будем называть эту задачу «Умный дом». Оптимальное состояние при этом определяется и совокупностью сигналов с датчиков, и контекстом системы, зависящим от предыдущих воздействий и состояний. В рамках текущей модели все датчики делятся на два типа: бинарные, выдающие 0 или 1, и дискретные, выдающие значение из диапазона от 0 до 255. Бинарные датчики - это датчики протечки, открытия двери или окна, выключатели. К дискретным относятся датчики температуры, освещенности, влажности. Практическая применимость полученных результатов показана на основе интеграции полученной системы принятия решений с системой автоматизированного управления (САУ) устройствами дома.

В ходе исследования основные теоретические и практические результаты были представлены в виде 6 докладов на конференциях и 1 сообщении на семинаре.

• «Распределенная нейронная сеть: принципы работы и протоколы взаимодействия» -Межвузовская научная конференция «СПИСОК-2009», апрель 2009 г.

• «Распределенная потоковая нейронная сеть» - 42-ая Всероссийская молодежная школа-конференция «Современные проблемы математики », февраль 2011 г.

• «Распределенный запуск нейронных сетей на множестве вычислительных узлов» -Международная суперкомпьютерная конференция «Научный сервис в сети Интернет: поиск новых решений», сентябрь 2012 г.

• «Воспроизводящиеся искусственные нейронные сети: обработка и ассоциативное связывание сигналов» - 44-ая Всероссийская молодежная школа-конференция «Современные проблемы математики », февраль 2013 г.

• «Многовариантность применения воспроизводящихся искусственных нейронных сетей в задачах распознавания» - XI Всероссийская научная конференция «Нейрокомпьютеры и их применение», март 2013 г.

• «О языке описания воспроизводящихся искусственных нейронных сетей (ВИНС)» -семинар ИММ УрО РАН, 10 октября 2013 г.

• «Программирование нейросетевого эмулятора машины Тьюринга» - XII Всероссийская научная конференция «Нейрокомпьютеры и их применение», март 2014 г.

Также основные положения работы опубликованы в 2-х статьях в журналах, входящих в список ВАК, и тезисах в 4 сборниках трудов конференций.

• «Распределенная нейронная сеть: принципы работы и протоколы взаимодействия» -Материалы межвузовской научной конференции по проблемам информатики «СПИСОК-2009», 2009 г., с. 26-29.

• «Распределенная потоковая нейронная сеть» - Тезисы 42-й Всероссийской молодежной школы-конференции «Современные проблемы математики» 2011 г., с. 288-290.

• «Распределенный запуск нейронных сетей на множестве вычислительных узлов» -Журнал «Вестник УГАТУ» Т. 17 № 2, 2013г., с. 85-91.

• «Многовариантность применения воспроизводящихся искусственных нейронных сетей в задачах распознавания» - Тезисы докладов XI Всероссийской научной конференции «Нейрокомпьютеры и их применение», 2013 г., стр. 43-45.

• «Построение системы ассоциативной памяти с использованием воспроизводящихся искусственных нейронных сетей (ВИНС)» - Журнал «Нейрокомпьютеры: разработка, применение» №9, 2013 г., с. 32-44.

• «Программирование нейросетевого эмулятора машины Тьюринга» - Тезисы докладов XII Всероссийской научной конференции «Нейрокомпьютеры и их применение», 2014 г., стр. 4445.

Настоящая работа состоит из введения, шести глав, заключения и приложений.

Первая глава представляет обзор различных моделей памяти. С точки зрения философии рассматривается основополагающее понятие памяти и его роль в структуре сознания. Далее изучаются различные виды памяти и выстраивается их типология согласно научным трудам в психологии. На основе детального рассмотрения модели работы памяти с точки зрения нейробиологии показывается более материальная и четкая структура памяти как элемента нервной системы организма, причем основной акцент делается на принципах развития памяти как инструмента хранения информации. Обобщая полученные в ходе исследований в других областях знания, изучаются различные математические подходы к моделированию памяти и построению систем принятия решений в целом. Исходя из рассмотренных теорий, строятся предположения о возможных расширениях модели нейрона и структурном представлении нейронной сети в целом для построения алгоритмов хранения знаний и применения их в процессе принятия решений.

Вторая глава описывает особый тип нейронной сети, созданный в ходе исследования для достижения цели работы и являющийся одним из основных результатов. Вводятся фундаментальные понятия элементов для построения нового типа сетей. Глава содержит примеры создания нейронных сетей для некоторых простых алгоритмов. Для обоснования выразительных возможностей построения сетей для решения произвольных алгоритмических задач производится доказательство полноты по Тьюрингу для полученной модели. В качестве примера того, что представленная модель расширяет классическую модель нейронных сетей, сохраняя основные принципы ее работы, показано построение сети перцептрона, а также указан способ представления новой модели в виде сети нейронов МакКаллока-Питтса.

В третьей главе описывается соответствующий модели язык задания алгоритмов, учитывающий ее природу и возможности. В подробностях рассмотрены языковые единицы и их применение в грамматике языка для получения корректных описаний нейронных сетей. Для определения соответствия языка и модели приводятся отображения их друг на друга. Более того, представлено доказательство полноты языка по Тьюрингу, а также показаны другие выразительные возможности самого языка. Далее выставляются требования к функциям компилятора, которые позволят реализовать корректное преобразование исходного текста на языке в описание графа нейронной сети.

В четвертой главе решается задача построения системы принятия решений с использованием предложенной модели нейронной сети. В основе решения лежит применение ассоциативной памяти, определяемой в теории памяти как рабочая или кратковременная память. В первую очередь вводится понятие ассоциативной памяти, определяются основные требования к ее поведению и приводятся подробности реализации в виде отдельных логических блоков. На основе хранящихся в памяти ассоциаций определяется наиболее подходящее в текущем контексте действие - это действие считается рекомендуемым решением, которое должно быть применено системой автоматизированного управления.

Пятая глава посвящена созданному в рамках работы практическому инструментарию, необходимому для апробации теоретических результатов. Приводится подробное описание всех основных систем программного комплекса. Описаны особенности реализации компилятора для предложенного в третьей главе языка, причем дается постановка и решение задачи размещения графа нейронной сети на плоскости для наилучшего его наглядного представления в

последующих инструментах. Показана архитектура среды разработки, особенности реализации версионного хранения данных, разграничения прав и организации проектов, а также интеграция с различными редакторами и компиляторами. В работе особое внимание уделяется системам тестового и распределенного запуска нейронной сети. Для системы тестового запуска дается исчерпывающее описание ее возможностей и набора инструментов для максимально эффективной работы. Приводится подробное описание архитектуры системы, осуществляющей распределенный запуск нейронных сетей, позволяющей увеличить производительность и мощность за счет использования кластерных систем. Также доказывается р -оптимальность построенного приближенного алгоритма автоматического распределения графа нейронной сети по графу физических узлов.

В шестой главе представлено практическое применение построенной системы принятия решений в интеграции с промышленной системой автоматизированного контроля датчиков и управления множеством устройств. Дается представление о протоколах внутреннего взаимодействия компонентов САУ и принципах событийного управления. В качестве итогов приводятся результаты обучения и применения новой модели нейронных сетей, подтверждающих применимость построенной модели и языка.

В работе присутствует 7 приложений с дополнительными изображениями построенных в новой модели нейронных сетей и описанием их назначений, а также созданной грамматикой языка задания этих нейронных сетей.

Глава 1. Теории памяти

1.1. Понятие памяти. Роль памяти в структуре сознания

Самое трудное при обсуждении сознания, мышления, памяти и научения то, что мы пока мало знаем о нервных механизмах мышления и о механизмах памяти. Известно, что разрушение обширных областей коры большого мозга не лишает человека мышления, но снижает глубину мыслей, а также степень осознания окружающего.

Рассмотрим основные положения, изложенные французским философом Полем Рикером [6].

Память - это способность организма сохранять и воспроизводить информацию о внешнем мире и о своем внутреннем состоянии для дальнейшего ее использования в процессе жизнедеятельности. Память связывает элементы жизненного опыта человека в единое целое, является одной из важнейших и необходимых предпосылок формирования его сознания и личности. Наряду с ощущениями, память является второй важнейшей составляющей, необходимой для инициации процесса мышления.

За всю историю философии не возникало сколько-нибудь серьезных разногласий по вопросу о сущности и назначении памяти. Начиная с античности, все философы единогласно признавали память фундаментом, без которого не были бы возможны ни обобщение, ни рассуждение, ни умозаключения. Так, еще Сократ обращается к метафоре «восковой дощечки»: «Так вот, чтобы понять меня, вообрази, что в наших душах есть восковая дощечка: у кого-то она побольше, у кого-то поменьше, у одного - из более чистого воска, у другого - из более грязного или у некоторых он более жесткий, а у других помягче, но есть у кого и в меру. Скажем теперь, что это дар матери Муз, Мнемосины, и, подкладывая его под наши ощущения и мысли, мы делаем в нем оттиск того, что хотим запомнить из виденного, слышанного или самими нами придуманного, как бы оставляя на нем отпечатки перстней. И то, что застывает в этом воске, мы помним и знаем, пока сохраняется изображение этого, когда же оно стирается или нет уже места для новых отпечатков, тогда мы забываем и больше уже не знаем». Такая метафора воска строит проблематику памяти и забвения.

Однако в философии Нового времени возник вопрос о способе хранения информации в памяти - образуют ли упорядоченные по силе ощущения хронологическую последовательность, создавая иллюзию течения времени, или же, напротив, истекшее время ослабляет силу ощущения.

Эммануил Кант не случайно выбрал время как первую из априорных категорий. Действительно, взяв в качестве субъекта «статую» де Кондильяка и рассуждая о ее восприятии, он приходит к очевиднейшему логическому противоречию: статуя не имеет понятия о времени, но, между тем, он говорит о том, что она видит разницу между ощущением, которое длится в данный момент и которое уже было - каким же образом, не имея идеи времени, можно отличить настоящее от прошлого?

Можно предположить, что сознание - это целостность всех импульсов и реакций, происходящих в мозге. Причем в каждый момент времени эта целостность видоизменяется, она развивается по ходу получения новых внешних воздействий. Таким образом, сознание в своем развитии отталкивается от прошлого, используя память, и образует связь этого прошлого со своим текущим или настоящим состоянием. Память сохраняет путь сознания от начального состояния к текущему, позволяя выстраивать непрерывную цепочку ощущений, несмотря на дискретность восприятия органами чувств.

Но не только связь с прошлым имеет значение. Сознание формирует внутри себя образ окружающего мира не только с точки зрения прошлых событий, но и с точки зрения ожидаемых в будущем явлений, последствий его или чьих-нибудь других действий. Для такого построения память играет роль конструктора, предоставляющего блоки из множества известных по прошлому опыту событий, позволяющего установить возможные действия и, что наиболее важно, предположить последствия этих действий. Обладая такими возможностями, как конструирование будущих событий, память позволяет сознанию делать разумный выбор среди множества решений.

Таким образом, память дает сознанию ощущение течения времени, связь множества разрозненных событий, самоосознание в потоке явлений. Она позволяет осознать окружающий мир с точки зрения накопленного опыта и применить известные методы для решения непрерывно поступающих задач.

Глава 1. Теории памяти 1.2. Исследования памяти в области психологии

С точки зрения психологии память - способность когнитивной системы живых существ кодировать и сохранять информацию при участии, как правило, высших когнитивных процессов [7].

Первые попытки научного исследования человеческой памяти берут свое начало с работы немецкого психолога Г. Эббингаузе «О памяти» (1885), который стремился выяснить, как формируется память, как она развивается [8]. Результаты исследований Эббингаузе оказали существенное влияние на У. Джеймса, который в своей двухтомной работе «Принципы психологии» (1890) предложил различать первичную, непосредственную память и память вторичную, косвенную. Однако эти идеи Джеймса первоначально не получили широкого признания со стороны психологов в силу отсутствия каких-либо подтверждающих эмпирических данных. Только после возникновения в 1960-х гг. когнитивной психологии, опирающейся на информационный подход, идеи Джеймса получили дальнейшее развитие в соответствующих моделях памяти.

Согласно современным психологическим концепциям [9], когнитивная система человека включает несколько видов памяти. Выстроим их типологию.

1.2.1. Типология памяти

Первый примитивный способ хранения информации - сенсорная память, которая в отличие от других видов памяти не зависит от высших когнитивных функций и сознательного контроля - здесь информация не преобразуется и не связывается с другой информацией. Сенсорная память, а именно: иконическая, эхоическая, тактильная - позволяет нам отбирать только существенную, адаптивно ценную информацию. Она представляет собой временное вместилище большой емкости для хранения «сырой» необработанной информации, сопряженное с фильтром, способным осуществить ее отбор. Сохраняя в сенсорной памяти на короткое время полный чувственный образ, открывается возможность сканировать непосредственно наблюдаемые события, абстрагировать наиболее значимые стимулы и встраивать их в структуру памяти. Сенсорная память удерживает входные сигналы в течение короткого промежутка времени от 250 миллисекунд до 4 с, она точна и не поддается контролю. Информация, отобранная сенсорной системой, быстро передается дальше в кратковременную

память, а затем либо замещается другой поступающей информацией, либо удерживается благодаря повторению.

Кратковременная память без особых усилий восстанавливает в сознании происходящее сейчас, в данное время. Необходимо около одной секунды для того, чтобы изучить оперативную информацию, и 15-30 секунд, чтобы самопроизвольно забыть большую ее часть.

В отличие от кратковременной, долговременная память требует серьезных усилий и поиска, ее объем огромен, а длительность хранения информации ограничена лишь возрастом. Человеческая мысль сознательно, а иногда и неосознанно запускает процесс извлечения информации из долговременной памяти и затем недолго удерживает нужные данные в кратковременной памяти, где они обрабатываются. В долговременной памяти содержится определенным образом организованная информация, касающаяся пространственно-образной модели окружающего мира, убеждений и взглядов относительно себя и других людей, ценностей и социальных целей, наших умений, а также перцептивных навыков понимания речи, интерпретации живописи или музыки, научных знаний.

Список литературы диссертационного исследования кандидат наук Ионов, Сергей Дмитриевич, 2014 год

Литература

1. Тузовский А.Ф. Системы управления знаниями (методы и технологии) / А.Ф. Тузовский, С.В. Чириков, В.З. Ямпольский. - Томск: НТЛ, 2005. - 260 с.

2. Jackson P. Introduction to expert systems / P. Jackson. - США, Массачусетс: Addison-Wesley, 1999.- 542 c.

3. Griffin N.L. A Rule-Based Inference Engine which is Optimal and VLSI Implementable / N.L. Griffin, F.D. Lewis // University of Kentucky. - 2013. - Режим доступа: http://www.cs.uky.edu/~lewis/papers/inf-engine.pdf, свободный.

4. Maybury M.T. New Directions in Question Answering / M.T. Maybury // Computational Linguistics, 31, №3. - США, Массачусетс, 2004. - С. 413-417.

5. Burkard R.E. The Quadratic Assignment Problem / R.E. Burkard, E. Cela, P.M. Pardalos, L.S. Pitsoulis // European Journal of Operational Research, 15, №3. - Нидерланды, 1984. - С. 283289.

6. Рикер П. Память, История, Забвение / П. Рикер // Французская философия XX века. -Москва: Издательство гуманитарной литературы, 2004. - 728 с.

7. Рубинштейн С.Л. Основы общей психологии / С.Л. Рубинштейн // 2-е изд. - Санкт-Петербург: Питер, 2002. - 720 с.

8. Карпенко Л.А. Эббингауз / Л.А. Карпенко, М.Г. Ярошевский // История психологии в лицах. Персоналии. Т. 6. - Москва: Пер Сэ, 2005. - 784 с.

9. Немов Р.С. Общие основы психологии / Р.С. Немов // Психология. Кн. 1. - Москва: Владос, 2003. - 688 с.

10. Александров Ю.И. Нейрон. Обработка сигналов. Пластичность. Моделирование / Ю.И. Александров, К.В. Анохин. - Тюмень: ТюмГУ, 2008. - 548 с.

11. Ramon у Cajal S. Les nouvelles idees sur la fine anatomie des centres nerveux / S. Ramon у Cajal, L. Azoulay. - Франция, Париж: С. Reinwald & Cie, 1894. - 200 с.

12. Принципы организации памяти мозга // Fornit. - 2012. - Режим доступа: http://www.scorcher.ru/neuro/science/memory/mem.php, свободный.

13. Блум Ф. Мозг, разум и поведение / Ф. Блум, А. Лейзерсон, Л. Хофстедтер. - Москва: Мир, 1988.-248 с.

14. McCulloch W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch,

W. Pitts // Bull. Math. Biophys, 5, №4. - США, Иллинойс, 1943. - С. 115-133.

15. Widrow В. Adaptive Sampled-Data Systems - A Statistical Theory of Adaptation / B. Widrow // IRE WESCON Conv. Rec.. - США, Калифорния, 1959. - С. 74-85.

16. Carpenter G.A. Adaptive Resonance Theory / G.A. Carpenter, S. Grossberg // The Handbook of Brain Theory and Neural Networks, Second Edition. - CILIA, Массачусетс: MIT Press, 2003. -87-90 c.

17. Горбань A.H. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А.Н. Горбань // Сибирский журнал вычислительной математики, 1, №1. - Новосибирск, 1998. - С. 11-24.

18. Проект Blue Brain Project // IBM. - 2013. - Режим доступа: http://bluebrain.epfl.ch/, свободный.

19. Филиппов В.А. Кортикоморфная нейросетевая архитектура на основе модели нейрона с консолидацией следа памяти и синаптической пластичностью / В.А. Филиппов // Сборник научных трудов. - Москва: Национальный исследовательский ядерный университет "МИФИ". Научная сессия НИЯУ МИФИ-2010. Нейроинформатика-2010, 2010.-с.

20. Филиппов В.А. Нейросетевые решения на основе модели нейрона с многофазной памятью / В.А. Филиппов // Материалы XV Международной конференции по нейрокибернетике. - Ростов-на-Дону, 2009. - С. 202.

21. Иерархическая темпоральная память (НТМ) и ее кортикальные алгоритмы обучения // Numenta. - 2011. - Режим доступа: https://www.groksolutions.com/htm-overview/education/HTM_CorticalLearningAlgorithms_ru.pdf, свободный.

22. Лалетин П.А. Использование сетей с самостоятельной адаптацией для распознавания слов человеческой речи / П.А. Лалетин, Э.Г. Ланкина, Ю.П. Ланкин // Научная сессия МИФИ-2000. II Всероссийская научно-техническая конференция «Нейроинформатика-2000». Сб. науч. тр. - Москва, 2000. - С. 88-95.

23. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities / J.J. Hopfield // Proceedings of National Academy of Sciences, 79, №8. - США, Вашингтон, 1982. - С. 2554-2558.

24. Yu G. Visual Grouping by Neural Oscillators / G. Yu, J.-J. Slotine // MIT. - 2009. - Режим

доступа: 19. http://web.mit.edu/nsl/www/preprints/visual_oscillators.pdf, свободный.

25. Desolneux A. Gestalt Theory and Image Analysis, a Probabilistic Approach / A. Desolneux, L. Moisan, J.-M. Morel // Springer Verlag. - 2007. - Режим доступа: http://www.cmla.ens-cachan.fr/Utilisateurs/morel/lecturenote.pdf, свободный.

26. Novak V. Mathematical principles of fuzzy logic / V. Novak, I. Perfilieva, J. Mockor. -Нидерланды, Дордрехт: Kluwer Academic Publishers, 1999. - 320 c.

27. Ashlock D. Evolutionary Computation for Modeling and Optimization / D. Ashlock. - США, Нью-Йорк: Springer, 2006. - 571 с.

28. Hayes-Roth В. A blackboard architecture for control / B. Hayes-Roth //Artificial Intelligence, 26, №3. - США, Калифорния, 1985. - С. 251-321.

29. Cortes С. Support-vector networks / C. Cortes, V. Vapnik // Machine Learning, 20, №3. - США, Нью-Йорк, 1995. - С. 273-297.

30. Ионов С.Д. Воспроизводящиеся искусственные нейронные сети: обработка и ассоциативное связывание сигналов / С.Д. Ионов // Современные проблемы математики: сб. тезисов. ИММ УрО РАН. - Екатеринбург, 2013. - С. 313-316.

31. Koren I. Computer Arithmetic Algorithms /1. Koren. - США, Массачусетс: А К Peters, 2002. -281 с.

32. Turing A.M. On Computable Numbers, with an Application to the Entscheidungsproblem / A.M. Turing // Proceedings of the London Mathematical Society, s2-42, №1. -Великобритания, Эдинбург, 1937. - С. 230-265.

33. Ионов С.Д. Программирование нейросетевого эмулятора машины Тьюринга / С.Д. Ионов // Тезисы докладов XII Всероссийской научной конференции «Нейрокомпьютеры и их применение. - Москва, 2014. - С. 44-45.

34. Среда разработки ВИНС // Ионов С.Д.. - 2013. - Режим доступа: http://ide.sainn.org/, свободный.

35. Widrow В. Adaptive switching circuits / В. Widrow, М.Е. Hoff Jr. // IRE WESCON Conv. Rec.. - США, Калифорния, 1960. - С. 96-104.

36. Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain / F. Rosenblatt // Psychological Review, 65, №6. - США, Нью-Йорк, 1958. - С. 386-408.

37. Goldschmidt R.E. Applications of Division by Convergence // MSc dissertation. M.I.Т.. -США, Массачусетс, 1964.

38. Rumelhart D.E. Learning representations by back-propagating errors / D.E. Rumelhart, G.E. Hinton, R.J. Williams // Nature, 323, №6088. - США, Калифорния, 1986. - С. 533-536.

39. SAINNL // Ионов С.Д.. - 2013. - Режим доступа: http://www.sainn.org/, свободный.

40. NeuronC User's Manual // Smith R.G.. - 1992. - Режим доступа: http://retina.anatomy.upenn.edu/~rob/ncman2.html, свободный.

41. Weitzenfeld A. The neural simulation language: a system for brain modeling / A. Weitzenfeld, M.A. Arbib, A. Alexander. - США, Массачусетс: MIT, 2002. - 367 с.

42. Gleeson P. NeuroML: A Language for Describing Data Driven Models of Neurons and Networks with a High Degree of Biological Detail / P. Gleeson, S. Crook, R.C. Cannon, M.L. Hines, G.O. Billings // PLoS. - 2010. - Режим доступа:

http://ww.ploscompbiol.org/article/info%3Adoi%2F10.1371%2Fjournal.pcbi.1000815, свободный.

43. PLY (Python Lex-Yacc) // Beazley D.. - 2013. - Режим доступа: http://www.dabeaz.com/ply/, свободный.

44. Ершов Ю.Л. Математическая логика / Ю.Л. Ершов, Е.А. Палютин. - С.-Петербург: Лань, 2004. - 336 с.

45. Ионов С.Д. Построение системы ассоциативной памяти с использованием воспроизводящихся искусственных нейронных сетей (ВИНС) / С.Д. Ионов, С.В. Шарф // Нейрокомпьютеры: разработка, применение,, №9. - Москва, 2013. - С. 32-44.

46. Koren Y. Drawing graphs by eigenvectors: theory and practice / Y. Koren // Computers & Mathematics with Applications, 49, №11-12. - США, Техас, 2005. - С. 1867-1888.

47. Fruchterman T.M. J. Graph Drawing by Force-Directed Placement / T.M. J. Fruchterman, E.M. Reingold // Software - Practice & Experience,, №21. - США, Нью-Йорк, 1991. - С. 11291164.

48. СУБД PostgreSQL // PostgreSQL Global Development Group. - 2013. - Режим доступа: http://www.postgresql.org/, свободный.

49. Библиотека ACE Editor // Ajax.org B.V.. - 2013. - Режим доступа: http://ace.c9.io/, свободный.

50. Спецификация HTML5 // W3C. - 2013. - Режим доступа: http://www.w3.org/TR/html5/, свободный.

51. Спецификация OpenGL // SGI. - 2013. - Режим доступа: http://www.opengl.org/, свободный.

52. Графическая библиотека theJIT // Belmonte N.G.. - 2013. - Режим доступа: http://philogb.github.io/jit/, свободный.

53. Протокол NNP // Ионов С.Д.. - 2008. - Режим доступа: http://server.sainn.org/xsd/NNProtocol.txt, свободный.

54. Ионов С.Д. Распределенный запуск нейронных сетей на множестве вычислительных узлов / С.Д. Ионов // Вестник УГАТУ, 17, №2. - Уфа, 2013. - С. 85-91.

55. Edmonds J. Theoretical improvements in algorithmic efficiency for network flow problems / J. Edmonds, R.M. Karp // Journal of the ACM, 19, №2. - США, Нью-Йорк, 1972. - С. 248-264.

56. Hao J.X. A Faster Algorithm for Finding the Minimum Cut in a Directed Graph / J.X. Hao, J.B. Orlin // Journal of Algorithms, 17, №3. - США, Калифорния, 1994. - С. 424-446.

57. Nagamochi H. A linear-time algorithm for finding a sparse k-connected spanning subgraph of a k-connected graph / H. Nagamochi, T. Ibaraki // Algorithmica, 7, №1-6. - США, Нью-Йорк, 1992.-С. 583-596.

58. Stoer M. A Simple Min-Cut Algorithm / M. Stoer, F. Wagner // Journal of the ACM, 44, №4. -США, Калифорния, 1997. - С. 585-591.

59. ГОСТ ИСО 8995-2002. Принципы зрительной эргономики. Освещение рабочих систем внутри помещений // Москва: Изд-во стандартов. 2004. - 31 с.

60. ГОСТ 30494-96. Здания жилые и общественные. Параметры микроклимата в помещениях // Москва: Изд-во стандартов. 1999. - 17 с.

61. Mall R. Real-time systems: theory and practice / R. Mall. - Индия, Нью Дели: Dorling Kindersley, 2007. - 225 с.

62. Зыль С. Операционная система реального времени QNX: от теории к практике / С. Зыль. -С.-Петербург: BHV-Петербург, 2005. - 200 с.

63. Процессор NeuroMatrix // ЗАО НТЦ «Модуль». - 2011. - Режим доступа: http://www.module.ru/catalog/micro/sfblok_yadra_processora_neuromatrix_nmc_3/, свободный.