Разработка ускоренных алгоритмов обучения нейронных сетей и их применение в задачах автоматизации проектирования тема диссертации и автореферата по ВАК РФ 05.13.12, кандидат технических наук Сидоров, Сергей Георгиевич

• Сидоров, Сергей Георгиевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Сидоров, Сергей Георгиевич

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР СОСТОЯНИЯ РАБОТ ПО ПРИМЕНЕНИЮ НЕЙРОТЕХНОЛОГИЙ.

1.1. Аналитический обзор.

1.2. Биологическая модель искусственных нейронных сетей.

1.3. Искусственные нейронные сети.

1.4. Алгоритмы обучения нейронных сетей.

1.5. Линейная разделимость и персептронная представляемость.

ВЫВОДЫ.

ГЛАВА 2. БЫСТРЫЕ АЛГОРИТМЫ.

2.1. Сведение обучения к минимизации.

2.2. Случайный поиск как механизм оптимизации.

2.3. Генетическая оптимизация.

2.4. Оптимизация со штрафом за сложность.

2.5. Гибридные нейродинамические системы.

2.6. Волновая система.

2.7. Тепловые процессы.

2.8. Движение молекул.

2.9. Ускорение моделирования заменой динамических подсистем их нейронными аналогами.

2.10. Результаты численных экспериментов обучения нейросетей.

ВЫВОДЫ.

ГЛАВА 3. УСКОРЕНИЕ РАБОТЫ НЕЙРОННЫХ СЕТЕЙ [ ПОСРЕДСТВОМ ИХ РЕАЛИЗАЦИИ НА МНОГОПРОЦЕССОРНЫХ

СИСТЕМАХ.

3.1. Граф многопроцессорных вычислительных систем.

3.2. Граф искусственной нейронной сети.

3.3. Проектирование графа нейронной сети на граф вычислительной системы и оптимизация этого отображения.

3.4. Генетический алгоритм на многопроцессорной системе.

ВЫВОДЫ.

Введение диссертации (часть автореферата) на тему «Разработка ускоренных алгоритмов обучения нейронных сетей и их применение в задачах автоматизации проектирования»

Среди многообразия современных энергетических систем можно выделить значительную группу объектов, проектирование и диагностические исследования которых не могут быть выполнены традиционными методами и средствами автоматизации. Это объясняется следующими причинами:

1. Невозможностью получения формализованного математического описания процессов функционирования, а следовательно и невозможностью использования традиционных проектных процедур и операций автоматизации, основанных на применении методов оптимального проектирования.

2. Случайным характером изменения среды функционирования указанных объектов, в которой возможны как прогнозируемые изменения параметров, так и форс-мажорные события.

3. Экономической нецелесообразностью (дороговизной) непрерывного измерения технологических параметров объектов и возмущающих воздействий со стороны среды функционирования.

В качестве наиболее характерных примеров такого рода объектов и связанных с ними задач проектирования и диагностики можно назвать:

1. Диагностика состояния трубопроводов высокого давления и температуры, по которым пар от котлоагрегата подается к турбине. Структура металла, работающего в экстремальных условиях, подвергается изменению, в результате чего возможность аварии на трубопроводе возрастает. При эксплуатации оборудования важна возможность текущего контроля за состоянием металла. До настоящего времени этот контроль выполнялся экспертами по микрофотографиям шлифов сгибов труб. Недостаток такого подхода состоит в субъективности таких оценок (человеческий фактор).

2. Прогнозирование уровней воды в речной системе. Это весьма сложная задача, одной из причин сложности которой является наличие большого количества скрытых параметров, что делает затруднительным применение динамического прогнозирования. Создание прогнозирующей системы, основанной на использовании обучаемых нейронных сетей может быть весьма эффективно в гидроэнергетике, т.к. позволит на гидроэлектростанциях разрабатывать оптимальные режимы работы. Использование обучаемых нейронных сетей для прогнозирования потребности в электроэнергии позволит повысить эффективность планирования загрузки отдельных электростанций. Это в свою очередь даст возможность вести выработку электроэнергии с наилучшим КПД, что . приведет к экономии топлива.

В указанных обстоятельствах на помощь приходят быстро развивающиеся нейротехнологии. Они обладают следующими неоспоримыми преимуществами:

1. Нейронные сети являются адаптивными самообучающимися системами, извлекающими информацию из реальных процессов, которые динамически промоделировать трудно, т.к. они содержат много скрытых неконтролируемых параметров.

2. Применение нейронных сетей позволяет решать задачи, которые трудно или невозможно решить традиционными методами в силу отсутствия формализованных математических описаний процессов функционирования.

3. Нейронные сети в процессе работы накапливают информацию и эффективность их со временем возрастает.

4. Использование обучаемых нейронных сетей позволяет сделать диагностический контроль объективным и расширить его применение.

Одной из нерешенных проблем при использовании искусственных нейронных сетей является задача построения быстрых алгоритмов их обучения. В ходе исследований, проведенных автором, обнаружено, что большинство из распространенных алгоритмов обучения сводятся к градиентным методам поиска минимума целевой функции и обладают рядом недостатков, не гарантирующих обучение нейронных сетей за приемлемое время.

В этой связи создание быстрых алгоритмов обучения и применение современных нейронных сетей для разработки и реализации эффективных методов и алгоритмов автоматизации проектирования и диагностики энергетических объектов представляет в настоящее время несомненную актуальность.

Основная цель настоящей работы заключается в повышении эффективности и качества проектных работ и диагностических исследований отдельных энергетических объектов в результате разработки, компьютерной реализации ускоренных алгоритмов обучения нейронных сетей.

Достижение указанных целей сопряжено с решением следующих основных задач:

Разработка алгоритмических основ автоматизации проектных работ и диагностических исследований энергетических объектов с использованием нейротехнологий.

2. Разработка ускоренных алгоритмов построения и обучения искусственных нейронных сетей.

3. Реализация нейронных сетей на одно- и многопроцессорных вычислительных системах.

4. Оценка эффективности разработанных средств на примерах решения практических задач проектирования и диагностики энергетических объектов.

В основе представленного исследования лежат принципы математического моделирования. Объектами исследований явились классические алгоритмы обучения искусственных нейронных сетей: дельта-метод, алгоритм обратного распространения ошибки, оригинальный вариант алгоритма случайного поиска, оригинальный разработанный алгоритм генетической оптимизации, а также варианты этих алгоритмов с применением минимизации целевой функции и штрафной функции за сложность. Программы, реализующие описанные алгоритмы, представлены в вариантах для однопроцессорных ЭВМ, параллельной ЭВМ Ро\уегХр1огег фирмы РагБ^ес и многопроцессорной системы МВС-1000. Эффективность разработанных алгоритмов оценивалась по скорости обучения нейронных сетей до приемлемого качества работы при одинаковых исходных параметрах. Качество обученности нейронных сетей оценивалось по значениям среднеквадратичной целевой функции, а также доле ошибочных ответов по сравнению с оценками экспертов (в задаче диагностики металлических конструкций) и истинными значениями (в задаче прогнозирования гидрологических процессов).

В диссертационной работе впервые получены следующие научные результаты:

1. Обосновано применение искусственных нейронных сетей в задачах автоматизации проектных работ и диагностических исследований энергетических объектов.

2. Разработаны алгоритмы последовательного обучения нейронных сетей, позволяющие вскрыть существенные связи в сложной системе, отличающиеся нечувствительностью к негладкостям целевой функции.

3. Созданы ускоренные методы и алгоритмы обучения искусственных нейронных сетей, обеспечивающие поиск простейших решений за приемлемое время, отличающиеся пригодностью для глобального поиска.

4. Предложены методы распараллеливания алгоритма генетической оптимизации для реализации на многопроцессорной технике, отличающиеся отсутствием передачи массивов весов между процессорами, что позволяет ускорить процесс обучения нейронных сетей.

Ниже сформулированы положения выносимые на защиту:

1. Математическая модель оригинального генетического алгоритма;

2. Математическая модель варианта случайного поиска;

3. Алгоритм распараллеливания метода генетической оптимизации нейронных сетей при реализации на многопроцессорной технике;

4. Двухслойный нейросетевой алгоритм классификации категорий повреждения металлов по микрофотографиям шлифов;

5. Нейродинамическая модель системы прогнозирования гидрологических процессов.

Практическая ценность научной работы заключается в том, что теоретические результаты получили практическое воплощение в виде эффективных алгоритмов обучения искусственных нейронных сетей и их использовании в прикладных компьютерных программах для реализации задачи диагностики состояния металлических конструкций по микрофотографиям шлифов и задачи прогнозирования гидрологических процессов. Разработаны компьютерные программы, реализующие параллельный алгоритм генетической оптимизации для параллельной суперЭВМ Power Xplorer фирмы Parsytec и многопроцессорной вычислительной системы МВС-1000.

Результаты математического моделирования могут быть использованы:

• для более глубокого понимания и дальнейшего развития теории построения и обучения искусственных нейронных сетей;

• для более широкого внедрения нейронных технологий в САПР и систему управления энергетическими объектами, в частности для прогнозирования загрузки энергетических сетей, что позволит вести генерирование энергии в экономичном режиме.

Основные научные и практические результаты работы реализованы в виде компьютерных программ и внедрены:

1. В составе автоматизированной системы диагностики категорий повреждения металла (КПМ) труб высокого давления и температуры на Костромской ГРЭС.

2. В составе гидрологического пакета программ HydroEcology 1.0 в Комитете Природных ресурсов по Ивановской области.

Диссертационная работа содержит четыре главы с выводами, общие выводы и рекомендации, список литературы, включающий 146 наименований и приложения.

В первой главе выполнен обзор научных публикаций, освещающих проблему обучения искусственных нейронных сетей, рассмотрены научные предпосылки, история развития теории нейронных сетей, известные алгоритмы их обучения, а так же описан спектр задач, решаемых искусственными нейронными сетями. Показаны недостатки присущие распространенным однослойным и многослойным алгоритмам обучения искусственных нейронных сетей. Рассмотрены научные подходы отечественных и зарубежных ученых к теоретическим и практическим исследованиям процесса обучения нейронных сетей. Проведен анализ способов обучения нейронных сетей, который показал, что естественным решением сложных производственных задач с большим числом входной информации является применение многопроцессорных параллельных вычислительных комплексов. Показано, что на сегодняшний день не существует универсальных алгоритмов обучения искусственных нейронных сетей, свободных от указанных недостатков, поэтому дальнейшая работа по созданию быстрых алгоритмов обучения нейронных сетей является целесообразной.

Вторая глава посвящена быстрым алгоритмам обучения нейронных сетей. Были рассмотрены следующие способы обучения:

• минимизация целевой функции. Преимуществом ее использования является простота оценки степени обученности сети, а также независимость оценки от локальных приближений отдельных нейронов.

• алгоритм случайного поиска. Поддерживая число удачных проб на уровне 25%, получаем эффективный алгоритм, нечувствительный к негладкостям целевой функции и пригодный для глобального поиска.

• алгоритм генетической оптимизации. На практике этот алгоритм оказался весьма эффективным и позволял быстро обучать нейронные сети.

• обучение, основанное на минимизации целевой функции с использованием "штрафа за сложность". Добавление штрафной функции заставляет вычислительный процесс идти по линии уменьшения значений некоторых весовых коэффициентов. Это позволяет отыскивать простейшие решения.

Проведенные исследования по прогнозированию поведения динамических систем показывают, что нейронное моделирование позволяет вскрыть существенные связи в сложной системе и найти новые устойчивые разностные схемы для процессов в сплошных средах. Веса важных связей увеличиваются, а слабых и незначительно влияющих снижаются до нулевых значений, в дальнейшем их можно отбросить. Обученные нейронные сети можно в дальнейшем применять для задач математического моделирования. В сложной динамической системе отдельные блоки можно заменять обученными нейронными сетями, что позволяет в некоторых случаях значительно ускорить моделирование.

В третьей главе приводятся методика ускорения обучения нейронных сетей посредством реализации их на многопроцессорных вычислительных системах и результаты реализации предложенного генетического алгоритма на параллельных ЭВМ. В качестве объектов для исследования использовались: имитатор параллельной ЭВМ на однопроцессорной машине, имитатор параллельной ЭВМ на локальной вычислительной сети, параллельная суперЭВМ Power Xplorer фирмы Parsytec и многопроцессорная вычислительная система МВС-1000. Распараллеливание генетического алгоритма обучения нейронной сети выполнялось для задачи прогнозирования уровня поверхностных вод в Уводском водохранилище, снабжающем город Иваново.

В четвертой главе приводятся методика и результаты экспериментальных исследований процессов обучения искусственных нейронных сетей в практических задачах связанных, с диагностикой состояния металла паропроводов высокого давления и температуры по микрофотографиям шлифов гибов труб работающих в тяжелых условиях и задаче прогнозирования гидрологических процессов в бассейне реки Уводь Ивановской области.

В приложении приведены программы, разработанные с использованием быстрых алгоритмов обучения искусственных нейронных сетей, реализованные в однопроцессорном и многопроцессорных вариантах.

Заключение диссертации по теме «Системы автоматизации проектирования (по отраслям)», Сидоров, Сергей Георгиевич

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В соответствии с целью диссертационного исследования были разработаны ускоренные алгоритмы обучения искусственных нейронных сетей, получившие применение в практических задачах.

В диссертации были получены следующие результаты:

1. Показано, что в процессе обучения (особенно при использовании штрафа за сложность) нейронная сеть ищет простейшее решение, отбрасывая лишние связи. Нейронное моделирование позволяет вскрыть существенные связи в сложной системе и найти новые устойчивые разностные схемы для процессов в сплошных средах.

2. В сложной динамической системе отдельные блоки можно заменять обученными нейронными сетями, что позволяет в некоторых случаях ускорить моделирование. Такая замена открывает пути к анализу и синтезу систем, построению быстрых и надежных устройств управления технологическими процессами.

3. Частичный выход из строя нейронной сети не лишает ее способности функционирования, хотя и может ухудшить качество работы. При классическом моделировании динамических систем ошибка или сбой являются для системы фатальными.

4. Одним из наиболее эффективных способов обучения нейросети, является минимизация целевой функции.

5. Разработан оригинальный вариант алгоритма случайного поиска в применении к обучению нейронных сетей. Регулируя размеры окрестности по мере приближения к цели, получаем эффективный алгоритм, нечувствительный к негладкостям целевой функции и пригодный для глобального поиска.

6. Разработан оригинальный алгоритм генетической оптимизации. На практике этот алгоритм позволял быстро обучать моделирующие нейронные сети.

Предложен способ распараллеливания указанного алгоритма для применения на многопроцессорных системах.

7. Предложен и внедрен оперативный способ диагностики состояния металлических конструкций удобный для использования в условиях предприятия. Разбивка обучающей последовательности на группы по 3-4 образа позволила сократить время обучения в 1,5-2 раза. Предложен метод распознавания категорий повреждения металла основанный на использовании спектра изображений, его применение позволило в 15-20 раз сократить время обучения.

8. Предложен и внедрен способ прогнозирования для оценки запасов и качества воды в Уводьском водохранилище. Применение искусственных нейронных сетей и алгоритма генетической оптимизации для решения этой задачи позволяет упростить подготовку исходных данных и ускорить процесс прогнозирования.

Список литературы диссертационного исследования кандидат технических наук Сидоров, Сергей Георгиевич, 2003 год

1. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: Пер. с англ. М.: Мир, 1992. - 240 е., ил.

2. Sejnowski, Т.J., and Rosenberg, C.R. 1987. Parallel Networks that learn to pronounce English text. Complex Systems 3:145-68.

3. Burr, D.J. 1987. Experiments with a connectionist text reader. In Proceedings of the First International on Neural Networks, eds. M.Caudill and C.Butler, vol.4, pp.717-24. San Diego, CA: SOS Printing.

4. Cottrell, G.W., Munro, P., and Zipser, D. 1987. Image compressions by backpropagation: An example of extensional programming. Advaces in cognitive science (vol.3). Norwood, NJ: Ablex.

5. Minsky, M., and Papert, S. 1969. Perseptrons. Cambridge, MA: MIT Press. (Русский перевод: Минский M.JT., Пейперт С. Персептроны. М.: Мир. -1971.)

6. Parker D.B. 1987. Second order back propagation: Implementing an optimal O(n) approximation to Newton's method as an artificial newral network. Manuscript submitted for publication.

7. Stornetta W.S., Huberman B.A. 1987. An improwed: three-layer, backpropagation algorithm. In Proceedings of the IEEE First International Conference on Newral Networks, eds. M.Caudill and C.Butler. San Diego, CA: SOS Printing.

8. Rumelhart D.E., Hinton G.E., Williams R.J. 1986. Learning internal reprentations by error propagation. In Parallel distributed processing, vol.1, pp.318-62. Cambridge, M.A.: MIT Press.

9. Wasserman P.D. 1988b. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington, D.C.: Computer Society Press of the IEEE.

10. Wasserman P.D. 1988a. Combined backpropagation / Cauchy machine. Proceedings of the International Newral Network Society. New York: Pergamon Press.

11. П.Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов: Пер. с англ. -М.: Мир, 1989. 448 е., ил.

12. Копосов А .Я., Израилев Ю.Л. Совершенствование управления процессом обеспечения живучести стареющих ТЭС / В сб. Повышение эффективности работы ТЭС и энергосистем. Иваново, 1998.

13. Ф.Розенблатт. Принципы нейродинамики: Пер. с англ. М.: Мир, 1965 - 480 е., ил.

14. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. М.: ИПРЖР, 2000. - 416 е.: ил.

15. Сигеру Омату. Нейроуправление и его приложения. Кн.2. / Сигеру Омату, Марзуки Халид, Рубия Юсоф; Пер. с англ. Н.В.Батина; Под ред. А.И.Галушкина, В.А.Птичкина. М.: ИПРЖР, 2000. - 272 е.: ил.

16. Галушкин А.И. Нейрокомпьютеры. Кн.З: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. М.: ИПРЖР, 2000. - 528 е.: ил.

17. Головко В.А. Нейронные сети: обучение, организация и применение. Кн.4: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. М.: ИПРЖР, 2001. -256 е.: ил.

18. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. - 382 е.: ил.

19. Каллан, Роберт. Основные концепции нейронных сетей. : Пер. с англ. М. : Издательский дом "Вильяме", 2001. - е.: ил.

20. Цыганков В.Д. Нейрокомпьютер и мозг. Учебное пособие. Серия "Информатизация России в XXI веке". М.: СИНТЕГ, 2001, 248 с.

21. Цыганков В.Д. Вселенский разум и квантовый нейрокомпьютер. Серия "Информатизация России в XXI веке". М.: СИНТЕГ, 2002, 176 с.

22. Комарцова Л.Г., Максимов A.B. Нейрокомпьютеры: Учеб. пособие для вузов. М.: Изд-во МГТУ им.Н.Э.Баумана, 2002. - 320 е., ил.

23. Корнеев В.В. Параллельные вычислительные системы. М.: "Нолидж", 1999.-320 е., ил.

24. Многопроцессорные вычислительные системы. Архитектура. Математическое моделирование: Учеб. пособие / Ф.Н.Ясинский, Л.П.Чернышева; Иван. гос. энерг. ун-т. Иваново, 1998.

25. Компьютерные системы и сети: Учеб. пособие / В.П.Косарев и др. / Под ред. В.П.Косарева и Л.В.Еремина. М.: Финансы и статистика, 1999. - 464 е.: ил.

26. Математическое моделирование с помощью компьютерных сетей: Учеб. пособие / Ф.НЛсинский, Л.П.Чернышева, В.В.Пекунов; Иван. гос. энерг. ун-т. Иваново, 2000.

27. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2002. - 94с.

28. Корнеев В.В. Архитектура вычислительных систем с программируемой структурой. Новосибирск: Наука, 1985. 168с.

29. В.Воеводин. Математические модели и методы в параллельных процессах. М.: Наука, 1986.

30. Эволюционные вычисления и генетические алгоритмы. Обозрение прикладной и промышленной математики. М. Научное издательство "ТВП", том 3, вып.5,1996.

31. Аведьян Э.Д., Коваленко М.Л., Цитоловский Л.Е., Цыпкин Л.З. Автономные алгоритмы настройки нейронных сетей. Тр. Международной конференции "Математика, компьютер, управление и инвестиции".-М.:Гарант,1993,с.2-11.

32. Аппаратная реализация ускорителя нейровычислений. / А.В.Бочаров, A.C. Грошев, М.В. Захватов и др. Известия вузов. Приборостроение, 1995, т.38, №1-2.

33. Харари Ф. Теория графов. М,: Мир, 1973. 299 с.

34. Бовбель Е.И., Паршин B.B. Нейронные сети в системах автоматического распознавания речи. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4.

35. Бубенников А.Н. Архитектурно-технологический облик интеллектуальных нейронных сетей на кремниевых пластинах и трехмерных нейрокомпьютеров. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4.

36. Галушкин А.И. Нейрокомпьютеры в разработке военной техники США. -Зарубежная радиоэлектроника, 1995, №5.

37. Галушкин А.И. Нейрокомпьютеры в разработке военной техники США. -Зарубежная радиоэлектроника, 1995, №6.

38. Галушкин А.И., Крысанов А.И. Оценка производительности нейрокомпьютеров. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с.22-33.

39. Галушкин А.И. Современные направления развития нейрокомпьютеров в России. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с.3-17.

40. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.

41. Комашинский В.И., Смирнов Д.А. Введение в нейро-информационные технологии. СПб.: Тема, 1999.

42. Крысанов А.И. СБИС L-Neuro базовый нейрочип для создания современных нейрокомпьютеров. - Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с. 18-21.

43. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наукова думка, 1990.

44. Логовский A.C. Использование нейронных сетей для решения комбинационных задач с полным перебором. Нейрокомпьютер, 1994, №3, 4, с.41-50.

45. Соколов В.Н. Нейронные механизмы памяти и обучения. М.: Наука, 1981.

46. Хант Э. Искусственный интеллект. М.: Мир, 1978.51 .Цыпкин ЯЗ. Адаптивные методы выбора решений в условиях неопределенности. Автоматика и телемеханика, 1976, №4, с.78-91.

47. Применение нейрокомпьютеров в финансовой деятельности. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с.61-68.

48. Галушкин А.И. Многослойные системы распознавания образов. М., МИЭМ, 1970, с.167.

49. Галушкин А.И., Юмашев С.Г. О применении кусочно-линейных разделяющих поверхностей в задаче распознавания образов. // Труды МИЭМ, 1970, с.238-254.

50. Галушкин А.И. Синтез многослойных систем распознавания образов. М., Энергия, 1974, с.368.

51. Галушкин А.И., Шмид A.B. Оптимизация структуры многослойных нейронных сетей с перекрестными связями. // Нейрокомпьютер, №2, 1992, с.7-11.

52. Галушкин А.И. Континуальные модели многослойных систем распознавания образов. Автоматика и вычислительная техника. Рига, АН Латв.ССР, 1977, №2, с.43-48.

53. Галушкин А.И. Континуальные нейронные сети. //Нейрокомпьютер, 1992, №2, с.9-14.

54. Галушкин А.И. Единый подход к решению задач обучения и самообучения систем распознавания образов // Труды МИЭМ, вып.6, 1970, с.104-120.

55. Галушкин А.И., Зак Л.С., Тюхов Б.П. К сравнению критериев оптимизации адаптивных систем распознавания образов // Кибернетика. Киев, №6, 1970, с.122-130.

56. Галушкин А.И. Реализация критериев первичной оптимизации в системах распознавания образов, настраивающихся по замкнутому циклу в режиме обучения. // Труды МИЭМ, вып.23, 1971, с. 191-203.

57. Галушкин А.И. Анализ одного итерационного метода поиска экстремума. // Автоматика и вычислительная техника. Рига, №2, 1970, с.38-40.

58. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М., Наука, 1968, с.399.

59. Цыпкин Я.З. Основы теории обучающихся систем. М., Наука, 1970, с.251.

60. Галушкин А.И., Шмид A.B. Итерационные методы поиска экстремума функций многих переменных при ограничениях типа равенств. // Автоматика и вычислительная техника. Рига, №4, 1971, с.88-91.

61. Галушкин А.И., Тюхов Б.П., Чигринов В.Г. О сходимости одного метода случайного поиска при отыскании локальных и глобальных экстремумов многоэкстремальной функции // Труды МИЭМ, вып.23, 1971, с.205-209.

62. Растригин Л.А. Статистические методы поиска. М., Наука, 1968., С.376.

63. Галушкин А.И. Методы синтеза систем распознавания образов // Труды МИЭМ, вып.6,1970, с.133-171.

64. Викторов Н.С., Галушкин А.И. Построение и исследование систем распознавания образов при произвольной "квалификации учителя" // Медицинская радиоэлектроника. ВНИИ Международной техники, 1976, с.96-106.

65. Ванюшин В.А., Галушкин А.И. Построение и исследование многослойных систем распознавания образов // Сб. Некоторые проблемы биологической кибернетики. / Под ред. А.И.Берга. Д., Наука, 1972.

66. Галушкин А.И., Василькова Т.Ф., Слободенюк В.Н., Тюхов Б.П. Анализ динамики распознавания нестационарных образов // Труды МИЭМ, вып.23, 1971, с.210-227.

67. Герасимова A.B., Грачев JI.B. К вопросу о представительности обучающей выборки для парадигмы нейронных сетей с переменной структурой // Нейрокомпьютер, 1992, №3/4, с.3-6.

68. Фомин Ю.И., Галушкин А.И. Методы технической диагностики сетей пороговых элементов // Техника средств связи, сер. "Системы связи", вып.2, 1980, с.84-94.

69. Фомин Ю.И., Галушкин А.И., О методе параллельной диагностики отказов в сетях пороговых элементов // "Электронное моделирование". Киев: Наукова думка, 1981, №3, с.89-92.

70. Анил К. Джейн, Жианчанг Мао, Моиуддин K.M. Введение в искусственные нейронные сети // Открытые системы. 1997. - №4.

71. Блинов С. BrainMaker прогнозирование на финансовых рынках // Открытые системы, 1998, №4.

72. Блум Ф., Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение. М.: Мир, 1988.

73. Борисов В.В., Круглов В.В., Харитонов Е.В. Основы построения нейронных сетей. Смоленск: Изд-во Военного ун-та войсковой ПВО ВС РФ, 1999.

74. Борисов Ю., Кашкаров В., Сорокин С. Нейросетевые методы обработки информации и средства их программно-аппаратной поддержки // Открытые системы. 1997. - №4.

75. Бэстенс Д.-Э., ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. М.: ТВП, 1997.

76. Васильев В.И. Распознающие системы. Киев: Наукова думка, 1988.

77. Галушкин А.И. Современные направления развития нейрокомпьютеров // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники. -1998.-№1.

78. Гелиг А.Х. Динамика импульсных систем и нейронных сетей. Л.: Изд-во ЛГУ, 1982.

79. Горбань А.Н. Обучение нейронных сетей. М.: СП ПараГраф, 1991.

80. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука, 1996.

81. Горбань А.Н., Дунин-Барковский В.Л. Миркес Е.М. и др. Нейроинформатика. Новосибирск: Наука, 1998.90.3митрович А.И. Интеллектуальные информационные системы. Минск: НТООО ТерраСистемс, 1997.

82. Круглов В.В., Борисов В.В., Харитонов Е.В. Нейронные сети: конфигурации, обучение, применение. Смоленск: Изд-во Моск. Энерг. инта, фил-л в г.Смоленске, 1998.

83. Курейчик В.М. Генетические алгоритмы. Обзор и состояние // Новости искусственного интеллекта, 1998. №3.

84. Логовский A.C. Зарубежные нейропакеты: современное состояние и сравнительные характеристики // Нейрокомпьютер. 1998. - №1-2.

85. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука, 1998.

86. Нейрокомпьютеры и интеллектуальные роботы / Под ред. Н.М. Амосова. -Киев.: Наукова думка, 1991.

87. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова. М.: Наука, 1986.97.0гнев И.В., Борисов В.В. Ассоциативные среды. М.: Радио и связь, 2000.

88. Перцептрон система распознавания образов / Под ред. А.Г.Ивахненко. -Киев: Наукова думка, 1975.

89. Прикладные нечеткие системы / Под ред. Т.Иэрано, К.Асаи, М.Сугено. М.: Мир, 1993.

90. ЮО.Розенблатт Ф. Принципы нейродинамики: Персептроны и теория механизмов мозга. М.: Мир, 1965.

91. Силов В.Б. Принятие стратегических решений в нечеткой обстановке. М. ИНПРО-РЕС, 1995.

92. Соколов E.H., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989.

93. ЮЗ.Куффлер С., Николе Дж. От нейрона к мозгу. М.: Мир, 1979.

94. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы. 1998. №4.

95. Ю5.Хьюбел Д. Глаз, мозг, зрение. М.: Мир, 1990.

96. Юб.Нейронные сети на персональном компьютере / А.Н. Горбань, Д.А. Россиев. Новосибирск: Наука, Сибирская издательская фирма РАН, 1996.

97. Ю7.Логовский A.C., Якушин Д.Ж. Нейропакеты: что, где, зачем. Зарубежная радиоэлектроника, №2,1977. С. 11-18.

98. Foundation of Genetic Algorithms, edited by Rawling Gregory. Morgan Kaufman Publishers. Sanmeteo. California, 1991.

99. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта. Киев: Наукова Думка, 2001.

100. Шевченко П.А., Фомин Д.В., Черников В.М., Виксне П.Е. Архитектура нейропроцессора NeuroMatrix NM6403 // V Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М.: 17-19 февраля 1999г. С.70-80.

101. ПЗ.Бэсменс Д.Э., Ван Ден Берг В.М., Вуд Д. Нейронные сети и финансовые рынки / Пер. с англ.; Под ред. А.П.Коваленко. М.: Научное изд-во ТВП, 1997.

102. Головко В.А., Дунец А.П., Левонюк Д.Н. Метод обучения многослойной нейронной сети // Тр. X научно-технической конференции. Брест: - БПИ, 1998, с.8-15.

103. Скурихин А.Н. Нейронные сети: определения, концепции, применение. -М.: ЦНИИ управления экономики и информатики, 1991.

104. Пб.Тэнк Д., Хопфилд Д. Коллективные вычисления в нейроподобных электронных схемах // В мире науки, 1988, №2, с.45-53.

105. Меламед И.И. Нейронные сети и комбинаторная оптимизация. -Автоматика и телемеханика, 1994, №11, с.3-40.

106. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука, 1988.

107. Головко В. Интеллектуальная нейронная система для автономного управления мобильным роботом // Труды X научно-технической конференции. Брест: БПИ, 1998, с. 15-25.

108. Кун С. Матричные процессоры на СБИС: Пер. с англ. М.: Мир, 1991.

109. Головко В. Самоорганизующиеся линейные процессоры // Сб. Трудов конференции "Распознавание образов и обработка информации". Минск: ИТКАНРБ, 1995, с.82-87.

110. Галушкин А.И. Введение в теорию систем распознавания на септронах. -М.: Изд-во МИЭМ, 1970.

111. Галушкин А.И., Зотов Ю.Я., Шикунов Ю.А. Оперативная обработка экспериментальной информации. М.: Энергия, 1972.

112. Галушкин А.И. Распознавание образов на септронах. М.: Энергия, 1974.

113. Галушкин А.И., Судариков В.А., Шабанов Е.В. Нейроматематика: Методы решения задач на нейрокомпьютерах / Препринт. M, 1990.

114. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. М.: Из-во МАИ, 1991.

115. Галушкин А.И., Кирсанов Э.Ю. Нейронные системы памяти. М.: Изд-во МАИ, 1991.

116. Аведьян Э.Д., Баркан Г.В., Левин И.К. Каскадные нейронные сети: Сб.докл. V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь, 1999, с.358.

117. Богданов В.И., Нестеров Е.П., Пак А.П. Энергетический подход к моделированию нейронов рекуррентной сети: Сб. докл. V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь, 1999, С.361.

118. Кирсанов Э.Ю., Пиянин А.Г. Neural Maker 1.1 -инструментальный пакет программ моделирования прикладных нейронных сетей с переменной структурой: Сб.докл. V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь, 1999, с.380.

119. Дубровин В.И., Субботин С.А. Построение систем диагностики на основе карт самоорганизации Кохонена: Сб. докл. VI Всероссийской конференции "Нейрокомпьютеры и их применение". М. Радио и связь, 2000, с.464.

120. В.И. Алексеев, А.В.Максимов. Использование нейронных сетей с двухмерными слоями для распознавания графических образов // VIII Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М.: 21-22 марта 2002г. С.69-72.

121. Ковалевский C.B., Ковалевская Е.С. Спектральный анализ изображения и моделирование микрошлифов в металлографических исследованиях // VIII

122. Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М: 21-22 марта 2002г. С.102-106.

123. Панкин Ю.П., Сакаш И.Ю. Прогнозирование концентрации озона в стратосферно-тропосферном слое с помощью нейронных сетей // VIII Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М: 21-22 марта 2002г. С.218-225.

124. Гусев С.Б. Способ распределения коллективов нейронных сетей при решении задач анализа динамических систем // VIII Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М.: 21-22 марта 2002г. С.311-314.

125. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002.

126. Немнюгин С.А., Стесик O.JI. Параллельное программирование для многопроцессорных вычислительных систем. СПб.: БХВ-Петербург, 2002. -400с.: ил.

127. Медведев B.C., Потемкин В.Г. Нейронные сети. MATLAB 6 / Под общ. ред. к.т.н. В.Г.Потемкина. М: ДИАЛОГ-МИФИ, 2002. - 496с. - (Пакеты прикладных программ; Кн.4).

128. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. Учеб. пособие для вузов / Общая ред. А.И.Галушкина. — М.: ИПРЖР, 2002. 480с.: ил.

129. Нейрокомпьютеры в системах обработки сигналов. Коллективная монография / Под ред. Ю.В.Гуляева и А.И.Галушкина. М.: Радиотехника, 2003.-224с.: ил.

130. Биомолекулярные нейросетевые устройства. Учеб. пособие для вузов / Под ред. Н.Г.Рамбиди. М.: ИПРЖР, 2002. - 224с.: ил.