Экстренная идентификация внешних воздействий на основании информации о поведении органичных систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Панченко, Дмитрий Петрович

• Панченко, Дмитрий Петрович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Панченко, Дмитрий Петрович

ВВЕДЕНИЕ.

1. ГЛАВА 1. ОБЗОР.

1.1. Выбор модели. /. /. Формальное описание задачи идентификации поведения органичной системы в экстренных ситуациях.

1.1.2. Линейные регрессионные модели.

1.1.3. «Внутренне» линейные нелинейные модели.

1.1.4. Структурные уравнения регрессии.

1.1.5. Нейросетевая модель.

1.1.6. Выводы.

1.2. Обзор прототипов.

1.2.1. Классификация нейропакетов.

1.2.2. Критерии выбора нейропакета.

1.2.3. Выводы.

1.3. Цель работы и задачи.

2. ГЛАВА II. ФОРМАЛЬНАЯ МОДЕЛЬ АВТОМАТИЗАЦИИ ПРОЦЕССА ДИАГНОСТИКИ ОСТРЫХ ОТРАВЛЕНИЙ.

2.1. Процедура получения данных.

2.1.1. Получение общего списка параметров.

2.1.2. Процедура выявления значимых параметров. - 2.1.3. Процедура формирования классов поведения системы.

12.1.4. Процедура разбиения выборки.

2.1.5. Процедура заполнения пробелов данных.

2.1.6. Ввод вектора параметров.

2.1.7. Ввод обучающих данных.

2.2. Анализ фрагмента поведения органичной системы.

2.2.1. Структурная оптимизация.

2.2.2. Параметрическая оптимизация нейронной сети.

2.2.3. Параметрическая оптимизация нейронной сети по неравномерным данным.

2.2.4. Параметрическая оптимизация нейронной сети по данным, характеризующимся стохастической неопределенностью.

2.2.5. Прямой режим функционирования нейронной сети.

2.2.6. Выход из локальных минимумов.

2.2.7. Имитация отжига.

2.2.8. Стохастическое изменение весов.

2.2.9. Процедура коррекции весов.

2.3. Интерпретация результата анализа фрагмента поведения органичной системы.

2.4. Общий алгоритм функционирования модели.

2.4.1. Режим обучения.

2.4.2. Рабочий режим функционирования модели.

2.5. Контрольный пример работы модели.

2.6. Методика расчета эффективности.

2.6.1. Оценка временных характеристик.

2.6.2. Оценка точности идентификации.

2.7. Выводы к главе II.

3. ГЛАВА III. АЛГОРИТМ ПРАКТИЧЕСКОЙ РЕАЛИЗАЦИИ.

3.1. Информационное обеспечение.

3.1.1. Информационные структуры.

3.1.2. Выбор среды разработки.

3.2. Основные алгоритмы.

3.2.1. Общий алгоритм работы автоматизированной системы.

3.2.2. Алгоритм работы модульной НС FeedForward.

3.2.3. Алгоритм обучения по данным, характеризующимся стохастической неопределенностью DeFuzzy.

3.2.4. Алгоритм обучения по неравномерной выборке.

3.2.5. Алгоритм структурной оптимизации нейронной сети.

3.2.6. Алгоритм линейной аппроксимации вектора.

3.2.7. Алгоритм усреднения между результатами сети Хопфшда и линейной аппроксимации.

3.2.8. Алгоритм работы нейронной сети Хопфшда.

3.2.9. Алгоритм параметрической оптимизации нейронной сети Хопфилда.

3.3. Выводы к главе III.

4. ГЛАВА 4. АПРОБАЦИЯ МОДЕЛИ НА РЕШЕНИИ ПРАКТИЧЕСКОЙ ЗАДАЧИ ДИАГНОСТИКИ ОСТРЫХ ОТРАВЛЕНИЙ ХИМИЧЕСКИМИ ВЕЩЕСТВАМИ.

4.1. Общая характеристика системы.

4.2. Оценка эффективности работы системы «Дефиниция».

4.2.1. Оценка показателей эффективности автоматизированной системы.

4.2.2. Оценка показателя эффективности системы DEFITOX.

4.2.3. Сравнительная характеристика показателей качества системы «Дефиниция» и DEFITOX.

4.3. Контрольный пример работы системы.

4.4. Выводы к главе IV.

Введение диссертации (часть автореферата) на тему «Экстренная идентификация внешних воздействий на основании информации о поведении органичных систем»

Актуальность темы. В настоящее время существует ряд задач, в рамках которых требуется в кратчайшие сроки установить причину нарушения функционирования системы и принять решение в экстренной ситуации. Одной из таких задач является задача идентификации внешнего воздействия на основании информации о поведении динамической системы. Данная задача широко распространена в технике, промышленной экологии и экономике. В частности в промышленной экологии это задача экстренной идентификации внешних воздействий на основании информации о поведении органичной системы.

Проблема идентификации и распознавания образов в течение продолжительного времени привлекает внимание специалистов в области математики, кибернетики и т.д. Существенный вклад в становление и развитие данного направления внесли Л. Льюинг, Р. Фишер, А.Н. Колмогоров, А.Я. Хинчин и др.

Эффективность решения задачи экстренной идентификации внешних воздействий на основании информации о поведении органичной системы зависит от степени ее сложности, характера имеющейся о ней информации, адекватности используемой модели сложной динамической системы. Однако, доступная информация и уровень формализации таких предметных областей, как промышленная экология, зачастую таковы, что не могут составить основу для синтеза математической модели, отвечающей классическим математическим и математико-физическим канонам и допускающей изучение классическими аналитическими или численными методами.

Имеющиеся на сегодняшний день методики автоматизации процесса идентификации внешнего воздействия на основании информации о поведении системы охватывают лишь узкий класс динамических систем, характеризуемых небольшим параметрическим множеством и, как правило, имеющих математическую модель. В принципе, математическая модель, может быть построена, однако ее синтез и изучение связаны с такими затратами, что они существенно превышают выигрыш, приносимый искомым решением, кроме того, выходят за пределы существующих технических возможностей.

В связи с распространением химической загрязненности окружающей среды постоянно возрастает возможность отравления человека. Рост количества случаев смертельных отравлений связан с возрастающими темпами химизации сельского хозяйства, ростом промышленности, а также в связи с новой угрозой обществу - химическим терроризмом. Если отравления деструктивными ядами и используемыми в быту природными газами, как правило, не представляют диагностических трудностей, то отравления прочими классами химических веществ часто связаны со сложностью в распознавании, а по данным Волгоградского областного токсикологического центра подобные отравления составляют около 40%. Это, в свою очередь, осложняет выбор эффективной тактики лечения, а в некоторых случаях затрудняет судебно-медицинское освидетельствование. Кроме того, в случаях массовых отравлений, своевременное распознавание этиологического фактора заболевания представляет ценность в аспекте локализации очага путем предупреждения новых поражений, устранением контакта с ядом или воздействием на динамику патологического процесса.

Модели и методы, применяемые для идентификации внешних воздействий на основании информации о поведении технических систем, не подходят для идентификации внешних воздействий на основании информации о поведении органичных систем, т.к. последние обладают рядом специфических свойств. Согласно В. Н. Спицнаделю органичная система есть саморазвивающееся целое, которое в процессе своего индивидуального развития проходит последовательные этапы усложнения и дифференциации. К классу органичных систем относятся биологические, социальные и некоторые другие системы с последействием. Такие характеристики органичных систем как динамическое изменение структуры, тесная взаимосвязь между элементами системы, целенаправленность, наличие компенсационных механизмов и некоторые другие делают органичные системы наиболее сложными и определяют отличия в идентификации их поведения по сравнению с идентификацией поведения технических систем.

Применение аппарата искусственных нейронных сетей снимают многие описанные проблемы. Существенных вклад в становление и развитие данного направления внесли Розенблатт Ф., Хебб Дж. К настоящему времени нейросетевым методам посвящены многочисленные работы, среди которых основополагающими являются работы: А.Н. Галушкина, А.Н. Горбань, Ф. Уоссермен и многих др. Однако возникают проблемы при использовании экспертных знаний, представленных в виде лингвистических переменных, а также при обучении по неравномерной выборке, особенно в динамических задачах. Таким образом, задача экстренной идентификации внешних воздействий на основании информации о поведении органичной системы актуальна и требует решения.

Цель работы состоит в повышении эффективности экстренной идентификации внешних воздействий на основании информации о поведении органичной системы. Для достижения данной цели были поставлены и решены следующие задачи:

1. Исследование современных средств, методов и моделей автоматизации процесса экстренной идентификации внешних воздействий на основании информации о поведении органичной системы.

2. Разработка методики автоматизации экстренной идентификации внешних воздействий на основании информации о поведении органичной системы.

3. Реализация автоматизированной системы экстренной идентификации внешних воздействий на основании информации о поведении органичной системы.

4. Испытание автоматизированной системы на примере практической задачи диагностики острых отравлений человека химическими веществами.

Методы исследования. Для решения поставленных задач были использованы методы системного анализа, искусственного интеллекта, аппарата искусственных нейронных сетей, теории проектирования реляционных баз данных.

Научная новизна. Разработана методика решения задачи экстренной идентификации внешних воздействий на основании информации о поведении органичной системы на основе аппарата искусственных нейронных сетей, включающая в себя:

• Построенную формальную модель процесса экстренной идентификации внешних воздействий на основании информации о поведении органичной системы, отличающуюся учетом особенностей органичных систем, что развивает применение методов автоматизации идентификации внешних воздействий на основании информации о поведении технических систем.

• Разработанную нейросетевую структуру и метод обучения нейронной сети, отличающиеся возможностью обучения по неравномерной выборке и данным, характеризующимся стохастической неопределенностью, что позволяет вести обучение по информации, полученной не только экспериментально, но и извлеченной из знаний экспертов и литературных источников.

• Разработанную базу знаний по острым отравлениям химическими веществами, включающую в себя более 50 правил, описывающих клинические картины отравлений ядами, по интоксикации которыми отсутствуют экспериментальные данные.

Практическая ценность полученных результатов. Построена автоматизированная система диагностики острых отравлений химическими веществами «Дефиниция». На основе разработанной системы ведется разработка по государственному заказу системы синдромальной диагностики острых отравлений для случаев химического терроризма.

Реализация и внедрение результатов. Система была внедрена в ФГУП НРШ гигиены, токсикологии и профпатологии при Министерстве здравоохранения и социального развития РФ.

Апробация работы. Основные положения диссертации докладывались на научных семинарах кафедры, а также на международных и всероссийских научных и научно-практических конференциях: «Информационные технологии в образовании, технике и медицине» (Волгоград, 2000 и 2002), Искусственный интеллект в XXI веке (Москва 2001), Нейроинформатика и ее приложения (Красноярск 2001), Нейрокомпьютеры и их применение (Москва 2002), Экология и развитие общества (Санкт-Петербург 2003), Нейросетевые технологии и их применение (Краматорск, Украина 2003, 2004), Системные проблемы надёжности, качества, информационных и электронных технологий (Сочи 2004), Научно-технические аспекты обеспечения безопасности при уничтожении, хранении и транспортировке химического оружия (Москва 2004), Разработка и принятие решений по снижению последствий для здоровья населения при террористических актах с применением опасных веществ (Волгоград 2002), IV,V,VI,VII Региональные конференции молодых исследователей Волгоградской области (Волгоград 2000,2001,2002,2003).

Публикации. По теме диссертации опубликовано 18 печатных работ, в то числе 2 публикации в издании центральной печати, 5 тезисов докладов, 3 статьи в сборниках научных трудов, 1 статья в сборнике трудов международного конгресса, 2 статьи в сборниках трудов симпозиумов, 5 статей в сборниках всероссийских и международных конференций.

Структура и содержание диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, 2-х приложений и списка литературы. Общий объем диссертации 165 страниц, 28 рисунков, 13 таблиц, список использованной литературы из 105 наименований.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Панченко, Дмитрий Петрович

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Панченко, Дмитрий Петрович, 2005 год

1. Автоматизированная система диагностики отравлений / Шкурина Г.Л., Панченко Д.П. // Искусственный интеллект в XXI веке: труды международного конгресса. Т.2.- М., 2001.- 809-814.

2. Анищенко B.C. Знакомство с нелинейной динамикой: Лекции соросовского профессора: Учеб. пособие. Москва-Ижевск: Институт компьютерных исследований, 2002. 144 с.

3. Архангельский А.Я. Программирование в Delphi 6. - М.: ЗАО "Издательство БР1Н0М", 2001. - 1120 с : ил.

4. Баженова И.Ю. ORACLE 8/8i. Уроки программирования.- М.: Диалог-МИФИ, 2000 - 3 04 с.

5. Беллман Р. Математические методы в медицине: Пер. с англ.-М.: Мир. 1987.-200 с , ил.

6. Бессонов А.А. и др. Методы и средства идентификации динамических объектов/ А.А. Бессонов, Ю.В. Загашвили, А.С. Маркелов.- Л.: Энергоатомиздат. Ленингр. отд-ние, 1989.- 280 с : ил.

7. Березин Б.И., Березин СБ. Начальный курс С и C++.- М.: даАЛОГ-МИФИ, 1996.-288 с.

8. Биологическая и медицинская кибернетика: Справочник. О.П. Минцер, В.Н. Молотков, Б.Н. Угаров и др.-Киев: Наукова думка, 1986.-374 с.

9. Биргер И. А. Техническая диагностика.- М.: Машиностроение, 1978.-240 с.

10. Браверманн Э. М., Мучник И. Б. Структурные методы обработки эмпирических данных. -М.: Наука. Главная редакция физико-математической литературы. 1983.- 464 с.

11. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на C++: Пер с англ.-2-е изд.- М.: Издательство Бином, СПб.: Невский диалект, 2000.-560 с , ил.

12. Быховский М. Л., Вишневский А. А. Кибернетические системы в медицине.- М.: Наука, 1971.- 407 с.

13. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448с.

14. Венцель Е.С. Теория вероятностей. М.: Высшая Школа,2001.

15. Винер П. Кибернетика, или управление и связь в животном и машине / под ред. Г.Н. Поварова: пер. с англ.-2-е изд.-М.: Наука, 1983 г.

16. Выявление экспертных знаний (процедуры и реализации) / О.И. Ларичев, А.И. Мечитов, Е.М. Мошкович, Е.М. Фуремс. М.: Наука, 1989.- 128 с. ISBN 5-02-006736-9.

17. Галушкин А.И. Нейрокомпьютеры. Кн. 3: Учеб. пособие для вузов / Общ. ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416с.

18. Галушкин А.И. Синтез многослойных систем распознавания образов. - М.: «Энергия», 1974.

19. Горбань А.Н. Обучение нейронных сетей.- М.: СП Параграф, 1990.-210 с.

20. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере // Новосибирск: Наука, 1996.- 276с.

21. Данилов Ю.А. Лекции по нелинейной динамике. Элементарное введение. Москва: Постмаркет, 2001.- 184 с.

22. Дмитриев В.И. Прикладная теория информации: Учебю для студ. вузов по спец. «Автоматизированные системы обработки информации и управления».- М.: Высш. шк., 1989.- 320 с : ил. ISBN 5-06-000038-9

23. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн. 1/ Пер с англ. - 2-е изд., перераб. и доп. - М.:Финансы и статистика, 1986. - 366с. (Математико-статистические методы за рубежом)

24. Епанешников А., Епанешников В. Программирование в среде Turbo Pascal 7.0. - 3-е изд., стер. - М.: "ДИАЛОГ-МИФИ", 1996.-288с.

25. Использование нейромоделей для проектирования автоматизированных систем / Панченко Д.П., Щербаков М.В. // IV региональная конференция молодых исследователей волгоградской области: Тезисы докладов. - Волгоград, 2000. -С.131-132.

26. Использование нейросетевых технологий для анализа сложных иерархических систем / В.А. Камаев, Д.П. Панченко, М.В. Щербаков // Вестник БГТУ, №1 (1).- Брянск.- 2004.- 202 -208.

27. Калверт Ч. Программирование в Windows 95. Освой самостоятельно/ Пер. с англ. Д.А. Зарецкого, И.В. Муравьева;Под ред. Д.Зарецкого.-М.: Бином, 1996.-1008с.:

28. Клир Дж. Системология. Автоматизация решения системных задач: Пер. с англ.- М.: Радио и связь, 1990.- 544 с : ил.-ISBN 5-256-00649-5.

29. Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры: Учеб. пособие для вузов. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. -320с.

30. Коршунов Ю.М. Математические основы кибернетики: Учеб. пособие для вузов.- 3-е изд., перераб. и доп.- М.: Энергоатомиздат, 1987.-496 с : ил.

31. Корячко В.П. и др. Теоретические основы САПР: Учебник для вузов / В.П. Корячко, В.М. Курейчик, И.П. Норенков.- М.: Энергоатомиздат, 1987.-400 с : ил.

32. Лейнекер Р. Энциклопедия Visual С++.-СП6: Издательство «Питер», 1999.-1152 с : ил.

33. Львовский Е.Н. Статистические методы построения эмпирических формул: Учеб. пособие для втузов.- 2-е изд., перераб. и доп.- М.: Высш. шк., 1988.- 239 с : ил. ISBN 5-06-001264-6.

34. Медведев В. С, Потемкин В. Г. Нейронные сети. MATLAB 6 / Под общ. ред. к.т.н. В.Г. Потемкина.-М.:ДР1АЛОГ-МИФИ, 2002.-496 с.-(Пакеты прикладных программ; Кн. 4).

35. Многомерный статистический анализ и вероятностное моделирование реальных процессов: Ученые записки по статистике. Т.54: Сб. науч. Статей.- М.: Наука, 1990.-296 с. ISBN 5-02-011914-8

36. Мозгалевский А.В., Гаскаров Д.В. Техническая диагностика.- М.: Высшая школа, 1975.- 207с.

37. Музыкин Н., Родионова Ю.М. Моделирование динамических систем.- Ярославль: Верх.-Волж. кн. изд-во, 1984.-304 с.

38. Нейроинформатика / Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. - Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с.

39. Нейрокомпьютеры в системах обработки сигналов. Кн. 9. Коллективная монография / Под ред. Ю.В. Гуляева и А.И. Галушкина.- М.: Радиотехника, 2003.-224 с : ил. (серия «Нейрокомпьютери и их применение»).

40. Нейронная сеть - оружие финансиста / Масалович А. И. // Internet: http://www.redline.ru/papers/pcweek/01 pcweek95/91 .html

41. Основы научных исследований: Учеб. для техн. вузов/ В.И. Крутов, И.М. Грушко, В.В. Попов и др.; Под ред. В.И. Крутова, В.В. Попова.- М.: Высш. шк., 1989.- 400 с : ил.

42. Песаран М., Слейтер Л. Динамическая регрессия: Теория и алгоритмы / Пер. с англ. Д.В. Певцова, И.В. Полякова; под ред. Э.Б. Ершова.-М.: Финансы и статистика, 1984.- 310 с , ил.-(Математико-статистические методы за рубежом),

43. Подбельский В.В. Язык C++: Учеб. пособие.- 2-е изд., перераб. и доп.- М.: Финансы и статистика, 1996.- 560 с : ил.

44. Половинкин А.И. Методы инженерного творчества. - Волгоград, 1980.-250с.

46. Построение экспертных систем: Пер. с англ./ Под ред. Ф. Хейса-Рота, Д. Уотермана, Д. Лената.- М.: Мир, 1987.- 441 с, ил.

47. Проблемы формализации диагностики отравлений / Шкурина Г.Л., Панченко Д.П. // Концептуальное проектирование в образовании, технике и технологии: Межвуз.сб.науч.тр./ ВолгГТУ. - Волгоград, 2001.-С 65.

48. Программы для ЭВМ. Базы данных. Топологии интеграпьных микросхем. Официальный бюллетень Российского агентства по патентам и товарным знакам. Москва. ФИПС. 2001-2002 гг.

49. Разработка системы диагностики отравлений на основе нейроподобных сетей / Филатов Б.Н., Шкурина Г.Л., Буланова Е.В., Панченко Д.П. // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара.-2001.- 190-191.

50. Распознавание. Классификация. Прогноз: Математические методы и их применение. М.:Наука.- 1988.

51. Распознавание. Классификация, Прогноз: Математические методы и их применение. М.:Наука.- 1989.

52. Самищенко С. Судебная медицина: Учебник для юридических вузов.-М.: ОСКПалек, 1998.-625 с.

53. Система диагностики отравлений химическими веществами / Панченко Д.П. // VI региональная конференция молодых исследователей волгоградской области: Тезисы докладов. -Волгоград, 2002. - 149.

54. Славин М. Б. Методы системного анализа в медицинских исследованиях.-М.: Медицина, 1989.-304 с : ил.

55. Сложность вычислений и алгоритмов / под ред. В.А. Козмидиади, А.Н. Маслова, Н.В. Петри.- М.: Мир, 1974. (Библиотека «Кибернетического сборника»)

56. Современные направления развития нейрокомпьютерных технологий в России / Галушкин А. И. // Открытые системы. №4, 1997 г., с. 25-28.

57. Статистический словарь / Гл. ред. М.А. Королев.- 2-е изд., перераб. и доп.- М.: Финансы и статистика.- 1989.- 623 с : ил. ISBN 5-279-00229-1.

58. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И. Галушкина.- М.: ИПРЖР, 2000.- 416 с : (Нейрокомпьютеры и их применение)

59. Технология системного моделирования/ Е.Ф. Аврамчук, А.А. Вавилов, СВ. Емельянов и др.; Под общ. ред. СВ. Емельянова и др.- М.: Машиностроение; Берлин: Техник, 1988.-520 с: ил.

60. Тихонов А.Ф., Тихонова Л.Н. Visual FoxPro 5.О.- М.: Восточная Книжная Компания, 1997.- 464 с - (сер. "Без проблем!")

61. Уидроу Б., Стирнз Адаптивная обработка сигналов: Пер. с англ.- М,: Радио и связь, 1989. 440 с : ил.

62. Уоссермен Ф. Нейрокомпьютерная техника:теория и практика / Пер. с англ. - М.: Мир, 1992. - 105с.

63. Фондовый рынок и нейросети / B.C. Степанов // Мир ПК. №12, 1998 г.

64. Фролов А.Б. Модели и методы технической диагностики.- М.: Знание, 1990.- 47 с : ил., 24см.-(Новое в жизни, науке, технике. Математика. Кибернетика; 4/1990).

65. Фролов А.В., Фролов Г.В. Разработка приложений для Internet. Microsoft Visual C++ и MFC. (В среде Windows 95 и Wndows NT).- М.: ДИАЛОГ-МИФИ, 1997.- 286 с - (Библиотека системного программиста; Т.31)

66. Хакен Г. Синергетика / под ред. Ю.Л. Климонтовича, СМ. Осовца: пер. с англ.-М.: Мир, 1980.-404с.

67. Цикритзис Д., Лоховски Ф. Модели данных / Пер. с англ.- М.: Финансы и статистика, 1985.- 344 с, ил.

68. Чан Т. Системное программирование на C++ для UNIX : Пер. с англ.- Киев: Издательская группа BHV, 1999.- 592 с.

69. Электронный учебник. Нейронные сети. / Internet: http://www.statsoft.ru\textbook\modules\stneunet.html

70. Battiti R. First and second order methods for learning: Between steepest descent and Newton's method. // Neural Computation. 1992. Vol. 4, N2. P. 141-166.

71. Beale E. M. L. A derivation of conjugate gradients in F. A. 1.ootsma.// Numerical methods for nonlinear optimization. London: Academic Press, 1972.

72. Charalambous С Conjugate gradient algorithm for efficient training of artificial neural networks// IEEE Proceedings. 1992. Vol. 139, N3 . P. 301-310

73. Dennis J. E., Schnabel R. B. Numerical Methods for Unconstrained Optimization and Nonlinear Equations. Englewood Cliffs, NJ: Prentice-Hall, 1983

74. Fletcher R., Reeves С M. Function minimization by conjugate gradients// Computer Journal. 1964. Vol. 7. P. 149-154

75. Hagan M. Т., Demuth H. В., Beale M.H. Neural Network Design. Boston, MA: PWS Publishing, 1996.

76. Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm// IEEE Transactions on Neural Networks. 1994. Vol. 5, N6. P. 989-993

77. Kosko, B. Neural Networks and Fuzzy Systems: a dynamical systems approach to machine intelligence. /Prentice Hall, Englewood Cliffs, New Jersey 1991.

78. Moller M. F. A scaled conjugate gradient algorithm for fast supervised learning//Neural Networks. 1993. Vol. 6. P. 525-533.

79. Powell M. J. D. Restart procedures for the conjugate gradient method//Mathematical Programming. 1977. Vol. 12. P. 241-254.

80. Scales L. E. Introduction to Non-Linear Optimization. New York: Springer-Verlag, 1985.