Методика построения нейросетевых прогнозирующих моделей на основе анализа реконструированных аттракторов тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Борисов, Юрий Юрьевич

• Борисов, Юрий Юрьевич
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Борисов, Юрий Юрьевич

ВВЕДЕНИЕ.

ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ НЕЙРОСЕТЕВЫХ ПРОГНОЗИРУЮЩИХ МОДЕЛЕЙ НЕЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ.

1.1. Обзор методов моделирования нелинейных динамических систем.

1.1.1. Методы качественной теории нелинейных систем.

1.1.2. Построение инвариантных характеристик по наблюдаемым данным

1.1.3. Реконструкция систем по экспериментальным данным.

1.2. Нейросетевые методы моделирования.

1.2.1. Обучение нейронных сетей.

1.2.2. Математические основы алгоритма обратного распространения ошибки.

1.2.3. Алгоритм обратного распространения ошибки.

1.2.4. Критерии качества функционирования нейронных сетей.

Выводы по главе.

ГЛАВА 2. ИССЛЕДОВАНИЕ ДИНАМИЧЕСКИХ СИСТЕМ С ПОМОЩЬЮ АНАЛИЗА СТРУКТУР ЛОКАЛЬНЫХ ОКРЕСТНОСТЕЙ НА ВОССТАНОВЛЕННЫХ АТТРАКТОРАХ.

2.1. Система формального описания окрестности на восстановленном аттракторе.

2.2. Методика предобработки локальных окрестностей.

2.2.1. Усредненные характеристики локальной окрестности.

2.2.2. Взвешенное усреднение компонентов локальной окрестности.

2.2.3. Дискретное косинусное преобразование.

2.2.4. Ошибки прогноза ближайших соседних траекторий.

2.2.5. Комбинированная методика предобработки.

2.3. Процесс построения и функционирования нейросетевой прогнозирующей модели.

2.3.1. Математические основы градиентных методов обучения нейронных сетей.

2.3.2. Ньютоновские алгоритмы оптимизации.

2.3.3. Методика построения нейросетевых прогнозирующих моделей.

Выводы по главе.

ГЛАВА 3. МЕТОДИКА УЛУЧШЕНИЯ КАЧЕСТВА ПРОГНОЗИРОВАНИЕ

3.1. Концепция детерминированных и случайных областей фазового пространства.

3.2. Методика пошаговой реконструкции.

3.2.1. Формальное описание процесса реконструкции.

3.2.2. Основная идея методики пошаговой реконструкции.

3.2.3. Метод количественной оценки локальной устойчивости траекторий на аттракторе.

3.2.4. Критерии качества реконструкции.

3.2.5. Методика локального прогнозирования.

3.3. Применение методики пошаговой реконструкции.

3.3.1. Визуализация структурной устойчивости прогнозирующих моделей

3.3.2. Прогнозирование одномерных временных рядов.

3.4. Улучшение качества прогнозирования.

3.4.1. Метод оценки параметра доходности в задаче портфельного инвестирования.

Выводы по главе.

ГЛАВА 4. ТЕХНОЛОГИЯ ЭКСПЕРИМЕНТАЛЬНОГО МОДЕЛИРОВАНИЯ НЕЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ ПО НАБЛЮДАЕМЫМ ДАННЫМ.

4.1. Особенности аппаратно-программной реализации методов исследования динамических систем.

4.2. Построение прогнозирующей модели экономической системы по наблюдаемой реализации.

4.3. Применение методики пошаговой реконструкции для формирования портфеля ценных бумаг.

Выводы по главе.

Введение диссертации (часть автореферата) на тему «Методика построения нейросетевых прогнозирующих моделей на основе анализа реконструированных аттракторов»

Актуальность. Задачи прогнозирования и построения математических моделей различных процессов и явлений имеет первостепенное значение во многих областях науки и жизнедеятельности человека.

В большинстве технических, экономических и социальных системах возникают процессы, являющиеся результатом взаимодействия множества составляющих, что не позволяет строить адекватные математические модели исходя только из априорных знаний. Вместе с тем часто имеется потребность строить не модели явлений, а эволюционные модели изменений динамики конкретного процесса, являющегося наблюдаемым параметром сложной системы. Особый интерес представляют эволюционные модели, дающие качественные прогнозирующие значения моделируемого процесса. Такие модели могут быть использованы в системах принятия решений, управлении, прогнозирования и оценки качества сложных систем. Таким образом, прогнозирующие модели строятся на основании наблюдения за процессами с учетом имеющейся информации и предположений о структуре и классе системы.

Значительное время единственным доступным теоретическим и практическим средством прогнозирования временных рядов являлись статистические методы. Однако, фундаментальные ограничения статистических подходов, исходящие из сложности проверки предположений о вероятностных характеристиках и стохастических закономерностях исследуемой реализации приводят к невозможности объяснения многих явлений, и, как следствие, устранению неточных прогнозов.

В последнее время все большее развитие получает теория нелинейных динамических систем, в рамках которой разработаны методики, позволяющие по наблюдаемой скалярной реализации восстанавливать аттрактор, качественно эквивалентный исследуемой детерминированной системе. В тоже время, аппарат нейронных сетей является мощным практическим инструментом аппроксимации функций и используется во многих работах для оценки оператора эволюции исследуемых динамических систем. Однако для построения нейросетевых моделей не достаточно широко применяются современные методики нелинейной динамики.

Исследование восстановленного аттрактора позволит выбрать его наиболее информативные характеристики, минимизируя при этом размерность входного вектора и структуру нейросетевой модели.

Исследование ближайших соседних траекторий на аттракторе позволит вычислить оценку качества прогноза наблюдаемого временного ряда.

Совместное использование методов нелинейной динамики и аппарата нейронных сетей позволит разработать методику построения прогнозирующих моделей реальных технических, экономических систем.

Таким образом, разработка и исследование методов построения нейросетевых прогнозирующих моделей на основе исследования реконструированных по наблюдаемым данным аттракторов является актуальной.

Цель: разработка моделей и методик построения нейросетевых прогнозирующих моделей на основе исследования и обработки аттракторов, реконструированных по наблюдаемым данным методом Паккарда-Такенса.

Основные задачи исследования.

1. Проведение обзора методов построения нейросетевых моделей и исследования нелинейных динамических систем.

2. Обоснованный выбор подходов к структурной и параметрической идентификации эволюционных уравнений динамических систем.

3. Выбор вида моделей, учитывающих возможность локального, глобального и синтетического прогноза, идентифицируемых на основе анализа локальных окрестностей реконструированного аттрактора.

4. Разработка методики оптимальной предобработки локальных областей восстановленного аттрактора.

5. Разработка схемы построения нейросетевых прогнозирующих моделей структурно-сложных динамических систем на основе реконструированного аттрактора динамической системы.

6. Разработка методики пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства.

7. Формулировка критерия оценки качества прогноза и разработка методики выбора прогнозирующей модели в соответствии с сформулированным критерием качества.

8. Разработка программного обеспечения для прогнозирования поведения модельных и реальных практически значимых структурно-сложных динамических систем.

Объект исследования. Временной ряд, являющийся результатом функционирования структурно-сложной наблюдаемой системы, обладающий автоколебательной регулярной или хаотической динамикой для которого может быть восстановлен аттрактор.

Методы исследования. В работе используются методы теории нейронных сетей, машинного обучения, фильтрации данных, нелинейной динамики, качественной теории динамических систем и системного анализа.

Научная новизна.

Полученный в работе комплекс теоретических и практических результатов позволил создать методики построения прогнозирующих моделей на основе анализа аттракторов нелинейных динамических систем, реконструированных на основании экспериментальных данных. При этом:

1. Разработана динамическая модель, идентифицируемая по одномерной реализации на основе анализа локальных окрестностей реконструированного аттрактора, обеспечивающая построение локального, глобального и синтетического прогноза.

2. Разработана схема построения нейросетевой прогнозирующей модели динамического поведения структурно-сложной системы на основе разработанных алгоритмов предобработки локальных областей реконструированного аттрактора и выбранного метода машинного обучения.

3. Разработана методика пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства.

4. Сформулирован критерий выбора прогнозирующей модели в виде минимальной суммарной ошибки прогнозирования значений ближайших соседних траекторий реконструированного аттрактора.

Практическая ценность. На основе исследований, проведенных в диссертационной работе, реализован комплекс программных средств, позволяющий проводить идентификацию, прогнозирование и оценку инвариантных характеристик динамических систем по известным одномерным реализациям.

Реализация результатов работы. Разработанное программное обеспечение используется в учебном процессе кафедры «Управление и моделирование систем» Московского государственного университета приборостроения и информатики в рамках дисциплин «Математическое моделирование», «Моделирование систем», в учебном процесса кафедры «Прикладная математика и моделирование систем» Московского государственного университета печати по дисциплине «Применение интеллектуальных технологий в экономических системах».

Апробация результатов работы. Результаты работы докладывались и обсуждались на четырех конференциях:

- Пятой Всероссийской научной конференции молодых ученых по математическому моделированию и информационным технологиям (Новосибирск, 2004),

- Юбилейной научной конференции, посвященной 70-летию МГАПИ (Москва, 2006),

- Семинаре молодых ученых «Задачи системного анализа, управления и обработки информации» (Москва, 2006),

- Научно-методическом семинаре кафедры «Прикладная математика и моделирование систем» Московского гос. университета печати под рук. д. т. н. Е. В. Никульчева.

Публикации по теме диссертации: Основные результаты диссертации опубликованы в 6-ти работах, в том числе 2 статьи в журналах, рекомендованном ВАК РФ.

Структура и объем диссертации. Диссертация изложена на 132 с. машинописного текста, и состоит из введения, четырех глав, заключения и двух приложений.

Заключение диссертации по теме «Теоретические основы информатики», Борисов, Юрий Юрьевич

Основные результаты работы

1. Проведен обзор методов построения прогнозирующих нейросетевых моделей и исследования нелинейных динамических систем.

2. Обоснован выбор методов нелинейной динамики для проведения структурной идентификации и аппарата нейронных сетей для параметрической идентификации эволюционных уравнений динамических систем.

3. Проведен выбор вида моделей, учитывающих возможность локального, глобального и синтетического прогноза, идентифицируемых на основе анализа локальных окрестностей реконструированного аттрактора.

4. Разработана методика предобработки локальных областей восстановленного аттрактора, минимизирующая ошибку прогнозирования на тестовом множестве.

5. Разработана схема построения нейросетевых прогнозирующих моделей структурно-сложных динамических систем на основе сформированного аттрактора динамической системы.

6. Разработана методика пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства.

7. Сформулирован критерий оценки качества прогноза в виде минимальной суммарной ошибки прогнозирования значений ближайших соседних траекторий реконструированного аттрактора и разработана методика выбора прогнозирующей модели в соответствии с сформулированным критерием.

8. Разработано программное обеспечение для прогнозирования поведения модельных и реальных практически значимых структурно-сложных динамических систем.

Публикации по теме диссертации

1. Борисов Ю. Ю. Построение прогнозирующих моделей динамических систем на основе исследования окрестностей реконструированных аттракторов // Автоматизация и современные технологии.— 2007.— №2.—С. 32-37.

2. Борисов Ю. Ю. Метод пошаговой реконструкции для построения локальных прогнозирующих моделей хаотических временных рядов. // Известия вузов. Проблемы полиграфии и издательского дела. — 2007. — №2.—С.51-56.

3. Борисов Ю. Ю. Разработка системы распознавания рукописных знаков на основе применения нейросетевых технологий // 5-я Всероссийская научная конф. молодых ученых по математическому моделированию и информационным технологиям: Материалы.— Новосибирск: ИВТ СО РАН, 2004. —С. 41.

4. Борисов Ю. Ю. Применение концепции русел и джокеров для совершенствования методики локального прогнозирования хаотических временных рядов // Новые информационные технологии: Сборник трудов IX Всероссийской научно-техническоц конференции / Под ред. А. П. Хныкина.—М.: МГУПИ, 2006.— С. 9-15.

5. Борисов Ю. Ю. Разработка метода поиска структур локальных окрестностей аттракторов динамических систем для повышения точности прогнозирующих моделей // Задачи системного анализа, управления и обработки информации: Межвуз. сб. науч. трудов / Под общ. ред. М. В. Ульянова, Е. В. Никульчева.— М.: МГУП, 2006.— С. 46-53.

6. Борисов Ю. Ю. Пошаговая реконструкция локальных прогнозирующих моделей динамических систем // Вестник МГУП. — 2007. — № 3.— С.26-30.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Борисов, Юрий Юрьевич, 2007 год

1. Андронов А. А. Предельные циклы Пуанкаре и теория автоколебаний // Собрание трудов А. А. Андронова.— М.: Изд-во АН СССР, 1956.

2. Андронов А. А., Леонтович Е. А., Гордон И. И., Майер А. Г. Качественная теория динамических систем второго порядка.— М.: Наука, 1966.

3. Андронов А. А., Леонтович Е. А., Гордон И. И., Майер А. Г. Теория бифуркаций динамических систем на плоскости.— М: Наука, 1967.

4. Анищенко В. С. Знакомство с нелинейной динамикой: лекции соросовского профессора: Учебное пособие.— Саратов: Изд-во ГосУНЦ «Колледж», 2000.

5. Анищенко В. С., Астахов В. В., Вадивасова Т. Е. и др. Нелинейные эффекты в хаотических и стохастических системах / Под ред. В. С. Анищенко.— М.-Ижевск: Институт компьютерных исследований, 2003.

6. Анищенко B.C., Вадивасова Т.Е., Постнов Д.Э., Сафонова М.А. Внешняя и взаимная синхронизация хаоса // Радиотехника и электроника.— 1991.— Т.36.— С.338.

7. Анищенко B.C., Павлов А.Н., Янсон Н.Б. Реконструкция динамических систем в приложении к защите информации // ЖТФ.— 1998.— т.68.— №12.

8. Арнольд В. И. Доказательство теоремы Колмогорова о сохранении условно-периодических движений при малом изменении функции Гамильтона //УМН.— 1963.—Т. 18.—Вып. 5 (113).—С. 130.

9. Арнольд В. И. Малые знаменатели и проблема устойчивости движения в классической и небесной механике // УМН.— 1963.—■ Т. 18.— Вып. 6(114)—. С. 81-192.

10. Ахромеева Т.С., Курдюмов С.П., Малинецкий Г.Г., Самарский А.А. Нестационарные структуры и диффузионный хаос.— М.: Наука, 1992.

11. Баутин Н. Н., Леонтович Е. А. Методы и приемы качественного исследования динамических систем на плоскости.— М.: Наука, 1976.

12. Берже П., И. Поио, Видаль К. Порядок в хаосе. О детерминистском подходе к турбулентности: пер. с франц.— Череповец: Меркурий-ПРЕСС, 1998.

13. Беркс У. Пространство — время, геометрия, космология.— М.: Мир. 1985.

14. Биркгоф Дж. Д. Динамические системы.— М.-Ижевск: НИЦ «Регулярная и хаотическая динамика», 2002. (переизд. 1941)

15. Бланк М. JI. Устойчивость и локализация в хаотической динамике.— М.: МЦНМО, 2001

16. Блум Ф., Лейзерсон А., Хофстедтер Л., Мозг, разум и поведение, М., Мир, 1988.

17. Головко В.А. Нейроинтеллект: Теория и применения. Книга 1. Организация и обучение нейронных сетей с прямыми и обратными связями Брест:БПИ, 1999, - 260с.

18. Головко В.А. Нейроинтеллект: Теория и применения. Книга 2. Самоорганизация, отказоустойчивость и применение нейронных сетей -Брест:БПИ, 1999,-228с.

19. Головко В.А. Нейронные сети: обучение, организация и применение. Кн.4: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. -М.:ИПРЖР, 2001.256 с.

20. Горбань А.Н., В.Л.Дунин-Барковский, А.Н.Кардин и др. Нейроинформатика, Отв. Ред. Новиков Е.А., РАН, Сиб. Отд., Институт выч. Моделирования Новосибирск: Наука, 1998.

21. Горбань А.Н., Обучение нейронных сетей, М.: СП ПараГраф, 1991

22. Гукенхеймер Дж. Странный, странный аттрактор // Кн. : Марсден Дж., Мак-Кракен М. Бифуркация рождения цикла и ее приложения. Гл. 12.— М.: Мир, 1980,—С. 284-293

23. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки -1992 N 11 - N 12 - С. 103-107

24. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе //М.:МИФИ, 1998

25. Жевакин С.А. Об отыскании предельных циклов в системах, близких к некоторым нелинейным // ПММ.— 1951.— Т. 15.— Вып. 2.— С. 237244.

26. Калошин Д. А. О построении бифуркационной поверхности существования гетероклинических контуров седло-фокусов в системе Лоренца // Дифференциальные уравнения.— 2004.— Т. 40.— № 12.— С. 1705-1707

27. Капица П.Л. Динамическая устойчивость маятника при колеблющейся точке подвеса // ЖЭТФ,— 1951.— Т.21.— С.588

28. Каплан Д.Л., Йорке Дж.А. Предтурбулентность: режим, наблюдаемый в течении жидкости, описываемой моделью Лоренца // В сб. «Странные аттракторы».— М.: Мир, 1981.

29. Колмогоров А.Н. О сохранении условно-периодических движений при малом изменении функции Гамильтона // ДАН СССР.— 1954.— Т. 98.— С. 527-530.

30. Малинецкий Г. Г. Математические основы синергетики. Хаос, структуры, вычислительный эксперимент. Изд. 4-е.— М.: КомКнига, 2005.

31. Малинецкий Г.Г. Потапов А.Б. Современные проблемы нелинейной динамики.— М.: Эдиториал УРСС. 2000.

32. Малинецкий Г.Г., Курдюмов С.П. Нелинейная динамика и проблемы прогноза // Доклады РАН.— 2001,— т. 71.— № 3.— С. 210-232

33. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия Телеком, 2003

34. Музыкин С. Н., Родионова Ю. М. Моделирование систем.— М.: МГАПИ, 2004.

35. Никульчев Е. В. Качественное исследование управляемых систем с нелинейной динамикой на центральном многообразии // Вестник МГАПИ. Естественные и технические науки.— 2006.— № 1.— СЛ 50— 161.

36. Никульчев Е. В., Назаркин И. А. Обработка данных и формирование обучающей выборки для прогнозирования динамического поведениясложных технических систем // Вестник МГАПИ. Естественные и технические науки.— 2005.— №1.— С.150-161.

37. Никульчев Е. В., Волович М. Е. Модели хаоса для процессов изменения курса акций // Exponenta Pro. Математика в приложениях.— 2003.— №1.— C.49-52.

38. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и Техника, 200341.0совский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002

39. Павлов А. Н., Янсон Н. Б., Анищенко В. С. Реконструкция динамических систем // Радиотехника и электроника.— 1999.— Т.44.— №9.— С. 1075-1092.

40. Понтрягин Л.С. О динамических системах, близких к гамильтоновым // ЖЭТФ.— 1934.— Т. 4.— Вып. 9.— С. 883-885.

41. Рюэль Д., Такенс Ф. О природе турбулентности. Странные аттракторы.—М.: Мир, 1981.—С. 117-151

42. Селезнев Е. П., Захаревич А. М. Динамика нелинейного осциллятора при квазипериодическом воздействии // Письма в ЖТФ.— 2005.— Т. 31.—Вып. 17.—С. 13-18

43. Смейл С. Дифференцируемые динамические системы // Успехи мат. наук.— 1970.— Т.25.— №1С. 113-185

44. Смейл С. Математические проблемы следующего столетия // Кн.: Современные проблемы хаоса и нелинейности.— Ижевск : ИКИ, 2002.—с. 280-303

45. Соколов Е. Н., Вайтнявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. С. 283.

46. Уоссерман Ф., Нейрокомпьютерная техника: Теория и практика, М. Мир, 1992.

47. Чернышев В. Е. Сильно устойчивые слоения над контурами лоренцова типа // Вестник С.-Пб. гос. у-та. Сер. 1.— 1996.— Вып. 4 (№22).— С.44-52.

48. Шильников J1. П. К вопросу о структуре расширенной окрестности грубого состояния равновесия типа седло-фокус // Матем. сборник.— 1970.— Т. 81(123).— №1 — С. 92-103.

49. Янсон Н. Б., Павлов А. Н., Капитаниак Т., Анищенко В. С. Глобальная реконструкция по нестационарным данным // Письма в ЖТФ.— 1999.— Т.25,—Вып. 10 —С.75-81.

50. Aguirre L. A., Billings S. A. Identification of models for chaotic systems from noisy data: implications for performance and nonlinear filtering // Physica D.— 1995.—V.85.—P. 239-258.

51. Aguirre L. A., Mendes E. M. Global nonlinear polynomial models: structure, term clustering and fixed points // Int. J. Bifurc. Chaos.— 1996.— V.6(2).— P.279-294.

52. Battiti, R., "First and second order methods for learning: Between steepest descent and Newton's method," Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

53. Beale, E. M. L., "A derivation of conjugate gradients," in F. A. Lootsma, ed., Numerical methods for nonlinear optimization, London: Academic Press, 1972.

54. Bishop C.M.: Neural Networks for Pattern Recognition, Oxford University Press, 1996

55. Brawn R., Rulkov N. F., Tracy E. R. Modelling and synchronizing chaotic systems from time-series data // Pthys. Rev. E — 1994.— V.49.— P. 3784.

56. Breeden J. L., Hubler A. // Phys. Rev. A.— 1990.— V. 42,— N.10 — P.5817-5826.

57. Brent, R. P., Algorithms for Minimization Without Derivatives, Englewood Cliffs, NJ: Prentice-Hall, 1973.61 .Cao L. Practical method for determining the minimum embedding dimension of a scalar time series // Physcai D.— 1997.— V.l 10.— P.43-50.

58. Caudill, M., and C. Butler, Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: the MIT Press, 1992.

59. Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

60. Charalambous, C.,"Conjugate gradient algorithm for efficient training of artificial neural networks," IEEE Proceedings, vol. 139, no. 3, pp. 301-310, 1992.

61. Chen, S., C. F. N. Cowan, and P. M. Grant, "Orthogonal least squares learning algorithm for radial basis function networks," IEEE Transactions on Neural Networks, vol. 2, no. 2, pp. 302-309, 1991.

62. Chua L. O., Komyro M., Matsumoto T. The double scroll family // IEEE Trans. Circuits Syst., CAS-33, 1986.—P. 1072.

63. Chua's Circuit: a Paradigm for Chaos, ed. R.N.Madand.— World Sci. Ser. on Nonlinear Sci. Series В. V. 1., 1993.

64. Cremers X., Hubler A. // Z. Naturforschung A.— 1987.— V. 42.— P.797-802.

65. Crutchfield J.P., McNamara B.S. // Complex Systems.— 1987,— V. 1 .— P.417-452.

66. DARPA Neural Network Study, Lexington, MA: M.I.T. Lincoln Laboratory, 1988.

67. Dennis, J. E., and R. B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, Englewood Cliffs, NJ: Prentice-Hall, 1983.

68. Elman, J. L.,"Finding structure in time," Cognitive Science, vol. 14, pp. 179211, 1990.

69. Fletcher, R., and С. M. Reeves, "Function minimization by conjugate gradients," Computer Journal, vol. 7, pp. 149-154, 1964.

70. Foresee, F. D., and M. T. Hagan, "Gauss-Newton approximation to Bayesian regularization," Proceedings of the 1997 International Joint Conference on Neural Networks, pages 1930-1935, 1997.

71. Gill, P. E., W. Murray, and M. H. Wright, Practical Optimization, New York: Academic Press, 1981.

72. Gouesbet G, Maquet X. // Physica D.— 1992,— V. 58.— P. 202-215

73. Gouesbet G, Letellier C. // Phys. Rev. E.— 1994.— V.49.— P. 4955^972.

74. Grossberg, S., Studies of the Mind and Brain, Drodrecht, Holland: Reidel Press, 1982.

75. Hagan, M. Т., and M. Menhaj, "Training feedforward networks with the Marquardt algorithm," IEEE Transactions on Neural Networks, vol. 5, no. 6, pp. 989-993,1994.

76. Hagan,M.T. and H.B. Demuth, "Neural Networks for Control," Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp. 16421656.

77. Hebb, D. 0., The Organization of Behavior, New York: Wiley, 1949.

78. Himmelblau, D. M., Applied Nonlinear Programming, New York: McGraw-Hill, 1972.

79. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and P.J. Gawthrop, Neural Networks for Control System A Survey," Automatica, Vol. 28, 1992, pp. 1083-1112.

80. Jolliffe, I. Т., Principal Component Analysis, New York: Springer-Verlag, 1986.

81. Kohonen, Т., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.

82. Kohonen, Т., Self-Organizing Maps, Second Edition, Berlin: Springer-Verlag, 1997.

83. Li, J., A. N. Michel, and W. Porod, "Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube," IEEE Transactions on Circuits and Systems, vol. 36, no. 11, pp. 1405-1422, 1989.

84. Lippman, R. P., "An introduction to computing with neural nets," IEEE ASSP Magazine, pp. 4-22, 1987.

85. Lisboa, P J G (ed.) (1992): Neural Netowrks: Current Applications, Chapman & Hall, London

86. Lorenz E. N. Deterministic Nonperiodic Flow // J. Atmos. Sci.— 1963.— V.20.— P.130-141

87. MacKay, D. J. C., "Bayesian interpolation," Neural Computation, vol. 4, no. 3, pp. 415-447, 1992.

88. McCulIoch, W. S., and W. H. Pitts, "A logical calculus of ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, pp. 115-133, 1943.

89. Moller, M. F., "A scaled conjugate gradient algorithm for fast supervised learning," Neural Networks, vol. 6, pp. 525-533, 1993.

90. Murray, R., D. Neumerkel, and D. Sbarbaro, "Neural Networks for Modeling and Control of a Non-linear Dynamic System," Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404-409.

91. N. Purdie, E.A. Lucas and M.B. Talley, "Direct measure of total cholesterol and its distribution among major serum lipoproteins," Clinical Chemistry, vol. 38, no. 9, pp. 1645-1647, 1992.

92. Narendra, K.S. and S. Mukhopadhyay, "Adaptive Control Using Neural Networks and Approximate Models," IEEE Transactions on Neural Networks Vol. 8, 1997, pp. 475-485.

93. Nguyen, D., and B. Widrow, "The truck backer-upper: An example of self-learning in neural networks," Proceedings of the International Joint Conference on Neural Networks, vol 2, pp. 357-363, 1989.

94. Packard, N. H., Crutchfield, J. P., Farmer, J. D., Shaw, R. S. Geometry from a time series // Phys. Rev. Lett.— 1980.— V.45.— P.712-716.

95. Powell, M. J. D., "Restart procedures for the conjugate gradient method," Mathematical Programming, vol. 12, pp. 241-254, 1977.

96. Pragas K. Continuous control of chaos by self-controlling feedback // Phys. Lett. A. — 1992.— V.170.— P.421-428.

97. Riedmiller, M., and H. Braun, "A direct adaptive method for faster backpropagation learning: The RPROP algorithm," Proceedings of the IEEE International Conference on Neural Networks, 1993.

98. Rosenblatt, F., Principles of Neurodynamics, Washington D.C.: Spartan Press, 1961.

99. Rosenstein M. Т., Collins J. J., De Luca C. J. Reconstruction expansion as a geometry-based framework for choosing proper delay times // Physica D.— 1994.— V.73.— P.82-98.

100. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation,", in D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1, Cambridge, MA: The M.I.T. Press, pp. 318-362, 1986.

101. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning representations by back-propagating errors," Nature, vol. 323, pp. 533-536, 1986.

102. Rumelhart, D. E., J. L. McClelland, and the PDP Research Group, eds., Parallel Distributed Processing, Vols. 1 and 2, Cambridge, MA: The M.I.T. Press, 1986.

103. Rychlik M. Lorenz attractors through a Shilnikov-type bifurcation, Part 1. Ergodic theory dynamical systems— 1989.— V.10.—P.793-821.

104. Sauer T. Reconstruction of dynamical systems from interspike intervals // Phys. Rev. Lett.— 1994,— V.72.— P.3811-3814.

105. Scales, L. E., Introduction to Non-Linear Optimization, New York: Springer-Verlag, 1985.

106. Soloway, D. and P.J. Haley, "Neural Generalized Predictive Control," Proceedings of the 1996 IEEE International Symposium on Intelligent Control, 1996, pp. 277-281.

107. Sparrow C. The Lorenz equations : Bifurcations, chaos and strange attractors-N.-Y.: Springer Verlag, 1982.

108. Takens F. Detecting strange attractors in turbulence // Dynamical Syst. and Turbulence / Eds.: Rand D.A., Young L.-S.— Berlin: Springer, 1981.— P. 366-381.

109. Takens F. Detecting nonlinearities in stationary time series // Int. J. of Bifurcation and Chaos.— 1993,—V.3.— P.241-256.

110. Vogl, T. P., J. K. Mangis, A. K. Rigler, W. T. Zink, and D. L. Alkon, "Accelerating the convergence of the backpropagation method," Biological Cybernetics, vol. 59, pp. 256-264, 1988.

111. Wasserman, P. D., Advanced Methods in Neural Computing, New York: Van Nostrand Reinhold, 1993.

112. Widrow, В., and M. E. Hoff, "Adaptive switching circuits," 1960 IRE WESCON Convention Record, New York IRE, pp. 96-104, 1960.

113. Widrow, В., and S. D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.

114. Williams R. F. The structure of the Lorenz attractors // Publ. Math. IHES.— 1979.— V.50.— P.321-347

115. Wolf, A., J.B. Swift, L. Swinney, J.A. Vastano, Determining Lyapunov exponents from a time series // Physica D.— 1985.— V.16.— P.285-317.

116. Yorke J. A., Yorke E. D. Metastable chaos : the transition to sustained chaotic oscillations in a model of Lorenz // J. Stat. Phys.—1979.—V.21.— P.263-267.