Исследование и разработка автоматизированных систем прогнозирования на основе методов теории нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Яковлева, Галина Леонтьевна

  • Яковлева, Галина Леонтьевна
  • кандидат технических науккандидат технических наук
  • 2000, Москва
  • Специальность ВАК РФ05.13.06
  • Количество страниц 219
Яковлева, Галина Леонтьевна. Исследование и разработка автоматизированных систем прогнозирования на основе методов теории нейронных сетей: дис. кандидат технических наук: 05.13.06 - Автоматизация и управление технологическими процессами и производствами (по отраслям). Москва. 2000. 219 с.

Оглавление диссертации кандидат технических наук Яковлева, Галина Леонтьевна

Обозначения.

Введение.

Глава 1. Анализ и классификация существующих автоматизированных систем прогнозирования. Методика построения автоматизированных систем прогнозирования, решающих задачу регрессионного анализа.

1.1. Анализ и классификация существующих автоматизированных систем прогнозирования.

1.2 Основные особенности автоматизированных систем прогнозирования

1.3. Требования к функциональным возможностям автоматизированных систем прогнозирования, решающих задачи регрессионного анализа

1.4. Обобщенная методика построения автоматизированных систем прогнозирования, решающих задачи регрессионного анализа.

Выводы по главе 1.

Глава 2. Математические модели, методы и алгоритмы автоматизированных систем прогнозирования, решающих задачи регрессионного анализа.

2.1. Операции над временными рядами, определенные для преобразования исходных данных прогнозируемой величины и аргументов.

2.2. Описание функций и моделей, предоставленных для реализации аппроксимирующей функции.

2.2.1. Описание нелинейных функций, применяемых в нейросетевом анализе.

2.2.2. Описание нелинейных функций, полученных в рамках теории детерминированного хаоса.

2.3. Представление аппроксимирующей функции в виде двухслойной, неоднородной, искусственной нейронной сети.

2.4. Разложение двухслойной нейронной сети на потоки. Обобщенный алгоритм обучения двухслойной нейронной сети.

2.5. Методы и алгоритмы обучения многослойных, искусственных нейронных сетей.

2.5.1. Линейный регрессионный анализ.

2.5.1.1. Применение метода наименьших квадратов в линейном регрессионном анализе.

2.5.1.2. Применение метода гребневой оценки в линейном регрессионном анализе.

2.5.2. Универсальный метод обучения многослойных, искусственных нейронных сетей - метод обратного распространения ошибки

2.5.3. Методы безусловной минимизации, использующие производные функции.

2.5.3.1. Краткое описание метода градиентного спуска.

2.5.3.2. Краткое описание метода наискорейшего спуска.

2.5.3.3. Краткое описание метода сопряженных градиентов.

2.5.3.4. Краткое описание метода Ньютона.

2.5.3.5. Краткое описание квазиньютоновских методов.

2.5.4. Методы обучения Коши и Больцмана.

2.5.5. Разработанные методы обучения многослойных нейронных сетей, созданные на основе методов обратного распространения ошибки, безусловной минимизации, использующих градиент функции, и обучения Коши.

2.5.6. Алгоритм метода обратного распространения ошибки, усовершенствованный с помощью метода обучения Коши.

2.5.7. Обобщенные алгоритмы методов безусловной минимизации, использующих производные функции, усовершенствованные с помощью метода обучения Коши.

2.6. Определение значимости параметров и входных сигналов с целью сокращения множества аргументов прогноза.

2.6.1. Определение значимости параметров и входных сигналов на основании функции оценки.

2.6.2. Определение значимости параметров и входных сигналов по изменению выходных сигналов.

2.7. Проверка возможности с помощью заданной нейронной сети реализовать полученную функцию.

Выводы по главе 2.

Глава 3. Разработка программного комплекса автоматизированных систем прогнозирования, решающих задачу регрессионного анализа.

3.1. Требования к проектированию и реализации автоматизированных систем прогнозирования, решающих задачи регрессионного анализа

3.2. Проектирование размещения типовых компонент автоматизированных систем прогнозирования.

3.3. Разработка информационного, программного и методического обеспечения модулей сервера приложений, образующих ядро исследуемых автоматизированных систем прогнозирования.

3.3.1. Обоснование выбора средств разработки библиотек сервера приложений автоматизированной системы прогнозирования.

3.3.2. Описание библиотек сервера приложений автоматизированных систем прогнозирования, решающих задачи регрессионного анализа.

3.3.3. Классификация таблиц БД, с которыми работают функции библиотек сервера приложений автоматизированных систем прогнозирования.

3.3.4. Методическое обеспечение.

Выводы по главе 3.

Глава 4. Создание автоматизированной дилинговой системы с использованием библиотек ядра автоматизированных систем прогнозирования.

4.1. Описание задач, решаемых автоматизированными дилинговыми системами. Определение подсистем, входящих в состав автоматизированной дилинговой системы.

4.1.1. Задачи, решаемые автоматизированными дилинговыми системами.

4.1.2. Определение подсистем, входящих в состав автоматизированной дилинговой системы. Требования к функциональным возможностям подсистем.

4.2. Описание функциональных возможностей подсистем автоматизированной дилинговой системы.

4.2.1. Описание функциональных возможностей подсистемы ввода данных.

4.2.2. Описание функциональных возможностей подсистемы технического анализа рынка.

4.2.3. Описание функциональных возможностей подсистемы прогноза тенденций финансовых рынков.

4.2.4. Описание функциональных возможностей подсистемы оптимального распределения свободных средств инвестора.

4.2.4.1. Решение задач оптимального распределения свободных средств инвестора для модели Блека.

4.2.4.2. Решение задач оптимального распределения свободных средств инвестора для модели Марковица.

4.3. Разработка программного комплекса автоматизированной дилинговой системы.

4.3.1. Выбор информационного и системного программного обеспечения, аппаратного обеспечения и средств разработки клиентских приложений АДС.

4.3.1.1. Обоснование выбора сервера СУБД для работы с автоматизированной дилинговой системой.

4.3.1.2. Обоснование выбора операционных систем для работы с автоматизированной дилинговой системой.

4.3.1.3. Обоснование выбора средств разработки клиентских приложений автоматизированной дилинговой системы.

4.3.1.4. Обоснование выбора аппаратного обеспечения автоматизированной дилинговой системы.

4.3.1.4.1. Серверы на базе Intel-процессоров.

4.3.1.4.2. Серверы на базе RISC-процессоров.

4.3.1.4.3. Нейрокомпьютеры.

4.3.2. Типовые реализации автоматизированной дилинговой системы

4.3.3. Состав приложений клиента. Взаимодействие приложений типовых компонент автоматизированной дилинговой системы

4.3.4. Описание потоков данных автоматизированной дилинговой системы.

4.3.5. Методическое обеспечение автоматизированной дилинговой системы.

Выводы по главе 4.

Глава 5. Экспериментальные исследования работы автоматизированной дилинговой системы.

5.1. Описание задач, поставленных перед экспериментальными исследованиями.

5.2. Сравнение качества аппроксимации зависимости прогнозируемой величины от аргументов прогноза с помощью двухслойной и трехслойной нейронных сетей.

5.3. Оценка величины линейной составляющей зависимости прогнозируемой величины от множества аргументов прогноза.

5.4. Исследование качества аппроксимации искомой нелинейной составляющей посредством различных функций из предоставляемого АСП набора.

5.5. Сравнение качества обучения двухслойной нейронной сети с помощью различных методов и алгоритмов.

5.6. Иллюстрация работы подсистемы оптимального распределение свободных средств инвестора для различных классов портфеля и задач инвестора.

Выводы по главе 5.

Рекомендованный список диссертаций по специальности «Автоматизация и управление технологическими процессами и производствами (по отраслям)», 05.13.06 шифр ВАК

Введение диссертации (часть автореферата) на тему «Исследование и разработка автоматизированных систем прогнозирования на основе методов теории нейронных сетей»

Представляемая диссертационная работа посвящена вопросам создания автоматизированных систем прогнозирования (АСП). Данный класс систем включает в себя системы, использующие при прогнозе различный математический аппарат (статистический анализ, анализ Фурье, трендовый анализ и т.д.), для реализации которого используется широкий спектр методов и алгоритмов. Поэтому задача была сужена, и в данной работе рассматриваются только АСП, решающие задачи регрессионного анализа с использованием элементов теории нейронных сетей.

Одной из наиболее часто встречающихся проблем, встающих перед учеными различных специальностей, является проблема нахождения зависимости между некоторым набором величин, описывающих поведение объекта. Эта зависимость может быть выведена из теории и (или) может быть получена на основании экспериментальных исследований. Если зависимость выведена из теоретических соображений, то довольно часто она может быть представлена в аналитическом виде, заданном с точностью до нескольких неизвестных параметров. Если же в основе построения зависимости лежат экспериментальные исследования, то параметрическая зависимость постулируется. В любом случае при построении математической модели должны использоваться данные об исследуемом объекте, на основании которых мог бы быть сделан вывод о достаточной точности описания объекта моделью.

Далее приведена постановка задачи, решаемой исследуемыми АС.

Имеется некоторый объект прогноза, он обладает следующими свойствами. Совокупность числовых характеристик Z, описывающих или влияющих на поведение объекта прогноза, можно представить как множество векторов характеристик zq (q = 1, ., I), каждый элемент которых - значение q-ой характеристики в tj момент времени, т.е. значения характеристик получены в дискретные моменты времени. Совокупность возможных прогнозируемых величин W является подмножеством Z.

Пусть на прогнозируемую величину wg оказывают влияние аргументы прогноза zq (q = 1,., m) m < I, при чем изменение прогнозируемой величины наступает через время At после соответствующих изменений аргументов прогноза. Естественно, что даже в самых простых случаях невозможно учесть все факторы, влияющие на изменение состояния объекта прогноза, поэтому в данной работе считается, что определены все наиболее значимые аргументы zq (q = 1,., m) для рассматриваемой прогнозируемой величины wg. Значения прогнозируемой величины wg известны в точках t, + At (i = 1.п), они образуют вектор известных значений прогнозируемой величины Y = (wg\ ., wgn), элементы которого обозначают у, (i = 1,., п).

Значения аргументов прогноза {z1.zj известны в моменты времени tj (i = 1,., n + 1), они образуют матрицу аргументов прогноза X = IIZq'H (i = 1, ., n), (q = 1,m), элементы которой обозначают xqj (i = 1.n), (q = 1.m), и вектор х(п+1) = (х.,(п+1),., xm(n+1)).

В задаче необходимо определить у(п+1), т.е. значение прогнозируемой величины wg в точке t(n+i)+At.

Описанная выше задача является задачей регрессионного анализа. Можно выделить следующие этапы ее решения:

1) формирование аппроксимирующей функции F(x, а), где а - вектор неизвестных параметров, х - вектор аргументов прогноза размерностью пл;

2) определение неизвестных параметров а, обеспечивающих наилучшую аппроксимацию согласно определенному критерию качества, в данной работе предложен метод наименьших квадратов (МНК), тогда целевая функция:

Q(a) = E(yi-F(xi, a))->min; (1) i=i

3) вычисление прогнозируемого значения y(n+1) = F(x(n+1), а) и погрешности прогноза в.

Несмотря на идентичность математического обеспечения, существующие АС, решающие задачи регрессионного анализа при прогнозировании, ориентированы на решение задач конкретной предметной области. Поэтому определение обобщенной методики построения данных АС является актуальной задачей.

При определении методики построения АСП были определены следующие задачи, подлежащие решению в рамках работы:

1. Разработка набора функций для формирования аппроксимирующей функции F(x, а), позволяющего создавать эффективно работающие модели. В существующих АС либо реализованы функции, адаптированные для решения конкретных задач прогнозирования, либо, как в случае нейропакетов, считается, что предлагаемые функции могут использоваться для решения самого широкого круга задач, адаптация к условиям задачи происходит при проектировании архитектуры нейросети.

Хотя в последняя время был проведен ряд исследований, показавших, что в рамках теории детерминированного хаоса можно получить ряд моделей, способных успешно прогнозировать развитие событий для целого класса объектов (говорят, что данные объекты прогноза проявляют детерминированный хаос, примером таких объектов являются финансовые рынки), на практике хаотические модели почти не используются. Все вышеизложенное определяет необходимость создания эффективно работающих моделей при прогнозировании поведения различных объектов.

Для создания аппроксимирующей функции F(x, а) в работе реализованы линейная функция и нелинейные функции, обладающие следующими свойствами: во-первых, везде дифференцируемы и непрерывны, во-вторых, являются гладким отображением (-<», +<*>) на некоторый ограниченный отрезок. Аргументами данных функций являются скалярные произведения векторов аргументов прогноза х1 (i = 1,., п) и неизвестных параметров а. Нелинейные функции можно разделить на два класса: хорошо зарекомендовавшие себя в нейросетевом анализе для решения широкого круга задач и полученные в рамках теории детерминированного хаоса. Теория детерминированного хаоса подробно изложена в работах [3, 4, 6, 55, 83, 90, 115], ее приложение к анализу финансовых рынков описано в работах [59, 103].

2. Определение правил формирования F(x, а). При реализации F(x, а) нейронной сетью определение архитектуры предлагаемой нейромодели.

В работе широко используются элементы теории нейронных сетей, поэтому далее приведены ее основные понятия и терминология.

В нейросетевой терминологии совокупность значений прогнозируемой величины и соответствующих им значений аргументов прогноза, использующаяся для обучения нейронной сети, называется обучающей выборкой (другими словами -это точки, по которым строится аппроксимирующая функция), известные значения прогнозируемой величины называются требуемыми выходными сигналами нейронной сети, вектора аргументов прогноза (каждый вектор соответствует требуемому выходному сигналу) - входными сигналами.

Базовым строительным блоком в нейронных сетях является нейрон. Существует несколько видов нейронов, в представляемой работе рассматривается только нейрон, полученный последовательным соединением адаптивного сумматора с преобразователем, его структура представлена на рис. 1. т Еах т ЧЩх) i=1

2 i=1 -ь f

-► нН

Рис. 1 Нейрон, состоящий из последовательно соединенных сумматора и преобразователя

Адаптивный сумматор 2 вычисляет скалярное произведение вектора входного сигнала х (аргументы прогноза) и вектора неизвестных параметров а. Адаптивный сумматор можно разложить на набор из m параллельных линейных связей и следующий за ними простой сумматор. Линейная связь (синапс) имеет один настраиваемый параметр а„ получает на входе скалярный сигнал X; и выдает на выходе а^ (i = 1,., m). Преобразователь выполняет некоторое, определенное в нем функциональное преобразование над полученным с помощью адаптивного сумматора скалярным произведением. Поэтому нейрон, реализующий линейную функцию, собственно не является нейроном, т.к. содержит только адаптивный сумматор. Но для единообразия далее он также называется нейроном и считается, что его функция f равна 1. В общем случае выходной сигнал нейрона может рассылаться по нескольким адресам, т.е. иметь точку ветвления.

Каждая нейронная сеть имеет свою архитектуру (порядок расположения, тип и количество нейронов), систему предобработки и подачи входных сигналов, способ интерпретации ответов, правила настройки параметров и тип решаемых задач. При программной реализации на ЭВМ представляют интерес только синхронно функционирующие в дискретные моменты времени нейронные сети. Существует огромное количество типов архитектур нейронных сетей. Основными архитектурами считаются сети с обратными и без обратных связей (слоистые сети).

Многослойные нейросети без обратных связей: нейроны расположены в несколько слоев (см. рис. 2). Нейроны первого слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам второго слоя и т.д. до j-ro, который выдает выходные сигналы. Если не оговорено противное, то выходной сигнал каждого нейрона i-ro слоя подается на вход каждого нейрона i + 1-го. Число нейронов в каждом слое может быть любым. Стандартный способ подачи входных сигналов: все нейроны первого слоя получают каждый входной сигнал. Количество слоев обычно определяется по количеству слоев параметров.

Входные сигналы Выходные

Слой 1 Слой2 Cjl0*j

Рис. 2 Структура многослойной сети без обратных связей

Нейросети с обратными связями: данные нейронные сети имеют пути, передающие сигналы от выходов к входам. Крайним вариантом нейросетей с обратными связями являются полносвязные сети: каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе, выходными сигналами могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

На сегодняшний день существует огромное разнообразие архитектур и принципов функционирования нейронных сетей, не рассмотренных выше, вот только некоторые из них: однородные и неоднородные сети, монотонные нейросети, сети Хопфилда, сети с двунаправленной ассоциативной памятью, адаптивные нейросети и т.д. Для ознакомления с наиболее распространенными классами нейронных сетей рекомендуются работы [1, 11, 14, 30, 38, 51, 58, 61, 66, 72-74, 77, 96, 98, 107, 111, 117].

В работе для реализации функции, аппроксимирующей зависимость прогнозируемой величины от аргументов прогноза, предлагается двухслойная, неоднородная, искусственная нейронная сеть без обратных связей (хотя функции, полученные на основе моделей детерминированного хаоса, зависят от выходных сигналов, полученных для предыдущих входных сигналов, данные выходные сигналы не подаются на вход нейронов, поэтому "хаотические" функции реализуются с помощью обычной двухслойной сети). Тогда функция F(x, а) строится из функций, реализуемых нейронами сети, как здание из кирпичиков. Кроме удобства представления, это предоставляет возможность использовать как алгоритмы специально разработанные для обучения нейронных сетей, так и традиционные методы минимизации. F(x, а) состоит из ноль или одной линейной функции и ноль, одной или нескольких нелинейных.

В последнее время нейронные сети и нейрокомпьютеры получили широкое распространение для решения задач в самых различных предметных областях, как то при социологическом и финансовом прогнозировании, диагностике заболеваний и т.д. Применение искусственных нейронных сетей для решения широкого круга задач, например, задач классификации, оптимизации, фильтрации, построения функций по конечному набору значений и т.д. в самых различных сферах деятельности, в том числе и финансовой, рассматривается в работах [10, 25-27, 32, 35, 40, 43, 46, 53, 71, 81, 84, 86, 93-95, 100, 109, 115, 124, 126].

3. Разработка методов и алгоритмов обучения нейронных сетей выбранного класса, позволяющих улучшить качество аппроксимации. Данная задача не зависит от предметной области. В качестве наиболее популярных, традиционных методов ее решения можно привести численные методы, методы Гаусса-Ньютона и Марквардта, методы безусловной минимизации, использующие производные функции и т.д. Методы, используемые при решении задач линейного и нелинейного регрессионного анализа, подробно описаны в работах [28, 33, 36, 54, 75], вопросы применения численных методов рассмотрены в работах [9, 21, 29, 34, 64], методам безусловной минимизации, использующим производные функции, посвящены работы [21, 47, 63].

Современные нейропакеты для решения задачи аппроксимации реализуют как специально созданные для обучения нейронных сетей методы (методы обратного распространения ошибки, обучения Коши и Больцмана), так и традиционные. Все перечисленные методы имеют свои достоинства и недостатки, и создание на их основе методов и алгоритмов, умножающих достоинства и исключающих наиболее существенные недостатки - является по сей день актуальной задачей. К тому же мало изучен вопрос: какие из методов наиболее эффективно работают в условиях рассматриваемой предметной области. Методы и алгоритмы обучения искусственных нейронных сетей изложены в работах [15, 16, 19, 20, 22-25, 31, 45, 56, 62, 70, 72, 74, 85, 97, 99, 101, 102, 105, 108, 110, 112-114, 118, 122, 123, 125, 126].

4. Определение методов оценки значимости аргументов и параметров, анализа результатов применения моделей и методов. Для многих объектов, являющихся предметом исследований, характерно изменение с течением времени найденных зависимостей между прогнозируемыми величинами и аргументами прогноза, т.е. возникает необходимость в переопределении состава аргументов прогноза zp и аппроксимирующей функции F(x, а) при прогнозировании величины wg. Поэтому в системе должны быть реализованы методы, сигнализирующие об "устаревании" используемых наборов и моделей. Использование данных методов особенно актуально, если объект прогноза характеризуется такими особенностями, как "загрязнения" в данных и их неоднородность, а также наличием малоинформативных аргументов, причем зачастую в большом количестве при относительно малом объеме статистики. Вопросы создания обучающей выборки, определения значимости входных сигналов и параметров, достаточности и неизбыточности нейронной сети для решения поставленной задачи рассмотрены в работах [13, 17, 18, 25,44, 78].

Необходимо отметить, что прогноз можно разделить на краткосрочный и долгосрочный. В случае краткосрочного прогноза считается, что все участвующие в нем аргументы на прогнозируемую дату известны и хранятся в базе данных. Горизонт краткосрочного прогноза, как правило, не превышает 3-4 дней (зависит от прогнозируемого объекта). В случае долгосрочного прогноза считается, что на прогнозируемую дату известны ожидаемые значения аргументов с некоторой погрешностью. Соответственно, погрешность определения прогнозируемой величины при долгосрочном прогнозе существенно увеличивается. Естественно, что чем дальше горизонт прогноза, тем больше погрешность ожидаемых значений аргументов и величина ошибки. Т.к. нет существенных различий в методике проведения краткосрочного и долгосрочного прогнозов, в дальнейшем данное разделение не учитывается.

Рассматриваемые АС используются в различных предметных областях, например, в промышленности, финансовой деятельности, социологии, медицине и т.д. Для них характерны следующие особенности:

- являются подсистемой АСУ организации, поэтому при реализации АСП должна быть обеспечена как можно большая независимость от аппаратно-программной платформы, что дает возможность легкой адаптации АСП к работе в условиях организаций, во-первых, различного масштаба, во-вторых, решающих специфические задачи, в-третьих, АСУ которых функционирует на базе некоторой аппаратно-программной платформы;

- работают с большими объемами данных, поступающими из разных источников;

- реализуют многоитерационные алгоритмы обработки данных.

В данной работе в качестве примера АСП, иллюстрирующего эффективность применения разработанных моделей, методов и алгоритмов, рассматривается автоматизированная дилинговая система (АДС), основными задачами которой являются прогноз тенденций финансовых рынков и разработка стратегии поведения в прогнозируемой рыночной ситуации (базовые принципы инвестирования, теории построения оптимального портфеля изложены в работах [39, 60, 87]), при чем первичной задачей является прогноз тенденций финансовых рынков. АДС предназначена для использования в организациях, активно работающих на финансовых рынках (коммерческие банки, инвестиционные фонды и т.д.).

Можно назвать следующие причины, по которым в качестве объекта прогноза выбраны финансовые рынки:

1) В последние несколько лет в нашей стране наблюдается интенсивное развитие фондового и валютного рынков. На сегодняшний день существует широкий спектр зарубежных аналогов АДС. Как правило, им свойственны следующие недостатки: во-первых, весьма дорогостоящи, во-вторых, неадаптированы к условиям российских финансовых рынков. Российские же производители программного обеспечения делают только первые несмелые шаги в этом направлении. Поэтому разработка методики построения, методов и алгоритмов АДС является актуальной задачей.

2) Финансовые рынки представляют большой интерес как объект прогноза, т.к. они являются нелинейными, динамично развивающимися системами, и согласно ряду исследований проявляют детерминированный хаос, т.е. их поведение может быть описано с помощью хаотических моделей. Поэтому финансовые рынки могут с успехом выступать в качестве объекта прогноза при исследовании эффективности применения моделей, методов и алгоритмов, разработанных и предлагаемых в данной диссертационной работе.

Целью настоящей работы является разработка для автоматизированных систем прогнозирования, решающих задачи регрессионного анализа, методов и алгоритмов, позволяющих повысить качество прогноза, с использованием элементов теории нейронных сетей.

Для достижения поставленной цели в работе предпринята попытка решения комплекса задач, в частности: научно-технических, в рамках которых проведена классификация существующих АСП, определена обобщенная методика построения АС данного класса, определены операции над временными рядами данных, посредством которых происходит предварительная обработка исходных данных, предложены математические модели, методы и алгоритмы для решения задач прогноза, на их основе разработаны модели, методы и алгоритмы АСП; прикладных, в рамках которых разработан информационно-программный комплекс, реализующий разработанные методы и алгоритмы, данный комплекс является ядром АСП, решающих задачи регрессионного анализа, на его основе разработана автоматизированная дилинговая система, предназначенная для использования в различных организациях, работающих на финансовых рынках (коммерческие банки, инвестиционные фонды и т.д.); экспериментальных, в рамках которых проведены экспериментальные исследования эффективности работы предлагаемых и реализуемых моделей, методов и алгоритмов, разработаны рекомендации.

При решении поставленных задач в работе использованы элементы теории детерминированного хаоса, математический аппарат линейного регрессионного анализа, линейной алгебры, теории нейронных сетей, теории оптимизации, нелинейного программирования, теории вероятностей, теории информационных систем и обработки данных.

Научная ценность работы состоит в следующем:

1) Для формирования функции, аппроксимирующей зависимость прогнозируемой величины от множества аргументов прогноза, разработан набор функций на основе моделей, полученных в рамках теории детерминированного хаоса.

2) Обоснованы и развиты методы теории нейронных сетей применительно для решения задачи аппроксимации искомой зависимости. Разработан обобщенный метод обучения двухслойной, неоднородной, искусственной нейронной сети с произвольным числом нейронов в первом слое путем разбиения ее на потоки.

3) Введено понятие потока, где поток - это структура, являющаяся составной частью нейронной сети и пересекающаяся с другими подобными структурами только при формировании выходного сигнала сети.

4) Разработаны методы и алгоритмы обучения многослойных, искусственных нейронных сетей, основанные на методе обратного распространения ошибки, методах безусловной минимизации, использующих производные функции, и методе обучения Коши, применяющемся для выхода из точек локальных минимумов.

Достоверность полученных научных результатов, выводов и рекомендаций диссертационной работы подтверждена результатами экспериментальных исследований разработанной АДС, проведенных на базе Казначейства Промстройбанка России. Полученные в работе результаты наглядно демонстрируют эффективность использования разработанных моделей, методов и алгоритмов для решения задач прогноза.

Естественно, что погрешность прогноза во многом зависит от значимости выбранных аргументов прогноза. При эксплуатации данной автоматизированной системы на базе Казначейства Промстройбанка России была проведена работа по выявлению наиболее значимых аргументов для финансовых рынков и их инструментов. Так, с момента внедрения системы в опытную эксплуатацию в ноябре 1998 года средняя погрешность краткосрочного прогноза цен (горизонт 1-3 дня) для рынка облигаций составила 0.21%, для рынка акций - 0.88%, для валютного рынка -1.01%, средняя погрешность долгосрочного прогноза доходности ценных бумаг и валюты с горизонтом не более 10 дней составила 4.5%. Для сравнения, в аналогичных системах средняя погрешность краткосрочного прогноза равна 3-7%, средняя погрешность более долгосрочного прогноза (до 10 дней) достигает 15%.

Практическая ценность работы состоит в том, что предложенные и разработанные модели, методы и алгоритмы позволяют реализовывать автоматизированные системы, эффективно решающие задачи прогноза.

Разработанные библиотеки ядра АСП содержат функции, решающие задачи регрессионного анализа согласно определенным условиям прогноза. Благодаря предоставленным и разработанным моделям, методам и алгоритмам, обеспечены наилучшие показатели прогноза по критерию качество/время. Созданный программный комплекс АДС позволяет: работать с различными источниками данных; проводить визуальный анализ рынка посредством индикаторов, реализованных последовательным применением операций над исходными рядами данных; выполнять прогноз поведения финансовых рынков и их инструментов; определять оптимальное распределение средств инвестора на основе прогноза ценовой динамики. При реализации информационного, аппаратного и программного обеспечения использовались результаты исследований, изложенные в работах [5, 7, 49, 52, 57, 65, 68, 69, 88, 89].

Полученные в работе результаты: математические модели, методы, алгоритмы и программы используются при прогнозировании тенденций финансовых рынков и определении структуры банковского портфеля в Казначействе Промстройбанка России. Копия акта о внедрении прилагается.

Внедрение результатов работы продолжается, они также могут быть использованы при создании иных автоматизированных систем прогнозирования, решающих задачу регрессионного анализа.

Аппробация работы: результаты были представлены на V-ой Всероссийской конференции "Нейрокомпьютеры и их применение" (Россия, Москва, 17-19 февраля 1999), конференции "Информатика и системы управления в XXI веке" (Россия, Москва, март 1999), международной конференции стран СНГ "Молодые ученые -науке, технологиям и профессиональному образованию для устойчивого развития: проблемы и новые решения" (Россия, Москва, декабрь 1999). Докладывались на семинарах "Современные информационные системы" и "Наукоемкие технологии и интеллектуальные системы" в МГТУ им. Н.Э. Баумана.

Основные результаты работы опубликованы в 7 печатных работах.

Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы и приложений. Общий объем диссертации 219 страниц, 36 рисунков, список использованных источников из 126 наименований.

Похожие диссертационные работы по специальности «Автоматизация и управление технологическими процессами и производствами (по отраслям)», 05.13.06 шифр ВАК

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Яковлева, Галина Леонтьевна

- результаты работы второго и третьего вариантов использования метода Коши для выхода из точек локального минимума идентичны при указанных соотношениях коэффициента скорости обучения, тогда как первый вариант гарантированно обеспечивает наихудшую точность аппроксимации;

- качество аппроксимации нелинейной составляющей при обучении с помощью методов наискорейшего спуска, сопряженных градиентов и ДФП идентично; наиболее быструю сходимость к точке локального минимума из трех рассматриваемых методов обеспечивает метод ДФП; наиболее стабильно работающий метод - метод наискорейшего спуска, он же и наиболее медленный; наименее стабильно работающий метод - метод сопряженных градиентов.

При использовании метода обратного распространения ошибки, усовершенствованного с помощью метода Коши, в подавляющем числе экспериментов целевая функция и время обучения увеличивались по сравнению с методами безусловной минимизации.

Поэтому для обучения потоков, реализующих нелинейные функции, рекомендуются методы наискорейшего спуска, сопряженных градиентов и ДФП, усовершенствованные с помощью метода Коши (2 или 3 варианты).

5. Проиллюстрировано решение задачи оптимизации распределения свободных средств инвестора для различных классов портфеля и потребностей инвестора. Показана состоятельность рыночных моделей, использующих прогнозируемую доходность элементов портфеля вместо вероятностных характеристик их доходности за предшествующие периоды в условиях развивающегося российского рынка.

В заключение перечислим основные результаты и выводы по данной работе:

1. Разработаны информационное, математическое, программное и методическое обеспечения программного комплекса, автоматизирующего процесс прогнозирования будущего состояния объекта на основе текущих данных, что позволило качественно улучшить работу автоматизированных систем прогнозирования.

2. Определена обобщенная методика построения автоматизированных систем прогнозирования, решающих задачу регрессионного анализа.

3. Разработан набор функций, предоставленный для формирования функции, аппроксимирующей зависимость прогнозируемой величины от аргументов прогноза. Их использование позволило создать наиболее эффективно работающие модели.

4. Разработан метод поточного обучения двухслойной, неоднородной, искусственной нейронной сети с произвольным числом нейронов в первом слое, позволивший упростить процесс обучения нейронных моделей этого класса. В работе введено понятие потока - это структура, являющаяся составной частью нейросети и пересекающаяся с другими подобными структурами только при формировании выходного сигнала сети.

5. Разработаны методы и алгоритмы обучения многослойных нейронных сетей, основанные на методе обратного распространения ошибки, методах безусловной минимизации, использующих производные функции, и методе обучения Коши. Данные методы сочетают в себе относительно быструю сходимость к точке минимума целевой функции, присущую методам обратного распространения ошибки и безусловной минимизации, использующим производные функции, и способность выходить из точек локальных минимумов, свойственную методу Коши, что позволило улучшить качество аппроксимации.

6. Предложены методы оценки значимости входных сигналов и параметров сети на основании функции оценки и по изменению выходных сигналов и метод проверки возможности с помощью заданной нейронной сети реализовать полученную функцию, в основе которого лежит анализ выборочной оценки константы Липшица снизу и оценки константы Липшица сверху по архитектуре сети.

7. Проведены экспериментальные исследования, наглядно демонстрирующие эффективность применения предложенных и разработанных моделей, методов и алгоритмов на примере задачи прогноза тенденций финансовых рынков, разработаны рекомендации. С момента внедрения системы в опытную эксплуатацию в ноябре 1998 года средняя погрешность краткосрочного прогноза цен для рынка облигаций составила 0.21%, для рынка акций - 0.88%, для валютного рынка -1.01%. Для сравнения, в аналогичных системах средняя погрешность краткосрочного прогноза равна 3-7%.

Список литературы диссертационного исследования кандидат технических наук Яковлева, Галина Леонтьевна, 2000 год

1. Аведьян Э.Д., Баркан Г.В., Левин И.К. Каскадные нейронные сети

2. Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С. 358-360.

3. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. - 755 с.

4. Андреев Ю.В., Дмитриев А.С. Динамический хаос и нейронные сети в задачах классификации и распознавания // Нейрокомпьютеры и их применение: Сборни докладов V Всероссийской конференции. М., 1999. - С.438-441.

5. Анищенко B.C. Сложные колебания в простых системах. М.: Наука, 1990. - 345 с.

6. Батлер Б. Обзор новых возможностей SQL СУБД // PC Magazine. 1996. - № 5. ■ С. 158-172.

7. Берже П., Помо И., Видаль К. Порядок в хаосе. О детерминистском подходе к турбулентности. М.: Мир, 1991. - 368 с.

8. Бертолуччи Д. Представляем MS-DOS 6.2 // Мир ПК. 1994. - № 4. - С. 72-76.

9. Боровков А.А. Математическая статистика. М.: Наука, 1984, 219 с.

10. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука. Гл. Ред. Физ.-мат. лит., 1983. -467 с.

11. Бэстенс Д.-Э., Ван Ден Берг В.М., Вуд Д. Нейронные сети и финансовые рынки. М.: Научное издательство, 1997. 236 с.

12. Веденов А.А. Моделирование элементов мышления. М.: Наука, 1988. - 238 с.

13. Вентцель Е.С. Исследование операций. М.: Советское радио, 1972. - 552 с.

14. Галушкин А.И. Нейронные сети и проблема малой выборки

15. Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С. 399-401.

16. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. М.: Изд-во МАИ, 1991. - 254 с.

17. Гилев С.Е. Forth-propagation метод вычисления градиентов оценки

18. Нейроинформатика и ее приложения: Тез. докл. II Всероссийского рабочего семинара. Красноярск, 1994. - С. 36-37.

19. Гилев С.Е. Сравнение методов обучения нейронных сетей

20. Нейроинформатика и ее приложения: Тез. докл. Ill Всероссийского семинара. Красноярск, 1995. С. 80-81.

21. Определение значимости обучающих параметров для принятия нейронной сетью решения об ответе / С.Е. Гилев, А.Н. Горбань, Е.М. Миркес и др.

22. Нейроинформатика и нейрокомпьютеры: Тез. докл. рабочего семинара -Красноярск, 1993. С. 8.

23. Гилев С.Е., Миркес Е.М. Обучение нейронных сетей // Эволюционное моделирование и кинетика. Новосибирск: Наука. Сиб. отд-ние, 1992. - С. 9-23.

24. Нейропрограммы: Учебное пособие / Л.В. Гилева, С.Е. Гилев, А.Н. Горбань и др.; В 2 ч. Красноярск: Краснояр. гос. техн. ун-т, 1994. - 260 с.

25. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир,1985. - 509 с.

26. Горбань А.Н. Алгоритмы и программы быстрого обучения нейронных сетей // Эволюционное моделирование и кинетика. Новосибирск, 1992. - С. 36-39.

27. Горбань А.Н., Миркес. Е.М. Компоненты нейропрограмм // Нейроинформатика и ее приложения: Тез. докл. Ill Всероссийского семинара. Красноярск, 1995.1. С. 17.

28. Горбань А.Н., Миркес. Е.М. Функциональные компоненты нейрокомпьютера

29. Нейроинформатика и ее приложения: Материалы III Всероссийского семинара. -Красноярск, 1995. Ч. 1 - С. 79-90.

30. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. 276 с.

31. Горбань А.Н., Россиев Д.А., Коченов Д.А. Применение самообучающихся нейросетевых программ. Красноярск: СПИ, 1994. - 169 с.

32. Грановская P.M., Березная И.Я. Интуиция и искусственный интеллект. -Л.: Изд-во ЛГУ, 1991.-272 с.

33. Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981. - 302 с.

34. Денис Дж. Мл., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнения. М.: Мир, 1988. -440 с.

35. Дудников Е.Е. Стабилизация непрерывных нейронных сетей Хопфилда

36. Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С.372-374.

37. Дунин-Барковский В.Л. Информационные процессы в нейронных структурах. -М.: Наука, 1978. 317 с.

38. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998. - 224 с.

39. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Высшая школа, 1995. - 302 с.

40. Жиглявский А.А. Математическая теория глобального случайного поиска. Л.: ЛГУ, 1985. - 124 с.

41. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания классификации. М.: Наука, 1978. - 227 с.

42. Загоруйко Н.Г., Елкина В.Н., Лбов Г.С. Алгоритм обнаружения эмпирических закономерностей. Новосибирск: Наука. Сиб. отд-ние, 1985. - 110 с.

43. Зангвилл У.И. Нелинейное программирование. М.: Советское радио, 1973. -312 с.

44. Ивахненко А.Г. Персептроны. Киев: Наукова Думка, 1974. - 179 с.

45. Касимов Ю.Ф. Основы теории оптимального портфеля ценных бумаг. -М.: Филинъ, 1998. 142 стр.

46. Кирсанов Э.Ю., Пиянин А.Г. NeuralMarket 1.1. инструментальный пакет моделирования прикладных нейронных сетей с переменной структурой

47. Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М„ 1999. - С. 380-381.

48. Кенделл М. Временные ряды. М.: Финансы и статистика, 1981. - 199 с.

49. Кендэлл М., СтьюартА. Статистические выводы и связи. М.: Наука, 1973. -900 с.

50. Клименко С.В., Слободюк Е.А., Самойленко В.Д. Искусственные нейронные сети в физике высоких энергий // Информационные технологии. 1998. - № 12. С. 17-24.

51. Коченов Д.А., Миркес Е.М. Определение чувствительности нейросети к изменению входных сигналов // Нейроинформатика и ее приложения: Тез. докл III Всероссийского семинара. Красноярск, 1995. - С. 61.

52. Коченов Д.А., Миркес Е.М., Россиев Д.А. Метод подстройки параметров примера для получения требуемого ответа нейросети // Нейроинформатика и ее приложения: Тез. докл. Всероссийского рабочего семинара Красноярск, 1994. - С. 39.

53. Левин А. Можно ли предвидеть будущее? // Компьютеры. 1999. - № 2. ■ С. 17-24.

54. Лесин Г., Лисовец В. Основы методов оптимизации. М.: Мир, 1994. - 324 с.

55. Лоули Д., Максвелл А. Факторный анализ как статистический метод. М.: Мир, 1967. - 144 с.

56. Мартин Дж. Организация баз данных в вычислительных системах. М.: Мир, 1980.-662 с.

57. Меладзе В.Э. Курс технического анализа. М.: Серебрянные нити, 1994. - 272 с.

58. Минский М., Пайперт С. Персептроны. М.: Мир, 1971. - 328 с.

59. Миронов П.Д. Новинки от Microsoft// Мир ПК. 1995. - № 12. - С. 25-34.

60. Мкртчян С.О. Проектирование логических устройств ЭВМ на нейронных элементах. М.: Энергия, 1977. - 244 с.

61. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия. М.: Финансы и статистика, 1982. -239 с.

62. Мун Ф. Хаотические колебания. М.: Мир, 1990. - 312 с.

63. Нильсен Н. Обучающиеся машины. М.: Мир, 1967. - 187 с.

64. Норенков И.П., Маничев В.Б. Основы теории и проектирования САПР: Учеб. для ВУЗов по спец. "Вычислительные маш., компл., системы и сети". М.: Высшая школа, 1990.-335 с.

65. Охонин В.А. Вариационный принцип в теории адаптивных сетей. Красноярск, 1987. - 18 с. - (Препр. / ИФ СО АН СССР; №61 Б.)

66. Петере Е. Хаос и порядок на рынке капитала. М.: Наука, 1998. - 286 с.

67. Пискулов Д.Ю. Теория и практика валютного дилинга. М.: Инфра-М, 1996. -224 с.

68. Позин И.В. Моделирование нейронных структур. М.: Наука, 1970. - 247 с.

69. Птичкин В.А. Анализ нейронных сетей методом статистической линеаризации // Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С. 408-410.

70. Пшеничный Б.Н. Необходимые условия экстремума. М.: Наука, 1982. - 185 с.

71. Пшеничный Б.Н., Данилин Ю.М. Численные методы в экстремальных задачах. -М.: Наука, 1975. -319 с.

72. Ревунков Г.И., Самохвалов Э.Н., Чистов В.В. Базы и банки данных и знаний. -М: Высшая школа, 1992. 367 с.

73. Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга. М.: Мир, 1965. - 480 с.

74. Сакович В.А. Исследование операций. Справочное пособие. Минск: Высшая школа, 1984.-256 с.

75. Сеченов В.Л., Монеев А.Т. Пять лучших операционных систем // Мир ПК. 1997. -№ 16. - С. 30-42.

76. Сиколенко В. Сервер Oracle: текущее состояние // СУБД. 1997. - № 1. - С. 4-23.

77. Соколов Е.Н., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. - 238 с.

78. Степанов B.C. Фондовый рынок и нейросети II Мир ПК. 1998. - № 12. - С. 40-46.

79. Судариков В.А. Исследование адаптивных нейросетевых алгоритмов решения задач линейной алгебры // Нейрокомпьютер. 1992. - №3, 4. - С. 13-20.

80. Уинроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Мир, 1989. - 440 с.

81. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992. - 226 с.

82. Успенский А.Б., Федоров В.В. Вычислительные аспекты метода наименьших квадратов при анализе и планировании регрессионных экспериментов. М.: МГУ, 1975.-216 с.

83. Фиакко Ф., Мак-Кормик Г. Нелинейное программирование. Методы последовательной безусловной минимизации. М.: Мир, 1972. - 240 с.

84. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. -М.: Наука, 1987. 160 с.

85. Фролов А.А., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 1988. - 180 с.

86. Харман Г. Современный факторный анализ. М.: Статистика, 1972. -486 с.

87. Хедли Дж. Нелинейное и динамическое программирование. М.: Мир, 1967. -506 с.

88. Хинтон Дж.Е. Реальность и прогнозы искусственного интеллекта. М.: Мир, 1987.-265 с.

89. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. -534 с.

90. Холодниок М., Клич А., Кубичек А. Методы анализа нелинейных динамических моделей. М.: Мир, 1991. - 368 с.

91. Цыганков В.Д. Нейрокомпьютер и его применение. М.: Сол Систем, 1983. -344 с.

92. Цыпкин Я.3. Основы теории обучающихся систем. М.: Наука, 1970. - 252 с.

93. Шапиро Д.И, Зайцев В.Ю. Финансово-экономический блок в системах виртуальной реальности // Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С.294-298.

94. Шарп У.Ф., Александер Г.Дж., Бэйли Дж.В. Инвестиции. М.: Инфра-М, 1997. - 280 с.

95. Штрик А. Языки программирования четвертого поколения. // Монитор. 1996. -№1-3.

96. Шуленин A. Microsoft SQL Server 6.5. Обзор основных возможностей // СУБД. -1997. № 1. - С. 30-51.

97. Шустер Г. Детерминированный хаос. Введение. М.: Мир, 1988. - 240 с.

98. Элдер А. Основы биржевой игры. Учебное пособие для участников торгов на мировых биржах М.: Светоч, 1995. - 277 с.

99. Яковлева Г.Л., Лисицкий Л.А. Автоматизированное определение стоимости недвижимости // Материалы межрегиональной научно-практической конференции. Саратов, 1999. - Ч. 2. - С. 146-150.

100. Яковлева Г.Л., Яковлев В.Л., Малиевский Д.А. Нейросетевая экспертная система управления портфелем банка // Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С. 291-294.

101. Яковлева Г.Л., Яковлев В.Л., Лисицкий Л.А. Применение нейросетевых алгоритмов к анализу финансовых рынков // Информационные технологии. -1999,- № 8. С. 25-30.

102. Якушев Д.Ж. Нейронные сети для финансовых приложений.

103. Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М„ 1999. - С.288-290.

104. Alexander S.Th. Adaptive Signal Processing: Theory and Applications. New York: Springer Verlag, 1986. - 179 p.

105. Alexander L., Morton H. The logic of neural cognition //Adv. Neural Comput. -Amsterdam e.a., 1990. P. 97-102.

106. Amari Sh., Maginu K. Ststistical Neurodynamics of Associative Memory// Neural Networks. 1988. - Vol. 1, № 1. - P. 63-74.

107. Bartsev S.I., Okhonin V.A. Variation principle and algorithm of dual functioning examples and applications // Neurocomputers and attention II. Proc. Intern. Workshop. Manchester: Univ. Press, 1991. - P. 445-452.

108. Beltratti A., Margarita S., Terna P. Neural Networks for Economic and Financial Modeling. London: ITCP, 1995. - 378 p.

109. Bishop C.M. Neural Networks, a Comprehensive Foundation. New York: Macmillan, 1994 . - 249 p.

110. Bishop C.M. Neural Networks and Pattern Recognition. Oxford: Oxford Press, 1995. - 168 p.

111. Chorafas D.N. Chaos Theory in the Financial Markets. New York: Probus Publishing, 1994. - 254 p.

112. Colby R.W., Meyers T.A. The Encyclopedia of Technical Market Indicators. New York: IRWIN Professional Publishing, 1988. - 544 p.

113. Cichocki B.S., Undehauen R. Neural Networks for Optimization and Signal Processing. New York: John Wiley & Sons, 1994. - 190 p.

114. Deboeck G., Kohonen T. Visual Explorations in Finance with Self-Organizing Maps. -New York: Springer, 1998. 196 p.

115. Fausett L.V. Fundamentals of Neural Networks: Architectures, Algorithms and Applications. London: Prentice Hall, 1994. - 364 p.

116. Forbes A.B., Mansfield A.J. Neural implementation of a method for solving systems of linear algebraic equations // Nat. Phys. Div. Inf. and Comput. Rept. 1989. - № 155. -P. 1-14.

117. Fulcher J. Neural networks: promise for the future? // Future Generat. Comput. Syst. 1990-1991. - Vol. 6, №4. - P. 351-354.

118. Genis C.T. Relaxation and neural learning: point of convergence and divergence // J. Parallel and Distrib. Comput. 1989. - Vol. 6, № 2. - P. 217 - 244.

119. Grossberg S. Nonlinear Neural Networks: Principles, Mechanism and Architectures // Neural Networks. 1988. - Vol. 1, № 1. - P. 17-62.

120. Haykin S. Neural Networks. A Comprehensive Foundation. - New York: Macmillian College Publishing Company, 1994. - 696 p.

121. Hecht-Neilsen R. Neurocomputing. London: Addison-Wesley, 1990. - 268 p.

122. Hertz J., Krogh A., Palmer R.G. Introduction to the Theory of Neural Computation. -London: Addison-Wesley, 1991. -214 p.

123. Holden A. Chaos. Princeton (New Jersey): Princeton University Press, 1986. -278 p.

124. Keller J.M., Yanger R.R., Tahani H. Neural Netwok implementation of fuzzy logic // Fuzzy Sets and Syst. 1992. - Vol. 45, № 1. - P. 1-12.

125. Kohonen Т. Self-organization and Associative Memory. Ney York: Springer-Verlag, 1989.-266 p.

126. Muller В., Reinhardt J., Strikland M.T. Neural Networks. An Introduction. 2nd edition. Ney York: Springer, 1995. - 344 p.

127. Peters E.E. Fractal MarketAnalysis. Oxford: Wiley, 1994. - 210 p.

128. Pring M.G. Technical Analysis Explained. London: McGraw Hill, 1991. - 340 p.

129. PlummerT. Forecasting Financial Markets. Boston: Kogan Page, 1989. - 282 p.

130. Rummelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors // Nature. 1986. - Vol. 323. - P. 533-536.

131. Sandberg I.W. Approximation for Nonlinear Functionals // IEEE Trans. On Circuits and Systems. 1: Fundamental Theory and Applications. 1992. - Vol. 39, № 1.1. P. 65-67.

132. Trippi R., Turban E. Neural Networks in Finance and Investing. New York: Probus Publishing, 1993. - 244 p.

133. Wiedermann J. On the computation efficiency of symmetric neural networks // Theor. Comput. Sci. -1991. Vol.80, № 2. - P. 337-345.

134. Weigend A.S., Zimmermann H.E., Neuneier R. Clearning. In Neural Networks in Financial Engineering. New York: Word Scientific, 1996. - 368 p.

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.