Разработка интеллектуальной информационной системы прогнозирования нестационарных временных рядов на основе нейросетевого логического базиса тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Караяниди, Яннис Геннадьевич

• Караяниди, Яннис Геннадьевич
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Караяниди, Яннис Геннадьевич

ВВЕДЕНИЕ.

1 АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ

РЕШЕНИЯ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ.

1.1 Статистические методы и технический анализ.

1.2 Нейронные сети.

1.3 Постановка задачи прогнозирования и сравнительный анализ методов ее решения.

1.4 Предварительная подготовка данных.

1.5 Выводы.

2 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ

ФОРМАЛИЗОВАННОЙ МЕТОДИКИ НАСТРОЙКИ И ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ ПРОГНОЗИРОВАНИЯ НЕСТАЦИОНАРНЫХ ВРЕМЕННЫХ

РЯДОВ.

2.1 Описание разработанной методики построения нейросетевой прогнозной модели.

2.1.1 Этапы создания формализованной методики.

2.1.2 Разработка метода нормировки данных.

2.1.3 Определение глубины ретроспективной выборки для обучающего примера.

2.1.4 Корректировка состава входных факторов.

2.1.5 Определение структуры нейронной сети.

2.1.6 Определение параметров обучения.

2.1.7 Формирование подмножества обучающих примеров.

2.1.8 Критерии оценки эффективности и ограничения разработанной методики.

2.2 Новая функция ошибки и модифицированный алгоритм обучения.

2.2.1 Функция ошибки нейрона.

2.2.2 Функция суммарной ошибки и критерий останова.

2.2.3 Модифицированный алгоритм обучения.

2.3 Анализ современных программных продуктов для создания нейросетевой модели.

2.4 Выводы.

3 РАЗРАБОТКА ИНТЕЛЕКТУАЛЬНОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ НА ОСНОВЕ

НЕЙРОСЕТЕВОЙ ПРОГНОЗНОЙ МОДЕЛИ NeuroPrognoz-1.

3.1 Информационные системы и их применение в задачах прогнозирования.

3.2 Структура информационной системы реализующей нейросетевую прогнозную модель NeuroPrognoz-1.

3.3 Функционирование информационной системы прогнозирования в рядах динамики.

3.4 Выводы.

4 ЭКПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ

МЕТОДИКИ ПОСТРОЕНИЯ НЕЙРОСЕТЕВОЙ ПРОГНОЗНОЙ МОДЕЛИ NeuroPrognoz-1.

4.1 Описание решаемой задачи прогнозирования.

4.2 Описание ряда проведенных экспериментов и их результаты.

4.3 Графическая иллюстрация динамики временных рядов факторов, значимо влияющих на прогнозируемую величину.

4.4 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка интеллектуальной информационной системы прогнозирования нестационарных временных рядов на основе нейросетевого логического базиса»

Данная диссертационная работа посвящена разработке интеллектуальной системы для прогнозирования временных рядов на основе нейросетевого логического базиса.

Цель состоит в выявлении скрытых, нетривиальных и неформализованных закономерностей в наборах данных. Получение практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Подобные задачи актуальны в областях, где присутствуют большие информационные массивы неоднородных, меняющихся во времени данных высокой размерности [6, 28, 63, 110, 133].

Существует пять типов закономерностей [138]: ассоциация, последовательность, прогнозирование, классификация, кластеризация. Ввиду широты проблематики, связанной с извлечением знаний из массивов данных, область исследований была сужена, и в диссертационной работе рассматриваются задачи прогнозирования.

Важной особенностью является то, что прогноз основывается не только на предшествующих значениях прогнозируемой величины, но также учитывает влияние различных дополнительных факторов, тоже представленных временными рядами. Таким образом, в данном случае прогнозирование осуществляется на основе совместной обработки нескольких временных рядов.

При этом задача имеет следующие особенности [5, 127, 130]:

- на прогнозируемую величину влияют несколько различных факторов (также являющиеся временными рядами). Нахождение и аналитическое описание данных зависимостей затруднено;

- рассматриваемые временные ряды являются нелинейными и нестационарными;

- вид нелинейности временного ряда априорно не известен и не описан аналитически;

- в результате решения задачи требуется нахождение не сглаженного краткосрочного прогноза

Математически рассматриваемая задача может быть описана следующим образом:

Пусть имеется объект прогноза У, представленный временным рядом своих значений в предшествующие моменты времени У,к, У,4+1,., У,, где t -текущий момент времени, k - глубина ретроспективной выборки. На поведение У влияет совокупность факторов (характеристик): Vv.,Vn, где п -количество факторов. Каждая i- я характеристика (/ = 1.л) также представлена совокупностью своих предыдущих значений F/'],F/!]+l,.,F,(<). Исходя из физического смысла задачи У принадлежит V, так как предыдущие значения У влияют на его будущее значение и, следовательно, должны входить в К. В общем случае, глубина ретроспективной выборки для различных F(,) может быть различной.

Требуется найти значение Y в будущий момент времени на основе известных предыдущих значений V. В зависимости от физического смысла задачи, можно одновременно прогнозировать несколько величин, т.е. значение Y в каждый момент времени может быть вектором.

Традиционно для решения подобных задач используются методы математической статистики, изложенные в работах [110, 117, 124]. Однако, описанные выше особенности ограничивают возможности применения статистических методов. Так, применение различных процедур сглаживания не отвечает поставленной задаче, так как при прогнозировании нас интересует не сглаженное значение, а именно отклонение от него в будущий момент времени. Кроме того, прогнозируемый временной ряд характерен тем, что он не является стационарным и не преобразуется к стационарному. Поэтому методы, разработанные для стационарных рядов, использованы быть не могут. Применение линейных регрессионных моделей ограничено ввиду явной нелинейности процесса, а нелинейных - из-за необходимости задания характера нелинейности.

Средства технического анализа является распространенным способом прогнозирования временных рядов. Основным их достоинством является простота использования и наглядность. Современный технический анализ включает в себя большое количество прикладных методов. Всего в настоящее время насчитывается более 160 различных индикаторов и методов [41]. Положительные черты технического анализа заключаются в свойственных ему гибкости и адаптационных способностях. Также сильной стороной технического анализа является возможность его применения на любом отрезке времени. В целом средства технического анализа позволяют получать неплохие результаты, однако его большими минусами были и остаются субъективизм экспертов (особенно в графическом анализе), обилие ложных сигналов, противоречивость различных индикаторов. Другим принципиальным недостатком является то, что технический анализ основывается на прогнозируемом ряде, не используя в явной форме информацию по другим факторам, влияющим на прогнозируемую величину. Таким образом, возможности аппарата технического анализа заведомо сужены по сравнению с методами, использующими для прогноза несколько различных факторов (например, нейронными сетями, применение которых обсуждается в данной работе).

По сравнению со средствами математической статистики и технического анализа, традиционно использовавшихся для прогнозирования, нейронные сети имеют ряд преимуществ [81, 82, 83,91, 92, 93].

Применение нейронных сетей не накладывает никаких ограничений на характер исследуемого ряда, поэтому нестационарность рассматриваемых процессов не представляет проблемы. Наиболее ценным свойством нейронных сетей является их способность успешно решать задачи, в которых затруднено или невозможно нахождение аналитических зависимостей между входными и выходными данными. Нейронные сети способны находить оптимальные для данной задачи индикаторы и строить по ним оптимальную для данного ряда стратегию предсказания. Кроме того, эта стратегия может быть адаптивна, меняясь вместе с ситуацией.

Для многослойных нейронных сетей строго математически доказано, что они могут представлять любую вещественную непрерывную функцию любого вещественного непрерывного векторного аргумента [38, 132]. То есть, многослойные сети могут быть использованы для решения любой задачи, которая может быть сведена к построению функций, в том числе и для прогнозирования.

Все вышеперечисленные факторы определяют возможность эффективного использования аппарата нейронных сетей в рассматриваемом классе задач.

Основным недостатком нейронных сетей является отсутствие формализованных алгоритмов настройки сети, а, как следствие, необходимость привлечения высококлассных специалистов, ввиду высокой сложности такой настройки, отсутствие гарантий успешного решения поставленной задачи. Кроме того, проведенный анализ показал, что существующие программные средства не имеют конкретной проблемной ориентации и не адаптивны к решению рассматриваемого класса задач [3, 50, 54,136].

Для выбора типа используемой в диссертационной работе нейронной сети выполнен анализ применимости конкретных видов нейронных сетей к решению различных классов задач. Результатом данного анализа явилось определение архитектур нейронных сетей, которые могут быть применены для решения задачи прогнозирования: это сети радиального базиса (RBF-сети) и сети типа «многослойный персептрон» (MLP), и их сравнение. Сеть MLP характеризуется более высокой сложностью обучения. В тоже время, существует некоторая неэффективность сети RBF, которая связана с тем, что при работе сети в каждом конкретном случае используется лишь часть нейронов. Следствием этого является экспоненциальный рост размерности сети RBF при увеличении размерности входных данных [1]. При решении одной и той же задачи, в большинстве случаев размер сети RBF будет превышать размер MLP. Кроме того, сеть RBF не обладает способностью к экстраполяции данных при увеличении ширины диапазона значений входных данных [6]. С учетом вышеизложенного, в данной диссертационной работе для построения моделей использовалась сеть типа «многослойный персептрон».

В рамках данной работы была описана интеллектуальная информационная система, разработана ее программная реализация, в виде программного комплекса NeuroPrognoz (версия 1.0), для решения задачи прогнозирования на основе нейросетевой прогнозной модели, по разработанной методике.

NeuroPrognoz (версия 1.0) - комплекс прогнозирования нестационарных временных рядов на основе аппарата нейронных сетей. Он написан на М-языке высокоуровневой системы программирования MATLAB и предназначен для решения задач краткосрочного (одношагового) прогнозирования (предсказание величины в следующий момент времени).

Логическая структура программного комплекса NeuroPrognoz (версия 1.0) имеет три функциональных блока:

- блок проектирования;

- пространство данных;

- блок составления прогноза

Компонентами программного комплекса являются:

1. Компонент подготовки данных, имеющий три модуля: а) startf.m; б) inputfirst.m; в) makeOtn.m;

2. Компонент проектирования сети, имеющий модули: а) startm.m; б) first.m; в) inputfirst.m; г) inputdatd.m; д) netptj.m; е) learn.m; ж) testing, m; з) normLm; и) normS.m; к) normN.m; л) trainm.m; м) gbpm.m; н) gsimm.m; о) mef.m; n) dmef.m;

3. Компонент составления прогноза, состоящий из следующих модулей: а) progn.m; б) normL.m; в) normS.m; г) normN.m

Листинг программного комплекса NeuroPrognoz (версия 1.0) представлен в Приложении А. В Приложении Г показан фрагмент генерирования программным комплексом NeuroPrognoz (версия 1.0) модифицированного алгоритма обучения сети с нестандартной функцией ошибки, разработанного в рамках методики и реализующего обучение и работу нейронной сети с учетом предложенной в данной работе новизны.

В ходе экспериментальных исследований была рассмотрена задача, предметной областью для которой являлась финансовая сфера, а именно прогнозирование финансовой устойчивости промышленных предприятий.

АКТУАЛЬНОСТЬ РАБОТЫ

Только в последние несколько лет компьютерные технологии вышли на тот уровень, когда появилась реальная возможность говорить о разработке интеллектуальных информационных систем прогнозирования временных рядов, использующих в форме математического ядра нейросетевые алгоритмы.

Рассматриваемая задача актуальна в различных областях, в частности, в представленной диссертационной работе приведены результаты решения задачи прогнозирования финансовой устойчивости промышленного предприятия. Характерной предметной областью, в которой необходимо решение задачи нахождения прогноза с учетом выявленных скрытых закономерностей в массивах данных, является финансовая политика промышленных предприятий. Прогнозирование финансовых временных рядов рассматривается в [52, 128, 136] и является актуальной научно-технической задачей, так как результаты деятельности предприятий и экономики напрямую зависят от решения подобной задачи.

В целом рассматриваемая задача актуальна в областях, где требуется решение задачи прогнозирования на основе анализа данных за предшествующие моменты времени, с целью учета зависимости между значениями некоторого набора факторов и поведением исследуемого объекта или процесса, представленного временным рядом.

ЦЕЛЬ РАБОТЫ

Целью настоящей диссертационной работы является разработка и апробация формализованной методики обучения и настройки нейронной сети для предсказания будущего состояния нестационарного временного ряда, осуществление ее реализации на практике в виде интеллектуальной информационной системы, реализованной программным продуктом NeuroPrognoz (версии 1.0).

ЗАДАЧИ ИССЛЕДОВАНИЯ

1. Провести анализ существующих методов прогнозирования временных рядов.

2. Выявить класс задач, при которых нейронная сеть имеет преимущество перед традиционными методами.

3. Осуществить формальную постановку задачи прогнозирования, предполагающую нахождение одношагового прогноза, на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработать методику для решения поставленной задачи.

5. Разработать интеллектуальную информационную систему, позволяющую реализовать нейросетевые алгоритмы, для создания нейросетевой модели.

6. Осуществить, на основе разработанной методики, программную реализацию интеллектуальной информационной системы для прогнозирования нестационарных временных рядов.

7. Провести апробацию разработанной методики на реальных данных. Провести ряд численных экспериментов с целью оценки эффективности, как различных этапов методики, так и методики в целом.

МЕТОДЫ ИССЛЕДОВАНИЯ

Поставленные задачи решены с применением метода теории искусственных нейронных сетей, аппарата математической статистики, системного анализа, вычислительной математики, математического моделирования, искусственного интеллекта, нейроматематики, оптимизации и идентификации, финансового менеджмента.

НАУЧНАЯ НОВИЗНА

Теоретическая значимость выполненных в диссертационной работе исследований заключается в следующем:

1) осуществлена постановка задачи прогнозирования нестационарных временных рядов, на базе интеллектуальных систем;

2) предложена методика создания нейросетевых прогнозных моделей на базе интеллектуальных систем, не имеющая прямых аналогов;

3) разработанная методика краткосрочного прогнозирования основана на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачу прогнозирования на основе совместной обработки нескольких влияющих друг на друга временных рядов, не накладывая никаких ограничений на их характер;

4) в рамках методики предложены и разработаны:

- способы предварительной обработки данных для повышения экономичности нейросетевой модели;

- процедура определения параметров модели;

- определены параметры обучения (в том числе, разработана и исследована новая функция ошибки обучения);

- критерии оценки качества получаемой модели;

- алгоритм обучения с учетом специфики решаемой задачи

Правильная предварительная подготовка данных является ключевым фактором успешного решения задачи [1], и в работе предложен новый способ такой подготовки. Основная цель данного этапа - повышение информативности исходных данных. Для этого в рамках методики предложено ряд процедур:

- отказ от использования абсолютных значений временных рядов и переход к относительным изменениям, взятым с лагом I, что позволяет повысить чувствительность сети к ее входам;

- нормировка данных - линейная, либо на основе статистических характеристик ряда, позволяющая повысить информативность обучающих примеров;

- нелинейная нормировка с помощью функции активации нейронной сети, усиливающая эффект предыдущей нормировки

Новизна данного подхода заключается в изменяемом виде функции активации, что позволяет повысить эффективность нормировки путем лучшего приближения распределения данных к равномерному. Для возможности изменения вида функции активации в ее состав введен специальный коэффициент.

В работе предложен способ определения состава входных факторов, глубины ретроспективной выборки (то есть числа предыдущих значений, участвующих в нахождении прогноза) по каждому из них, а также иных параметров модели.

5) сформулирован принцип построения интеллектуальной информационной системы с нейросетевым блоком для прогнозирования нестационарных временных рядов;

6) разработана неформальная нейросетевая модель прогнозирования, на основе предложенной методики;

7) разработана структура интеллектуальной информационной системы с нейросетевым блоком для прогнозирования

ПРАКТИЧЕСКАЯ ЦЕННОСТЬ

Прикладная ценность полученных результатов заключается в создании интеллектуальной информационной системы, основанной на разработанной методики применения аппарата нейронных сетей к решению задачи прогнозирования нестационарных временных рядов. Выработке рекомендаций по ее применению. Программная реализация интеллектуальной информационной системы в виде программного комплекса NeuroPrognoz (версии 1.0).

Внедрение интеллектуальной информационной системы осуществляется путем адаптации (настройки параметров) применительно к конкретной предметной области. Она позволяет представить лицу, принимающему решение, доступную информацию из различных областей знаний в удобной форме, что способствует оперативности и обоснованности принимаемых решений.

РЕАЛИЗАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ

В настоящее время разработанная методика создания нейросетевой модели прогнозирования нестационарных временных рядов реализована в виде программного комплекса NeuroPrognoz (версии 1.0) (см. Приложение А), созданного на основе нейросетевого пакета прикладных программ Neural Network Toolbox в среде высокого уровня программирования MATLAB. Команды с большим объемом вычислений написаны на языке С, многие представлены в терминах С-программ. Результаты исследований внедрены в ниже перечисленных организациях:

1. Общество с ограниченной ответственностью «Элакс» (г. Новороссийск) - для прогнозирования финансовой устойчивости предприятия.

2. «Союз программистов России» (г. Ростов-на-Дону) - для эффективного формирования и использования денежных ресурсов, проведения и оказания консалтинговых услуг.

3. Общество с ограниченной ответственностью «Уралтранспрод» (г. Екатеринбург) - для рационального управления собственными и заемными средствами, определения стратегии предприятия, управления денежными потоками.

Акты, подтверждающие внедрение результатов диссертационной работы, приведены в Приложении Д.

АПРОБАЦИЯ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ

Результаты работы докладывались и обсуждались на: - И Всероссийской научной конференции молодых ученых и студентов (г. Анапа, 2005 г.);

- VIII Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2002 г.);

- IX Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2003 г.);

- X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2004 г.);

- XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2005 г.);

- XV Международной конференции-выставке «Информационные технологии в образовании (г. Москва, 2005 г.);

ПУБЛИКАЦИИ

По теме диссертации опубликовано 12 печатных работ. Из них: 8 статей, 4 тезиса докладов на вышеперечисленных конференциях.

ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Методика краткосрочного прогнозирования, основанная на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачи прогнозирования на основе совместной обработке нескольких, влияющих друг на друга, временных рядов, не накладывая никаких ограничений на их характер.

2. Способы предварительной обработки данных для повышения экономичности нейросетевой модели;

3. Процедура определения параметров модели;

4. Процедура определения параметров обучения (в том числе предложенная новая функция ошибки обучения);

5. Предложенные критерии оценки качества полученной модели;

6. Разработанный алгоритм обучения с учетом специфики решаемой задачи;

7. Предложенный способ определения состава входных факторов (глубины ретроспективной выборки);

8. Принципы построения и структура интеллектуальной информационной системы прогнозирования, реализованной с помощью разработанного программного комплекса NeuroPrognoz (версии 1.0).

СТРУКТУРА И ОБЪЕМ РАБОТЫ

Диссертационная работа состоит из введения, четырех глав, заключения и приложения.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Караяниди, Яннис Геннадьевич

4.4 ВЫВОДЫ

1. Проведена апробация разработанной методики на реальных данных. Для этого была рассмотрена задача, предметной областью которой является экономика. Был проведен ряд численных экспериментов с целью оценки эффективности, как различных этапов разработанной методики, так и методики в целом.

2. Обоснована необходимость предложенного в рамках методики перехода от анализа абсолютных значений элементов временных рядов к анализу их относительных изменений, то есть разница между соседними элементами ряда. Так использование относительных изменений позволило в 6-12 раз снизить ошибку обучения сети, полученную на обучающем множестве.

3. Обоснована эффективность предложенной процедуры выбора глубины ретроспективной выборки на основе анализа графиков автокорреляционных функций. В ходе экспериментов были исследованы два различных ряда, в каждом случае было исследовано более 50 нейронных сетей с различными значениями глубины ретроспективной выборки. Для обоих рядов первые 10 сетей с наименьшей ошибкой имели значение глубины ретроспективной выборки, близкое к определенному в соответствии с методикой.

4. Проведенные эксперименты подтвердили эффективность предложенного в рамках методики способа нелинейной нормировки данных с изменяемым видом нелинейности. Сравнение 4-х различных способов нормировки показало, что предложенный способ является лучшим и позволяет снизить ошибку обучения сети в 3-4 раза относительно данных, нормировка которых не проводилась.

5. Подтверждена эффективность методики в целом. В ходе эксперимента имитирующего реальную работу нейросетевой модели в наименее благоприятных условиях функционирования предприятия была достигнута точность 73-75%, что является практически значимым результатом.

ЗАКЛЮЧЕНИЕ

В заключении приводятся основные выводы по представляемой диссертационной работе.

1. Проведен анализ существующих методов прогнозирования временных рядов. На основе анализа достоинств и недостатков каждого метода, оценена область его применения при решении задач прогнозирования. В результате проведенной работы сделан вывод о предпочтительности применения нейронных сетей для некоторого класса задач.

2. Выявлен класс задач, при решении которых нейронная сеть имеет преимущество перед традиционными статистическими методами. Данные задачи характеризуются следующими свойствами:

- нестационарность и нелинейность прогнозируемого процесса;

- необходимость нахождения несглаженных прогнозов;

- необходимость совместного использования для нахождения прогноза нескольких временных рядов, содержащих значения факторов, влияющих на объект прогноза;

- затруднена формализация зависимостей между входными факторами и значениями прогнозируемой величины

3. Предложена формальная постановка задачи прогнозирования, предполагающая нахождение одношагового прогноза на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработана, состоящая из 4-х этапов, методика решения поставленной задачи. В рамках методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними линейных, а затем нелинейных преобразований с изменяемым видом нелинейности, предложена процедура субоптималыюго состава входных факторов, а также способ определения глубины ретроспективной выборки на основе средств корреляционного анализа.

5. В рамках методики предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего изменения прогнозируемой величины, а также реализующий ее модифицированный алгоритм обучения сети. Разработана функция суммарной ошибки обучения, предложен, основанный на данной функции, критерий останова обучения.

6. Разработана интеллектуальная информационная система, позволяющая реализовать нейросетевые алгоритмы, для создания нейросетевой модели, на основе разработанной методики. Разработан программный комплекс NeuroPrognoz-1 включающий программные средства моделирования работы нейронной сети и ее обучения по новому алгоритму.

7. Произведена апробация методики на примере прогнозирования финансовой устойчивости промышленных предприятий. В ходе экспериментов подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом.

Список литературы диссертационного исследования кандидат технических наук Караяниди, Яннис Геннадьевич, 2006 год

1. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974. - 240 с.

2. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.-755 с.

3. Бычков А.В. Нейросетевое управление рентабельностью предприятия: Автореферат дис. канд. техн. наук. Краснодар, 2001

4. Бусленко В.И. Автоматизация имитационного моделирования сложных систем. М., 1977.427 с.

5. Боровиков В.П. Иванченко Г.И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере. Учеб. Пособие. -М.: Финансы и статистика. 1999. 384 е.: ил.

6. Бокс Дж., Джеккинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, 1974. 406 с.

7. Баймухамбетова С.С., Джумамбаева К.С. Минимизация кредитного риска на основе анализа кредитоспособности заемщика. Вестник КазГУ. Серия эк-я. Алматы, 1998, №11

8. Боровков А.А. Математическая статистика. -М.: Наука, 1984.-219 с

9. Браверманн Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука. Гл. Ред. Физ.-мат. лит., 1983. - 467 с.

10. Банди Б. Методы оптимизации. Вводный курс. М.: Радио и связь, 1988. - 128 с.

11. Басканова Т.Ф., Ланкин Ю.П. Нейросетевые алгоритмы самостоятельной адаптации. Всероссийская научно-техническая конференция// Нейроинформатика-99. Научная сессия МИФИ-99. Сборник научных трудов, в 3 ч. М.: МИФИ, 1999. - ч. 2. - 230 с.

12. Блум Ф., Лейдерсон А., Хофстедстер Л. Мозг, разум и поведение. -М.: Мир. 1988.-317 с.

13. Венцель Е.С. Теория вероятностей. М.: Наука. 1969. - 576 с.

14. Горбань А.Н., Росснев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская изд. фирма РАН, 1996.-276 с.

15. Горбань А.Н. Обучение нейронных сетей. М.: СПб ПараГраф, 1990.- 159 с.

16. Гультяев А.К. MATLAB 5.3. Имитационное моделирование в среде Windows. СПб.: Корона, 2001. - 400 с.

17. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методы. Учебник. М.: Финансы и статистика, 1998. - 352 с.

18. Дэниел К. Применение статистики в промышленном эксперименте. -М.: Мир, 1979.-299 с.

19. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа. -М.: Финансы и статистика, 1986

20. Замков О.О., Толстопятенко А.В., Черемных Ю.Н. Математические методы в экономике. Учебник МГУ им. Ломоносова М.: издательство «ДИС», 1998.-368 с.

21. Информатика: Учеб./ Под ред. Н.В. Макаровой. М.: Финансы и статистика, 1997. - 768 с.

22. Караяниди Я.Г. Интеллектуальные системы подготовки информации. Труды II Всероссийской научной конференции молодых ученых и студентов, т. 2. Анапа, 1-5 октября, 2005

23. Караяниди Я.Г. Разработка методики исследования алгоритма обобщения в интеллектуальных системах. Труды II Всероссийской научной конференции молодых ученых и студентов, т. 2. Анапа, 1-5 октября, 2005

24. Караяниди Я.Г. Формальная постановка задачи и сравнительный анализ методов прогнозирования. Труды КубГТУ. Том XXV. Серия: Информатика и управление. Выпуск 3. Краснодар, 2005

25. Караяниди Я.Г. Информационные системы управления образованием. Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. 254 с.

26. Караяниди Я.Г. Теоретические основы управления качеством информационных систем. Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 2225 сентября 2005, Краснодар. 254 с.

27. Караяниди Я.Г. Отличительные особенности информационного комплекса. Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. 254 с.

28. Караяниди Я.Г. Возможности использования пакета MATLAB. Материалы X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 23-26 сентября 2004, Краснодар. 233 с.

29. Караяниди Я.Г., Частиков А.П. Применение нейронных сетей для прогнозирования экономических показателей. Материалы X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 23-26 сентября 2004, Краснодар. 233 с.

30. Караяниди Я.Г., Частиков А.П. Интеллектуальные системы управления образованием. XV Международная конференция-выставка «Информационные технологии в образовании». Сборник трудов. Ч. IV. 6-10 ноября 2005, Москва. 915 с.

31. Караяниди Я.Г., Частиков А.П. Модели и алгоритмы на основе сетей Хопфилда. Труды КубГТУ. Том XXV. Серия: Информатика и управление. Выпуск 3. Краснодар, 2005

32. Кендел М. Временные ряды. М.: Финансы и статистика, 1981.199 с.

33. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения//Докл. АН СССР, Т. 114. 1957. С. 953-956

34. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных//Докл. АН СССР. Т. 108. 1956. С.2

35. Кузин JI.T. Основы кибернетики: в 2-х т. Т. 2. Основы кибернетических моделей: Учеб. пособие для вузов. М.: Энергия, 1979

36. Махотило К.В. Разработка методик эволюционного синтеза нейросетевых компонентов систем управления. Автореферат дис. канд. техн. наук. Харьков: ХГПУ, 1998. 189 с.

37. Манзон Б. Matlab 5.1 симфония алгоритмов. PC Week/ RE, №14.1. С. 61

38. Мартынов Н.Н., Иванов А.П. Matlab 5.x. Вычисление, визуализация, программирование. -М.: Кудиц-образ, 2000

39. Максимей И.В. Математическое моделирование больших систем: Учеб. пособие. Мн.: Высш. шк., 1985.119 с.

40. Медведев B.C., Потемкин В.Г. Нейронные сети MATLAB 6. Кн. 4/ Под общ. ред. В.Г. Потемкина. М.: Диалог-МИФИ. 2002. - 469 с.

41. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия Телеком, 2003. 205 с.

42. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и техника, 2003. 384 с.

43. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. - 344 с.

44. Перегудов Ф.И. и др. Основы системного подхода Томск: ТГУ, 1976. 127 с.

45. Перуш М. Математические модели ассоциативных нейронных сетей. СПб.: Изд-во КАРО, 2000. 64 с.

46. Рао С.Р. Линейные статистические методы и их применение. М.: Наука, 1968. - 548 с.

47. Родионова В.М., Федотова М.А. Финансовая устойчивость предприятия в условиях инфляции. М.: изд-во «Перспектива», 1995. - 98 с.

48. Сигеру Омату. Нейроуправление и его приложения. Кн. 2./ Сигеру Омату, Марзуки Халид, Рубия Юсоф: пер. с англ. Н.В. Батина; Под ред. А.И. Галушкина, В.А. Птичкина. М.: ИПРЖР, 2000. 272 с.

49. Семенов Н.А. Программы регрессионного анализа и прогнозирование временных рядов. Пакеты ПАРИС и МАВР. М.: Финансы и статистика. 1990. - 111 с.

50. Симанков B.C. Автоматизация системных исследований: Монография/ Техн. ун.-т Кубан. гос. технол. ун.-та. Краснодар, 2002. 376 с.

51. Справочник по прикладной статистике. В 2-х т., под ред. Э. Плойда, У. Ледермана, Ю.Н. Тюрина -М.: Финансы и статистика. 1989,1990

52. Тюрин Ю.Н., Макарова А.А. Анализ данных на компьютере/ Под ред. В.Э. Фигурнова. 3-е изд. перераб. и доп. - М.: Инфра-М. 2003. - 544 с.

53. Уоссермен Ф. Нейрокомпьютерная техника. -М.: Мир, 1992. 127 с.

54. Хэйд Д., Моррис Д. Теория организации промышленности: В 2 т./ Пер. с англ. Под ред. А.Г. Слуцкой. СПб.: Эк.-я школа, 1999. Т. 1. 384 с.

55. Частиков А.П., Дедкова Т.Г., Алешин А.В. Системы искусственного интеллекта. Учебное пособие. Краснодар. Издательство КубГТУ. 1998

56. Частиков А.П., Миклашевская JI.H., Малыхина М.П. Логическое программирование. Ч. 1. Краснодар 2002. КубГТУ

57. Частиков А.П., Волков С.С. Интеллектуальные поисковые системы. Краснодар. «Просвещение Юг». 2001

58. Частиков А.П., Волков С.С. Интеллектуализация процессов поиска текстовой информации. Краснодар. «Просвещение Юг». 2002

59. Частиков А.П., Белов Д.Л. Методы интегральной оценки финансовой устойчивости предприятия. Труды КубГТУ. Том XVIII. Краснодар. 2003

60. Abu-Mostafa Y.S., St. Jacques J. Information Capacity of the Hopfield Model// IEEE Transactions on Information Theory. 1985. - Vol. 31. №4. - P. 461-464

61. Bishop C.M. Neural Networks and Pattern Recognition. Oxford: Press, 1995.- 168 p.

62. Burr D.J. Experiments with a Connectionist Text Reader// Proceedings of the IEEE First International Conference on Neural Networks/ Eds. M. Caudill, C. Butler. San Diego, 1987 - Vol. 4. - P. 717-724

63. Barron A.R. Approximation and estimation bounds for artificial neural networks machine learning. Vol. 14, 1994. - Pp. 115-133

64. Carpenter G., Grossberg S. A Massively Parallel Architecture for a Self organizing Neural Pattern Recognition Machine. Computing Vision// Graphics and Image Processing. 1987. - Vol. 37. - P. 54-115

65. Chui C.K. An introduction to wavelets. NY.: Academic Press, 1992

66. Cottrell G.W., Munro P., Zipser D. Image Compression by Back propagation: An example of extensional programming. San Diego: University of California, 1987. - 87 p. (ICS Report 8702).

67. Cichocki A., Unbehauen R. Neural networks for optimization and signal processing. N.Y.: Wiley, 1993

68. Cover Т. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition// IEEE Trans. Electronic Computers, 1965. Vol. 14. - Pp. 326-334

69. Daubechies I. Ten Lectures on wavelets. CBMS-NSF Regional Conf. Series in Applied Mathematics. Montpelier: Capital City Press, 1992. Vol. 61

70. Diamantaras K., Kung S. Principal component neural networks, theory and applications. -N.Y.: Wiley, 1996

71. Fukushima K. Cognition: A Self-organizing Multilayered Neural Network// Biological Cybernetics. 1975. - Vol.20. - P. 212-136

72. Fukushima K. Neocognition: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Uneffected by Shift in Position// Biological Cybernetics. 1980. - Vol. 36, №4. - P. 193-202

73. Fukushima K. Hierarchical Neural Network Model for Associative Memory// Biological Cybernetics. 1984. - Vol. 50. - P. 105-113

74. Function that Works// Proceedings of the IEEE International Conference on Neural Networks. San Diego, 1988. - Vol. 2 - P. 299-304

75. Grossberg S. A theory of Human Memory: Self-organization and performance of sensory-motor codes, maps and plans// Progress in theoretical biology/ Ed. R. Rosen and F. Shell New York: Academic Press, 1978. - Vol. 5. -P. 120

76. Grossberg S. Studies of Mind and Brain. Boston: Reidel Press, 1982.1. P. 268

77. Grossberg S. Adaptive pattern classification and universal recording: parallel development and coding of neural feature detectors// Biological Cybernetics 1976. - №23 - P. 187-202

78. Green D.G., Reichelt R. Statistical Behavior of the GMDH algorithms// Biometrics. 1988. - №2. - P. 49-70

79. Geva S., Sitte J. Progress in supervised neural networks// IEEE Trans. N.N., 1992. Vol. 3. - Pp. 621-625

80. Haines К., Hecht-Nielsen R. A BAM with Increased Information Storage Capacity// Proceedings of the IEEE International Conference on Neural Networks. -SanDiego: 1988.-Vol. l.-P. 181-190

81. Haykin S. Neural networks, a comprehensive foundation. N.Y.: Macmillan College Publishing Company, 1994

82. Hebb D.O. The Organization of Behavior. New York; Wiley, 1949.65 p.

83. Hecht-Nielsen R. Counterpropagation Networks// Proceedings of the IEEE First International Conference on Neural Networks// Eds. M. Caudill, C. Butler. San Diego: 1987. - Vol. 2. - P. 19-32

84. Hecht-Nielsen R. Neurocomputing Amsterdam: Addison Wesley, 1991

85. Heriz I., Krogh A., Palmer R. Wstep do teorii obliczen neuronowych. Wyd. II. Warszawa: WNT, 1995

86. Hertz J., Krogh A., Palmer R.G. Introduction to the Theory of Neural Computation. London: Addison-Wesley, 1991. - 214 p.

87. Hinton G.E., Sejnowski T.J. Learning and Relearning in Boltzmann Machines. In Parallel distributed processing. Cambridge (MA): MIT Press, 1986. -Vol. l.-P. 282-317

88. Horfield J.J., Tank D.W. Computing with Neural Circuits: A model// Science 1986. - №223. - P. 625-633

89. Horfield J.J., Tank D.W. Neural Computation of Decisions in Optimization Problems.// Biological Cybernetics. 1985. - №52. - P. 141-152

90. Hornik K., Stinchcomb M., White H. Multilayer feed forward networks are universal approximators// Neural Networks, 1989. Vol. 2. - Pp. 359-366

91. Hush D., Home B. Progress in supervised neural networks// IEEE Signal Processing Magazine, 1993, January. P. 8-39

92. Integration definition for function modeling (IDEFO). Draft Federal Information

93. Keun-Rong Hsieh, Wen-Tsuen Chen. A Neural Network Model which Combines Unsupervised and Supervised Learning// IEEE Trans, on Neural Networks. 1993. - Vol. 4, №2. - P. 60-83

94. King S.Y. Digital neural networks. New Jersey: Prentice Hall. Englewood Cliffs, 1993

95. Kohonen T. Self-organization and Associative Memory. New-York: Springer-Verlag, 1989. - P. 266

96. Kohonen T. Self-organized Formation of Topologically Correct Feature Maps// Biological cybernetics. 1982. - №43. - P. 127-138

97. Kohonen T. The "neural" Phonetic Typewriter// IEEE. Computer. -1998.-3.-P. 154

98. Korbicz J., Obuchowicz A., Ucinski D. Sztuczne sieci neuronowe-podstawy; zastoso wania. Warszawa: Akademicka Oficyna Wydawnicza PLJ, 1994

99. Kosko B. Bi-directional Associative Memories. IEEE Transactions on Systems.// Man and Cybernetics. 1987. - Vol. 18, №1. - P. 49-60

100. Kosko B. Competitive Adaptive Bi-directional Associative Memories.// Proceedings of the IEEE First International Conference on Neural Networks/ Eds. M. Caudill, C. Butler. San Diego, - 1987. - №1 - Vol.2 - P. 759-766

101. Kuhl I., Giardina C. Elliptic Fourier features of a closed contours// Computer Graphics and Image Processing. 1982. Vol. 18. - Pp. 236-258

102. Lippmann R. An Introduction to Computing with Neural Networks// IEEE Acoustics, Speech, and Signal Processing Magazine. 1987. - P. 4-22

103. Mallar S. A theory for multi-resolution signal decomposition: the wavelet representation// IEEE Trans. PAML, 1989. Vol. 11. - Pp. 674-693

104. Maxwell Т., Giles C., Lee Y., Chen H. Nonlinear Dynamics of Artificial Neural Systems// Proceedings of the conference on neural networks for computing Washington (D.C.). 1986. - 634 p.

105. McEIiece R.J., Rosner E.G., Rodemich E.R. The Capacity of Hopfield Associative Memory// IEEE Transactions on Information Theory IT-33. New-York: Venkatesh S.S., 1987. - P. 461-482

106. Mehrotra K., Mohan C., Ranka S. Bounds on the number of samples needed for neural learning// IEEE Trans. Neural Networks, 1991. Vol. 2. - Pp. 548-558

107. Minsky M. Logical vs. Analogical or Symbolic vs. Connectionist or Neat vs. Scruffy. San Diego: MIT Press, 1990. - P. 225

108. Minsky M., Papert S. Perceptrons: an introduction to computational geometry. Cambridge, MA. 1988

109. Moody J., Darken C. Fast Learning in Networks Locally Tuned Processing Units// Neural computation - 1989. - №1. - P. 20-29

110. Osowski S. Sieci neuronowe . Warszawa: Oficyna Wydawnicza PW,1994

111. Osowski S. Sieci neuronowe w ujeciu algorytmicznym. Warszawa: WNT, 1996.

112. Paul J. Werbos. Back-propagation Through Time: What It Does and How to Do It: Artificial Neural Networks: Concepts and Theory// IEEE Computer Society Press, 1992. P. 309-318

113. Petrowski A., Dreyfus G., Girault C. Performance Analysis of a Pipelined Back-propagation Parallel Algorithm// IEEE Transactions on Neural Networks, 1993. Vol. 4, №6. - P. 970-981

114. Rummelhart D.E., Hinton G.E., Williams R.J. Learning Internal Reprentations by Error Propagation. In Parallel distributed processing. -Cambridge (MA): MTT Press, 1986. Vol. 1. - P. 318-362

115. Sankar K. Pal, Sushmita Mitra, Multilayer Perception, Fuzzy Sets and Classification// IEEE Transactions on Neural Networks. 1992. - Vol. 3, №5. - P. 683-696

116. Sarle W. How to measure importance of inputs? : FTPapxHB -ftp://ftp.sas.com/pub/neural/importance.html

117. Sejnowski Т.J., Rosenberg C.R. Parallel Networks that Learn to Pronounce English text. Complex Systems. New York: Academic Press, 1987. -Vol. l.-P. 145-168

118. Tadensiewicz R. Sieci neurowe. Warszawa: Akademicka Oficyna Wydawnicza, 1993

119. Tarassenko L., Roberis S. Supervised and unsupervised learning in radial basis function classifiers// IEEE Proc. Vis. Image Signal Process, 1994. -Vol. 141.-Pp. 210-216

120. Wassermann P.D. Combined Back-propagation/ Cauchi machine. Neural Networks: Abstracts of the First INNS Meeting, Boston. Elmsford (NY): Pergamon Press, 1988. - Vol. 1. - P. 556

121. Wassermann P.D. Experiments in Translating Chinese Characters Using Back-propagation// Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington (D.C.): Computer Society Press of the IEEE, 1988.-P. 349-357

122. Werbos P.J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences: Masters thesis. Harvard: University Press, 1974.-P. 129

123. Widrow В., Leir M. 30 Years of Adaptive Neural Networks: Perceptron, Madeline and Back-propagation// Artificial Neural Networks: Concepts and Theory. Washington (D.C.): IEEE Computer Society Press, 1992. -P. 327-354

124. Zehrotra K., Mohan C., Ranka S. Bounds on the number of samples needed for neural learning// IEEE Trans. Neural Networks, 1991. Vol. 2. - P. 548-558

125. Zimmermann H.J. Fuzzy set theory and its applications. Boston: Clawer, 1985