Нейросетевые и гибридные методы и программные средства повышения эффективности поддержки принятия решений в интеллектуальных системах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Ковалев, Иван Витальевич

• Ковалев, Иван Витальевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Ковалев, Иван Витальевич

ВВЕДЕНИЕ.,.

ГЛАВА 1. Анализ состояния теории и практики создания интеллектуальных информационных технологий.

1.1. Проблемы решения задач в трудно формализуемых областях.

1.2. Структурный анализ процесса мониторинга загрязнения атмосферного воздуха как трудно формализуемой задачи.

1.2.1. Поддержка принятия решений в задаче мониторинга загрязнения атмосферы города.

1.3. Обзор интеллектуальных технологий решения трудно формализуемых задач.

1.3.1. Технологии, основанные на классических системах искусственного интеллекта.

1.3.2. Технологии, основанные на генетических алгоритмах.

1.3.3. Технологии, основанные на нейронных сетях.

1.4. Сравнительный анализ технологий интеллектуальной обработки информации.

1.5. Обзор программных средств для организации поиска решений.

1.6. Обзор программных средств для решения задачи мониторинга загрязнения атмосферного воздуха.

1.7. Выводы по главе 1. Цель и задачи диссертационной работы.

ГЛАВА 2. Разработка нейросетевых баз знаний ИСППР.

2.1. Особенности нейросетевой базы знаний.

2.2. Суть алгоритмов обучения НС.

2.2.1. Анализ классического алгоритма обучения НС. Применение адаптивного шага обучения.

2.2.2. Разработка эволюционного алгоритма обучения НС.

2.2.3. Разработка и оценка многопопуляционной ГА.

2.3. Разработка алгоритмов автоматического построения топологии НС.

2.3.1. Классические алгоритмы построения топологии НС.

2.3.2. Модификация конструктивного алгоритма построения топологии НС.

2.3.3. Формирование топологии НС с помощью генетического алгоритма

2.4. Разработка алгоритмов обобщения данных.

2.5. Исследование классических моделей прогнозирования.

2.6. Разработка нейросетевой модели прогнозирования.

2.7. Разработка алгоритмов многомерного анализа данных.

2.10. Выводы по главе 2.

ГЛАВА 3. Разработка методов настройки и адаптации интеллектуальных модулей к решению задач.

3.1. Разработка алгоритма повышение эффективности предварительной обработки данных.

3.2. Разработка метагенетического алгоритма.

3.3. Разработка гибридного алгоритма обучения НС на основе ГА и имитации отжига.

3.4. Исследование эффективности алгоритмов обучения нейронных сетей

3.5. Разработка алгоритма построения топологии НС, основанного на генетическом программировании.

3.6. Исследование эффективности алгоритмов построения топологии НС

3.7. Выводы по главе 3.

ГЛАВА 4. Применение разработанных методов, алгоритмов и программных средств для решения практических задач.

4.1. Цели и методы проводимых исследований.

4.2. Этапы разработки системы.

4.3. Формирование структурных и функциональных требований к разрабатываемой системе.

4.4. Выбор и разработка архитектуры системы.

4.5. Функциональные характеристики разработанной системы.

4.6. Система расчетного мониторинга загрязнения атмосферы.

4.7. Система инструментального мониторинга загрязнения атмосферы.

4.8. Система прогнозирования загрязнения атмосферы.

4.9. Внедрение в учебный процесс.

4.10. Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Нейросетевые и гибридные методы и программные средства повышения эффективности поддержки принятия решений в интеллектуальных системах»

Интеллектуальные компьютерные технологии в настоящее время являются одним из ключевых направлений развития информатики. Особенно важным в этих исследованиях представляется создание интеллектуальных систем поддержки принятия решений (ИСППР), которые благодаря огромному прогрессу в области вычислительной техники находят все более широкое применение при решении сложных трудно формализуемых задач, какими являются задачи информационного мониторинга, автоматизированного проектирования, робототехники, управления, диагностики и т.д.

Отличительными признаками трудно формализуемой задачи являются неполнота исходных данных о решаемой задаче, их неточность и неоднородность, высокая вычислительная сложность их анализа даже на быстродействующих компьютерах. Трудно формализуемая задача не имеет точного решения и требует применения приближенных методов, основанных на широком использовании эмпирических данных, экспертного оценивания, неклассических логик, моделирования, специально разработанных методик.

Современные методы построения ИСППР берут начало в работах таких российских и зарубежных ученых, как Глушков В.М., Амосов H.A., Поспелов Д.А., Винер Н., Минский М., Ларичев О.И., Лорьер Ж.-Л., Розенблатт Ф., Пейперт С., Стефанюк В.Л., Гладун В.П., Вагин В.Н., Еремеев A.B., Попов Э.В., Осипов Г.С, Трахтенгерц Э.А., Загоруйко Н.Г., Борисов А.Н., Финн В.К. и др.

Основные ограничения известных методов и технологий, используемых в настоящее время в системах поддержки принятия решений в трудно формализуемых задачах, обусловлены недостаточной эффективностью решения в них проблем обучения, настройки и адаптации к проблемной области, обработки неполной и неточной исходной информации, интерпретации данных и накопления знаний экспертов, единообразного представления информации, поступающей из различных источников и т.д.

Преодоление ограничений, налагаемых формальными логическими системами, требует либо применения неклассических логик, либо разработки новых подходов, имитирующих человеческие способности при поиске и выборе решений. Эти ограничения могут быть устранены на основе использования перспективных нейросетевых методов и технологий, эволюционного моделирования и генетических алгоритмов, нечеткой логики, различных комбинированных технологий или технологий мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.). Исследованию и практическому применению этих методов и технологий для решения практических задач посвящены работы Галушкина А.И., Горбаня А.Н., Курейчика В.М., Комарцовой Л.Г., Дунина-Барковского В.Л., Омату С., Заде JL, Касабова Н., Гольдберга Д., Дэвиса Л., Лина С., Тарасова В.Б., Ковалева С., Пупкова К.А., Нечаева Ю.И., Васильева В.И., Ярушкиной Н.Г., Жданова A.A., Редько В.Г., Аверкина А.Н., Батыршина И.З., Нариньяни A.C. И др.

Вместе с тем, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для конкретных приложений, недостаточно проработаны вопросы интеграции различных информационных технологий и особенности их реализации в ИСППР с целью повышения эффективности решаемых с ее помощью трудно формализуемых задач.

Таким образом, решаемые в диссертационной работе задачи исследования нейросетевых и гибридных методов и технологий в ИСППР для повышения эффективности реализации в них механизмов обучения, самообучения и адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертационной работы является развитие теории, создание, исследование и совершенствование методов и алгоритмов, составляющих основу нейросетевых и гибридных технологий, повышающих эффективность процессов обработки информации в интеллектуальных системах, предназначенных для поддержки принятия решений в трудно формализуемых областях. Эффективность применения технологий оценивается по качеству решений, срокам их получения, а также по возможности расширения класса решаемых в рамках ИСППР задач.

Задачи исследования. Для достижения поставленной цели должны быть решены следующие задачи:

1. Разработка и исследование методов и алгоритмов, нацеленных на повышение эффективности применения нейросетевых и гибридных методов и технологий в интеллектуальных системах поддержки принятия решений.

2. Разработка и исследование принципов построения базовых нейронных модулей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальной системы поддержки принятия решений.

3. Разработка алгоритмов и методики построения нейронных сетей и гибридных моделей с заданными характеристиками, в зависимости от особенностей их применения для решения конкретных задач в рамках интеллектуальной системы поддержки принятия решений с возможностью адаптации к проблемной среде в условиях процесса поиска решения.

4. Исследование на практике эффективности применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и выбора решения.

Методология и методы исследования. Проведенные теоретические и прикладные исследования базируются на теории принятия решений, 7 нейроинформатике, теории оптимизации, генетических и эволюционных алгоритмах, на методах математической статистики и объектно-ориентированного программирования.

Научная новизна. Разработанные в диссертации теоретические основы построения нейросетевых и гибридных методов и моделей поиска и оценки решений в трудно формализуемых задачах с помощью ИСППР, обеспечивающих реализацию механизмов обучения и адаптации к особенностям проблемной среды, методы их анализа являются существенным вкладом в развитие фундаментальных исследований в области теории принятия решений, создания и исследования новых технологий проектирования сложных программных систем, расширяющих интеллектуальные возможности компьютеров и компьютерных систем.

Конкретно на защиту выносятся следующие новые научные положения и результаты:

1. Методы и алгоритмы повышения эффективности применения нейросетевых и гибридных технологий в интеллектуальных системах поддержки принятия решений, что выражается в повышении качества формируемых решений и в сокращении сроков их получения.

2. Методика и алгоритмы формирования специализированных нейросетевых модулей на основе предварительного обучения, обеспечивающих гибкость и накопление опыта эксперта в заданной предметной области.

3. Методы и алгоритмы синтеза нейронной сети и гибридных моделей с требуемыми свойствами для конкретных приложений.

Практическая значимость результатов диссертационной работы определяется созданием комплекса программных инструментальных средств, повышающих эффективность процессов обработки информации в интегрированных интеллектуальных системах поддержки принятия решений и позволяющих использовать разработанные методы, модели и программные системы, отвечающие конкретным приложениям. Созданный комплекс 8 инструментальных средств может служить как для научных исследований и обучения, так и для комплексирования с другими информационными системами коммерческих и государственных предприятий посредством стандартных интерфейсов DCOM, DDE, CORBA и др. с целью получения доступа к реальным базам данных и знаний. Разработанные методы, алгоритмы и программные, системы нашли применение при решении конкретных задач экологического мониторинга загрязнения атмосферы городов Калуги и Владимира промышленными предприятиями в процессе их функционирования, а также используются в разработках предприятий г. Калуги (КНИИТМУ — Калужском НИИ телемеханических устройств), внедрены в учебный процесс ряда учебных заведений г. Калуги: в Калужском филиале МГТУ им. Н.Э. Баумана, Российском государственном гуманитарном университете (РГГУ), в Калужском государственном педагогическом университете (КГПУ).

Достоверность., Достоверность научных положений, теоретических выводов и практических результатов, полученных в диссертации, подтверждена результатами экспериментальной проверки методов, алгоритмов и программного обеспечения с использованием стандартных и специально разработанных тестов на основе существующих методик, корректным обоснованием и анализом моделей с применением методов математической статистики, подтверждением полученных результатов работы другими авторами, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.

Внедрение и реализация результатов работы. Диссертация является теоретическим обобщением научных исследований, выполненных автором в результате сотрудничества с промышленными предприятиями и фирмами. Теоретический базис разработанного подхода к повышению эффективности использования интеллектуальных систем поддержки принятия решений в трудно формализуемых задачах основан на исследованиях, результаты 9 которых обобщены в 3-х научных статьях в журналах, рекомендованных ВАК, и в докладах на национальных и международных конференциях. Наиболее важная часть разработанного программного обеспечения зарегистрирована в Роспатенте. Основные результаты диссертационной работы нашли свое применение в виде инженерных рекомендаций и методик, пакетов прикладных программ и инструментальных средств, а также внедрены в учебный процесс.

Практическое использование результатов диссертационной работы подтверждено соответствующими актами о внедрении. Акты о внедрении и использовании результатов работы, а также копии авторских свидетельств (Роспатент) представлены в Приложении к диссертации.

Цель и поставленные задачи определили следующую структуру работы.

В первой главе представлен обзор и анализ современных проблем в области создания ИСППР, расширяющих возможности компьютерных систем при решении трудно формализуемых задач.

Отмечаются характерные особенности трудно формализуемых задач: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результата; необходимость коррекции и введения дополнительной информации во время формировании решения при активном участии лица, принимающего решение (ЛПР). Перечисленные особенности не позволяют использовать для решения таких задач известные методы и модели.

Подчеркивается, что главной трудностью разработки и реализации ИСППР для решения конкретных прикладных задач является объективное существование факторов, связанных с неполнотой и неопределенностью знаний о развитии процессов в среде принятия решений.

Проведено исследование существующих в настоящее время подходов к решению сложных задач такого рода на примере задачи экологического мониторинга и прогноза загрязнения атмосферного воздуха выбросами промышленных предприятий. Выделены основные подзадачи, которые сводятся к следующему.

1. Минимизация выбросов загрязняющих веществ в атмосферу:

1.1 .Реализация инструментального мониторинга, который характеризуется: a) высокой стоимостью (невозможностью контролировать все вещества, выбрасываемые в атмосферу города); b) невозможностью выявления вкладов каждого из веществ (контролируется только интегральное значение концентраций); c) неточностью, противоречивостью данных (обусловленное погрешностью приборов и текущими метеоусловиями измерения);

1) неполнотой данных.

1.2.Реализация расчетного мониторинга, для которого характерны следующие ошибки: a) учтены не все источники загрязнения; b) предоставлены недостоверные данные о характеристиках источников загрязнения.

2. Повышение эффективности поддержки принятия управленческих решений: a) автоматизация анализа данных мониторинга; b) обеспечение наглядной формы представления результатов мониторинга для принятия соответствующего решения; c) предоставление актуальной информации о загрязнении атмосферы города общественности;

1) обеспечение общедоступности информации заинтересованным организациям и ведомствам. Анализ задач, требующих решения в рассматриваемой области показал, что проблема загрязнения атмосферного воздуха имеет следующие особенности: большие объемы анализируемой информации, сложность

11 формализации некоторых этапов решения задачи; неполнота, зашумленность и противоречивость входных данных; высокая цена неверно принятых решений (грозящих в некоторых случаях экологической катастрофой). Эти задачи относятся к классу трудно формализуемых, и для их решения необходимо использовать новые подходы.

Преодоление ограничений, налагаемых формальными логическими системами, требует либо применения неклассических логик, либо разработки подходов, имитирующих человеческие способности при поиске и выборе решений с помощью ИСППР. К таким способностям относятся: возможность обработки неполной и противоречивой информации; высоко-параллельная обработка данных и знаний; обучение и адаптация к новой информации; интеграция всех имеющихся данных и знаний для поиска и выбора решений. Для преодоления ограничений формальных логических систем в диссертации предложено использовать нейросетевые и гибридные технологии.

Выполненный анализ и обзор зарубежных и отечественных пакетов прикладных программ на основе нейронных сетей (НС) показал, что ряд задач, связанных с эффективным использованием этой технологии, остается нерешенным. К ним относятся: отсутствие эффективных алгоритмов обучения многослойного персептрона, альтернативных методу обратного распространения ошибки, методов автоматической подстройки параметров алгоритма обучения во время процедуры обучения, автоматического останова обучения, автоматического формирования топологии нейронной сети, методов интерпретации результатов работы сети и т.д., которые требуют дальнейшей доработки. Мало исследованными остаются также проблемы построения гибридных моделей, строящихся на основе интеграции различных информационных технологий.

Обзор интегрированных программных продуктов на основе различных классов нейронных сетей и генетических алгоритмов, которые можно использовать для построения ИСППР, показал, что интеграция осуществляется при построении гибридных моделей только на уровне

12 отдельных модулей. Хотя это и дает во многих случаях положительный эффект, но не позволяет в полной мере использовать возможности заложенных в интегрируемые системы алгоритмов. Нужна более глубокая интеграция - на уровне методов. В работе с этой целью выделены базовые гибридные модели:

1. иерархические нейросетевые, использующие в одной модели различные типы нейронных сетей для повышения эффективности принятия решений;

2. на основе нейронных сетей и генетических алгоритмов, использование которых расширяет класс решаемых трудно формализуемых задач.

На основе проведенного обзора и анализа сформулирована цель исследований и основные задачи, решением которых она достигается

Вторая глава посвящена вопросам разработки моделей принятия решений, как составной части интеллектуальной системы поддержки принятия решений, на основе предварительно обученных на решение определенной проблемы модулей.

Исследованы проблемы формирования НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач; недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучения; высокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать НС минимальной сложности.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация нейросетевых моделей, а также решаемых ими задач позволила в данной работе для построения ИСППР выбрать следующие типы НС: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот

13 тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные комбинированные НС, а также интегрировать их с другими информационными технологиями.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W. В качестве ошибки обучения в работе используется среднеквадратичная ошибка или MSE (Mean Squared Error), которая для выбранных типов НС определяется как усредненная сумма квадратов разностей между желаемой величиной выхода и реально полученными на сети значениями для каждого примера из обучающей выборки.

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation - BP): медленная сходимость алгоритма, невозможность управления параметрами обучения во время процедуры оптимизации, частое попадание в локальный экстремум и др. Предложены способы решения выявленных проблем: использование адаптивного шага обучения для алгоритма BP; использование для обучения алгоритмов глобальной оптимизации, а именно генетических алгоритмов и их модификаций.

Для построения алгоритма обучения НС, альтернативного BP, с целью устранения выявленных проблем проведено экспериментальное исследование генетического алгоритма (ГА).

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (Робертсоновские транслокации), селекции ("дальнее" и "ближнее" родство), отбора ("мягкая" схема). Экспериментальное исследование ГА для решения задачи минимизации ошибки обучения НС на представительном наборе тестовых функций (экстремум которых известен) позволило

14 определить наилучшее сочетание генетических операторов для функций, отличающихся размерностью и числом экстремумов. Полученные рекомендации использованы при конструировании эффективных ГА для обучения НС.

Разработана схема многопопуляционного алгоритма для решения задачи обучения НС.

Далее проводится исследование методов по выбору топологии НС с целью минимизации времени, необходимого для получения результатов в ИСППР. Исследованы проблемы применения ГА для решения задачи построения топологии НС.

Для повышения эффективности использования нейросетевых технологий в ИСППР предложена иерархическая нейронная сеть на основе объединения алгоритма предварительной обработки данных, основанного на нейросетевой кластеризации и многослойного персептрона. Сеть Кохонена используется для предварительной кластеризации исходных данных, многослойный персептрон — для выбора окончательного решения. Такое объединение позволяет добиться более высокой точности работы нейросетевой модели, повысить скорость получения результатов, а также упростить построение обучающего множества.

Третья глава посвящена разработке методов и алгоритмов повышения эффективности использования нейросетевых и гибридных технологий в ИСППР. С этой целью проведено теоретическое и экспериментальное исследование в области построения нейросетевых и гибридных классификаторов, используемых в ИСППР для прогноза возможных решений, и определены пути их создания.

Предложен алгоритм построения адаптивного (метагенетического) ГА, т.е. такого алгоритма, параметры которого настраиваются с помощью другого ГА (внешнего).

Экспериментальное исследование алгоритма показало, что скорость сходимости адаптивного ГА увеличивается в два и большее число раз.

Для повышения эффективности решения задачи обучения МНС разработан комбинированный алгоритм обучения МНС: на основе ГА и имитации отжига (АИО). Создание такого алгоритма открывает возможность динамически менять скорость сходимости ГА на различных этапах поиска минимума с целью снижения временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации Еа управляющего параметра "температуры", который, постепенно уменьшаясь по заданному закону, позволяет стабилизироваться Еа в состоянии минимума. Экспериментально установлено, что предложенная модификация позволяет повысить качество обучения МНС на величину до 10% в сравнении с классическим ГА.

Отмечается, что наиболее предпочтительным для решения задачи подстройки НС в ИСППР под решаемую задачу является эволюционный метод, позволяющий минимизировать сложность НС при решении конкретных прикладных задач. Для реализации этого подхода в диссертации для решения задачи формирования топологии НС предложен оригинальный метод генетического программирования (ГП).

Для повышения эффективности предварительной обработки информации, выполняемой, как было показано в главе 2, с использованием сети Кохонена предложен модифицированный алгоритм обновления весов, отличающийся от известных введением латерального торможения, что позволяет ускорить процедуру кластеризации. Модификация заключается в изменении скорости обучения и радиуса окрестности нейрона-победителя по определенному закону для ускорения стабилизации вектора весовых коэффициентов каждого нейрона во время процедуры обучения.

В четвертой главе предложена архитектура ИСППР, включающая три основные подсистемы: подсистему приобретения и накопления знаний экспертов в определенной прикладной области, подсистему прогноза и вывода альтернативных решений, подсистему оптимизации и выбора приемлемых решений, а также интеллектуальный пользовательский интерфейс, обеспечивающий взаимодействие ЛПР с системой.

Разработан комплекс инструментальных средств обеспечивающий функционирование ИСППР в соответствии с созданной методологией и включающий: нейроимитатор для функционирования и отработки различных алгоритмов обучения и построения нейронных сетей, инструментальную среду для функционирования и исследования генетических алгоритмов, пользовательский интерфейс. Использование распределенной вычислительной среды для формирования решения в ИСППР позволяет ускорить процедуру поиска и анализа решения за счет одновременного развития нескольких вариантов формируемых решений, а также повысить достоверность получаемых результатов за счет дублирования выполняемых процедур.

На основе разработанной методологии и созданного программного комплекса представлены варианты решения некоторых важных практических задач: экологического мониторинга загрязнения атмосферного воздуха промышленными предприятиями г. Калуги с целью прогноза развития экологической ситуации в городе (фирма Экоаналитика), модернизации специализированных вычислительных систем, обслуживающих военные объекты (КНИИТМУ, г. Калуга). Накопленный опыт решения этих задач позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации нейросетевых и гибридных технологий. Пакеты прикладных программ, разработанные автором, защищены авторскими свидетельствами и внедрены в учебный процесс.

1. АНАЛИЗ СОСТОЯНИЯ ТЕОРИИ И ПРАКТИКИ СОЗДАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Ковалев, Иван Витальевич

Основные результаты работы заключаются в следующем.

1. Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных технологий в интеллектуальных системах поддержки принятия решений, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, самообучение и модификацию нейросетевых и гибридных модулей обработки информации в процессе выработки и принятия решений с учетом специфики предметной области.

2. Разработаны принципы построения базовых нейронных модулей, ориентированных на специфику предметной области для комплексного решения типовых задач ИСППР на основе нейронных сетей различных типов и генетических алгоритмов.

3. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, решаемую в ИСППР, на основе генетического программирования и модифицированного конструктивного алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время принятия решений в ИСППР.

4. Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back Propagation (BP)), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно: a. На основе анализа естественных природных механизмов эволюции предложены, исследованы и реализованы новые операторы селекции хромосом, кроссинговера, хромосомной мутации, отбора, которые, в отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом. b. Предложен метагенетический алгоритм, параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА. Экспериментальное исследование алгоритма показало, что скорость сходимости адаптивного ГА увеличивается в два и большее число раз. c. Предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения.

5. Создана методологическая и инструментальная среда для построения нейронных сетей с требуемыми характеристиками из предварительно обученных и вновь разрабатываемых нейросетевых и гибридных модулей для конкретных приложений. В том числе: a. предложены и программно реализованы усовершенствованные нейросетевые классификаторы персептронного типа, позволяющие, в отличие от стандартных классификаторов типа ВР, уменьшить ошибку распознавания на 30-40 % и время обучения в тысячу и более раз при той же обучающей выборке за счет разработки комбинированного генетического алгоритма с динамическим изменением параметров во время процедуры оптимизации на основе недетерминированного алгоритма поиска экстремума -алгоритма имитации отжига; b. предложен усовершенствованный алгоритм обучения НС Кохонена, позволяющий за счет использования механизма изменения радиуса окрестности выигрывающего нейрона и скорости обучения в среднем на 10 процентов уменьшить число ошибок распознавания и время обучения.

6. Полученные в диссертационной работе результаты нашли применение при решении двух практических задач и внедрены в учебный процесс. Диссертационная работа выполнялась в рамках целевой программы фонда содействия развитию малых форм предприятий в научно-технической сфере (http://www.fasie.ru/).

ЗАКЛЮЧЕНИЕ

Диссертационная работа «Исследование и разработка нейросетевых и гибридных методов и программных средств в интеллектуальных системах поддержки принятия решений» выполнена в Московском Государственном Техническом Университете им. Н.Э. Баумана КФ.

В рамках диссертационной работы проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методов, алгоритмов и программных средств интеллектуальной системы поддержки принятия решений, обеспечивающей обучение, адаптацию и модификацию базовых модулей к проблемной среде с учетом неполноты исходной информации.

Список литературы диссертационного исследования кандидат технических наук Ковалев, Иван Витальевич, 2011 год

1. Израэль Ю.А. Экология и контроль состояния природной среды. М.: Гидрометеоиздат, 1984. 435 с.

2. Федеральный закон «Об охране окружающей среды» №7-ФЗ от 10.01.2002 (ред. от 27.12.2009).

3. ГОСТ 17.2.3.01-86. Охрана природы. Атмосфера. Правила контроля качества воздуха населенных пунктов. М., 1987.

4. РД 52.04. 186-89 «Руководство по контролю загрязнения атмосферы». Л.: Гидрометеоиздат, 1991

5. Абакумов В.А. Экологические модификации и развитие биоценозов // Экологические модификации и критерии экологического нормирования. Труды международного симпозиума. Л.: Гидометеоиздат, 1991. С. 18-40.

6. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976. 280 с.

7. Алексеев В.А. особенности описания древостоев в условиях атмосферного загрязнения // Взаимодействие лесных экосистем и атмосферных загрязнителей. Таллин, 1982. С.97-115.

8. Борисов Б.М. К вопросу об оценке состояния здоровья населения в условиях антропогенного загрязнения окружающей среды // Экол. пром. пр-ва. 1999. №1.

9. Булгаков Н.Г. Индикация состояния природных экосистем и нормирование факторов окружающей среды. Обзор существующих подходов // Усп. соврем, биол. 2002. Т. 122. №2.

10. Ю.Быстрова А.К. Экология и капиталистический город. М.: Наука, 1980.

11. Бялобок С. Регулирование загрязнения атмосферы // Загрязнение воздуха и жизнь растений. Л., 1988. С.500-531.

12. Гудериан Р. Загрязнение воздушной среды. М.: Мир, 1979. 200 с.

13. М.Максимов В.Н., Булгаков Н.Г., Левич А.П. Количественные методы экологического контроля: диагностика, нормирование, прогноз // Экология и устойчивое развитие города. М. 20006. С.79-83.

14. Сивакумар Харинатх, Стивен Куинн SQL Server 2005 Analysis Services и MDX для профессионалов. Диалектика, 2008 г., 848 стр.

15. Бергер A. Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных. БХВ-Петербург, 2007 г., 928 стр.

16. Наталия Елманова, Алексей Федоров Введение в OLAP-технологии Microsoft. Диалог-МИФИ, 2002 г., 272 стр.

17. Барсегян A.A. Методы и модели анализа данных: OLAP и Data Mining / A.A. Барсегян, М.С.Куприянов, В.В.Степаненко, И.И.Холод. — СПб.: БХВ-Петербург, 2004. 336 с.

18. Коровкин С. Д. Решение проблемы комплексного оперативного анализа информации хранилищ данных / С.Д. Коровкин, И.А. Левенец, И.Д. Ратманова, В.А. Старых, Л.В. Щавелёв // СУБД. 1997. - № 5-6. - С. 47-51с.

19. Business intelligence effective data mining & analysis http://www.olap.ru21 .http://technet.microsoft.com/ru-ru/default.aspx

20. Головко B.A. Нейронные сети: обучение, организация и применение. Кн. 4: Учеб. пособие для вузов. Общая ред. А.И. Галушкина. М.: ИПРЖР, 2001. - 256 е.: ил. (Нейрокомпьютеры и их применение).

21. Костров Б.В., Ручкин В.Н., Фулин В.А. Искусственный интеллект и робототехника. М.: «Издательство ДИАЛОГ-МИФИ», 2008. - 224 с.

22. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского. М.: Горячая линия - Телеком, 2007. - 452 е.: ил.

23. Батыршин ИЗ., Недосекин А.О., Стецко A.A., Тарасов В.Б., Язенин A.B., Ярушкина Н.Г. Нечеткие гибридные системы. Теория и практика / Под ред. Н.Г. Ярушкиной. М.: ФИЗМАТЛИТ, 2007. - 208 с.

24. Хайкин, Саймон Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. -М.: ООО «И.Д. Вильяме», 2006. 1104 с. : ил. - парал. тит. англ.

25. Рассел, Стюарт, Норвиг, Питер Искусственный интеллект: современный подход, 2-е изд.: Пер. с англ. — М.: Издательский дом «Вильяме», 2007. -1408 е.: ил. Парал.тит.англ.

26. Тарасов В.Б. Синергетические проблемы в искусственном интеллекте // Труды Международной научно-практической конференции «Знание-диалог-решение». Т. 2 (Санкт-Петербург, 19-22 июня 2001 г.). СПб: Лань, 2001.-С. 594-602.

27. Hewitt С. Viewing Control Structures as Patterns of Message Passing // Artificial Intelligence. 1977. V. 8, № 3. P. 323-364.

28. Ferber J. Les systems multi-agents. Vets une intelligence collective. P.: InterEditions, 1995.

29. Городецкий В.И. Многоагентные системы: основные свойства и модели координации поведения // /информационные технологии и вычислительные системы. 1998. № 1. С. 22-34.

30. Осипов Г.С. Приобретение знаний интеллектуальными системами. М.: Наука, 199734.0сипов Г.С. Динамика в системах, основанных на знаниях // Известия РАН: Теория и системы управления. 1998. № 5. С. 24-28.

31. Аверкин А.Н., Прокопчина C.B. Мягкие вычисления и измерения // интеллектуальные системы. 1997. Т. 2, вып. 1-4. С. 93-114.

32. Jang J.-S. Roger, Sun C.T., Mizutani E. Neuro-Fuzzy and Soft Computing. A Computational Approach to Learning and Machine Intelligence. Prentice-Hall International, 1997.

33. Nii H.P. The Blackboard Model of Problem Solving and the Evolution of

34. Blackboard Architecture // AI Magazine. 1986. V. 7, № 2. P. 38-53.f

35. Алиев P.A., Алиев P.P. Теория интеллектуальных систем и ее применение. Баку: Чашыоглы, 2001.

36. Курейчик В.М„ Курейчик В.В. Эволюционные синергетические и гомеостатические стратегии в искусственном интеллекте // Новости искусственного интеллекта. 2000. № 3, С. 39-65.

37. Дубров А.М Обработка статистических данных методом главных компонент. 1978. 136 с.

38. Лоул и Д., Максвелл А., Факторный анализ как статистический метод, пер. с англ., М., 1967;

39. Харман Г., Современный факторный анализ, пер. с англ., М., 1972.

40. Саймон Г. Науки об искусственном // Пер. с англ. -М.: Мир. -1972.

41. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. -М.:Эдиториал УРСС. -2002.

42. Искусственный интеллект. Справочник. Модели и методы. Кн.2. Под ред. проф. Поспелова Д.А. М: Радио и связь. 1990. -303 с.

43. Ларичев О.И. и др. Новые возможности компьютерного обучения. // Вестник РАН. -1999. -Т.69. -№2.

44. Искусственный интеллект. Справочник. Системы общения и экспертные системы. Кн.1. Под ред. проф. Попова Э.В. М: Радио и связь. 1990.

45. Искусственный интеллект. Справочник. Программные и аппаратные средства. Кн.З. Под ред. проф. Захарова В.Н., проф. Хорошевского В.Ф. М: Радио и связь. 1990, с.287.

46. Ларичев О.И. Теория и методы принятия решений. — М.: Логос. -2002.

47. Gero J.S. Creativity, emergence and evolution on design // Knowledge -based system. -1996. -Vol.9. -№7. -p.435-448.

48. Осипов Г.С. Приобретение знаний интеллектуальными системами. -M.: Наука. Физматлит. -1997.

49. Представление и использование знаний // Пер. с яп. под ред. Х.Уэно, М.Исудзуки. -М: Мир. -1989.

50. Поспелов Д.А. Ситуационное управление. Теория и практика. -М.: Наука. -1986.

51. Гаврилова Т.А., Хорошевский В.Р. Базы знаний интеллектуальных систем. -СПб.: Питер. -2000.

52. Вагин В.Н. Дедукция и обобщение в системах принятия решений. -М.: Наука, 1988.

53. Quillian M.R. Semantic Memory // Minsky M. (ed.) Semantic Information Processing. Cambridge: MIT Press. -1968. P. 216-270.

54. Гладун В.П. Процессы формирования новых знаний. София: СД "Педагог". -1994.

55. Нильсон Н. Принципы искусственного интеллекта. Методы поиска решений. M : Мир.-1972. -234 с.

56. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта. -Киев.: Наукова Думка. -2001.

57. Towell G. Knowledge-Based Artificial Neural Networks //Artificial Intelligence. 1994. -№7. -P. 119-165.

58. Розенблатт Ф. Принципы нейродинамики. M.: Мир. -1965.

59. Sarle W. Frequent asked question on neural networks: ftp:// ftp.sas.com/pub/neural/FAQ.html

60. Комарцова Л.Г. Исследование возможностей нейронных сетей для создания проекта локальной вычислительной сети // Нейрокомпьютеры. Разработка и применение. -М.:Радиотехника.-2001.-№6.

61. Комарцова Л.Г. Двухэтапный алгоритм обучения нейронной сети на основе генетического поиска // Нейрокомпьютеры. Разработка и применение.-М.: Радиотехника.-2000. -№1.

62. Комарцова Л.Г. Управляемый алгоритм обучения нейронной сети на основе генетического поиска и имитации отжига // Сб. докладов VII Всероссийской конференции "Нейрокомпьютеры и их применение". -М.: Радиотехника. -2001.

63. Lim T.S., Loh W.Y. Shih Y.S. An empirical comparison of decision trees and other classification methods. Technical Report 979. Department of Statistics. University of Wiscosin. Madison. Wisconsin. -1997. http:// www.stat.wisc.edu/ ~limt/compare.ps

64. Sarle W. Neural Networks and Statistical models. In Proc. of 19-th Annual SAS users group International Conferense. -1994. ftp:// ftp.sas.com/pub/neural/inter95 .ps

65. Галушкин А.И. Теория нейронных сетей. -Кн. 1. -М.: ИПРЖР. -2000.

66. Горбань А.Н. и др. Нейроинформатика. -Красноярск.: СО РАН. -1999.

67. Клир Дж. Системология. Автоматизация решения системных задач. М.: Радио и связь. -1990.

68. Галушкин А.И. Нейрокомпьютеры. -Кн. 3. -М.: ИПРЖР. -2000.

69. Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры. -М.:Из-во МГТУ им. Н.Э. Баумана. -2002.

70. Горбань А.Н. и др. Нейроинформатика. -Красноярск.: СО РАН. -1999.

71. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск.: Наука. СО РАН. -1996.

72. Горбань А.И., Дунин-Барковский В.Л., Кирдин А.И. и др. // Сб. статей "Нейроинформатика" .-Новосибирск.: Наука. Сибирское предприятие РАН. -1998.

73. Хакен Г. Синергетика. Иерархия неустойчивостей в самоорганизующихся системах и устройствах / Пер. с англ. -М.: Мир.-1985.

74. Голицын Г.А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. -1996.

75. Lin С.Т. Neural Fuzzy Control System with Structure and Parameter Learning. Singapore: World Scientific. -1994.

76. Chin-Teng Lin, George Lee C.S. Neural Fuzzy Systems. A Neuro.-. Fuzzy Synergism to Intelligent Systems. Prentice Hall P T R, Upper Sandle River, NJ 07458. -1997.86.3агоруйко Н.Г. Прикладные методы анализа данных и знаний.

77. Новосибирск.: Из-во Института Математики СО РАН. -1999. 87.Осипов Г.С. Динамика систем, основанных на знаниях // Известия РАН. Теория и системы управления. -1998. -№5. -С.24-28.

78. Kosko В. Neural networks and fuzzy system . Prentice Hall, Englewood Cliffs. N.J. 1992.

79. Chin-Teng Lin, George Lee C.S. Neural Fuzzy Systems. A Neuro Fuzzy Synergism to Intelligent Systems. Prentice Hall P T R, Upper Sandle River, NJ 07458. -1997.

80. Ярушкина Н.Г. Мягкие вычисления в автоматизированном проектировании // Труды КИИ'2000. -Т.2. -С.541-548.

81. Брауде Э.Дж. Технология разработки программного обеспечения / Э.Дж. Брауде. Питер, 2004. - 656с.

82. Лешек А.М. Анализ требований и проектирование систем. Разработка информационных систем с использованием UML / А.М. Лешек. М.: Вильяме, 2002. - 432 с.

83. Лафоре Р. Объектно-ориентированное программирование в С++. Классика Computer Science. 4-е изд. / Р. Лафоре — СПб.: Питер, 2004. -924 е.: ил.

84. С# Language Specification 3.0 Электронный ресурс. Режим доступа: — http://download/microsoft.com/download/3/8/8/388e7205-bcl0-4226-b2a8-75351с669Ь09/С8Ьаф%20Ьапеиаее%208рес1Асайоп.аос

85. Extensible Markup Language (XML) 1.1 (Second Edition) Электронный ресурс. — Режим доступа: — http://www.w3.org/TR/xml 11/.

86. Платт Д.С. Знакомство с Microsoft .NET / Д.С. Платт. М.:. Русская Редакция, 2001. - 240с.

87. Троелсен Э. С# и платформа .NET / Э. Троелсен. Питер, 2007. —796с.

88. Пауэрс Л. Microsoft Visual Studio 2008 В подлиннике / Ларе Пауэре, Майк Снелл БХВ-Петербург, 2009. - 1200с.

89. Байдачный С. SQL Server 2005. Новые возможности для разработчиков / С. Байдачный, Д. Маленко, Ю. Лозинский. М.: Солон-Пресс, 2006. -208 с.

90. Браст Э.Дж. «Разработка приложений на основе Microsoft SQL Server 2005» / Э.Дж. Браст, С. Форте. М.: Русская Редакция, 2007. - 880с.

91. Горев А. Эффективная работа с СУБД / А. Горев, Р. Ахаян, С. Макашарипов. Питер, 1997. - 445с.

92. Дейт К.Дж. Введение в системы баз данных 8-е издание / К.Дж. Дейт. -М.: Вильяме, 2006. 1328 с.

93. Райордан P.M. Основы реляционных баз данных / P.M. Райордан. М.: Русская Редакция, 2001. — 384 с.

94. Мандел Т. Разработка Пользовательского Интерфейса / Т. Мандел. — М.: ДМК, 2001.-416 с.

95. Федеральный закон «Об охране атмосферного воздуха» №96-ФЗ от 04.05.1999 (ред. от 27.12.2009).

96. Федеральный закон «О санитарно — эпидемиологическом благополучии населения» №52-ФЗ от 30.03.1999 (ред. от 30.12.2008).

97. Постановление Правительства РФ от 21.04.2000 г. № 373. «Положение о государственном учете вредных воздействий на атмосферный воздух и их источников».

98. Постановление Правительства РФ от 02.03.2000 №183 (ред. от 22.04.2009) «О нормативах выбросов вредных (загрязняющих) веществ в атмосферный воздух и вредных физических воздействий на него».

99. Постановление Правительства РФ от 15.01.2001 №31 (ред. от 27.01.2009) «Об утверждении Положения о государственном контроле за охраной атмосферного воздуха».

100. Постановление Правительства РФ от 02.02.2006 №60 «Об утверждении Положения о проведении социально-гигиенического мониторинга».

101. Приказ № 66 Госкомэкологии РФ от 16.02.1999 г. «О применении системы сводных расчетов при нормировании выбросов».

102. Приказ № 56 Ростехнадзора от 07.02.2007 г. «Об утверждении формы разрешения на выброс вредных (загрязняющих) веществ в атмосферный воздух».

103. ГОСТ 17.2.3.02-78. «Охрана природы. Атмосфера. Правила установления допустимых выбросов вредных веществ промышленными предприятиями». Изд. Стандартов. М., 1979.

104. СанПиН 2.1.6.1032-01. Гигиенические требования к обеспечению качества атмосферного воздуха населенных мест. М., Минздрав России. 2001.

105. СанПиН 2.2.1/2.1.1.1200-03 «Санитарно-защитные зоны и санитарная классификация предприятий, сооружений и иных объектов», новая редакция, 2007 г.

106. СанПиН 2.2.1./2.1.1.-2361-08 «Изменение №1 к СанПиН 2.2.1/2.1.1.1200-03». М., Минздрав России.

107. МосМР 2.1.9.001-03. «Критерии установления уровней минимального риска здоровью населения от загрязнения окружающей среды» М.: Санэпидмедиа, ГУ НИИ ЭЧ и ГОС имени А.Н.Сысина РАМН, Центр Госсанэпиднадзора в г. Москве, 2003.

108. МосМР 2,1.9.004-03. «Критерии оценки риска для здоровья населения приоритетных химических веществ, загрязняющих окружающую среду» М.: Санэпидмедиа, ГУ НИИ ЭЧ и ГОС имени А.Н.Сысина РАМН, Центр Госсанэпиднадзора в г. Москве, 2003.

109. МосМР 2.1.9.005-03. «Применение факторов канцерогенного потенциала при оценке риска воздействия химических веществ» М.:

110. Санэпидмедиа, ГУ НИИ ЭЧ и ГОС имени А.Н.Сысина РАМН, ММА имени И.М.Сеченова, Центр госсанэпиднядзора в г. Москве, 2003.

111. МУ 2.1.6.792-99. «Выбор базовых показателей для социально -гигиенического мониторинга (атмосферный воздух населенных мест)» -М., Минздрав, 1999.

112. Ковалев И.В. Применение нейронных сетей для обобщения входных данных в системах прогнозирования / И.В. Ковалев // Per. студ. н-т. конф.

113. Ч. 1. Применение кибернетических методов в решении проблем общества XXI века. Тезисы докладов. Обнинск, 24-26 апреля 2009г, с.24-27.

114. Ковалев И.В. Нейросетевой подход к решению задачи снижения размерности входного множества системы прогнозирования загрязнения атмосферы / И.В. Ковалев // Научн. сессия МИФИ-2009. XI Всерос.н-т. конф. "Нейроинформатика 2009". М.: МИФИ, 2009, с.66-68.

115. Емельянов В.В., Курейчик В.В., Курейчик В.М. Теория и практика эволюционного моделирования. М.: ФИЗМАТЛИТ, 2003. - 432 с. -ISBN 5-9221-0337-7.

116. Интеллектуальные системы управления с использованием генетических алгоритмов: Учебное пособие / В.И.Васильев, Б.Г.Ильясов; . Уфимск.гос.авиац.техн.ун-т. Уфа, 1999. - 105 с. ISBN 5-86911-251-6

117. Бэстенс Д., Ван Ден Берг, Д. Вуд Нейронные сети и финансовые рынки. -М.: ТВП. -1997.

118. Barren A. Approximation and estimation bounds for artificial neural networks //Proceedings of the Fourth Annual Workshop on Computational Learning Theory, 1991, pp.243-249.

119. Barren A. Complexity Regularization with Application to Neural Networks // Nonparametric Functional Estimation and Related Topics, Roussas G.,editor, Kluwer Academic Publishers, 1991,pp.561-576.

120. Moody J. The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems // Moody, J.E., Hanson, S.J., and Lippmann, R.P., Advances in Neural Information Processing Systems 4, 1992, pp. 847- 854.

121. Шумский С.А. Байесова регуляризация обучения // Научная сессия МИФИ-2002. Сб. научных трудов 4 -ой Всероссийской конференции "Нейроинформатика-2002". -В 2 частях. -4.1. -М.:МИФИ.-2002.

122. Girosi F., Jones М., Poggio Т. Regularization. Theory and Neural Networks.

123. Torres-Moreno J. M. Apprentissage et generalisation par des reseaux de neurones : etude de nou'ueuux u.lgo'n.th'rnes con.itructifs. II PhD thesis, de l'lnstitut National PolytechniquedeGrenobire,1997.

124. Ash T. Dynamic Node Creation in Back-Propagation Networks. II Connection Science, V. 1, 1989.

125. Whitley D., Starkweather Т., Bogart C. Genetic algorithms and neural networks: optimizing connections and connectivity // Parallel Computing, 14:347-361, 1990.

126. Bartlett P., Downs T. Training a neural network with a genetic algorithm // Technical Report, Dept. offilec. Eng., Univ. of Queensland, January 1990.

127. Fogel D., Fogel L., Porto V. Evolving neural networks // Biological Cybernetics, 63, 1990, pp. 487-493.

128. Yao X. A review of evolutionary artificial neural networks // International Journal of Intelligent Systems, 8(4):539-67, 1993.

129. Harp S., Samad Т., Guha A. Designing application-specific neural networks using the genetic algorithm // In D. S. Touretzky, editor. Advances in Neural1.formation Processing Systems 2, pp. 447-454. Morgan Kaufrnann, San Mateo, CA, 1990.

130. Harp S., Samad Т., Guha A. Towards the genetic synthesis of neural networks // In J. D.Schaffer, editor, Proc. of the Third Int'l Conf. on Genetic Algorithms and Their Applications, pp. 360-369. Morgan Kaufrnann, San Mateo, CA, 1989.

131. Schaffer J., Caruana R., Eshelman L. Using genetic search to exploit the emergent behavior of neural networks // Physica D, 42:244-248, 1990.

132. Wilson S. Perceptron redux: emergence of structure // Physica D, 42:249256, 1990.

133. Mandischer M. Representation and evolution of neural networks // Proceedings of the Conference on Artificial Neural Nets and Genetic Algorithms, pp. 643-649. Springer Verlag, 1993.

134. Hancock P. Coding Strategies for Genetic Algorithms and Neural Nets // PhD thesis, Department of Computing Science and Mathematics, University of Stirling, 1992.

135. Thierens D., Suykens J., Vandewalle J., De Moor B. Genetic weight optimization of a feedforward neural network controller // Proceedings of the Conference on Artificial Neural Nets and Genetic Algotithms, pp. 658-663. Springer Yerlag, 1993.

136. Laarhoven P. van Aarts E. Simulated Annealing: Theory and Application. D. Riedel, Dordrecht. Holland. -1987.

137. Kirkpatrick S., Gellat C.D. Vecchi M. Optimization by Simulated Annealing. Science. 1983. - vol. 220.

138. Metropolis N., and al. Equation of calculation by fast computing machines. -J. of Chem. Phys. -21(6). 1998.

139. Sechen C. Lee K. -W. An improved simulated annealing algorithm for row-based placement //Proc. of the IEEE International Conf. on CAD.-1987.

140. И.В. Ковалев Система интеллектуальной обработки данных в задаче экологического мониторинга и прогнозирования загрязнения атмосферы.

141. Международный конгресс по интеллектуальным системам и информационным технологиям IS&IT' 10 2-9 сентября 2010 года.

142. И.В. Ковалев Интеллектуальная система прогнозирования загрязнения атмосферы. XII Всероссийская научно-техническая конференция "Нейроинформатика 2010". М.: МИФИ, 2010

143. Ковалев И.В. Интеллектуальная система прогнозирования загрязнения атмосферы.// Журнал «Нейрокомпьютеры: разработка, применение», №7, 2010 г.-С.62-66.

144. А.К. Керимов. Анализ и прогнозирование временных рядов. Издатель: Издательство Российского Университета дружбы народов 2005. — 140 с.

145. Дуброва Т.А. Статистические методы прогнозирования: учеб. пособие для вузов. — Москва: ЮНИТИ-ДАНА, 2003.

146. Golovko, V., Savatsky, Ju., Gladischuk, V., A neural net for prediction problems // Proceedings of Int. Conf. on technical informatics Timisoara: University of Timisoara, Romania, 1996, t. 49-52.

147. Golovko, V., Savatsky, Ju., Gladischuk, V., Predicting Neural Net // Proceedings Int. Conf. CM NDT-95, Berlin: DGZfP, 1995, pp.248-353.

148. Головко В.А., Дунец А.П., Левонюк Д.Н. Метод обучения многослойной нейронной сети // Тр. X научно-технической конференции. Брест: - БПИ, 1998, с.8-15.

149. Horts, J., Krogh, A., Palmer, R., Introduction to the theory of neural computation. Addison Wesly Publishing Company, 1991.

150. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18. М.: Радиотехника, 2005. - 256 с.