Модель, метод и комплекс программ для решения задачи классификации с использованием генетических алгоритмов тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Ржеуцкий, Александр Викторович

• Ржеуцкий, Александр Викторович
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Ржеуцкий, Александр Викторович

Введение.

1. Анализ существующих подходов к решению задачи классификации на основе обучения по прецедентам. Постановка задачи исследования.

1.1. Содержательная постановка задачи классификации на основе обучения по прецедентам.

1.2. Формальная постановка задачи классификации.

1.3. Оценка качества классификатора.

1.4. Сравнительный анализ основных моделей классификации.

1.5. Генетические алгоритмы в задачах машинного обучения.

1.6. Постановка задачи исследования.

Выводы по главе 1.

2. Разработка метода и эффективных алгоритмов построения деревьев классификации на основе генетического программирования.

2.1. Анализ существующих алгоритмов построения деревьев классификации как основы для предлагаемого генетического алгоритма.

2.1.1. Алгоритм ID3.

2.1.2. Алгоритм С4.5.

2.1.3. Алгоритм CART.

2.1.4. Результаты анализа классического метода и алгоритмов построения деревьев классификации.

2.2. Предлагаемый метод построения деревьев классификации на основе применения генетического алгоритма комбинирования эвристик.

2.2.1. Виды эвристик, используемые при построении дерева классификации.

2.2.2. Выбор представления дерева классификации в виде особи генетического алгоритма.

2.2.3. Общее описание алгоритма.

2.2.4. Формирование начальной популяции.

2.2.5. Оператор кроссовера.

2.2.6. Оператор мутации.

2.2.7. Выполнение эволюции особей. Переход к новому этапу.

2.3. Используемые структуры данных.

Выводы по главе 2.

3. Реализация и анализ алгоритмов построения деревьев классификации. Вычислительный эксперимент на тестовых данных.

3.1. Особенности реализации алгоритмов.

3.1.1. Борьба с переобучением. Выделение тестовой и экзаменационной выборки данных.

3.1.2. Использование скользящего контроля для оценки точности классификации.

3.1.3. Обработка числовых значений целевых атрибутов. Дискретизация данных.

3.2. Анализ вычислительной сложности алгоритма.

3.2.1. Асимптотическая оценка вычислительной сложности алгоритма.

3.2.2. Экспериментальное исследование времени исполнения алгоритма.

3.3. Экспериментальное сравнение реализованных алгоритмов с известными алгоритмами классификации на основе нейронных сетей.

3.3.1. Подбор оптимальной архитектуры нейронный сети. Классификация данных с дискретными значениями целевого атрибута.

3.3.2. Сравнение результатов классификации при наличии пропущенных данных.

3.3.3. Сравнение результатов классификации с числовыми значениями атрибутов.

Выводы по главе 3.

4. Комплекс проблемно-ориентированных программ для проведения вычислительного эксперимента. Прикладные результаты работы.

4.1. Разработка структуры комплекса проблемно-ориентированных программ для проведения вычислительного эксперимента.

4.1.1. Методика построения и использования классификационной модели.

4.1.2. Структура системы анализа данных с использованием подсистемы классификации.

4.1.3. Структура комплекса программ для проведения вычислительного эксперимента.

4.2. Применение результатов работы для анализа данных в CRM-системе предприятия.

4.2.1. Описание предметной области.

4.2.2. Постановка задачи классификации, определение входных величин.

4.2.3. Сравнение результатов с известными алгоритмами классификации.

4.3. Применение результатов работы для анализа исполнительской дисциплины сотрудников в системе электронного документооборота.

4.3.1. Описание предметной области.

4.3.2. Постановка задачи классификации, определение входных атрибутов.

4.3.3. Сравнение результатов с известными алгоритмами классификации.

4.4. Применение результатов работы для классификации учебных задач по их сложности в системе электронного обучения.

4.4.1. Описание предметной области.

4.4.2. Постановка задачи классификации, определение входных атрибутов.

4.4.3. Сравнение результатов с известными алгоритмами классификации.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Модель, метод и комплекс программ для решения задачи классификации с использованием генетических алгоритмов»

Современные корпоративные хранилища данных содержат огромные массивы информации, накопленной за длительный период эксплуатации информационных систем предприятий. Различные категории пользователей информационных систем постепенно начинают осваивать открывшиеся возможности глубокого анализа накопленной информации как средства извлечения знаний, которые помогают понять и объяснить причины тех или иных явлений, выявить нетривиальные закономерности предметной области, следовательно, снизить степень риска при принятии управленческих решений. В последние годы в связи с потребностями практики мощный импульс развития получили системы анализа данных, которые возникли и развиваются как естественное расширение и дополнение управленческих информационных систем предприятий на определенном этапе их развития, Сфера их применения очень широка - наука, производство, транспорт, здравоохранение, обучение и т.д.

На современном этапе одним из основных направлений развития систем анализа данных является разработка новых вычислительных методов и алгоритмов анализа с помощью обобщенных математических моделей, способных к обучению на основе совокупности фактов (прецедентов), зафиксированных в информационной системе предприятия. Данное направление, получившее название обучения по прецедентам (машинного обучения - machine learning), развивается в работах С.А. Айвазяна, П. Бартлетта, В.Н. Вапника, К.В. Воронцова, Ю.И. Журавлева, B.JI. Матросова, К.В. Рудакова, Р. Фишера, А.Я. Червоненкиса и др. [1, 6, 7, 11, 37]

В диссертационном исследовании решается одна из наиболее востребованных на практике задач обучения по прецедентам -классификация объектов на основе совокупности их признаков (термин «объект» понимается широко, означая любой предмет, понятие или событие, которые могут быть описаны в виде множества признаков). Подсистема классификации является одной из основных составляющих системы анализа данных предприятия, однако внедрение методов классификации как средства анализа деятельности и поддержки принятия решений происходит с большой осторожностью и определенной степенью недоверия со стороны аналитиков предметной области.

В связи с этим одной из самых востребованных на практике обучаемых моделей классификации являются деревья решений (деревья классификации), которые легко интерпретируются в терминах предметной области, поэтому с их помощью можно не только классифицировать объект на основе совокупности признаков, но и понять (объяснить), почему данный объект отнесен к данному классу. Данная модель обладает способностью к отбору наиболее существенных признаков классифицируемых объектов, кроме того, она не требует от аналитиков предметной области никаких специальных знаний в области математики и информатики,

В настоящее время для обучения модели деревьев классификации обычно используются «жадные» алгоритмы, которые не позволяют решать оптимизационную задачу построения дерева с высокой точностью. Таким образом, известные на настоящее время методы построения деревьев классификации не позволяют извлекать из накопленных данных наиболее полные и точные правила классификации. В связи с этим они часто используются как инструмент начального (разведочного) анализа данных с последующим уточнением результатов на другой модели. Перспективным направлением повышения точности классификационной модели при приемлемых затратах времени на ее обучение является генетическое программирование. Генетические алгоритмы успешно используются при обучении других моделей, например, нейронных сетей, однако сведений об их применении к построению деревьев классификации в доступных источниках информации не имеется.

Исходя из изложенного, актуальным является исследование теоретических и прикладных аспектов эффективного применения генетического программирования для решения задачи классификации данных на основе модели деревьев решений.

Объектом диссертационного исследования являются модели классификации в применении к системам анализа данных.

Предметом исследования являются методы и алгоритмы обучения моделей классификации и комплексы программ для решения задачи классификации.

Цель диссертационного исследования заключается в разработке метода, алгоритмов и комплекса программ для решения задачи классификации данных, позволяющих повысить качество обученной модели классификации за счет применения генетического программирования на этапе обучения.

Основные задачи исследования.

1. Определить критерии качества обученной модели классификации применительно к системам анализа данных.

2. Разработать вычислительный метод обучения модели классификации на основе деревьев решений, позволяющий повысить качество обученной модели за счет применения генетических алгоритмов.

3. В рамках предложенного метода разработать эффективные алгоритмы реализации генетических операторов и общий алгоритм построения дерева, обладающий свойством масштабируемости.

4. Выполнить реализацию предложенного метода и алгоритмов в виде комплекса проблемно-ориентированных программ для проведения вычислительного эксперимента.

Методы исследования. Методологической базой исследования явились работы по теории машинного обучения и генетического программирования. В работе использовался математический аппарат теории вероятности и статистического анализа в приложении к задаче классификации, методы анализа алгоритмов.

Научная новизна

1. Предложен метод построения деревьев классификации, основанный на применении генетического алгоритма комбинирования эвристик, позволяющий оптимизировать структуру дерева, следовательно, извлекать из обучающей выборки наиболее полные и точные правила классификации, по сравнению с известными на настоящий момент методами построения деревьев классификации.

2. Разработаны эффективные алгоритмы генетических операторов в рамках предложенного метода, обеспечившие повышение точности и обобщающей способности обученной модели классификации.

3. Доказан и экспериментально проверен линейный характер зависимости времени построения дерева классификации от размера обучающей выборки, что позволяет отнести разработанный генетический алгоритм к группе масштабируемых алгоритмов машинного обучения, позволяющих обрабатывать динамично растущие информационные массивы корпоративных хранилищ данных.

4. Разработан комплекс проблемно-ориентированных программ для проведения вычислительного эксперимента на основе предложенного метода и алгоритмов.

Обоснованность и достоверность полученных результатов обеспечивается корректностью применяемого математического аппарата, строгими доказательствами предложенных утверждений; результатами вычислительного эксперимента на тестовых и реальных задачах.

Практическая значимость исследования заключается в разработанном комплексе программ, позволяющем с высокой точностью решать задачи классификации в автоматизированных системах на платформе 1С: Предприятие. Предложенный метод и алгоритмы позволяют повысить точность и обобщающую способность классификационной модели по сравнению со стандартным инструментальным средством построения деревьев классификации, встроенным в платформу «1С: Предприятие», при сохранении всех преимуществ данной модели.

На защиту выносятся следующие основные положения и результаты.

1. Вычислительный метод построения дерева классификации, основанный на применении генетического алгоритма комбинирования эвристик, позволяющий повысить точность и обобщающую способность обученной модели классификации

2. Структуры данных и алгоритмы для реализации основных генетических операторов, адаптированные с учетом специфики построения дерева классификации.

3. Общий алгоритм реализации предложенного метода построения дерева классификации, обладающий свойством масштабируемости.

4. Комплекс проблемно-ориентированных программ на основе предложенного метода для проведения вычислительного эксперимента.

Внедрение результатов исследования. Теоретические и практические результаты диссертационной работы внедрены в программные продукты ООО «Логасофт». В настоящее время разработанное автором программное обеспечение апробировано в Департаменте финансов Вологодской области в составе системы электронного документооборота и в СЯМ-системе ООО «Бизнес-софт», что подтверждено актами о внедрении.

Результаты работы используются в учебном процессе кафедры автоматики и вычислительной техники Вологодского государственного технического университета при преподавании дисциплин «Структуры и алгоритмы обработки данных» и «Программирование и основы алгоритмизации». Разработанная автором подсистема классификации учебных заданий по уровню сложности внедрена в систему электронного обучения кафедры автоматики и вычислительной техники, что подтверждено актом о внедрении.

Материалы работы использованы в Федеральной целевой программе «Научные и научно-педагогические кадры инновационной России» на 20092013 годы в рамках проектов «Информационные системы в подготовке специалистов по направлению «Теплоэнергетика», «Разработка методов формализации и верификации распределенных информационно-поисковых систем на основе сервис-ориентированной архитектуры», «Методология построения интеллектуальных агентно-ориентированных учебных комплексов для многоуровневой подготовки специалистов технического профиля».

Апробация результатов исследования. Результаты работы докладывались и получили положительную оценку на следующих конференциях: Всероссийская научно-практическая конференция «Информационно-телекоммуникационные технологии» (Москва, 2010г.), Международная конференция «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и систем искусственного интеллекта» (Вологда, 2007г.), Семинар вологодского отделения РАН по искусственному интеллекту (Вологда, 2010г.), Всероссийская научная конференция студентов и аспирантов «Молодые исследователи - регионам» (Вологда, 2006, 2007, 2008 гг.), Всероссийская конференция «Вузовская наука - региону» (Вологда, 2007, 2008, 2009 гг.).

Публикации. По материалам диссертационного исследования опубликовано 14 печатных работ, из них три в журналах, рекомендованных ВАК.

Структура диссертационной работы. Работа состоит из введения, четырех глав, заключения, библиографического списка и трех приложений. Текст изложен на 145 страницах, содержит 27 рисунков и 11 таблиц. Библиографический список включает 101 наименование.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Ржеуцкий, Александр Викторович

Основные результаты диссертационного исследования состоят в следующем.

1. Предложен эффективный вычислительный метод построения дерева классификации на основе генетического алгоритма комбинирования эвристик, позволяющий повысить точность и обобщающую способность классификатора.

2. Разработаны алгоритмы для реализации основных генетических операторов и общий алгоритм построения дерева классификации.

3. Выполнен анализ вычислительной сложности разработанного генетического алгоритма построения дерева классификации, доказана его масштабируемость.

4. Разработан комплекс проблемно-ориентированных программ для проведения вычислительного эксперимента, выполнена era реализация в виде отдельной конфигурации на платформе 1С: Предприятие.

5. Проведен вычислительный эксперимент на данных репозитория UCI Machine Learning Repository и на реальных данных информационных систем предприятий. Экспериментальное исследование подтвердило достоверность и эффективность результатов, полученных в работе.

Полученные в работе результаты позволили создать универсальную аналитическую подсистему, позволяющую с высокой точностью выполнять классификацию данных, которая может быть интегрирована с существующими информационными системами на платформе «1С:Предприятие 8».

Заключение

Список литературы диссертационного исследования кандидат технических наук Ржеуцкий, Александр Викторович, 2012 год

1. Айвазян С.А. Прикладная статистика в задачах и упражнениях / С .А. Айвазян, B.C. Мхитарян. М.: ЮНИТИ-ДАНА, 2001. - 270 с.

2. Анализ данных и процессов: учеб. пособие / A.A. Барсегян, М.С. Куприянов, И.И. Холод, М.Д. Тесс, С.И. Елизаров. 3-е издание перераб. и доп. - СПб.: БХВ-Петербург, 2009. - 512 с

3. Батищев Д.И. Генетические алгоритмы решения экстремальных задач. Воронеж: ВГТУ, 1995

4. Божич В.И. Генетический алгоритм обучения двухслойного персептрона для задачи классификации образов / ВИ. Божич, Р.Н. Кононенко // Программные продукты и системы, 2002, №1.

5. Валиахметова Ю.И. Мультиметодная технология моделирования ортогональной упаковки и размещения прямоугольно-ориентированных заготовок. Автореферат дисс. на соиск. уч. степ. канд. техн. наук спец. 05.13.18-Уфа, 2008, 19 с.

6. Вапник В.Н. О равномерной сходимости частот появления событий к их вероятностям /В.Н. Вапник, А.Я. Червоненкис // Теория вероятностей и ее применения, 1971, Т. 16, № 2. С. 264-280.

7. Вапник В.Н. Теория распознавания образов. /В.Н. Вапник, А.Я. Червоненкис М.: Наука, 1974. - 415 с.

8. Вежневец В. Оценка качества работы классификаторов. Электронный ресурс. / В. Вежневец // Компьютерная графика и мультимедиа. Выпуск №4(1)/2006. Режим доступа: http://cgm.computergraphics.ru/content/view/106

9. Венцель Е.С. Теория вероятностей. / Е.С. Венцель М.: Высшая школа, 2002. - 575 с.

10. Ю.Ветров Д.П., Кропотов Д.А. Алгоритмы выбора моделей и построения коллективных решений в задачах классификации, основанные на принципе устойчивости. М: Комкнига, 2006. 112 с.е

11. П.Воронцов K.B. Комбинаторная теория надежности обучения по прецедентам. Дис. док. физ.-мат. наук: 05-13-17. Вычислительный центр РАН, 2010.- 271 с.

12. Воронцов К.В., Инякин A.C., Лисица A.B. Система эмпирического измерения качества алгоритмов классификации // Докл. всеросс. конф. Математические методы распознавания образов-13. М.: МАКС Пресс, 2007. - С. 577-580.

13. Воронцов К.В. Комбинаторный подход к проблеме переобучения // Докл. всеросс. конф. Математические методы распознавания образов-14. -М.: МАКС Пресс, 2009. С. 18-21.

14. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. М.: Изд-во МАИ, 1991.

15. Гил л Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир,1985

16. Гитис Л.Х. Статистическая классификация и кластерный анализ / Л.Х. Гитис. М. : МГГУ, 2003. - 157 с.

17. Гладков Л. А. Генетические алгоритмы./ Л.А. Гладков, В.В. Курейчик, В.М. Курейчик М.: Физматлит. 2006.

18. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990. 160 с.

19. Гуров С.И. Оценка надежности алгоритмов классификации./ С.И. Гуров М.: Издательский отдел ф-та ВМиК МГУ, 2002 - 45 с.

20. Деревья решений //BaseGroup Labs. Технологии анализа данных Электронный ресурс. Режим доступа: http://www.basegroup.ru/library/analysis/tree/

21. Дюк В. Data Mining интеллектуальный анализ данных Электронный ресурс./ Режим доступа: http://www.interface.ru/fset.asp?Url=/oracle/dmiad.htm

22. Ежов A.A. Нейрокомпьютинг и его применение в экономике и бизнесе./ A.A. Ежов, С.А. Шумский. М: 1998. 71 с.

23. Ивахненко А. Г., Юрачковский Ю. П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987 120 с.

24. Киселев М., Соломатин Е. Средства добычи знаний в бизнесе и финансах. — Открытые системы, № 4, 1997, с. 41-44.

25. Кнут, Д. Искусство программирования для ЭВМ. Т.1. Основные алгоритмы/ Д. Кнут; Пер. с англ. М.: Изд-во "Вильяме", 2000 - 720 с.

26. Компания NeuroProject. Каталог программных продуктов Электронный ресурс. Режим доступа: http://www.neuroproject.ru/catalogue.php

27. Кормен Т., Лейзерсон Ч., Ривест Р. Алгоритмы: построение и анализ. М.: МЦМНО: Ьином, 2004 960 е.

28. Круглов В.В Искусственные нейронные сети. Теория и практика / В.В. Круглов, В.В. Борисов М.: Горячая линия - Телеком, 2001 - 382 с.

29. Куликов A.B. Исследование и разработка алгоритмов обобщения на основе теории приближенных множеств / A.B. Куликов. Автореферат дисс.на соиск. уч. степени канд. техн. наук спец. 05.13.11 М., 2004 - 21 с.

30. Лабоцкий В.В. Управление знаниями: технологии, методы и средства представления, извлечения и измерения знаний Минск: БГЭУ, 2006.

31. Лбов Г.С., Старцева Н. Г. Логические решающие функции и вопросы статистической устойчивости решений. Новосибирск: Изд-во ИМ СО РАН, 1999.-211 с.

32. МакКаллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер, 1992. №|3, 4. С. 4053.

33. Машинное обучение (курс лекций, К.В.Воронцов) Электронный ресурс. / Режим доступа: http://www.MachineLearning.ru.

34. Медведев B.C., Потемкин В.Г Нейронные сети. Matlab 6 Диалог-МИФИ. 2002, 496 стр

35. Методы классификации и прогнозирования Электронный ресурс. /Data Mining. Designed by Anton Grebenschikov, 2009. Режим доступа: http://kpi.ua/do/work/RGRyDATAMINING/main.html

36. Минский M., Пайперт С. Персептроны. M.: Мир, 1971.

37. Неделько В.М. Критерий оценки качества решающей функции по эмпирическому риску в задаче классификации // Искусственный интеллект. Научно-теоретический журнал. Донецк, 2000, № 2.С. 172-178

38. Норенков И.П. Генетические методы структурного синтеза проектных // Информационные технологии, 1998. № 1.С. 9-13

39. Норенков И. П. Генетические алгоритмы комбинирования эвристик в задачах дискретной оптимизации // Информационные технологии, 1999, №2.

40. Носов Д.А., Ржеуцкая С.Ю. Применение генетического алгоритма комбинирования эвристик в задаче одномерной упаковки

41. Орлов А.И. Нечисловая статистика Электронный ресурс. /А.И. Орлов М.: МЗ-Пресс, 2004.-Режим доступа: http://www.aup.ru/books/ml62

42. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям (+ CD): учеб. пособие. — 2-е изд., перераб. и доп.— СПб.: Питер, 2010. — 704 с.

43. Паклин Н.Б. Обучаем нейронную сеть генетическим алгоритмом. Электронный ресурс. Режим доступа: http://paklin.newmail.ru/mater/genenet.html

44. Пытьев Ю.П. Возможность. Элементы теории и применения. М.: Эдиториал УРСС, 2000. 192 с.

45. Ржеуцкий A.B. Применение эволюционных алгоритмов в задачах обучения по прецедентам / A.B. Ржеуцкий // Системы управления и информационные технологии. № 1.2(39), 2010. С. 264-268

46. Ржеуцкий A.B. Метод построения дерева классификации на основе генетического алгоритма комбинирования эвристик / A.B. Ржеуцкий, A.A. Суконщиков // Системы управления и информационные технологии. № 2(44), 2011.-С. 62-66

47. Ржеуцкий A.B. Расширение возможностей анализа данных в информационных системах на основе 1С: Предприятие / A.B. Ржеуцкий, С.Ю. Ржеуцкая // Вузовская наука регионам: Материалы Всероссийской научной конференции. - Вологда: ВоГТУ, 2007. - Т.2 - С.270-274

48. Ржеуцкий A.B. Масштабируемый алгоритм построения деревьев классификации / А.В.Ржеуцкий, С.Ю. Ржеуцкая //Нейроинформатика и общество: труды научной конференции / Под ред. B.JI. Дунина-Барковского, А.Н. Швецова. Вологда: ВоГТУ. - 2011. С. - 50-60.

49. Ржеуцкий A.B. Эволюционный алгоритм построения дерева решений / A.B. Ржеуцкий, A.A. Суконщиков // Программные продукты и системы. № 3, 2011. С. 22-26

50. Ржеуцкий A.B., Суконщиков A.A. Расчет стоимости разработки программного продукта с использованием конструктивной модели анализа

51. Текст. / A.B. Ржеуцкий // Вузовская наука региону: Материалы седьмой всероссийской научно-технической конференции. В 2-х т. - Вологда: ВоГТУ, 2009. - Т.1, С. 265-267.

52. Ржеуцкий A.B. Построение оптимального дерева решений в задаче классификации данных Текст. / A.B. Ржеуцкий, A.A.Суконщиков, И.А. Кузнецова // Информационные технологии моделирования и управления, №6(58), 2009 С.301-305

53. Родионов П.Е., Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей, дис. к.т.н. СПБ, СПбГЭТУ , 2000, 132 с.

54. Сараев А.Д., Щербина O.A. Системный анализ и современные информационные технологии //Труды Крымской Академии наук. — Симферополь: СОНАТ, 2006. — С. 47-59

55. Симанков B.C. Адаптивное управление сложными системами на основе теории распознавания образов: Монография (научное издание) / В. С. Симанков, Е. В. Луценко. Техн. ун-т Кубан. гос. технол. ун-та. Краснодар, 1999.-318 с.

56. Скобцов Ю.А. Основы эволюционных вычислений. Донецк: ДонНТУ, 2008. 326 с.

57. Терехов С.А. Технологические аспекты обучения нейросетевых машин. / С.А. Терехов // Лекция для VIII научно-технической конференции «Нейроинформатика-2006». М.:, МИФИ, 2006. - 49 с.

58. Терехов С.А. Ансамбли нейросетевых моделей. Гениальные комитеты умных машин. / С.А. Терехов // Лекция для школы-семинара "Современные проблемы нейроинформатики", М.:, МИФИ, 2007. 36 с.

59. Трауб Д., Васильковскии Г., Вожьняковский X. Информация, неопределённость, сложность: Пер. с англ. М.: Мир, 1988. 184с

60. Щавелёв JI.В. Способы аналитической обработки данных для поддержки принятия решений // СУБД. 1998. № 4-5 С.41-44.

61. Asuncion A., Newman D. UCI machine learning repository: Tech. rep.: University of California, Irvine, School of Information and Computer Sciences, 2007. http://www.ics.uci.edu/Dmlearn/MLRepository.html.

62. L. Breiman, J.H. Friedman, R.A. Olshen, and C.T. Stone. Classification and Regression Trees. Wadsworth, Belmont, California, 1984. 368 p.

63. B.Chandra, S.Mazumdar, V.Arena, N.Parimi. Elegant Decision Tree Algorithm for Classification in Data Mining. Электронный ресурс. Режим доступа:http://www.masters.donntu.edu.ua/2007/fvti/taran/library/libarticlel0.htm

64. Goldberg D. Genetic Algorithms in Search, Optimization, and Machine Learning // Adison-Wesley Publ., 1989. 432 p.

65. Gramer N.L. A representation for the adaptive generation of simple sequential programs. Proceedings of an inter, conf. on genetic algorithms and their applications. N.J.: Lawrence Erlbaum, 1985. pp. 183-187

66. Gregory Piatetsky-Shapiro. Machine Learning, Data Mining, and Knowledge Discovery: The Third Generation (Extended Abstract). ISMIS 1997. -pp. 48-49

67. De Jong K. On using genetic algorithms to search program spaces// Proc. of the second inter, conf. on genetic algorithms. N.J.: Lawrence Erlbaum, 1987. -pp. 210-216

68. Fujiku C., Dickinson J. Using the genetic algorithm to generate LISP source code to solve the prisoners dilemma. Proceedings of the second inter, conf. on genetic algorithms. N.J.: Lawrence Erlbaum, 1987. pp. 236-240.

69. Hill Climbing. Электронный ресурс. Режим доступа: http://en.wikipedia.org/wiki/Hillclimbing

70. Holland J. P. Adaptation in Natural and Artificial Systems. University of Michigan, 1975. 96 p

71. Hunt E.B., Marin, J., Stone, P.J. Experiments in induction // New York: Academic Press, 1966. 247 p

72. Keit M.J., Martin M.C. Genetic Programming in С++. Cambridge: MA:MIT Press, 1994. pp. 285-310.

73. Kirkpatrick S., Gelatt C. D., Vecchi M. P. Optimization by simulated annealing // Science. 1983. Vol. 220, no. 4598. Pp. 671-680.

74. Kohavi R. A study of cross-validation and bootstrap for accuracy estimation and model selection // IJCAI.1995.Pp. 1137-1145. http://citeseer.nj.nec.com/kohavi95study.html.

75. Koza J. Genetic Evolution and Co-EVolution of Computer Programs / Proceedings of Second Conference on Artificial Life. Redwood City, CA: Addison-Wesley. 1992. pp. 603-629.

76. Koza J. Genetic programming. On the Programming of Computers by Means of Natural Selection. MA: The MIT Press, 1998. 609 p.

77. Koza J. R. Future Work and Practical Applications of Genetic Programming. Handbook of Evolutionary Computation. Bristol: IOP Publishing Ltd, 1997.-pp. 1-6

78. Kutin S., Niyogi P. Almost-everywhere algorithmic stability and generalization error: Tech. Rep. TR-2002-03: University of Chicago, 2002. Электронный ресурс. Режим доступа: http://citeseer.nj.nec.com/kutin02almosteverywhere.html

79. Lankhorst М. М. A Genetic Algorithm for the Induction of Nondeterministic Pushdown Automata. Computing Science Report. University of Groningen Department of Computing Science. 1995. pp. 741-746.

80. Linton R. Adapting binary fitness functions in genetic algorithms / Proceedings of the 42nd annual Southeast regional conference. NY: ACM Press. 2004, pp. 391-395.

81. Lucas S. M. Evolving Finite State Transducers: Some Initial Explorations / Genetic Programming: 6th European Conference (EuroGP'03). Berlin: Springer. 2003, pp. 130-141.

82. Miller В., Goldberg M. Genetic algorithms, tournament selection, and the effects of noise // Complex Systems. 1995. V. 9,1. 3, pp. 193-212.

83. O'Reilly U.-M. An analysis of genetic programming. Diss., Carleton Uni. Ottawa, 1995.

84. Power D. J. «What is a DSS?» // The On-Line Executive Journal for Data-Intensive Decision Support, 1997. v. 1. N3 pp. 223-232.

85. J. Ross Quinlan. C4.5: Programs for Machine learning. Morgan Kaufmann Publishers 1993. pp. 236-243

86. J. Shafer, R. Agrawal, and M. Mehta SPRINT: A Scalable Parallel Classifier for Data Mining, Proc. 22nd Int'l Conf. Very Large Data Bases, Morgan Kaufmann, San Francisco, 1996, pp. 544-555

87. Thieranf R.J. Decision Support Systems for Effective Planing and Control. Englewood Cliffs, N.J: Prentice Hall, Inc, 1982. - 235 p.

88. Tonella P. Evolutionary testing of classes // ISSTA. 2004. Pp. 119—128.

89. Turban, E. Decision support and expert systems: management support systems. Englewood Cliffs, N.J.: Prentice Hall, 1995. — 887 p.