Системный подход к анализу скрытых закономерностей в больших массивах слабоструктурированных данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Булычев, Александр Викторович

• Булычев, Александр Викторович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Булычев, Александр Викторович

Введение. Актуальность и степень разработанности проблемы.

ГЛАВА 1. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ.

1.1. Структура анализа данных.

1.2. Основные этапы анализа данных.

1.3. Описание множества состояний объектов.

1.4. Задача классификации объектов.

ГЛАВА 2. РАЗВИТИЕ БАЙЕСОВСКОЙ КЛАССИФИКАЦИИ.

2.1. Байесовские классификаторы. Обратная вероятность.

2.2. Априорные ФПВ функции плотности вероятностей.

2.3. Условные апостериорные распределения параметров моделей.

2.4. Точечные оценки параметров и классификатор Байеса.

2.5. Интервалы и области для параметров.

2.6. Прогнозные функции плотности распределения вероятностей.

2.7. Применение результатов байесовского анализа.

ГЛАВА 3. БАЗОВЫЕ АЛГОРИТМЫ DATA MINING.

3.1. Новые разработанные методы анализа данных:.

3.2. Описание алгоритмов.

3.3. Комитеты моделей.

ГЛАВА 4. АНАЛИЗ ДАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ

4.1. Анализ минеральных ассоциаций.

4.1.1. Актуальность задачи.

4.1.2. Постановка задачи.

4.1.3. Входные данные.

4.1.4. Описание результатов анализа данных.

4.1.5. Формализация результатов.

4.2. Анализ текстовых данных.

4.3. Анализ данных социально-экономической информации.

4.3.1. Описание входных данных.

4.3.2. Постановка задачи.

4.3.3. Алгоритмы решения задач.

4.3.4. Формализация результатов.

4.4. Анализ данных производственного предприятия.

4.4.1. Актуальность проблемы.

4.4.2. Постановка задачи.

4.4.3. Описание уравнения.

4.4.4. Описание входных данных.

4.4.5. Формализация построенных закономерностей.

4.4.6. Сравнение со стандартными подходами.

Введение диссертации (часть автореферата) на тему «Системный подход к анализу скрытых закономерностей в больших массивах слабоструктурированных данных»

Первые работы в области анализа данных и классификации по прецедентам появились в 30-х годах 20 века и были связаны с байесовской теорией принятия решений (Д. Нейман, К. Пирсон) [1], применением разделяющих функций к задаче классификации (Р. Фишер) [2], решением вопросов проверки гипотез (А. Вальд)[3]. В 50-х годах появились первые нейросетевые модели (перцептрон Ф. Розенблатта) [4]. К концу 60-х годов были разработаны и исследованы различные подходы для решения задач классификации, распознавания в рамках статистических, перцептронных моделей, и моделей с разделяющими функциями.

В 1976-1978 годах академиком Ю.И. Журавлевым был разработан алгебраический формализм [5,6]. Было предложено решать задачи анализа данных не одним, а множеством алгоритмов в два этапа. Для произвольных объектов независимо применяются алгоритмы (базовые алгоритмы). Результаты их применения специальным образом обрабатываются (с помощью решающих правил) и формируется окончательное коллективное решение (например, об отнесении объектов к одному из классов). Дальнейшее развитие теории анализа данных и распознавания, посвященное алгебраическому подходу к синтезу корректных алгоритмов и комитетов моделей К.В. Рудаковым[7], В.Д. Мазуровым [8,9,10] и др.[11-25], внесло значительный вклад в решение задач анализа данных. Академиком В.П. Масловым предложен метод эконофизических аналогий [26] при анализе экономических систем. Большой вклад в развитие теории классификации внесли ученые: М.А. Айзерман, Э.М. Браверман, Л.И. Розоноэр (метод потенциальных функций) [27]. Современные методы оперативной (быстрой) обработки больших массивов слабоструктурированной информации в информационных, коммуникационных и управляющих системах на основе теории фильтров Калмана и Пугачева развиты в трудах И.Н. Синицына[28] Одним из последних результатов теории анализа данных является применение слабой аксиоматики вероятностей в работах К.В. Воронцова [29].

Современный этап развития информационных технологий характеризуется быстрым возрастанием объема информации и сложности структуры баз данных (БД) в различных областях человеческой деятельности. Лавинообразное увеличение возможностей получения, передачи и хранения информации приводит к ее усложнению, гетерогенности и увеличению объема слабоструктурированной информации. Из-за сложности структурных и системных зависимостей в данных, которые описывают слабоформализованные информационные системы и сложные прикладные объекты исследования, значительно усложняются правила построения формализованных информационно-аналитических моделей, описывающих закономерности в данных[30].

В таких условиях традиционные подходы к обработке информации становятся малоэффективными. В результате возникает актуальная проблема разработки и применения новых многометодных подходов к анализу данных. Направлением повышения эффективности анализа больших объемов слабоструктурированной информации и построения аналитических и информационных моделей, описывающих поведение сложных систем, является использование технологий системного многометодного интеллектуального анализа данных (ИАД), который получил название «Data Mining» (добычи знаний)[31].

Научной областью анализа данных является создание автоматизированных познавательных процедур с использованием баз фактов и баз знаний, которые на основе группы алгоритмов автоматически порождают гипотезы наличия закономерностей [32]. На более ранней стадии развития технологий анализа данных предпринимались попытки использования такого подхода для интерпретации большого числа расчетных данных [33, 34, 35].

Data Mining — исследование и обнаружение «машиной» (алгоритмами, средствами искусственного интеллекта) в сырых данных знаний, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации человеком (Григорий Плтецкий-Шапиро) [31].

Особенностью анализа данных Data Mining является использование различных алгоритмов нахождения закономерностей в данных [36-39]. Анализ данных информационных различными алгоритмами подробно отражен в работах автора [40-48].

В арсенале современного анализа данных существует десятки различных традиционных методов и алгоритмов анализа данных: статистических, кластеризационных, классификационных и т.д. Перечисленные методы не всегда обладают достаточно хорошей степенью точности и достоверности при описании новых закономерностей. Например, в случае статистических методов данная проблема связана с отсутствием статистической устойчивости в данных или сложностью построения гипотез относительно вида функций распределения самих величин и функций распределения параметров моделей. Наряду с указанными причинами исследования в области анализа данных при решении определенного класса задач сталкиваются с трудностями иного рода: формально-логическй вывод из обнаруженных закономерностей не всегда может нести в себе принципиально новые знания. Поэтому существующий подход анализа данных, который использует конечное число гипотез, нуждается в дальнейшем изучении, формализации и дополнении его новыми подходами [40].

Несмотря на развитую теоретическую часть построения алгебраической теории комитетов[5,6], существующая практическая методология анализа слабоструктурированных данных характеризуется слабым описанием алгебры синтеза решающих правил и построения базовых алгоритмов и гипотез применительно к прикладным информационным системам, вариационной оценке их применимости на различных массивах данных.

Общепринятые методы анализа данных заключаются в построении одной или нескольких информационно-аналитических моделей. В зависимости от того, насколько хорошо та или иная модель описывает закономерности в данных, применяется способ композиции результатов с помощью выбранного решающего правила. При таком подходе результаты, как правило, зависят от априорных знаний аналитика, его опыта и интуиции при формировании гипотез. В этом случае отсутствуют критерии формального научно обоснованного построения гипотез, объясняющих зависимости в данных, и применения решающих правил принятия коллективных решений комитетами моделей. В результате могут получаться, во-первых, субъективные или слишком грубые выводы, во-вторых, закономерности, лишенные новых формализованных знаний[49,50, 51].

В диссертационной работе разработан научный подход, который позволяет во многом разрешить указанные проблемы. В исследовании используется системный подход для разработки и обоснования применения новых методов, построения информационных моделей для анализа слабоструктурированных данных и решения плохо формализованных задач, расширения алгоритмов и моделей анализа данных. На разных этапах исследования для качественного анализа данных привлекались специалисты из предметных информационных областей.

В диссертации найдены новые закономерности и формализованы новые знания в сложных информационных системах различной природы. Разработанные методы применяются для класса задач, которые описываются табличными данными. В качестве базовой методологии решения задач поиска закономерностей в данных и интерпретации результатов используется методология интеллектуального анализа данных Data Mining.

В качестве важного примера приведем одну из последних областей применения результатов разработанной методологии - теория катастроф и безопасности. Выявленные на ранней стадии комплексные закономерности в возникновении природных катастроф уменьшают масштаб их последствий [52-54].

Цель и задачи исследования.

Целью диссертационного исследования является расширение спектра решаемых задач за счет разработки новых методов анализа данных и решающих правил с помощью комитетов алгоритмов для построения информационно-логических и аналитических моделей с целью моделирования системно-объектных связей, позволяющих строить их формализованные описания. Ставится задача получения новых закономерностей о функционировании сложных систем, в которых присутствуют сложные взаимодействия с большим числом связей. Разработанные методики применяются к данным информационных систем различной природы.

В соответствии с поставленной целыо решались следующие задачи:

1.1 Построить новые модели для анализа различного типа информации: геологической, экономической, производственной, которые позволят существенно улучшить систематизацию процессов, структурных и функциональных связей внутри системы с помощью аппарата теории классификации, распознавания, искусственного интеллекта, статистических методов и комитетов указанных алгоритмов.

1.2 Разработать научно обоснованные формализованные методы и алгоритмы анализа данных комитетами алгоритмов для описания сложных систем различной информационной природы, которые позволят при обработке больших объемов данных значительно улучшить точность и увеличить скорость анализа данных по сравнению с уже существующими методами. Построить процедуру расчета точности моделирования комитетами алгоритмов. Провести оценку статистическими методами.

1.3 Построить методики и критерии моделирования организационно-экономических систем с помощью специального класса уравнений математической физики, которые обеспечат формализацию новых информационных связей и прогнозирование поведения объектов экономических систем с меньшей ошибкой, чем существующие методики.

Предмет и объект исследования.

Объектами исследования являются слабоструктурированные данные информационных систем различной природы:

1. Массивы данных о распределении минеральных ассоциаций, представляющие собой поликомпонентные системы геологических образований

2. Динамические массивы социально-экономической информации регионов России

3. Данные, описывающие работу производственных предприятий с полным циклом производства, операций и распределения продукции.

Предметом изучения являются скрытые закономерности в данных.

Научные и практические результаты, выносимые на защиту.

1. В результате разработанного подхода к синтезу новых алгоритмов анализа данных выделяется структурная модель связей в экоинформационных системах, в частности минеральных ассоциаций как критерий потенциального залегания промежуточных коллекторов алмазов. Получены дополнительные критерии для моделирования и распознавания промежуточных коллекторов (комплексов пород, участвующих в питании алмазоносных районов). Полученные результаты впервые позволили определить скрытые системно-объектные связи в поликомпонентной структуре минеральных ассоциаций и построить трехмерную карту распределений минеральных ассоциаций

2. Построенная с помощью формализованных разработанных методик комплексная информационно-логистическая модель операционного отдела предприятия с выделением структурных и функциональных характеристик системы позволяет более точно по сравнению со стандартными методами (построения нейросетей, генетическими алгоритмами, регрессии) планировать прибыль и бюджет компаний на будущий период

3. Разработанная процедура применения уравнений математической физики для построения структурно-логических моделей социально-экономических систем позволяет с лучшей точностью формализовать схему рационального распределения и планирования ресурсов.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Булычев, Александр Викторович

ЗАКЛЮЧЕНИЕ. Основные результаты исследования.

1.1 Разработана процедура формализованного построения комитетов алгоритмов для моделирования организационно-технических систем, построена визуализированная аналитическая среда выбора параметров моделирования и оценки точности моделей. Проведена адаптация к практическим задачам в области геологии, социально экономических исследований и производственных операционных задач теории построения алгебраических комитетов алгоритмов для моделирования системно-объектных связей, позволяющих строить их формализованные описания.

1.2 Используя системный подход и многометодный аппарат анализа данных, включающий вычислительные методы, разработана новая структурная модель связей в экоинформационных системах и предложены рациональные варианты организации исследований в области природной среды.

1.3 Впервые построена комплексная информационно-логическая модель операционного отдела предприятия с выделением структурных и функциональных характеристик системы, информационных и материальных потоков продукции, позволяющих выбрать наиболее подходящие транспортные пути распределения продукции.

1.4 Разработана формализованная процедура применения уравнений математической физики для построения структурно-логических моделей экономических систем, организационная схема рационального распределения ресурсов предложена в виде графоаналитических конструкций.

Полученные в диссертации результаты использованы при совершенствовании результатов анализа геологической информации в области исследования минеральных ассоциаций, что подтверждается справкой Института геологии рудных месторождений, петрографии, минералогии и геохимии РАН (ИГЕМ РАН).

Список литературы диссертационного исследования кандидат технических наук Булычев, Александр Викторович, 2010 год

1. Neyman J., Pearson E.S. On the problem of the most efficient tests of statistical hypothesis, Phil. Trans. R. Soc., Series A, 1933.

2. Fisher R.A. The use of multiple measurements in taxonomic problems, Ann. Eugenics, 7, Part II, 179-188, 1936.

3. Wald A. Contributions to the theory of statistical estimation and testing of hypotheses, Ann.Math.Stat., 10, 299-326, 1939.

4. Розенблатг Ф. Принципы нейродинамики (перцептрон и теория механизмов мозга). — М.: Мир, 1965.

5. Журавлев Ю.И., Об алгебраическом подходе к решению задач распознавания или классификации. Проблемы кибернетики. М.: Наука, 1978. Вып.33. С.5-68.

6. Журавлев Ю.И. Корректные алгебры над множествами не корректных (эвристических) алгоритмов. I. // Кибернетика. 1977. N4. С. 5-17., II. Кибернетика, N6.

7. Рудаков К.В. Об алгебраической теории универсальных и локальных ограничений для задач классификации // Распознавание, классификация, прогноз: Матем. методы и их применение. М.: Наука, 1988. Вып.1, С. 176-200.

8. Мазуров Вл.Д. Комитеты систем неравенств и задача распознавания // Кибернетика. 1971. №3. С. 140-146.

9. Мазуров Вл.Д., Хачай М.Ю. Комитеты систем линейных неравенств// Автоматика и телемеханика. 2004. вып.2, С. 43-54.

10. Мазуров Вл.Д. Метод комитетов в распознавании образов. Свердловск: ИММ УНЦ АН СССР, 1974. 165 с.

11. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). -М.:Наука, 1974.-415 с.

12. Донской В.И. Алгоритмы обучения, основанные на построении решающих деревьев// Журнал выч. мат. и матем. физики. 1982, т.22, №4, с. 963-974.

13. Донской В.И. , Башта А.И. Дискретные модели принятия решений при неполной информации. -Смферополь: Таврия, 1992. 166 с.

14. Дюкова Е.В. Асимптотически оптимальные тестовые алгоритмы в задачах распознавания// Проблемы кибернетики. М.: Наука, 1982. Вып. 39. С. 165-199.

15. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. Новосибирск: Изд-во Института математики, 1999.

16. Ивахненко А.Г. Системы эвристической самоорганизации в технической кибернетике. —Киев: Техшка, 1971.-372 с.

17. Лбов Г.С. Методы обработки разнотипных экспериментальных данных// Новосибирск. Наука, 1981. 160 с.

18. Матросов B.J1. Синтез оптимальных алгоритмов в алгебраических замыканиях моделей алгоритмов распознавания// Распознавание, классификация, прогноз: Матем. методы и их применение. М.: Наука, 1988. Вып.1, С.229-279.

19. Рязанов В.В. О построении оптимальных алгоритмов распознавания и таксономии (классификации) при решении прикладных задач // Распознавание, классификация, прогноз: Матем. методы и их применение. М.: Наука, 1988. Вып.1, С.229-279.

20. Рязанов В.В. Комитетный синтез алгоритмов распознавания и классификации // ЖВМ и МФ. 1981. Том 21, №6. С. 1533-1543.

21. Рязанов В.В. О синтезе классифицирующих алгоритмов на конечных множествах алгоритмов классификации (таксономии) //ЖВМ и МФ, 1982. Том 22, №2. С.429-440.

22. Сеиько О.В. Использование процедуры взвешенного голосования по системе базовых множеств в задачах прогнозирования// М. Паука, Ж. вьгчисл. матем. и матем. физ. 1995, т. 35, № 10, С. 1552-1563.

23. Aslanyan L., Zhuravlcv Yu,.Logic Separation Principle, Computer Science & Information Technologies Conference, Yerevan, September 17-20, 2001, 151-156.

24. Маслов В.П. Квантовая экономика, Наука, М., 2005.

25. Айзерман М.А., Браверманн Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970.-384 с,

26. Синицын И.Н. Фильтры Калмана и Пугачева: Монография. Изд. 2-е, перераб. и дои. -М.: Логос, 2007.

27. Воронцов К.В. Комбинаторная теория надежности обучения по прецедентам. Диссертация на соискание ученой степени доктора физико-математических наук, на правах рукописи, Москва, 2010.http://www.machinelearning.rU/wiki/images/b/b6/Voronl0doct.pdf

28. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализ данных: Data Mining, Visual Mining, Text Mining, OLAP. БХВ-Петербург, 2008.

29. Ю.М. Арский, В.К. Финн. Принципы конструирования интеллектуальных систем. Информационные технологии и вычислительные системы. № 4. М.: 2008. стр. 4-37.

30. Геловани В.А., Болоткин С.И., Бритков В.Б., Дубовский С.В., Юрченко В.В. Программное обеспечение системы моделирования, ВНИИСИ 1978г. 26 с.

31. Бритков В.Б., Геловани В.А. Интеллектуальные технологии в задачах принятия решений в области природных явлений. Научная сессия МИФИ-2003. Сборник научных трудов. Т.З. "Интеллектуальные системы и технологии" М.: МИФИ, 2003 г. сс. 40-41.

32. Буров К. «Обнаружение знаний в хранилищах данных». Открытые системы, №5-6, 1999.

33. Arseniev S. Kiselev М., Ananyan S Regression.-Nased Classification Methods and thier comparison with Decision Tree Algorithms in Lectures Notes in Artificial Intelligence Springer 1263, 1997, 134-144.

34. Berson A, Smith S. J. Data Warehousing, Data Mining & OLAP. McGrawHill, 1997.

35. Киселев M., Соломатин E. Средства добычи знаний в бизнесе и финансах. Открытые системы, № 4, 1997.

36. Булычев А.В., Бритков В.Б., Методы анализа больших объемов слабоструктурированной информации, 2010, Москва, журнал «Информационные технологии и вычислительные системы», том 1.

37. Бритков В.Б., Булычев А.В. Информационное моделирование сложных плохоформализуемых систем. VIII Всероссийская школа-семинар «Прикладные проблемы управления макросистемами». Тезисы докладов. Апатиты, КНЦ РАН, 2010. - с. 6-7.

38. Булычев А.В., Бритков В.Б. Технологии интеллектуального анализа Data Mining и их использование при решении задач логистической оптимизации. Труды 51-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»:

39. Часть VII. Управление и прикладная математика. Том 3. —М.: МФТИ, 2008. — 138 с. ISBN 978-5-7417-0271-0.

40. Булычев А.В., Бритков В.Б., Интеллектуальный анализ данных с использованием технологии Data Mining показателей развития регионов России и построение текущей модели взаимодействия регионов. Труды научной конференции МИФИ, Москва, 2007.

41. Булычев А.В., Анализ с использованием технологии Data Mining показателей развития регионов России. Труды 50-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук». Москва, 2007г., с. 216-218.

42. Киселев М.В. «Алгоритмы Data mining». Курс лекций. Компания «Мегапыотер». 2001.

43. В.Б. Бритков Методы информационного анализа для процессов поддержки принятия решений при управления макросистемами. V Всероссийская школа-семинар «Прикладные проблемы управления макросистемами». Тезисы докладов. Апатиты, КНЦ РАН, 2004.-с. 93-95.

44. Геловани В.А., Бритков В.Б. Интеграция информационных ресурсов для моделирования развития чрезвычайных ситуаций. Проблемы прогнозирования чрезвычайных ситуаций. IV научно практическая конференция. Сборник. М.: Центр «Антистихия». 2004 г.с. 41-43.

45. Тер-Крикоров A.M., Шабунин М.И. курс математического анализа, Москва, издательство МФТИ, 1997, с 247-257.

46. Зельнер А. Байесовские методы в эконометрии, Москва, статистика, 1980.

47. Jeffreys Н. Scientific Inference, Cambridge University Press, 1977.

48. Lindley D.V. Regression Lines and the Linear Functional Relationship, Statistical Soc. (Supplemant), 1947.

49. Воронцов К.В. Лекции по алгоритмическим композициям. — 2006. URL: http://www.ccas.ru/voron/download/Composition.pdf

50. Паклин Н.Б., Орешков В.И. Бизнес-аналитика. От данных к знаниям, Питер, Москва Санкт-Петербург, 2009, с. 497.

51. Терехов С.А. Научная сессия МИФИ-2007. «НЕЙРОИНФОРМАТИКА-2007»: лекции по нейроинформатике. Часть 2. М.: МИФИ, 2007.

52. Drucker II. Boosting using neural networks // In: Combining Arti.cial Neural Nets:Ensemble and Modular Multi-Net Systems (Edited by A. J.C. Sharkey). 1998.

53. URL: http://www.boosting.org/papers/Dru99.pdf

54. Eric Bauer, Ron Kohavi. An empirical comparison of voting classi.cation algorithms: Bagging, boosting, and variants // Machine Learning. 36 (1999) pp. 105-142.

55. URL: http://citeseer.ist.psu.edu/bauer99empirical.html

56. Бочнева А.А., Патык-Кара Н.Г. Структура минеральных ассоциаций как критерий распознавания алмазоносных промежуточных коллекторов.

57. Материалы первого всероссийского конгресса по эконофизике «Эконофизика, финансовые рынки, экономический рост». М. Изд-во Финансовой академии при Правительстве Российской Федерации, 2009.

58. Калиткин. Н. Н. Численные методы. М., Наука, 1978.

59. Боум А. Квантовая механика: основы и приложения. М. Мир, 1990. — 720с. ISBN 503-001311-3.

60. Тарасов Л.В. Основы квантовой механики, Москва, издательство «Высшая школа», 1978.

61. Березин Ф. А., Шубин М. А. Уравнение Шредингера. Изд-во МГУ, 1983.

62. Anderson Т. W. An Introduction to Multivariate Statistical Analysis. New York, Wiley, 1958. Русский перевод: Андерсон Т. Введение в многомерный статистический анализ. М., Физматгиз, 1963.

63. Gray bill F. A. An Introduction to Linear Statistical Models. New-York, McGraw-Hill, 1961.

64. Kendal M, G. and Stuart A. The Advanced Theory of Statistics. VoL I, London, Griffin, 1958. Русский перевод: Кендалл M. Дж. Стыоарт. Теория распределений. М., Наука, 1966/

65. Kendal М. G. and Stuart A: The Advanced Theory of Statistics. Vol. II, New York, Hafner, 1961, 1966. Русский перевод: Кендалл M. Дж., Стыоар т. А. Статистические выводы и связи. М., Наука, 1973.

66. Kullback S. Information Theory and Statistics. New York, Wiley, 1959. Русский перевод: Кульбак. С. Теория информации и статистика. М., 1967.

67. LindleyD. V. The Use of Prior Probability Distributions in Statistical Inference and Decisions. In J; Neyman (Ed.) Proc. Fourth Berkeley Symp. Math. Statist, and Probab., vol. I, 1961, 453—468.

68. Luce R. D. and Raiffa H. Games and Decisions. New York, Wiley, 1958. Русский перевод: ЛьюсР; Д., Райфа X. Игры и решения. М., 1961.

69. Christopher J.C. Burges. A Tutorial. On Support Vector Machines for Pattern Recognition, Appeared in: Data Mining and Knowledge Discovery 2, 121-167, 1998.