Параметрические нелинейные модели теории катастроф в методах статистической обработки данных эксперимента тема диссертации и автореферата по ВАК РФ 01.04.03, кандидат физико-математических наук Глухова, Светлана Ивановна

• Глухова, Светлана Ивановна
• кандидат физико-математических наук
• 2000

Оглавление диссертации кандидат физико-математических наук Глухова, Светлана Ивановна

ВВЕДЕНИЕ. стр. 3

ГЛАВА 1. ОСНОВНЫЕ МЕТОДЫ СТАТИСТИЧЕСКОГО АНАЛИЗА В ОБРАБОТКЕ ДАННЫХ. стр. 6

1.1. Роль статистической обработки в анализе данных эксперимента. стр. 6

1.2. Метод главных компонент. стр.

1.3. Факторный анализ. стр. 10

1.4. Кластерный анализ. стр. 14

1.5. Дискриминантный анализ. стр. 17

1.6. Регрессионный анализ. стр. 21

1.7. Перспективы развития методов обработки данных на ЭВМ. стр. 22-

ГЛАВА 2. НЕЛИНЕЙНЫЕ ПАРАМЕТРИЧЕСКИЕ МЕТОДЫ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ МОДЕЛЕЙ КАСПОИДНЫХ КАТАСТРОФ.

2.1. Теория катастроф как метод статистических исследований. стр. 27

2.2. Каспоидные особенности как модели многомодальных одномерных статистических распределений. стр. 30

2.3. Метод моментов для определения параметров многомодальных распределений. стр. 37

2.4. Метод максимального правдоподобия. стр. 51

2.5. Численные методы поиска максимума функции максимального правдоподобия. стр. 55

2.6. Методы расчета параметрических интегралов от экспоненциальных функций. стр. 61

2.7. Проверка гипотезы о многомодальном распределении. стр. 65-

ГЛАВА 3. АНАЛИТИ ЧЕСКОЕ МОДЕЛИРОВАНИЕ. стр. 70

3.1. Метод моментов. стр. 70

3.2. Метод максимального правдоподобия. стр. 77

3.3. Описание программного комплекса расчета параметров катастрофы "сборки". стр. 83

3.4. Программный модуль накопления и предварительной обработки данных. стр. 91

Введение диссертации (часть автореферата) на тему «Параметрические нелинейные модели теории катастроф в методах статистической обработки данных эксперимента»

Для решения задач, связанных с анализом данных при наличии случайных воздействий, математиками и другими исследователями (биологами, психологами, экономистами и т. д.) за последние двести лет был выработан мощный и гибкий арсенал методов, называемых в совокупности математической статисткой (а также прикладной статистикой или анализом данных). Эти методы позволяют выявлять закономерности на фоне случайностей, делать обоснованными выводы и прогнозы, давать оценки вероятностей их выполнения или невыполнения. В настоящее время математическая статистика претендует на роль математического языка экспериментатора. Статистические методы занимают некоторое среднее место между полной (а потому недостижимой) объективностью и чисто субъективной оценкой на глаз, причем при правильном применении статистических методов и добросовестности субъективной оценки обычно не возникает противоречия между этими двумя подходами.

Необходимо отметить, что в подавляющим большинстве экспериментов важным моментом предварительного анализа данных является проверка соответствия результатов измерения закону нормального распределения. Это тем более важно, что все параметрические критерии, применяемые в регрессионном и дискриминантом анализах, являются очень чувствительными к отклонениям от предположения о нормальности. Между тем существует значительное количество данных, либо вообще не поддающихся анализу с помощью кривой нормального распределения, либо не удовлетворяющих основным предпосылкам, необходимым для ее использования. В связи с этим, большой перспективой для статистической обработки таких данных является применение мультимодальных законов распределения и использование математических моделей теории катастроф.

Мультимодальные распределения имеют тесную связь с распределениями нормированных сумм зависимых случайных величин: согласно центральной предельной теореме такие распределения в пределе представляют собой взвешенные нормальные распределения, количество мод которых, вообще говоря, зависит от среднего уровня корреляций между слагаемыми. Методы теории катастроф позволяют изучить топологию таких распределений, выявить моменты смены мод, получать оценки по математическому ожиданию с устраненной аномалией дисперсии.

В связи с последним отметим, что использование средних величин во многих исследованиях требует определенной осторожности - должен быть соответствующий контроль дисперсии оцениваемых по среднему случайных величин, так как возможна аномалия дисперсии. Это служит указанием на то, что "классические" оценки по среднему значению нуждаются в серьезной корректировке. И причина тому - проявление мультимодальности (чаще бимодальности) распределения.

Методы математической статистики позволяют установить форму и степень связи между изучаемыми явлениями, но они плохо пригодны для выявления внутренних, скрытых механизмов установления связей. Поэтому для выводов качественного характера об исследуемых объектах представляется наиболее перспективным применение методов теории катастроф для построения соответствующих моделей на основе имеющихся статистических данных.

В то же время ни в коей мере не следует переоценивать роль и значение закономерностей, полученных при использовании статистических программ, целиком полагаясь на их "бесстрастность" и объективность. Человеческий фактор пронизывает насквозь всю автоматическую систематизацию данных. Выбор наиболее существенных характеристик осуществляется разными исследователями по-разному, поскольку выбранные характеристики, описывающие объект исследования, несут на себе субъективизм исследователя, т. е. его знание исследуемого объекта, его догадки и гипотезы. Кроме этого, субъективизм проявляется в предпочтении исследователем определенных статистических приемов анализа, выборе определенные критерии значимости и т. п. Но с научной точки зрения нельзя основывать любое утверждение на анализе каким - то одним, излюбленным методом, независимо от того, что показывает критерий. Подтверждение всегда необходимо искать как в независимом повторении результатов эксперимента. Поэтому так важно обеспечить исследование адекватными математическими и вычислительными методами. Разработка новых ме тодов анализа; основанных на интеграции методов математической статистики и математических моделей теории катастроф, учитывающих нелинейный характер изучаемых явлений, является предметом настоящего исследования. Диссертация посвящена разработке методов статистической обработки данных с использованием нелинейных параметрических моделей каспоидных катастроф, исследование их характеристик, количественного и качественного соответствия этих моделей сложным объектам экспериментальных исследований. Так использование разработанных методов в анализе медицинских данных позволяет выполнить оценку достоверности выделения клинических признаков, определяющих тяжесть заболевания, развитие осложнений и оценить исход заболевания.

Диссертация состоит из введения, трех глав и заключения.

Заключение диссертации по теме «Радиофизика», Глухова, Светлана Ивановна

Выход

Отметим, что градиентный метод хорошо работает лишь на первых этапах поиска максимума. Поэтому на втором шаге используется метод Ньютона. Итерационная схема Ньютона записывается следующим образом: р/(+! = р/с + Як(р/С -рк), где рк является решением системы линейных уравнений Hess pk ~ Hess рк д2р эр

Hess = -1— , i, j = 1, ., Sk+4 - матрица Гесса для функции максимального правдоподобия в к-ой точке, вектор первых производных от функции максимального дР др правдоподобия в к-ой точке.

Параметр Хк лежит в пределах 0 .1и определяется из условия: кШ = тах/к(Л),

0:-,Л<] fkß) = Р(рк + h(Pk -Рк))

Матрица Гессе может быть рассчитана как численно, так и аналитически (см. таблицу 2.2).

ЗАКЛЮЧЕНИЕ

В заключении, рассмотрим основные результаты, полученные в данной работе.

Отправной точкой проведенных исследований явилась классификационная теорема Тома. Это позволило ограничить семейство функций плотности распределения наблюдаемых величин их каноническими формами в окрестности критической точки. В частности, стандартное нормальное распределение является примером функции, имеющей морсовскую особую точку в начале координат. При работе над диссертацией в качестве моделей многомодальных одномерных статистических распределений были выбраны особенности каспоидного типа

А~2к1 . Следует отметить, что связь между независимыми и зависимыми опытными данными исследуется с использованием либо детерминистского, либо стохастического подходов. В первом случае каноническая форма функции катастрофы используется для непосредственного описания связи между исходными данными. Во втором случае в виде канонической формы записывается условная плотность вероятности распределения наблюдаемой величины. В данной работе был развит вероятностный подход и получены следующие результаты.

• Дано обоснование представления функции плотности распределения случайной величины с помощью универсальной деформации катастрофы каспоидного типа.

• С использованием существующих методик (метод моментов и метод максимального правдоподобия) получены значения параметров предложенной функции распределения. Отмечено, системы уравнений метода максимального правдоподобия имеют как правило несколько решений и потому могут использоваться лишь для уточнения параметров модели. Первичная оценка их значений может быть найдена методом моментов.

• Разработаны алгоритмы подготовки набора исходных данных с заданной функцией распределения каспоидного типа. Проведена проверка эффективности восстановления параметров исходной функции распределения для различных исходных данных.

• Разработана методика проверки гипотез о наличии распределения каспоидного вида (аппробирована на примере модели катастрофы "сборки").

• Создан программный комплекс, позволяющий накапливать и обрабатывать статистические данные, имеющие характер распределения, отличный от нормального, с использованием эталонной модели теории катастроф.

Таким образом, данная работа позволила решить в рамках теории катастроф две типичные задачи статистической обработки:

1. оценить параметры моделей многомодальных распределений на примере модели катастрофы сборки;

2. оценить достоверность построенного распределения.

В данной работе многомодальное распределение априорно задается через универсальную деформацию, отвечающую особенностям каспоидного характера

А~к,. Поэтому в перспективе развития данных методов лежит решение задачи о корректном выборе модели катастрофы (типа особенности).

Применение разработанных методов является перспективным в статистических исследованиях таких областей знания, как социология, политология, экономика, медицина и биология, военное дело, где существует большое количество данных, имеющих характер распределения, отличный от нормального.

Методы, разработанные в ходе настоящего исследования могут быть использованы для прогностических целей, проверки гипотез относительно выделения достоверно значимых признаков, определяющих, например, степень тяжести заболевания, признаков, влияющих на исход заболевания, развитие тех или иных осложнений, поиска оптимальной тактики лечения.

Актуальным является использование разработанных подходов в теории управления для моделирования конфликтных ситуаций и выработки рекомендаций по применению комплекса мер для предотвращения кризисов.

Список литературы диссертационного исследования кандидат физико-математических наук Глухова, Светлана Ивановна, 2000 год

1. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин JI. Д. Прикладная статистика.// М.: Финансы и статистика, 1989.-607 с.

2. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности.// М.: Финансы и статистика, 1989.-607 с.

3. Айвазян С.А., Бажева З.И., Староверов О.В. Классификация многомерных наблюдений.//М.: Наука, 1974. 416 с.

4. Александров В.В., Шнейдеров B.C. Обработка медико-биологических данных на ЭВМ.// М. Медицина, 1984. 160 с.

5. Амосов А. А. и др. Вычислительные методы решения инженерных задач. Нелинейные уравнения и системы. М., 1991.-235 с.

6. Амосов А. А., Дубинский Ю. А., Копченова Н. А. Вычислительные методы для инженеров. М.: Высшая школа, 1994.

7. Ардашев В.Н., Яковлев Г.М, Булычев А.Б. Методы оценки различных вариантов течения ишемической болезни сердца.// Международные медицинские обзоры, 1993, №4.-С.16-17.

8. Арнольд В.И. Теория катастроф. М.: Наука, 1990.

9. Афифи А., Эйзен С. Статистический анализ.// Мир, 1982. 488 с.

10. Бахвалов Н. С., Жидков Н. П., Кобельков Т. М. Численные методы. М.: Наука, 1987.

11. П.Болшев Л.Н., Смирнов Н.В. Таблицы математической статистики.// М.: Наука, 1983.-416 с.

12. Большев Л. Н., Смиронов Н. В. Таблицы математической статистики. М.: Наука, 1983.

13. Боровиков В. П., Боровиков И. П. STATISTICA Статистический анализ и обработка данных в среде Windows. - М.: Информационно-издательский дом «Филинъ», 1997.-608 с.

14. Бочаров П. П., Печенкин А. В.Теория вероятностей. Математическая статистика. М.: Гардарика, 1998. - 328 с.

15. Васильев Ф. П. Численные методы решения экстремальных задач. -М: Наука, 1988.-549 с.

16. Власов В.В. Эффективность диагности-ческих исследований. // М.: Медицина, 1988.- 256 с.

17. Воловой B.JI. и др. О непрямом определении максимального потребления кислорода.// Клинич. Медицина, 1984. Т.62, № 3 - С.115-119.

18. Волынский Ю.Д., Курочкина А.И. О месте многомерной статистики в клинико -физиологических исследованиях.// Кардиология, 1980. Т.20, № 5 - С. 88 - 91.

19. Гилмор Р. Прикладная теория катастроф. М.: Мир, 1984. - 285 с.

20. Глухова С.И., Нелинейные методы статистической обработки данных// Возможности и перспективы агрессивной, инвазивной терапии и пластической реконструктивной хирургии.: Тез. докл. науч.-практ. конф- М.: ГВКГ им. H.H. Бурденко, 1999,-217-218 с.

21. Глухова С.И., Палкин Е.А., Нелинейные методы статистической обработки данных с использованием моделей катастроф// Вопросы дифракции и распрстранения электромагнитных волн: Междуведомственный сборник- М.: издательство МФТИ, 1999,- 32-40 с.

22. Демиденко Е. 3. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981.-302 с.

23. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Финансы статистика, 1986.

24. Дронов И.Ф., Ипатов Е.Б., Лукин Д.С., Палкин Е.А. Табулирование дифракционных интегралов. // Сб. Распространение радиоволн в ионосфере / М„ ИЗМИРАНСССР. 1978. С.57-63.

25. Дюк В.А. Компьютерная психодиагностика.// СП.: Братство, 1994.-364 с.

26. Дюран Б. Кластерный анализ: Пер. с англ.// М: Статистика, 1977. 128 с.

27. Елисеева И.И., Юзбашев М.М. Общая теория статистики. // М.: Финансы и статистика, 1996. 368 с.

28. Ипатов Е.Б., Крюковский A.C., Лукин Д.С., Палкин Е.А. Краевые катастрофы и асимптотики. / Доклады АНСССР. 1986. г.291. N4. С.823-827.

29. Ипатов Е.Б., Лукин Д.С., Палкин Е.А. Распространение электромагнитных волн в ближнем и дальнем космосе. Специальные функции волновых катастроф (свойства и методы расчета). Учебное пособие. М., МФТИ. 1988. 60с.

30. Ипатов Е.Б., Лукин Д.С., Палкин Е.А. Численные методы расчета специальных функций волновых катастроф. /Журнал вычислительной математики и математической физики. 1985. т.25. N2. С.224 236.

31. Клюжев В.М., Ардашев В.М., Мамчич Н.Г., Барсов М.И., Глухова С.И., Применение методов математического моделирования в клинической практике// ВМЖ, №5, 1997.-41-45 с.

32. Курош А. Г. Курс высшей алгебры. 8-е изд. - М: Физматгиз, 1963.

33. Леман Э. Проверка статистических гипотез. М.: Наука, 1979.

34. Лукин Д.С., Ипатов Е.Б., Палкин Е.А. Алгоритм численного расчета специальных функций типа быстро осциллирующих интегралов. // Сб. Вопросы дифракции электромагнитных волн / М., МФТИ. 1982. С.21-35.

35. Поляков JI.E. Статистические методы исследования в медицине и здравоохранении.// М.: Медицина, 1971. 200 с.

36. Постон Т., Стюарт И. Теория катастроф и ее приложения.// М.: Мир, 1980. 608 с.

37. Розова Н.К., Мешалкин Л.Д. Математическая оценка программ реа-билитации.// Кардиология, 1975. Т. 15, № 9 - с.11 - 83

38. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. М.: ИНФРА - М, Финансы и статистика, 1995. - 384 с.

39. Халфен Э.Ш. Кардиологический центр с дистанционным и автома-тическим наблюдением за больными.// М.: Медицина, 1980. 189 с.

40. Чеботарева Н.М. Хирургическое лечение внутримозговых кровоизлияний, обусловленных артериальной гипертензией.// М.: Медицина, 1984. 176 с.

41. Bates, D. М., & Watts, D. G. Nonlinear regression analysis and its applications. New York: Wiley, 1988.

42. Cobb L. Parameter estimation for the cusp catastrophe model.// Behavioral Science, 1981, v. 26.

43. Cobb L., Koppstein P., Chen N. H. Estimation and moment recursion relations for multimodal exponential distributions // Journal of the American Statistical Association, 1983, v. 78, P. 124-130.

44. Cobb L., Zacs S. Applications of Catastrophe theory for statistical modeling in biosciences.// JASA, 1985, vol. 80, № 392, p. 793 802.

45. Fararo T. An introduction to catastrophes.// Behavioral Science, 1978, 23, p. 291-317.

46. Forges F. Et all. Prognostic factors of metastatic renal carcinoma: a multivariate analysis.// Seminars in surgical oncology, 1988, vol. 4, № 3. p. 149 - 154.

47. Giii, A. Nonlinear multivariate analysis. Department of Data Theory, The University of Leiden. The Netherlands, 1981.

48. Lu Y. Singularity theory and an introduction to catastrophe theory. New York:1101. Springer-Verlag, 1976.

49. Oliva T.A., Desarbo W.S., Day D.L., &Jedidi K. GEMCAT: A General multivariate methodology for estimating catastrophe models // Behaviorial Science, 1987. v. 32.

50. Overall J.E., Williams C.M. Models for medical diagnosis.// Behavioral Science, 1961, vol.6, №2, -p. 134 146

51. Seber, G. A. F., & Wild, C. J. Nonlinear regression. New York: Wiley, 1989.

52. Thom R. Structural stability and morphogenesis: An outline of a general theory. Reading, MA: Benjamin.

53. Vander Poel H. C., Mulders P.F., Oosterhof C.O., Schaafeman H.E. at all. Prognostic value of karyometric and clinical characteristics in renal all carcinoma.// Cancer, 1993, vol. 72, № 9. -p. 2667 2674.