Фильтрованная арифметическая мера и минимаксные теоремы тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат физико-математических наук Жданов, Денис Александрович

• Жданов, Денис Александрович
• кандидат физико-математических наук
• 2008

Оглавление диссертации кандидат физико-математических наук Жданов, Денис Александрович

Введение

1 Необходимые сведения и определения

1.1 Необходимые сведения из теории вероятностей и функционального анализа.

1.2 Необходимые сведения из выпуклого анализа.

1.3 Необходимые факты и определения из стохастического анализа

2 Общая минимаксная теорема для /-дивергенций

2.1 Определения и постановка задачи.

2.2 Вспомогательные утверждения.

2.3 Основные теоремы. Случай конечного ©

2.4 Основные теоремы. Общий случай.

3 Фильтрованная арифметическая мера

3.1 Введение.

3.2 Определение и основные свойства фильтрованной арифметической меры.

3.3 Построение фильтрованной арифметической меры.

3.4 Применение фильтрованной арифметической меры.

Введение диссертации (часть автореферата) на тему «Фильтрованная арифметическая мера и минимаксные теоремы»

Основной целью математической статистики является выявление на основе "наблюдаемых данных" истинной теории в, то есть выявление той вероятностной модели, которая "лучше всего" согласуется с "наблюдаемыми данными". В связи с этим, основным объектом исследования является статистический эксперимент Е = (0,,Т]Рв,в £ 0). Для формализации самой постановки вопроса о том, какая из вероятностных мер Ре (т.е. какая из "теорий" 9) "лучше всего согласуется" с наблюдаемыми данными, каково "качество" принимаемого решения относительно в, какие при этом возникают "потери" и т.п., А. Вальдом [63] была предложена теория решающих правил, основными компонентами которой являются пространство решений и функция потерь. Статистические игры являются частью теории статистических решающих функций. Теория статистических игр рассматривалась, например, в монографиях Д. Блэкуэлла и М. А. Гиршика [2], Т. Фергюсона [39] и А. А. Боровкова [3].

В 1997 году Д. Хаусслер [44] рассмотрел следующую игру статистика с "природой".

Имеется семейство {Р9}в'ее вероятностных распределений на полном се-парабельном метрическом пространстве X. Природа выбирает (априорное) распределение ц на множестве в. После чего выбирается в в соответствии с Далее статистик, не зная это значение в и стратегию д, выбирает некоторое распределение Q на X. Потери статистика описываются информацией Кульбака-Лейблера D{Pe\\Q).

Варианты этой игры рассматривались несколькими авторами (см., например, [30], [38], [46], [47]). Игра также имеет интерпретации в финансовой математике и теории игр [30], [28], в теории машинного обучения [45], в теории кодирования минимаксное значение в этой игре соответствует емкости канала от в к X [30].

Для антагонистических игр принципом оптимальности является принцип минимакса (называемый также принципом гарантированного результата), состоящий в выборе вторым игроком такой стратегии, чтобы минимизировать свой проигрыш в наименее благоприятной ситуации, то есть какую бы стратегию противник ни выбрал. Такие стратегии называются минимаксными [22], [6].

Рассмотрим максимальные потери, которые может понести второй игрок (статистик), пользуясь одной из своих стратегий; их нижняя грань по всем стратегиям называется верхней ценой игры. Аналогично, максимизируя по всем стратегиям первого игрока (природы) тот гарантированный доход, который он может получить, пользуясь одной из своих стратегий, получаем нижнюю цену игры. Важную роль в теории игр имеет минимаксная теорема, которая состоит в том, что верхняя и нижняя цены игры совпадают.

Д. Хаусслер доказал минимаксный результат для рассматриваемой им игры, а также показал, что минимаксная стратегия статистика находится в замыкании множества всех байесовских стратегий [44].

Естественно поставить вопрос об обобщении результата Д. Хаусслера на другие функции потерь.

Подходящими функциями потерь в данной задаче являются потери, задаваемые /-дивергенциями (расходимость выбранного и истинного распределений) , которые обобщают такие известные расстояния между вероятностными распределениями, как информация Кульбака-Лейблера, квадрат расстояния Хеллингера, расстояние по вариации. Для таких функций потерь минимаксный результат для /-дивергенций для случая конечного Э доказал в 1972 году И. Чисар [32].

В настоящей работе изучается игра статистика с природой, рассматриваемая Д. Хаусслером, где в качестве функции потерь берется произвольная /-дивергенция If(Pe\\Q). Доказаны минимаксная теорема и существование минимаксной стратегии статистика.

Наше доказательство существенно отличается от доказательства Д. Ха-усслера, которое использует специфику рассматриваемой им функции потерь и не переносится на другие функции потерь. В частности, в доказательстве Д. Хаусслера используется следующий факт: inf J D(P9\\R)fi(dO) = J D(Pe\\P,MdO), (1) где Рц = J Peii{d9) есть арифметическая мера, а нижняя грань берется по всем борелевским вероятностным мерам R на X. Иными словами, если статистик знает стратегию природы /л, то его оптимальной (байесовской) стратегией будет Рц. Если информацию Кульбака-Лейблера заменить произвольной /-дивергенцией, то равенство (1) уже не будет иметь место, и байесовская стратегия не равна Рц.

Помимо этого, для случая конечного © нами доказывается существование байесовской стратегии и найден ее вид в рассматриваемой игре с функцией потерь, задаваемой /-дивергенцией. Стоит заметить, что И. Чисар, по существу, доказал эти утверждения [32]. Здесь мы их докажем иными методами — методами выпуклого анализа и с использованием понятия /дивергенции для конечно-аддитивных мер, предложенного в статье [9].

В непараметрическом оценивании задача нахождения нижней границы для минимаксного риска часто сводится к оценке снизу для минимаксного риска на специально выбираемом конечном подмножестве значений параметра. Одну из используемых оценок снизу для минимаксного риска в случае конечного параметрического множества дает лемма Фано, основанная на неравенстве Фано в теории информации и впервые использованная для получения нижних границ в задачах оценивания в работах И. А. Ибрагимова и Р. 3. Хасьминского.

Следующий вариант леммы Фано можно найти, например, в [8]: п fn{Pa)^Y,a^P * И (2) г=1 где Е = 1 ^ г ^ п) — статистический эксперимент, функция fn{x) := (1 - х) log(l - х) + хlog^ - logoff, — байесовский риск, отвечающий априорному распределению а = {ai,., ап}, a R есть любая вероятностная мера на (П,^7).

В соответствии с (1) минимум по R в правой части (2) достигается на (нефильтрованной) арифметической мере Ра = Х)Г=1 агРг- Однако, как правило, оценка (2) с R — Ра практически не используется. Это связано с тем, что величину 0(Рг\\Ра) не удается вычислить даже в простых моделях. Именно поэтому в применениях леммы Фано оценку (2) зачастую загруб-ляют, чтобы получить оценки, более удобные для вычислений. Например, используется неравенство: п п

3) t=1 j=1 вытекающее из (2) с R = Ра в силу выпуклости информации Кульбака-Лейблера по второму аргументу.

Введение фильтрации F = (J-t)teR+ в обычную схему статистического эксперимента приводит к новому объекту исследования — фильтрованному статистическому эксперименту Е = (Г2, F = Рв■> 0 € Э).

Оказывается, что в случае фильтрованного статистического эксперимента Е = F = (^)f6R+;Pl, 1 < г ^ п) можно указать более точную по сравнению с (3) оценку, которая хоть и уступает оценке (2) с R — Ра, но во многих моделях доступна вычислению. Идея состоит в том, чтобы в (2) взять в качестве R так называемую фильтрованную арифметическую меру, которая, образно говоря, получается усреднением переходных вероятностей, а не самих мер, как для арифметической меры.

Фильтрованная мера обладает также следующим замечательным свойством. Неформально говоря, триплеты любого семимартингала по ней получаются усреднением с весами щ его характеристик по мерам Рг.

Значительная часть диссертации посвящена изучению фильтрованной арифметической меры.

Научная новизна. Основные результаты диссертации состоят в следующем.

• Доказана минимаксная теорема в описанной выше игре с функцией потерь, задаваемой произвольной /-дивергенцией.

• Для конечного случая доказано существование байесовской стратегии и найден ее вид в описанной выше игре с функцией потерь, задаваемой произвольной /-дивергенцией.

• Введено понятие фильтрованной арифметической меры. Изучены ее свойства, доказана теорема существования фильтрованной арифметической меры.

• Найдена оценка снизу для минимаксного риска в лемме Фано в предсказуемых терминах.

Методы исследования.

В работе применяются методы теории вероятностей, функционального анализа, выпуклого анализа и стохастического исчисления.

Теоретическая и практическая ценность.

Работа носит теоретический характер. Ее результаты могут быть полезны в теории вероятностей, теории случайных процессов, теории принятия решений, стохастическом анализе, а также в некоторых задачах финансовой математики.

Апробация диссертации и публикации.

Автор выступал с докладами на следующих конференциях, где излагались результаты, относящиеся к диссертации.

1. XIII Всероссийская школа-коллоквиум по стохастическим методам, г. Йошкар-Ола, 16- 22 декабря 2006 г. Название доклада — Минимаксный результат для /-дивергенций.

2. Российско-Японский симпозиум "Complex Stochastic Models: Asymptotic and Applications 4-5 июня 2007 г., Математический институт им. В. А. Стеклова. Название постерного доклада — Filtered Arithmetical Measure and Its Applications.

3. XIV Всероссийская школа-коллоквиум по стохастическим методам, г. Адлер, 29 сентября-7 октября 2007 г. Название доклада — Решение мартингальной проблемы для фильтрованной арифметической меры.

Кроме того, по теме диссертации был сделан доклад на семинаре „Стохастический анализ: теория и приложения", проводимому в Математическом институте им. В. А. Стеклова под руководством А. Н. Ширяева и А. А. Гущина.

Основные результаты диссертации опубликованы в следующих работах: [11], [43], [12], [13].

Структура и объем работы. Работа состоит из введения, трех глав и списка литературы из 63 наименований. Общий объем диссертации составляет 79 стр.

Список литературы диссертационного исследования кандидат физико-математических наук Жданов, Денис Александрович, 2008 год

1. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление. М.: Наука, 1979.

2. Блэкуэлл Д., Гиршик М.А. Теория игр и статистических решений. М.: ИЛ, 1984, 144 с.

3. Боровков А. А. Математическая статистика. Дополнительные главы. М.: Наука, 1958, 100 с.с

4. Богачев В. И. Основы теории меры. Том 1. Москва-Ижевск: НИЦ Регулярная и стохастическая динамика, 2006.

5. Булинский А. В., Ширяев А. Н. Теория случайных процессов. М.: ФИЗ-МАТЛИТ, 2003.

6. Воробьев Н. М. Основы теории игр. Бескоалиционные игры. М., 1984.

7. Гущин А. А. О сходимости последовательностей семимартингалов и их компонент. — Тр. МИРАН. Т. 202. Статистика и управление случайными процессами. М.: ТВП, 1993, с. 42-119.

8. Гущин А. А. О лемме Фано и аналогичных неравенствах для минимаксного риска. — Теория вероятн. и матем. статист., 2002, в. 67, с. 26-37.

9. Гущин А. А. О расширении понятия /-дивергенции. — Теория вероятн. и ее примен., 2007, т. 52, в. 3, с. 468-489.

10. Жакод Ж., Ширяев А. Н. Предельные теоремы для случайных процессов. В двух томах. Пер. с англ. М.: Физматлит, 1994.

11. Жданов Д. А. Минимаксный результат для /-дивергенций. — Обозрение прикл. и промышл. матем., 2005, т. 12, в. 4, с. 856-857.

12. Жданов Д. А. О лемме Фано для случая фильтрованного пространства. — Обозрение прикл. и промышл. матем., 2006, т. 13, в. 6, с. 10241026.

13. Жданов Д. А. Фильтрованная арифметическая мера и ее применения. — Теория вероятн. и ее применен., 2008, т. 53, в. 2, с. 354-364.

14. Ибрагимов И. А., Хасъминский Р. 3. Асимптотическая теория оценивания. М.: Наука, 1979.

15. Кабанов Ю., Липцер Р. Ш., Ширяев А. Н. Абсолютная непрерывность и сингулярность локально абсолютно непрерывных вероятностных распределений I. — Матем. сб., 1978, т. 107, №3, с. 364-415.

16. Кабанов Ю., Липцер Р. Ш., Ширяев А. Н. Абсолютная непрерывность и сингулярность локально абсолютно непрерывных вероятностных распределений II. — Матем. сб., 1979, т. 108, №1, с. 32-61.

17. Коломиец Э. И. Мартингальные методы в асимптотической теории проверки статистических гипотез. Диссертация на соискание ученой степени кандидата физико-математических наук. Москва, 1986.

18. Коломиец Э. И. Об асимптотическом поведении вероятностей ошибок второго рода в критерии Неймана-Пирсона (случай вполне асимптотически различимых гипотез). — Теория вероятн. и ее примен., 1987, т. 32, в. 3, с. 503-522.

19. Липцер Р. Ш., Ширяев А. Н. Теория мартингалов. М.: Физматлит, 1986.

20. Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов. М.: Наука, 1974.

21. Не её Ж. Математические основы теории вероятностей. М.: Мир, 1965.

22. Фон Нейман Дж., Моргенштерн О. Теория игр и экономическое поведение. М., 1970.

23. Черный А. С. Семейства согласованных вероятностных мер . — Теория вероятн. и ее примен., 2001, т. 46, в. 1, с. 160-163.

24. Ширяев А.Н., Черный А. С. Векторный стохастический интеграл и фундаментальные теоремы теории арбитража. — Тр. Матем. ин-та им. В. А. Стек лова РАН, 2002, т. 237, с. 12-56.

25. Экланд И., Темам Р. Выпуклый анализ и вариационные проблемы. М.: Мир, 1979.

26. Aliprantis C.D., Border К. С. Infinite Dimensional Analysis. 3rd Edition. Heidelberg: Springer, 2006.

27. Attouch H., Brezis H. Duality of the sum of the convex functions in general Banach spaces. — In: Aspects of Mathematics and Its Applications. Amsterdam: North-Holland, 1986, p. 125-133.

28. Barron A., Cover T. A bound on the financial value of information. — IEEE Trans. Inform. Theory, 1988, v. 34, p. 1097-1100.

29. Birge L. A new lower bound for multiple hypothesis testing. — IEEE Trans. Inf. Theory, 2005, v. 51, №4, p. 1611-1615.

30. Clark В., Barron A. Information-theoretic asymptotics of Bayes maethods. IEEE Trans. Inform. Theory, 1990, v. 36, p. 453-471.

31. Csiszar I. Eine Informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von markoffschen Ketten. — Trud. Akad. Mat. Kutato Int. Kozl. Magyar, 1963, v.8, p. 85-108.

32. Csiszar I. A class of measures of informativity of observation channels. — Periodica Mathematica Hungarica, 1972, v. 2 (1-4), p. 191-213.

33. Davisson L., Leon-Garsia A. A source matching approach to finding minim&x codes. IEEE Trans. Inform. Theory, 1980, v. IT-26, p. 166-174.

34. Delbaen F., Schachermayer W. A General Version of the Fundamental Theorem of Asset Pricing. — Mathematische Annalen, 1994, v. 300, p. 463-520.

35. Dellacherie C., Meyer P. A. Probabilites et potentiel. Paris: Hermann.

36. Dudley R. M. Real Analysis and Probability. Wadsworth, 1989.

37. Dzhaparidze K., Spreij P., Valkeila E. Information Processes for Semimartingale Experiments. — Ann. Probab., 2003, v. 13, №1, p. 216-243.

38. Efroimovich S. Y. Information contained in a sequence of observations. — Probabl. Inform. Transm., 1980, v. 15, p. 178-189.

39. Ferguson T. Mathematical Statistics: A decision Theoretic Approach. NY: Academic, 1967.

40. Gallager R. Source coding with side information and universal, coding. Technical Report LIDS-P-937, Mass. Instit. Tech., 1976.

41. Gushchin A. A., Valkeila E. Approximations and limit theorems for likelhood ratio processes in the binary case. — Statistics & Decisions, 2003, v. 21, p. 219-260.

42. Gushchin A. A., Zhdanov D.A. A minimax result for /-divergences. — In: From Stochastic Calculus to Mathematical Finance. The Shiryaev Festschrift. /Eds. by Yu. Kabanov, R. Lipster, J. Stoyanov. Heidelberg: Springer, 2006, p. 287-295.

43. Haussler D. A general minimax result for relative entropy. — IEEE Trans. Inform. Theory, july 1997, v. 43, №4, , p. 1276-1280.

44. Haussler D., К earns M., Schapire R. E. Bounds on the sample complexity of Bayesian learning using information theory and the Vapnik-Chervonenkis dimension. — Mach. Learn., 1994, v. 14, №1, p. 83-113.

45. Haussler D., Opper M. Mutual information, metric entropy and cumulative relative entropy risk. Ann. Stat., 1997, v. 25, №6, p. 2451-2492.

46. Ibragimov I., Hasminski R. On the information in a sample about a parameter. — In: Proc. 2nd Int. Symp. on Information Theory, 1972, p. 295-309.

47. Jacod J., Shiryaev A. N. Limit Theorems For Stochastic Processes. 2nd Ed. Berlin-Heidelberg: Springer, 2003.

48. Jacod J. Calcul Stochastique et Problemes de Martingales. Berlin-Heidelberg: Springer, 1979.

49. Jacod J. Processus de Hellinger, absolue contiguite. Seminaires de probabilites Rennes 1983. — Publ. Sem. Math., Univ. Rennes I, Rennes, 1983, 22 p.

50. Jacod J. Filtered Statistical Models and Hellinger Processes. — Stoch. Proc. Appl., 1989, v. 32, p. 3-45.

51. Jacod J. Multivariate point processes: predictable projection, Radon-Nikodyme derivative, representation of martingales. — Z. Wahrcsch. Verw. Geb., 1975, v. 31, p. 235-253.

52. Kabanov Yu., Liptser R. Sh., Shiryaev A. N. On the variational distance for probability measures defined on a filtered space. — Probab. Theory Related Fields, 1986, v. 71, p. 19-36.

53. Krob J., Scholl H. R. A minimax result for the Kullback Leibler Bayes risk. Econ. Qual. Control, 1997, v. 12, p. 147-157.

54. Liese F., Vajda I. Convex Statistical Distances. Leipzig: Teubner, 1987.

55. Liptser R.Sh., Shiryaev A.N. On the problem of "predictable criteria" of contiguity. Lecture Notes in Math, 1983, 1021, p. 384-418.

56. Posner E. Random coding strategies for minimum entropy. — IEEE Trans. Inform. Theory, 1975, v. IT-21, p. 388-391.

57. Rockafellar R. T. Integral which are convex functionals. — Pacific J. Math, 1968, v. 24, №3, p. 525-539.

58. Rockafellar R. T. Integral which are convex functionals. II. — Pacific J. Math, 1971, v. 39, №2, p. 439-469.

59. Schachermayer W., Schachinger W. Is there a predictable criterion for mutual singularity of two probability measures on a filtered space? — Theory Probab. Appl., v. 44, №1, p. 51-59.

60. Sion M. On general minimax theorems. — Pacific J. Math., 1958, v. 8, p. 171-176.

61. Yosida K., Hewitt E. Finetely additive measures. — Trans. Amer. Math. Soc., 1952, v. 72, №1, p. 46-66.

62. Wald A. Statistical Decision Functions. NY: Wiley; London: Chapman andHall, 1950.