Исследование конечно-линейных статистических моделей. Оптимизация и избыточность тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Ананьевская, Полина Валерьевна

• Ананьевская, Полина Валерьевна
• кандидат физико-математических наук
• 2013

Оглавление диссертации кандидат физико-математических наук Ананьевская, Полина Валерьевна

Содержание

Глава 1. Конечно-линейные статистические модели

1.1. Обзор классических подходов к многомерному анализу категориальных данных

1.1.1. Оптимальное шкалирование

1.1.2. Анализ главных компонент

1.1.3. Канонический корреляционный анализ

1.1.4. Классификация

1.2. Конечно-линейный подход

1.2.1. Редукция размерности

1.2.2. Каноническая сцепленность или структурная зависимость

1.2.3. Жестко-симметрическая классификация

Глава 2. Векторная параметризация многообразия Грассмана

2.1. Грассманиан и теорема о векторной параметризации

2.2. Уровневый подход к доказательству теоремы в случае поля ¥2

2.3. Обобщение доказательства на случай поля ¥д

Глава 3. Алгоритм дискретной оптимизации

3.1. Отношение линейного порядка

3.2. Алгоритм быстрого перечисления точек грассманиана РвЕА

3.3. Монотонные характеристики

3.4. Дискретная оптимизация

3.4.1. Пошаговый и последовательный подходы

3.4.2. Оценка эффективности

3.5. Дискретная оптимизация в конечно-линейных моделях

3.5.1. Редукция размерности

3.5.2. Структурная зависимость

3.5.3. Жестко-симметрическая классификация

Глава 4. Детализация алгоритма дискретной оптимизации для параллельной архитектуры CUDA

4.1. Особенности устройства GPU

4.1.1. Потоковая структура

4.1.2. Виды памяти

4.2. Представление алгоритма дискретной оптимизации в удобном

для параллельных вычислений виде

4.3. Быстрый способ вычисления энтропии

4.4. Оценка эффективности на модельных выборках

Глава 5. Моделирование

5.1. Исследование ассимптотических свойств оценки параметра в модели редукции размерности

5.1.1. Сходимость в случае независимых исходных признаков

5.1.2. Сходимость в случае зависимых исходных признаков

5.2. Исследование ассимптотических свойств оценки параметра в модели классификации

5.2.1. Сходимость в случае независимых исходных признаков

5.2.2. Сходимость в случае зависимых исходных признаков

Глава 6. Исследование избыточности классификационной модели

6.1. Пространство классификаций

6.2. Теорема об инцидентности векторов случайному векторному

пространству

6.3. Оценка избыточности

6.4. Исследование качества оценки на модельных данных

Глава 7. Анализ реальных данных

7.1. Редукция размерности

7.2. Структурная зависимость

7.3. Классификация

Заключение

Литература

Введение диссертации (часть автореферата) на тему «Исследование конечно-линейных статистических моделей. Оптимизация и избыточность»

Введение

Актуальность темы. Описание некоторых систем в различных областях современной науки, таких как биология, медицина, физика и химия, зачастую содержит информацию, представленную в виде большого количества категориальных признаков. В качестве примеров таких признаков можно привести наличие или отсутствие симптомов различных заболеваний пациентов в медицине, кодирование нуклеотидных остатков при помощи двух или четырех битов в задачах генетики, описание свойств и взаимодействий молекул в химии, идентификацию различных семантических структур в лингвистике.

Для анализа данных такого рода используются разнообразные методы, суть которых можно свести к трем основным направлениям: агрегирование информации в структуры меньшей размерности, выявление наиболее связных композиций, прогнозирование итоговой характеристики. Предназначенные для решения таких задач линейные многомерные статистические методы могут применяться в этом случае только после соответствующего преобразования категориальных данных в числовые или порядковые [1, 2].

Однако когда для шкалирования наблюдений используются чуть более сложные логические формулы, более уместным оказывается привлечение алгебраических и комбинаторных методов, позволяющих преобразовывать категориальные данные на основе линейных комбинаций случайных величин над конечным полем в новые наборы признаков той же природы, но с более предпочтительными информационными свойствами.

Подобные преобразования в работе Кокса [3] называются перестановочными трансформациями, но вводятся не линейно, а через систему логических отношений. В работе Блумфильда [4] намечается переход от перестановочных трансформаций к сложению двух бинарных признаков по модулю два, которое используется для расширения вариантов лог-линейных моделей.

с

В работах Алексеевой [5-7], посвященных исследованию комбинаторной структуры бинарных признаков на основе конечных геометрий, линейные оболочки над конечным полем используются для обеспечения симптомно-синдро-мального подхода к решению задач клинической диагностики.

Широкий спектр приложений привел к необходимости развития и формализации такого подхода, заключающегося в использовании линейных преобразований исходных признаков над конечным полем и называемого далее конечно-линейным подходом.

Цель работы. Основной целью работы является формализация статистических моделей, основанных на конечно-линейных методах, с учетом расширения на случай произвольного числа градаций, а также построение эффективного алгоритма оценки параметров таких моделей, по возможности адаптированного к параллельным вычислениям.

Методы исследования. В работе применяются методы статистического моделирования, теории вероятностей, комбинаторики и линейной алгебры (алгебраические поля и многообразия Грассмана). Программирование осуществлялось в статистическом пакете R, пакете SAGE, а так же на языке программирования С++ с использованием технологии параллельных вычислений CUDA.

Научная новизна. В данной работе впервые предложен комплексный подход к статистическому анализу категориальных данных на основе привлечения латентных признаков, в который входит не только теоретическое обобщение конечно-линейного подхода, но и практическая его реализация в виде пошагового эффективного алгоритма. Предложенный алгоритм адаптирован к параллельным вычислениям и реализован на графических процессорах, как одном из наиболее активно развивающихся сегодня направлений в области параллельных вычислений. Исследованы ассимптотические свойства оценок параметров предлагаемых конечно-линейных статистических моделей. Для

модели классификации найдена оценка функции распределения количества ошибок классификации в случае независимых, равномерно распределенных исходных признаков.

Теоретическая и практическая ценность. Конечно-линейные модели позволяют выявлять скрытую информацию в анализе категориальных данных и могут быть использованы как аналоги анализа главных компонент, канонического корреляционного анализа и регрессии в традиционной многомерной статистике. Построенный на основе алгебраических методов специальный алгоритм дискретной оптимизации позволяет в реальном времени решать задачи оценки параметров в данных моделях, а так же проверять избыточность классификационной модели. Адаптированность алгоритма к параллельным вычислениям позволяет ускорять вычисления за счет привлечения графических процессоров, как одного из активно развивающихся сегодня направлений в области параллельных вычислений. Предложенная методология и комплекс программ успешно использованы па практике для анализа экспериментальных данных.

Апробация работы. Основные результаты диссертации докладывались и обсуждались на семинаре кафедры статистического моделирования мате-матико-механического факультета СПбГУ, а так же были представлены на конференциях: the 2nd International Conference on BioMedical Engineering and Informatics (BMEI'09), Tianjin, China, 17-19 October 2009; всероссийская научно-практическая конференция с международным участием «Алмазовские чтения 2011», ФЦСКЭ им. В. А. Алмазова, г. Санкт-Петербург, 19-21 мая 2011 г; V Международная научная конференция (заочная) «Системный анализ в медицине» (САМ 2011), г. Благовещенск, 25-26 мая 2011 г.

Публикации. По теме диссертации опубликованы статьи [8, 9] в журналах по перечню ВАК и статьи [10-12] в сборниках трудов конференций. Статьи [9-12] написаны в соавторстве, в статье [11] автору принадлежит до-

казательство теоремы о базисных симптомах и импульсный алгоритм поиска оптимального синдрома второго порядка, в статьях [9, 10] — алгоритм дискретной оптимизации и его реализации для исследования связности цепочек РНК и выделения прогностических факторов у больных с глиомами, в статье [12] — раздел о информационном структурировании категориальных данных.

Структура и объем диссертации. Диссертация состоит из введения, 7 глав, заключения и библиографии. Общий объем диссертации 142 страниц, из них 127 страниц текста, включая 19 рисунков. Библиография включает 98 наименований на 11 страницах.

В первой главе производится формализация конечно-линейных статистических моделей, в рамках которых ставятся специальные задачи дискретной оптимизации. Первый параграф посвящен обзору существующих вариантов построения аналогов трех многомерных статистических методов (анализ главных компонент [13, 14], канонический корреляционный анализ [15, 16] и методов классификации [17-19]) как задач дискретной оптимизации.

Вопросу многомерного анализа категориальных данных уделяется большое внимание в статистической литературе. Основным подходом, которому посвящено множество работ, является преобразование исходного набора категориальных данных в набор новых числовых признаков, называемом оптимальным шкалированием. Впервые предложенная Фишером в работе [20] идея такого преобразования в дальнейшем получила различные направления развития: множественный анализ соответствий, являющийся обобщением простого анализа соответствий [1, 21] и анализ однородности или гомогенности [2, 22]. Именно эти направления представлены в первом разделе первой главы как задачи оптимизации различных функций.

Альтернативой данному подходу является идея линейных преобразований исходного наблюдаемого вектора над полем определенной характеристики, соответствующей числу градаций компонент этого вектора, приводящее

к новому вектору с компонентами той же природы. История такого подхода начинается с работ Кокса и Блумфильда [3, 4], в которых было предложено исследовать линейные преобразования по модулю два как способ упрощения описания исходного набора признаков с двумя градациями. После длительного перерыва этот подход вновь привлек внимание статистиков. Наиболее детальное его описание для случая двух градаций исходных признаков было предложено Алексеевой в работах по симптомпо-синдромальному анализу [5-7], исследующему комбинаторную структуры комплексов факторов. Параллельно симптомно-синдромальному анализу в рамках этого подхода также развивается направление восстановления исходных независимых компонент по их наблюдаемым линейным комбинациям над конечными полями в работах Гутча и Ередора [23, 24].

Во втором разделе первой главы предлагается формализация метода исследования комбинаторной структуры комплексов факторов, заявленного Алексеевой, на основе конечно-линейных статистических моделей для трех рассматриваемых многомерных статистических методов (многомерного структурирования, структурной зависимости и задачи жестко-симметрической классификации). Параметром в каждой из этих моделей является матрица заданной размерности над конечным полем, задающая линейное преобразование исходного вектора, удовлетворяющее некоторому критерию оптимальности. Критериями оптимальности матрицы преобразования в этих задачах являются следующие условия: условие максимума энтропии преобразованного исходного вектора, удовлетворяющее одному из основных статистических принципов — принципу максимума энтропии [25-27], условие максимума коэффициента неопределенности между двумя преобразованными исходными векторами как одной из наиболее известных мер независимости категориальных признаков [28-30] и условие минимума вероятности несовпадения заданной итоговой случайной величины и линейного преобразования исходного век-

тора. Оценки искомых матриц преобразований могут быть получены путем подстановки эмпирического распределения вектора вместо теоретического и решением соответствующей задачи дискретной оптимизации.

В то время как направления, основанные на оптимальном шкалировании, для поиска решения оптимизационных задач используют известные алгоритмы сингулярного разложения, метод наименьших квадратов (IRLS) [31], модифицированный векторный метод подгонки (modified vector backfitting algorithm) [32] и крисс-кросс (criss-cross) метод [33], общей проблемой конечно-линейных моделей является необходимость построения эффективного алгоритма дискретной оптимизации.

Во второй главе предлагается векторная параметризация многообразия Грассмана (грассманиана) над конечным полем, на основе которой в последующих главах строится необходимый алгоритм дискретной оптимизации. Векторные параметризации грассманиана на основе использования диаграмм Ферре и расширенных базисных матриц представлены в работе [34]. Применение этих подходов не представляется возможным, поскольку построение каждого следующего подпространства (точки грассманиана) сопряжено с большими вычислительными сложностями. Предлагаемая во второй главе векторная параметризация является модификацией классического клеточного разложения, и позволяет решить задачу быстрого перечисления точек многообразия Грассмана. В теории алгебраических групп обобщение того факта, что грассманнианы имеют клеточную структуру, известно под названием "разложение Брюа"[35], а с точки зрения линейной алгебры клеточное разложение следует из алгоритма Гаусса и существования приведенного ступенчатого вида по строкам [36], но эти подходы являются чисто теоретическими и не дают эффективного способа компьютерного перечисления точек грассманиана.

В третьей главе задачи поиска оценки матриц преобразования в конечно-линейных моделях сводятся к задаче оптимизации функции на множе-

стве подпространств заданного векторного пространства над конечным полем. Существуют общие подходы к решению задач такого типа такие, как метод релаксации [37, 38], естественный, но трудоемкий метод полного перебора, рекурсивный метод ветвей и границ [39] и многие другие. Однако зачастую наиболее эффективными оказываются подходы, основанные на специфических особенностях рассматриваемых функций и объектов [40]. Именно такой подход на основе предложенной во второй главе векторной параметризации грассманиана описывается в третьей главе.

Преимуществом предложенного алгоритма дискретной оптимизации является его адаптивность к параллельным вычислениям. Эффективным способом параллельных вычислений является использование графических процессоров (видеокарт), как сопроцессоров, обладающих собственной памятью и обрабатывающих параллельно большое количество потоков [41-43]. В связи с тем, что в последние годы при помощи вычислительных возможностей графических процессоров реализуются многие статистические подходы [44-49], в четвертой главе рассматривается детализация алгоритма дискретной оптимизации для параллельной архитектуры CUDA для видеокарт Nvidia поколения Fermi, включающая возможность быстрого вычисления энтропии без составления гистограммы.

В пятой главе при помощи моделирования исследуется сходимость по вероятности оценок матриц преобразований, полученных решением оптимизационных задач при подстановке эмпирического распределения исходного вектора вместо теоретического. Для случая одинаково распределенных и независимых компонент исходного вектора в шестой главе в рамках решения вопроса о случаях избыточности классификационной модели оценивается функция распределения количества ошибок при жестко-симметрической классификации.

Практическое применение рассматриваемых конечно-линейных моделей

демонстрируется в седьмой главе на примере обработки реальных медицинских данных.

у

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Ананьевская, Полина Валерьевна

Заключение

В диссертационной работе рассмотрена задача построения аналогов методов анализа главных компонент, канонического корреляционного анализа и регрессии с точки зрения конечно-линейных статистических моделей для данных категориального типа. Описание некоторых систем в различных областях современной науки, таких как биология, медицина, физика и химия, зачастую содержит информацию, представленную в виде большого количества категориальных признаков и требует комплексный подход к анализу данных такого рода. В качестве примеров таких признаков можно привести наличие или отсутствие симптомов различных заболеваний пациентов в медицине, кодирование нуклеотидных остатков при помощи двух или четырех битов в задачах генетики, описание свойств и взаимодействий молекул в химии, идентификацию различных семантических структур в лингвистике.

Кратко перечислим основные результаты диссертации.

1. Формализованы конечно-линейные модели, основанные на привлечении свойств алгебраических полей с учетом расширения на случай произвольной характеристики поля в задачах редукции размерности системы исходных признаков, взаимодействия двух или более систем и задачи классификации (Глава 1).

2. Предложена векторная параметризация многообразия Грассмана на основе классического клеточного разбиения (2.1.1, Глава 2), позволяющая быстро перечислять точки многообразия.

3. Разработан специальный метод дискретной оптимизации для оценки параметров конечно-линейных моделей, опирающийся на предложенную векторную параметризацию многообразия Грассмана (Глава 3).

4. Специальный метод дискретной оптимизации адаптирован для параллельных вычислений на GPU (Graphical processing unit) (Глава 4);

5. Разработан программный комплекс, реализующий предложенный метод оценивания параметров конечно-линейных моделей, в том числе и на основе параллельных вычислений с использованием технологии CUDA.

6. Ассимптотические свойства оценок параметров были изучены при помощи статистического моделирования (Глава 5).

7. В рамках исследования избыточности классификационной модели найдена оценка функции распределения количества ошибок классификации в случае независимых и равномерно распределенных исходных признаков (Глава 6).

8. Предложенные конечно-линейные модели были применены для изучения ряда примеров с реальным данными (Глава 7).

Список литературы диссертационного исследования кандидат физико-математических наук Ананьевская, Полина Валерьевна, 2013 год

Литература

1. Greenacre М. Theory and Applications of Correspondence Analysis. London, England: Academic Press, 1984.

2. Giffi A. Nonlinear Multivariate Analysis. Chichester, England: Wiley, 1990.

3. Cox D. R. The analysis of multivariate binary data // Applied Statistics. 1972. Vol. 21. P. 113-120.

4. Bloomfield P. Linear transformations for multivariate binary data // Biometrics. 1974. Vol. 30. P. 609-617.

5. Алексеева H. П., Алексеев А. О. О роли конечных геометрий в корреляционном анализе бинарных признаков // Математические модели. Теория и приложения. Под ред. чл.корр. РАЕН, проф. Чиркова М. К. НИ-ИМ СПбГУ. 2004. Т. 4. С. 102-117.

6. Алексеева Н. П. Комбинаторный анализ двух форм скрытой периодичности категориальных последовательностей // Вестн. С.-Петерб. ун-та. Сер. 1: Математика, Механика, Астрономия. 2007. Вып. 3. С. 55-64.

7. Алексеева Н. П., Конради А. О., Бондаренко Б. Симптомный анализ в исследовании долгосрочного клинического прогноза // Артериальная гипертензия. Том 14. 2008. Т. 1. С. 38-43.

8. Ананьевская (Грачева) П. В. Метод дискретной оптимизации на основе параметризации грассманиана в многомерном структурировании дихотомических данных // Вестн. С.-Петерб. ун-та. Сер. 1: Математика, Механика, Астрономия. 2011. Вып. 4. С. 28-37.

9. Мартынов Б. В., Алексеева Н. П., Ананьевская (Грачева) П. В. и др.

Прогностические факторы у больных с глиомами: симптомно-синдро-мальный анализ // Вестн. Рос. Воен.-мед. акад. 2010. Т. 1, № 29. С. 7-14.

10. Alexeyeva N., Alexeyev A., Ananyevskaya (Gracheva) P. et al. Symptom and syndrom analysis of categorial series, logical principles and forms of logic // Proc. of the 3nd International Conference on BioMedical Engineering and Informatics (BMEI). 2010. P. 2603-2606.

11. Alexeyeva N., Smirnov I., Ananyevskaya (Gracheva) P., Martynov B. The finitely geometric symptom analysis in the glioma survival study // Proc. of the 2nd International Conference on BioMedical Engineering and Informatics (BMEI). 2009. P. 1-4.

12. Алексеева H. П., Ананьевская (Грачева) П. В., Подхалюзина Е. М. Структурирование и систематизация факторов на основе конечных проективных подпространств. // Материалы V международной конференции «Системный анализ в медицине» (САМ), Благовещенск. 2011. С. 14-16.

13. Pearson К. On Lines and Planes of Closest Fit to Systems of Points in Space // Philosophical Magazine. 1901. Vol. 2, no. 6. P. 559-572.

14. Hotelling H. Analysis of a complex of statistical variables into principal components // J. Educ. Psychol. 1933. Vol. 24. P. 417-441, 498-520.

15. Hotelling H. Relations between two sets of variates // Biometrica. 1936. Vol. 28. P. 321-377.

16. Kettenring J. R. Canonical analysis of several sets of variables // Biometrica. 1971. Vol. 56. P. 433-451.

17. Fisher R. A. The Use of Multiple Measurements in Taxonomic Problems // The Annals of Eugenics. 1936. Vol. 7, no. 2. P. 179-188.

18. Nerlove M., Press S. J. Univariate and multivariate log-linear and logistic models. Santa-Monica, California: Rand Corporation, 1973.

19. Friedman J. Regularized discriminant analysis // Journal of American Statistical Association. 1989. Vol. 84. P. 165-175.

20. Fisher R. A. The Precision of Discriminant Functions // The Annals of Eugenics. 1938. Vol. 10. P. 422-429.

21. Greenacre M., Blasius J. Multiple Correspondence Analysis and Related Methods. Boca Raton, FL: Chapman & Hall/CRC, 2006.

22. Michailidis G., de Leeuw J. The Giffi System of Descriptive Multivariate Analysis // Statistical Science. 1998. Vol. 13. P. 307-336.

23. Gutch H. W., Gruber P., Yeredor A., Theis F. J. ICA over finite fields -separability and algorithms // Signal Processing. 2012. Vol. 92, no. 8. P. 1796-1808.

24. Yeredor A. Independent Component Analysis Over Galois Fields of Prime Order // IEEE Transactions on Information Theory. 2011. Vol. 57, no. 8. P. 5342-5359.

25. Akaike H. Information theory and an extension of the maximum likelihood principle // Second International Symposium on Information Theory. Ed. by B. Petrov, B. Csaki. Academiai Kiado: Budapest. 1973. P. 267-281.

26. Berger A. L., Pietra S. A. D., Pietra V. J. D. A Maximum Entropy approach to Natural Language Processing // Computational linguistics. 1996. Vol. 22. P. 39-71.

27. He F. Maximum entropy, logistic regression, and species abundance // Oikos. 2010. Vol. 119. P. 572-582.

28. Renyi A. On measures of dependance // Acta Mathematica Academiae Sci-entiarium Hungaricae. 1959. Vol. 10. P. 441-451.

29. Joe H. Relative entropy measures of multivariate dependence // Journal of the American Statistical Association. 1989. Vol. 84. P. 157-164.

30. Renyi A. An estimator for the mutual information based on a criterion for independence // Computational Statistics and Data Analysis. 1999. Vol. 32. P. 1-17.

31. Green P. J. Iteratively Reweighted Least Squares for Maximum Likelihood Estimation, and Some Robust and Resistant Alternatives // Journal of the Royal Statistical Society B. 1984. Vol. 46, no. 2. P. 149-193.

32. Buja A., Hastie Т., Tibshirani R. Linear Smoothers and Additive Models // The Annals of Statistics. 1989. Vol. 17, no. 2. P. 453-510.

33. Gabriel K. R. Generalised bilinear regression // Biometrica. 1998. Vol. 85. P. 689-700.

34. Silberstein N., Etzion T. Enumerative Coding for Grassmannian Space // IEEE Transactions on Information Theory. 2011. Vol. 57. P. 365-374.

35. Borel A., Tits J. Groupes reductifs // Publ. Math. IHES 27. 1965. P. 55-152.

36. Гриффите Ф., Харрис Д. Принципы алгебраической геометрии. Москва: Мир, 1982.

37. Calvet J., Cardillo J., Hennet J., Szigeti F. Method of Relaxation applied to optimization of discrete systems // Electronic Journal of Differential Equations. 2003. P. 13-19.

38. Raghavan P., Thompson C. Randomized rounding: A technique for provably good algorithms and algorithmic proofs // Combinatorica. 1987. Vol. 7. P. 365-374.

39. Land A. H., Doig A. G. An automatic method of solving discrete programming problem // Econometrica. 1960. Vol. 28. P. 497-520.

40. Du D.-Z., Pardalos P. Handbook of Combinatorial Optimization. Netherlands: Kluwer Academic Publishers, 1998.

41. Owens J. D., Luebke D., Govindaraju N. et al. A survey of general-purpose computation on graphics hardware // Computer Graphics Forum. 2007. Vol. 26. P. 80-113.

42. Suchard M. A., Rambaut A. Many-core algorithms for statistical phyloge-netics // Bioinformatics. 2009. Vol. 25. P. 1370-1376.

43. Kirk D. B., Hwu W. M. Programming Massively Parallel Processors: A Hands-on Approach. San Francisco, CA, US: Morgan Kaufmann Publishers Inc, 2010.

44. Preis T., Virnau T., Paul W., Schneider J. J. GPU accelerated Monte Carlo simulation of the 2D and 3D Ising model // Journal of Computational Physics. 2009. Vol. 228, no. 12. P. 4468-4477.

45. Zhou H., Lange K., Suchard M. A. Graphics Processing Units and High-Dimensional Optimization // Statistical Science. 2010. Vol. 25, no. 3. P. 311-324.

46. Suchard M. A., Wang Q., Chan C. et al. Understanding GPU Programming for Statistical Computation: Studies in Massively Parallel Massive Mix-

tures // Journal of Computational and Graphical Statistics. 2010. Vol. 19, no. 2. P. 419-438.

47. Tibbits M. M., Haran M., Liechty J. C. Parallel Multivariate Slice Sampling // Statistics and Computing. 2011. Vol. 21, no. 3. P. 415-430.

48. Zhou Y., Liepe J., Sheng X. et al. GPU accelerated biochemical network simulation // Bioinformatics. 2011. Vol. 27, no. 6. P. 874-876.

49. Lee A., Caron F., Doucet A., Holmes C. Bayesian sparsity-path-analysis of genetic association signal using generalized t priors // Statistical Applications in Genetics and Molecular Biology. 2012. Vol. 11, no. 2. P. 1544-6115.

50. Lingoes J. C., Guttman L. Nonmetric factor analysis: a rank reducing alternative to linear factor analysis // Multivariate Behavioral Research. 1967. Vol. 2. P. 485-505.

51. Kruskal J. B., Shepard R. N. A nonmetric variety of linear factor analysis // Psychometrika. 1974. Vol. 39. P. 123-157.

52. Young F. W., Takane Y., de Leeuw J. The principal components of mixed measurement level multivariate data: an alternating least squares method with optimal scaling features // Psychometrika. 1978. Vol. 45. P. 279-281.

53. Horst P. Relations among m sets of measures // Psychometrika. 1961. Vol. 26. P. 129-149.

54. Nelder J., Wedderburn R. Generalized Linear Models // Journal of the Royal Statistical Society A. 1971. Vol. 135, no. 3. P. 370-384.

55. Hastie T., Tibshirani R. Generalized Additive Models. London, England: Chapman & Hall, 1990.

56. Yee T. W., Wild C. J. Vector Generalized Additive Models // Journal of the Royal Statistical Society B. 1996. Vol. 58, no. 3. P. 481-493.

57. Yee T. W., Hastie T. J. Reduced-rank Vector Generalized Linear Models // Statistical Modelling. 2003. Vol. 3, no. 2. R 15-41.

58. Hastie T., Tibshirani R., J.Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. NY, USA: Springer, 2009.

59. Celeux G., Mkhadri A. Discrete regularized discriminant analysis // Statistics and Computing. 1992. Vol. 2. P. 143-151.

60. Ferreira A. A Comparative Study on Discrete Discriminant Analysis through a Hierarchical Coupling Approach // Classification as a Tool for Research, Studies in Classification, Data Analysis, and Knowledge Organization, H. Lo-carek-Junge and C. Weihs (Eds.), Springer-Verlag, Berlin-Heidelberg. 2009. P. 137-145.

61. Tutz G. An alternative choice of smoothing for kernelbased density estimates in discrete discriminant analysis // Biometrika. 1986. Vol. 73. P. 405-411.

62. Saporta G. Discriminant analysis when all the variables are nominal, a stepwise method. Murray Hill, NJ: Spring meeting of the Psychametric Society, 1976.

63. Thomas L. C., Edelman D. B., Crook J. N. Credit Scoring and its Applications. Philadelphia: PA: SIAM Monographs on Mathematical Modelling and Computation, 2002.

64. Celeux G., Nakache J. Discrimination sur Variables Qualitatives. Paris: Polytechnica, 1994.

65. Verde R., Palumbo F. Analisi fattoriale discriminante non-simmetrica su predittori qualitativi. Rimini: Atti del Convegno délia XXXVIII Riunione Scientifica della Societa Italiana di Statistica, 1996.

66. Shannon C. A mathematical theory of communication // Bell System Technical Journal. 1948. Vol. 27. P. 379-423.

67. Шеннон К. Работы по теории информации и кибернетике. Москва: Издательство иностранной литературы, 1963.

68. Колмогоров А. Н. Новый метрический инвариант транзитивных динамических систем и автоморфизмов пространств Лебега // Доклады АН СССР. 1958. Т. 5.

69. Cercignani С. The Boltzmann equation and its applications. Berlin: Springer, 1988.

70. Jaynes E. T. Information theory and statistical mechanics // Physical Review. 1957. Vol. 106, no. 4. P. 620-630.

71. Jaynes E. T. Information theory and statistical mechanics II // Physical Review. 1957. Vol. 108, no. 2. P. 171-190.

72. Jaynes E. T. Information theory and statistical mechanics // Statistical Physics, K. Ford (ed.), Benjamin, New York. 1963. P. 181-218.

73. Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИИЭР. 1982. Т. 70, № 9. С. 33-51.

74. Burg J. P. Maximum Entropy Spectral Analysis: Ph.D. thesis / Stanford University, Stanford, CA. 1975.

75. Hinton G. E., Sejnowski Т. J. Learning and relearning in Boltzmann machines //In Rumelhart, D. E. and McClelland, J. L., editors, Parallel Distributed Processing: Explorations in the Microstructure of Cognition. 1986. Vol. 1. P. 282-317.

76. Pietra S. D., Pietra V. D., Lafferty J. Inducing features of random fields // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. Vol. 19. P. 380-393.

77. Theil H. On the estimation of relationships involving qualitative variables // American Journal of Sociology. 1970. Vol. 76. P. 103-154.

78. Sarndal С. E. A comparative study of association measures // Psychometri-ka. 1974. Vol. 39. P. 165-187.

79. Cover Т. M., Thomas J. Elements of information theory, 2nd edition. New York: Wiley, 2006.

80. Kojadinovic I. On the use of mutual information in data analysis: an overview // Proceedings of 11th International Symposium on Applied Stochastic Models and Data Analysis. 2005. P. 738-747.

81. Chellappa R., Turaga P., Veeraraghavan A. Statistical analysis on Stiefel and Grassmann Manifolds with applications in Computer Vision // IEEE Conference on Computer Vision and Pattern Recognition. 2008. P. 1-8.

82. Ghorpade S., Tsfasman M. Schubert varieties, linear codes and enumerative combinatorics // Finite Fields and Their Applications. 2005. P. 684-699.

83. Кострикин А. И., Манин Ю. И. Линейная алгебра и геометрия. Москва: Наука, 1986.

//

84. Knuth D. E. Subspaces, subsets, and partitions // Journal of Combinatorial Theory. 1971. Vol. 10. P. 178-180.

85. Thomas S. Designs over finite fields // Geometriae Dedicata. 1987. Vol. 21. P. 237-242.

86. Martin W. J., Zhu X. J. Anticodes for the Grassman and biliniar forms graphs // Designs, Codes, and Cryptography. 1995. Vol. 6. P. 73-79.

87. Schwartz M., Etzion T. Codes and anticodes in the Grassman graph // Journal of Combinatorial Theory, Series A. 2002. Vol. 97. P. 27-42.

88. Manganiello F., Gorla E., Rosenthal J. Spread codes and spread decoding in network coding //In Proceedings of International Symposium on Information Theory. July 2008. P. 881-885.

89. Silva D., Kschischang F. R. On metric for error correction in network coding // IEEE Trans. Information Theory. December 2009. Vol. IT-55. P. 5479-5490.

90. Koetter R., Kschischang F. R. Coding for errors and erasures in random network coding // IEEE Trans. Information Theory. August 2008. Vol. 54, no. 8. P. 3579-3591.

91. Guan D.-J. Generalized Gray Codes with Applications // Proc. Natl. Sei. Counc. Repub. Of China (A). 1998. Vol. 22. P. 841-848.

92. Sanders J., Kandrot E. CUDA by Example An Introduction to General-Purpose GPU Programming. US: Addison-Wesley Professional, 2010.

93. Bouillaguet C., Chen H. C., Cheng C. M. et al. Fast Exhaustive Search for Polynomial Systems in F2 // Cryptographic Hardware and Embedded Systems, Lecture Notes in Computer Science. 2010. Vol. 6225. P. 203-218.

94. Fluck О., Aharon S., Cremers D., Rousson M. GPU histogram computation // In Proceeding SIGGRAPH ACM, Research posters. 2006.

95. Shams R., Barnes N. Speeding up Mutual Information Computation Using NVIDIA CUDA Hardware //In Proceedings 9th Biennial Conference of the Australian Pattern Recognition Society on Digital Image Computing Techniques and Applications. 2007. P. 555-560.

96. Shams R., Kennedy R. A. Efficient histogram algorithms for NVIDIA CUDA compatible devices //In ICSPCS. 2007.

97. Koppaka S., Mudigere D., Narasimhan S., Narayanan B. Fast histograms using adaptive CUDA streams // http://arxiv.org/abs/1011.0235.

98. Team R. C. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2012. (дата обращения: 01.06.2012). URL: http://www.R-project.org.

99. van Lint J. H., Wilson R. M. A course in combinatorics. Cambridge University Press, 1992.

100. Рордан Д. Введение в комбинаторный анализ. Москва: Изд-во иностранной литературы, 1963.