Расширенный модифицированный рекуррентный метод наименьших квадратов в задачах анализа данных тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат физико-математических наук Теклина, Лариса Григорьевна

• Теклина, Лариса Григорьевна
• кандидат физико-математических наук
• 1999

Оглавление диссертации кандидат физико-математических наук Теклина, Лариса Григорьевна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. РАСШИРЕНИЕ РЕКУРРЕНТНОЙ ФОРМЫ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

1.1. Увеличение ж сокращение исходных данных

1.2. Изменение числа определяемых параметров путем расширения и сужения исходной модели

2. МЕТОДИКА ПРИМЕНЕНИЯ РАСШИРЕННОЙ РЕКУРРЕНТНОЙ ФОРМЫ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ ПРИ ОБРАБОТКЕ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

2.1. Адаптивный выбор базиса

2.2. Авторегрессионный анализ временных рядов

( по материалам эксперимента акустической локации накопления повреждений в нелинейно деформированном теле)

3. ПОСТАНОВКА ЗАДАЧИ РАСПОЗНАВАНИЯ Й КОДИРОВАНИЕ ОБРАЗОВ, СОГЛАСОВАННЫЕ С МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ,

4. АЛГОРИТМЫ РАСПОЗНАВАНИЯ, ОСНОВАННЫЕ НА РЕКУРРЕНТНОЙ ФОРМЕ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

4.1. Локальные решающие правила...,

4.2. Открытые решающие правила

4.3. Итерационный алгоритм обучения с взвешиванием объектов

4.4. Примеры приложения алгоритмов распознавания

к принятию решений в медицине

5. ИСПОЛЬЗОВАНИЕ РЕКУРРЕНТНОЙ ФОРМЫ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ ПРИ ПРИНЯТИИ СОГЛАСОВАННОГО РЕШЕНИЯ

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

Введение диссертации (часть автореферата) на тему «Расширенный модифицированный рекуррентный метод наименьших квадратов в задачах анализа данных»

ВВЕДЕНИЕ

Анализ данных - дисциплина, посвященная построению и исследованию процедур, осуществляющих преобразование от "исходных данных" к "результату". В последние годы этот термин - "анализ данных" - заменил традиционный, но более узкий по значению термин "обработка результатов наблюдений (измерений)".

Под исходными данными обычно понимают некоторый первичный набор показателей, полученных в процессе проведения исследования: результаты измерения некой физической величины; совокупность параметров, характеризующих какое-либо событие или состояние системы, установки, физического тела; число случаев осуществления наблюдаемого события; констатация факта наличия или отсутствия анализируемого признака и т. п. Регистрируемые показатели (признаки,переменные), среди которых могут быть количественные (измеряющие в определенной шкале степень проявления изучаемого свойства объекта), порядковые (позволяющие упорядочивать анализируемые объекты по степени проявления в них изучаемого свойства) и классификационные (позволяющие разбивать исследуемую совокупность объектов на не поддающиеся упорядочиванию однородные по анализируемому свойству классы), образуют многомерный вектор - наблюдение, а множество полученных наблюдений составляют исходный массив данных.

Результатами анализа данных обычно являются либо итоговые показатели (например, при обработке многократных измерений некоторой физической величины), либо параметры модели, описывающей исследуемое явление, либо вывод о справедливости какой-либо теории, либо решение задач фильтрации, классификации, идентификации, дискриминации, прогнозирования и т. п.

Практически любая задача "анализа данных решается в два этапа: исследование данных и обработка данных. Исследование данных,

или предварительный, разведочный анализ, - это такие операции, выполнение которых определяется конкретными данными и конкретной постановкой задачи. Цель такого анализа - оценка качества полученных данных, их надежности (достоверности), устранение грубых ошибок, выбор схемы проведения исследования и возможных методов решения задачи. До настоящего времени весь этот круг вопросов чаще всего решается благодаря индивидуальному подходу, с учетом реального содержания задачи и опыта специалиста-исследователя. Обработка данных- это собственно процедура получения результата по выбранной схеме решения задачи. Традиционно основным математическим аппаратом анализа данных является математическая статистика [67,74].

Перспективы использования анализа данных весьма широки, поскольку практически во всех областях человеческого познания, в том числе и в физических исследованиях, возникает необходимость оценивания и интерпретации данных, охватывающих либо большое число объектов, либо большое число наблюдений над некоторым объектом, характеризуемых одновременно многими переменными. Например, современные экспериментальные исследования в области ядерной физики, геофизики, физики атмосферы, океана и др. характеризуются огромным объемом получаемой первичной информации. Анализ данных таких экспериментальных исследований немыслим без использования быстродействующей вычислительной техники и средств автоматизации [39,68]. Автоматизация необходима и для обработки больших массивов данных, когда возможности человека крайне ограничены, и для проведения самого эксперимента. Автоматизация эксперимента -комплекс средств и методов для ускорения сбора и обработки экспериментальных данных, интенсификации использования эсперименталь-ных установок, повышения эффективности работы исследователей. Использование ЭВМ при этом позволяет не только хранить и обрабатывать большое количество информации, обслуживать одновременно несколько установок, но и управлять экспериментом в процессе его прове-

дения [15,41]. Первые попытки автоматизации эксперимента возникли в пятидесятые годы в исследованиях, связанных с ядерной физикой. В последующие годы автоматизация эксперимента нашла применение и в других областях физики и естествознания вообще: в физике элементарных частиц, термоядерных, космических и медико-биологических исследованиях, в геофизике, радиоастрономии и т. д. Необходимым звеном автоматизации эксперимента является автоматизированная система экспериментальных исследований, математическое (программное) обеспечение которой разрабатывается на основе математических методов анализа данных. При всем многообразии используемых в научных исследованиях автоматизированных систем подсистемы анализа данных решают относительно узкий круг задач традиционного статистического анализа (оценивание функции плотности вероятности, определение согласия между теоретическим и экспериментальным распределением, спектральный или регрессионный анализ в зависимости от типа исходных данных) с графическим представлением результатов для исследователя на экране дисплея. Выбор методов для дальнейшей обработки результатов статистического анализа вплоть до конечных выводов, также как и предварительный анализ данных осуществляются исследователем исходя из конкретного содержания задачи, потому что существует совершенно определенная точка зрения физика - исследователя, что эти процессы не могут быть строго формализованы и алгоритмизированы. И действительно, традиционные методы многомерного статистического анализа с трудом поддаются формализации, особенно на стадии первоначальной обработки исходных данных, и требуют достаточно большого объема априорных сведений.

С нашей точки зрения, именно недостаточная степень автоматизации анализа данных является причиной появления публикаций, в которых указывается на необходимость преодоления пробела, существующего между техникой сбора данных и программным обеспечением, необходимым для обработки данных и извлечения нужной информа-

ции [100]. К тому же расширяется и круг задач, встающих перед автоматизированными системами анализа данных. Развитие электроники привело к созданию большого числа приборов, предоставляющих объективные количественные данные о состоянии объекта исследования, трудно поддающиеся интерпретации. Растет число автоматизированных следящих систем, развиваются системы мониторинга за окружающей средой, за объектами, представляющими опасность для человека, очень популярны системы-помощники врача в палатах интенсивной терапии и т.д. Все острее встает вопрос о создании систем, решающих задачу извлечения полезной информации из больших объемов фактических данных, систем поддержки специалиста при принятии им решения в сложных ситуациях на основе объективных данных о состоянии объекта, особенно необходимых в условиях критических ситуаций [51,90].

Один из путей преодоления возникших проблем мы видим в увеличении степени автоматизации процесса анализа данных на основе разработки общего подхода к решению задач обработки информации, расширения математичеческой базы анализа данных и создания новых или модификации известных методов обработки и интерпретации данных, инвариантных к конкретному содержанию задачи или самонастраивающихся на задачу с учетом особенностей в ее постановке и задании данных.

Новые возможности в теории обработки данных открыли современные методы адаптации и обучения. Они выразились в синтезе процедур обработки наблюдений, способных приспосабливаться к конкретным эмпирическим данным и разнообразным практическим ситуациям, а также требующих существенно меньшего объема априорных сведений. Такие свойства адаптивных методов достигаются за счет настройки параметров рассматриваемых математических моделей как по обучающим реализациям, так и по текущим наблюдениям. Использование современных методов обучения к тому же выводит возможности

обработки данных на новый уровень, когда целью исследования является не просто обнаружение закономерностей, а решение на их основе интеллектуальных задач, которые ранее считались привелегией человека: интерпретация, классификация, диагностика, прогноз, выбор способа действия и т. д. Решение таких задач возможно на основе методов машинного обучения, основанных на анализе фактических данных, и, в частности, одного из самых интересных его разделов - распознавания образов [86,103].

Распознавание образов - это исторически одно из первых, наиболее известных и теоретически развитых направлений искусственного интеллекта. Практическое применение методов распознавания позволило решить многие конкретные задачи медицинской, технической, геологической диагностики и прогнозирования. Полученные правила легли в основу рекомендаций по принятию решений в этих сложных областях знаний , и качество таких решений во многих случаях было выше того, что мог дать квалифицированный специалист или совет экспертов. Это относится в первую очередь к неформализуемым ситуациям, где решение принимается на основе прошлого опыта и значительного числа факторов. Эффективные результаты принесло применение методов распознавания и в физических исследованиях, особенно в геофизике, радиоастрономии и космических исследованиях. В качестве примеров можно привести работы по классификации подстилающих поверхностей Земли (по данным аэрокосмического спектрометрирования при проведении физико - географического районирования различных регионов) [14], исследования по применению методов идентификации и распознавания в задачах ориентации и навигации летательных аппаратов [9,59,65] и т. д.

С одной стороны, опыт использования методов распознавания для решения практических задач продемонстрировал, что они являются эффективным путем "извлечения знаний" из рассмотрения множества случаев и фактов с известными конечными выводами эксперта, предо-

ставляя возможность организации процесса обучения. С другой стороны, распознавание образов все еще остается "элитной" методикой при принятии решений в трудноформализуемых задачах выбора, недоступной широкому кругу исследователей в конкретных областях знаний.

Для эффективности процесса внедрения адаптивных и обучающих методов в широкую научную и практическую деятельность путем создания автоматизированных адаптивных обучающихся систем для решения сложных задач анализа данных и принятия решений целесообразна разработка новых методов, отвечающих таким требованиям, как:

- возможности решения широкого круга задач анализа данных (интерпретация, моделирование, диагностика, прогноз, выбор способа действия и др.);

- формализуемость процесса решения, способность самостоятельно настраиваться на задачу с учетом особенностей в ее постановке и описании данных;

- отсутствие алгоритмических ограничений на объем анализируемой информации и размерность описания исходных данных;

- возможность адаптации решений к изменяющимся внешним условиям.

Предлагаемые в настоящей работе алгоритмы анализа информации, построения математических моделей и принятия решений, основанные на рекуррентной форме метода наименьших квадратов (МНК ), позволяют разрешить хотя бы часть проблем, встающих перед создателями автоматизированных систем анализа данных.

Цель работы - пополнение математической базы анализа данных путем расширения и модификации рекуррентной формы метода наименьших квадратов и разработка на его основе новых адаптивных и обучающих методов анализа данных, построения математических моделей и решающих правил распознавания, отвечающих

требованиям: быстродействие, формализуемость, проблемная независимость, простота в сочетании с четким математическим обоснованием, возможность организации взаимодействия с пользователем.

Методы исследования. Для решения теоретических проблем были использованы классические методы математического и функционального анализа и матричное исчисление. В основу разработки новых алгоритмов положены модифицированные рекуррентные процедуры МНК и двухуровневые системы принятия решений с привлечением методов теории вероятности и математической статистики.

Научная новизна :

1.С целью пополнения математической базы анализа данных проведены расширение и модификация рекуррентной формы метода наименьших квадратов:

1.1. Получены рекуррентные формулы МНК для случая сокращения статистической выборки. Приведены условия их существования.

1.2. Введены новые рекуррентные процедуры МНК по определяемым параметрам, охватывающие как расширениетак и сужение рассматриваемой математической модели. Решена проблема отбора для заданной статистической выборки системы базисных функций с невырожденной информационной матрицей.

1.3. Предложена модификация МНК применительно к решению задач распознавания на основе оптимизации функционала качества распознавания в зависимости от выбора функции учителя и от задания описания распознаваемых объектов.

1.4. Поставлена и решена задача выбора условно-оптимального описания распознаваемых множеств в классе кусочно-постоянных функций. Введено понятие естественной кодировки образов.

2. На основе расширенных рекуррентных процедур МНК и кодирования распознаваемых образов предложены новые адаптивные алгоритмы построения математических моделей и решающих правил рас-

познавания:

2.1. с помощью набора поверхностей, аппроксимирующих анализируемые множества;

2.2. в виде разделяющих распознаваемые классы поверхностей;

2.3. итерационный алгоритм обучения со взвешиванием объектов.

3. Предложен новый подход и разработаны алгоритмы формирования двухуровневых систем принятия решений путем построения синтетических решающих правил - основы для принятия коллективного решения по результатам решения задачи группой алгоритмов-экспертов. Отличительная особенность предлагаемого подхода - независимость от статистических свойств группы экспертов (алгоритмов).

Разработанные алгоритмы положены в основу автоматизированной адаптивной самообучающейся системы извлечения знаний и принятия решений методами распознавания образов, разрабатываемой при финансовой поддержке РФФИ ( проекты 93-01-01064, 96-01-01231 и 99 -01-00394).

Практическая ценность работы.

1. На основе новых методов создан комплекс программ, позволяющий автоматизировать весь процесс решения достаточно большого класса задач анализа данных от оценки надежности исходных данных до построения матемаических моделей и решающих правил распознавания, их апробации и коррекции с целью адаптации к изменяющимся внешним условиям.

2. Все представленные в работе алгоритмы апробированы на решении ряда различных по своей постановке задач из разных областей знаний: физика (автоматический анализ сигналов по материалам эксперимента акустической локации накопления повреждений в нелинейно деформированном теле), биохимия (изучение эффекта воздействия катионов тяжелых металлов на жизнедеятельность бактерии), электро-

физиология (классификация типов диффузных изменений в электроэнцефалограммах) и медицина (прогнозирование ближайших и отдаленных исходов лечения больных с черепно-мозговой травмой, диагностика вида черепно-мозговой травмы, рака желудка, сепсиса при ожогах и др. ).

Результаты решения двух задач: определение типа диффузных изменений в электроэнцефалограмме по данным спектрального анализа и вычислительная диагностика и прогноз состояния больных с черепно-мозговой травмой - положены в основу методических рекомендаций Минздрава РФ и внедрены в клиническую практику в городах Нижний Новгород, Донецк, Красноярск, Новосибирск, Саратов, Тарту, Ташкент и др.

Основные результаты проведенных исследований представлены в настоящей работе.

Первая глава посвящена анализу возможностей использования широко известного метода наименьших квадратов (МНК) в теории оценивания неизвестных параметров математических моделей по заданным статистическим выборкам наблюдений изучаемого процесса. Главные достоинства решения задачи оценивания с использованием МНК связаны с ее априорной разрешимостью и такими замечательными свойствами получаемых оценок, как несмещенность, эффективность и состоятельность. Существенной особенностью, расширяющей возможности МНК, является представимость его в рекуррентной форме. В двух разделах первой главы приведены результаты по усовершенствованию рекуррентной формы МНК.

Известные формулы пересчета значений искомых параметров математической модели при увеличении числа равноточных наблюдений в статистической выборке дополнены в разделе 1.1 аналогичными рекуррентными выражениями для случая неравноточных наблюдений, когда каждое из них входит в минимизируемый квадратичный функци-

онал качества со своим весом. Полученные формулы являются основой для организации итерационного процесса минимизации функционала качества при произвольных начальных приближениях вектора неизвестных параметров и обратной информационной матрицы. Доказывается, что в случае неравноточных наблюдений итерационный процесс сходится, если он сходится для равноточных наблюдений. Достаточное условие сходимости: минимальное собственное значение информационной матрицы неограниченно возрастает при росте числа наблюдений.

При решении задач на основе анализа статистических выборок нередки ситуации, когда возникает необходимость в коррекции полученных оценок не только при пополнении данных, но и из-за обнаружения среди статистических данных ошибочных наблюдений (например, неправильный диагноз при решении задач классификации в медицине). Поэтому в разделе 1.1 получены и рекуррентные выражения для оценки неизвестных параметров с помощью МНК при сокращении исходных данных. Доказывается, что рекуррентные формулы по числу данных при сокращении выборки имеют смысл, если заданная система базисных функций, определяющих рассматриваемую математическую модель, линейно независима на оставшемся после сокращения множестве точек в статистической выборке, т. е. если новая информационная матрица невырожденна.

Полученные в разделе 1.1 рекуррентные формулы пересчета значений искомых параметров математической модели при любом изменении статистической выборки работают при невырожденности информационной матрицы - условие, трудновыполнимое на практике, особенно в задачах распознавания, управления, идентификации и др. Для приведения в соответствие принятой математической модели предъявленной к рассмотрению статистической выборке в разделе 1.2 выведены формулы, рекуррентные по числу неизвестных параметров, или размерности описания наблюдаемых объектов. Доказано, что ре-

куррентные выражения по числу определяемых параметров имеют смысл тогда и только тогда, когда рассматриваемая система базисных функций линейно независима на представленном статистическом множестве точек. Доказанное условие позволяет в процессе изменения модели путем расширения базиса сформировать модель (или описание) с невырожденной информационной матрицей.

При необходимости сокращения описания наблюдаемых объектов или уменьшения сложности рассматриваемой модели путем исключения части базисных функций в разделе 1.2 выведены рекуррентные формулы для соответствующего пересчета новых значений параметров математической модели через известные значения для старой модели.

Вторая глава посвящена возможностям использования рекуррентной формы МНК для построения параметрических моделей, когда математическая постановка задачи сводится к поиску неизвестной зависимости в классе параметрических функций. В этом случае построение модели - это задача аппроксимации, а точнее, отыскание коэффициентов разложения по заданной системе базисных функций на основе известной обучающей выборки данных. Расширенные рекуррентные процедуры МНК, полученные в главе 1, не только являются удобной формой вычисления параметров в случае единственности решения, но и предлагают нетрадиционный подход к решению задачи в случае плохой обусловленности информационной матрицы,а именно: построение такого описания математической модели путем подбора соответствующих базисных функций, для которого решение задачи минимизации функционала качества аппроксимации на заданном обучающем множестве данных единственно.

В разделе 2.1 рассматривается проблема выбора базисных функций, приспособленных к решению конкретной задачи. Представлен алгоритм построения параметрической модели с адаптивным подбором системы базисных функций, линейно независимых на обучающей выборке данных. Подчеркнем две важные особенности алгоритма по-

строения параметрической модели на базе МНК, важные для решения задач анализа данных:

- отсутствие алгоритмических ограничений на порядок математических моделей, размерность описания исследуемых объектов и объем анализируемой выборки данных и

- возможность быстрой и легкой коррекции параметров как при любом уточнении вида модели, так и при изменениях в обучающей выборке данных (поступление новой информации или обнаружение ошибочных данных).

В случае решения задачи аппроксимации с использованием конечной системы базисных функций формулируется задача построения кусочной аппроксимации на базе МНК и предлагается алгоритм одновременного построения разбиения обучающего множества на К > 1 кластеров и связанных с этим разбиением аппроксимирующих функций, минимизирующих критерий качества аппроксимации, выраженный с помощью МНК, для каждого из полученных подмножеств. Поиск разбиения и соответствующих ему аппроксимирующих функций осуществляется методом последовательных приближений. Доказано, что предложенный метод сходится.

Возможности построения параметрических моделей с подбором системы базисных функций иллюстрируются на примере решения задачи моделирования зависимости времени прорастания бактерий в растворе от концентраций содержащихся в нем тяжелых металлов цинка и меди.

В разделе 2.2 рассматриваются особенности применения рекуррентных процедур МНК для построения авторегрессионных моделей. Авторегрессия - удобная и широко используемая форма описания и анализа временных рядов, распространенного способа задания данных, представляющих собой наблюдение над некоторым явлением, характер которого изменяется во времени или пространстве. Построение авторегрессионной модели - это способ обнаружения скрытых закономер-

ностей в анализируемых данных. Наша цель - решение поставленной задачи на основе минимальных, но достаточных для решения знаний о закономерностях исследуемого процесса. Средство достижения цели -реализация метода последовательных приближений на базе расширенной рекуррентной формы МНК как для построения авторегрессионной модели, так и для организации процедуры принятия решения по данной задаче на основе построенной модели. Решение задачи начинается с рассмотрения модели минимально допустимой сложности, далее и модель, и конечные выводы корректируются (возрастает сложность модели) вплоть до решения поставленной задачи или доказательства невозможности (или нецелесообразности) ее решения на моделях рассматриваемого вида.

При построении авторегрессионных моделей рекуррентные процедуры МНК используются не только для оценки коэффициентов регрессии, но и для определения таких важных параметров модели, как порядок авторегрессии и длительность анализируемого интервала временного ряда (для отыскания коэффициентов авторегрессионной функции) при заданном порядке авторегрессии.

Возможности решения задач анализа данных с построением авторегрессионных моделей на базе МНК иллюстрируются на примере обработки результатов эксперимента акустической локации накопления повреждений в нелинейно деформированном теле. В ходе обработки экспериментальных данных решались три основные задачи:

1) Изучение зависимости оценки параметров модели от порядка авторегрессии.

2) Использование рекуррентных процедур МНК для разбиения временного ряда на отдельные интервалы с целью подсчета коэффициентов авторегрессии.

3) Изучение зависимости параметров авторегрессионной модели от величины нагрузки.

Третья глава посвящена использованию рекуррентного МНК в задачах распознавания. Приводится традиционная трактовка классической задачи обучения с учителем как задачи аппроксимации функции учителя по заданной обучающей выборке ее значений. Отличие задачи распознавания от классической задачи аппроксимации состоит в том, что функцию учителя можно изменять в пределах сохранения за ней требуемого различения образов. Это различие становится существенным при ограничениях размера обучающей выборки и числа параметров аппроксимирующей функции и увеличивается с ростом числа распознаваемых классов. Свободу в выборе функции учителя можно использовать для улучшения аппроксимации и уменьшения числа определяемых параметров аппроксимирующей функции. В главе 2 проводится дальнейшая модификация МНК применительно к решению задач распознавания путем совместной оптимизации квадратичного функционала качества и по неизвестным параметрам математической модели (вид решающего правила), и по функции учителя в классе кусочно-постоянных функций. Получаемую при этой оптимизации функцию учителя можно трактовать как естественную по отношению к выбранному классу аппроксимирующих функций кодировку распознаваемых образов.

Для кодировки распознаваемых образов, согласованной с МНК, доказаны следующие утверждения:

1. Критерий качества распознавания как функция кодировки образов есть положительно определенная квадратичная форма I от к переменных - кодов к распознаваемых классов.

2. Оптимальная кодировка образов при условии нормировки, накладываемом на выбираемые коды и выраженном неотрицательной квадратичной формой G, есть решение однородной системы линейных уравнений, полученных из условия минимизации функционала I при заданном условии (? = 1с помощью метода множителей Ла-гранжа. Минимум функционала достигается прм наименьшем поло-

жителъном корне определителя однородной системы.

3. При распознавании двух классов уравнение разделяющей гиперплоскости в спрямляющем пространстве определяется с точностью до свободного члена при любом задании кодировки образов.

На основе модифицированных рекуррентных процедур МНК и кодирования распознаваемых образов разработаны адаптивные алгоритмы для решения целого ряда проблем, возникающих в процессе распознавания, изложению которых посвящена четвертая глава настоящей работы. Представлению адаптивных алгоритмов распознавания, основанных на рекуррентной форме МНК, предшествует краткий анализ существующих моделей алгоритмов решения задач распознавания и связи предлагаемых подходов к решению проблем распознавания с наиболее употребительными семействами алгоритмов.

При распознавании объектов, представленных точками в эвклидовом пространстве описаний, существуют два подхода к решению задачи распознавания, а именно - разделение распознаваемых множеств и голосование с помощью вычисления оценок:

1) На основе обучающей выборки все пространство признаков делится на непересекающиеся области, и решающее правило состоит в определении принадлежности объекта к определенной области пространства - открытые решающие правила.

2) Для каждого из множеств, представляющих различные распознаваемые классы в обучающей выборке, отыскивается некое описание, и решающее правило определяется мерой близости объекта к каждому из описаний - локальные решающие правила.

Для решения задачи с использованием МНК в обоих случаях для построения решающего правила необходимо отыскание функций, аппроксимирующих или функцию учителя по заданной обучающей выборке, или множество точек, принадлежащих каждому из распознаваемых образов. Назовем эти функции распознающими, поскольку именно на их основе строится то или иное решающее правило распознавания.

С помощью рекуррентных процедур МНК построение распознающей функции сводится к задаче отыскания коэффициентов разложения по заданной системе базисных функций на основе известной обучающей выборки. В главе 4 представлены основные этапы алгоритма построения распознающей функции и подчеркнуты особенности предлагаемого алгоритма, являющиеся результатом использования модифицированных рекуррентных процедур МНК.

В разделе 4.1 излагаются особенности постановки задачи и формирования локальных решающих правил, главное достоинство которых - возможность проведения с их помощью верификации статистического материала, а также формирования и анализа обучающей последовательности с целью выбора метода решения задачи и построения иерархических решающих правил при распознавании большого числа классов.

Второй подход к решению задач распознавания - построение открытых решающих правил - излагается в разделе 4.2. Главное место в этом разделе занимает описание алгоритма построения функции принадлежности (точнее, вероятности принадлежности) к одному из двух разделяемых множеств. Доказывается утверждение: функция принадлежности к образу - монотонная (в широком смысле) кусочно-постоянная функция. С помощью построенной функции принадлежности образу все пространство признаков разбивается параллельными поверхностями на непересекающиеся области с одинаковой вероятностью принадлежности к распознаваемому образу, которые служат основой для формирования решающих правил в задачах нечеткой, или вероятностной, классификации ( а, следовательно, и в классических задачах детерминистской классификации, являющихся частным случаем первых). Предложенный алгоритм разбиения пространства может быть использован для любых методов построения решающих правил, основанных на принципе разделения.

Для решения задачи разделения числа классов к > 2 предлага-

ются два подхода:

1) формирование простого решающего правила, основанного на построении одной распознающей функции, путем разбиения исходного пространства признаков параллельными поверхностями;

2) формирование иерархических решающих правил, состоящих из 1 < к\ < к — 1 простых решающих правил, строго определенным образом связанных друг с другом (иерархическое правило включает в себя максимальное число простых, равное к — 1, при последовательной дихотомии представленной обучающей выборки).

Раздел 4.3 посвящен описанию итерационного алгоритма обучения со взвешиванием объектов из обучающей выборки. Показано, что представленный итерационный процесс есть приближенное решение проблемы нелинейного МНК, когда в минимизируемом функционале качества аппроксимации путем введения весовой функции учитывается значимость отличия значения строящейся функции от значения анализируемого показателя на точках из обучающей выборки. Цриводятся условия, накладываемые на весовую функцию, при которых итерационный алгоритм сходится. Применение итерационного алгоритма обучения равнозначно дополнительным верификации и реформированию обучающей последовательности.

Все приведенные в главе 4 алгоритмы решения задач распознавания проверены на реальных задачах, часть из которых ранее была решена и другими методами. В разделе 4.4 проведен краткий сравнительный анализ возможностей решения задач распознавания методами, основанными на рекуррентной форме МНК. Особое внимание обращено на обзор тех задач из области медицины, результаты решения которых легли в основу методических рекомендаций Минздрава РФ .

Представленные в работе алгоритмы анализа данных дают возможность получить несколько равных по значимости способов решения поставленной задачи. Но современное развитие вычислительной техни-

ки и программных средств создает хорошие условия для формирования обширных банков алгоритмов, которые могут служить своеобразным прототипом базы знаний в данной области. Появляется реальная возможность использовать весь многолетний опыт теории и практики решения задач анализа данных, давая алгоритмам и программам новую жизнь, не противопоставляя различные методы решения друг другу, а используя лучшие их качества, если научиться быстро и эффективно принимать коллективное решение на уровне, по крайней мере в среднем, лучшего из экспертов (алгоритмов, методов), участвующих в принятии согласованного решения.

Пятая глава посвящена краткому анализу современного состояния проблемы принятия согласованного решения и решению поста-вленой задачи путем разработки двухуровневых систем принятия решений, в которых первый уровень - это решение задачи отдельными алгоритмами-экспертами, а второй уровень - принятие коллективного решения.

Предлагается новый подход к решению задачи принятия согласованного решения, основанный на использовании модифицированной расширенной рекуррентной процедуры МНК и состоящий в построении синтетических решающих правил, аналогичных объединяющей (или корректирующей) функции при взвешенном голосовании, когда и тип функции, наиболее подходящей для данной задачи и данной группы экспертов, и веса экспертов определяются в процессе обучения. Основой для построения синтетических решающих правил являются результаты решения рассматриваемой задачи с помощью различных алгоритмов (и, в частности, экспертов). В зависимости от типа решаемой задачи эти результаты представляют собой либо некоторый итоговый показатель, либо вывод о классе, к которому принадлежит каждый объект из статистической выборки (детерминистская классификация непересекающихся множеств), либо вектор вероятностей принадлежности объекта к каждому из классов (например, в задачах прогноза

или при желании учесть информацию о том, насколько серьезную конкуренцию при выборе оказали другие классы). Для каждого из трех возможных вариантов решения задачи анализа данных предлагается свой алгоритм построения синтетических решающих правил.

В заключении изложены выводы о практическом использовании полученных результатов по модификации и расширению рекуррентной формы МНК как алгоритмической основы для разработки и создания автоматизированных адаптивных систем анализа данных с целью построения математических моделей, извлечения знаний и принятия решений.

1. РАСШИРЕНИЕ РЕКУРРЕНТНОЙ ФОРМЫ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

Метод наименьших квадратов (МНК) - важная и естественная часть теории оценивания параметров. Авторами его считаются Гаусс К. Ф. и Лежандр А. М. Первое изложение элементов метода и само название "метод наименьших квадратов" дано в 1806 году Лежан-дром А. М. в работе [95], посвященной вычислению орбит комет. Но вероятностное обоснование метода [91] в 1810 году и глубокая разработка вычислительных проблем [92] принадлежат Гауссу К. Ф. Дальнейшее развитие этот метод получил в работах Лапласа П. С. [94], Чебыше-ва П. Л. [83], Маркова А. А. [50], Неймана Ю. [52], Pao С. [99], Колмогорова А. Н. [36] и других известных математиков, после чего стал неотъемлемой частью вычислительной математики и математической статистики.

Классическая постановка МНК предполагает наличие

- во-первых,статистической выборки из N независимых наблюдений изучаемого объекта:

{(бьХ1, аг), (&2,х2, а2), • • •, (bj,xj, a¿),..., (bNl x.N, aN)}, где bj - значение величины, характеризующей наблюдаемый объект и зависящей (предположительно!) от состояния объекта исследования, описываемого вектором признаков xJ = (х{,х32,... ,xJn) в п-мерном эвклидовом пространстве Rn,

c¿j > 0 - вес j -ого наблюдения в представленной выборке;

- во-вторых,некоторой предполагаемой математической модели для описания зависимости между величинами Ь их:

т

b = Y, Яг^-(х), где

¿=1

^i(x), ^>2(х)9 ■ • •, <£т(х) - заданная система базисных функций, ai, а2,..., ат - неизвестные значения параметров.

Согласно методу наименьших квадратов оценка для параметров а1,..., ат по наблюдениям {(¿¿^х?$ = 1,..., ЛГ} выбирается из условия минимизации квадратичного функционала качества аппроксимации

N т

(1.1)

J(a1,..., ат) = £ - Ъ5)х

3=1 г=1

Ввиду большого удобства и краткости записей выкладок и результатов при использовании матричного исчисления введем матричные обозначения:

01 ^(х1)

АТО(ЛГ) — «2 ? = &2 , Фг =

<Р1(х?) ^г(х^) ... (рт-г(хР) .<Рт(х?)

N,171

<МХ*) »»(X1) • -1(х- ^(х1)

<Мх2) Ых2) ■ • -1(х2) Мх2)

■ Рт-

«1 0 .. 0 0

0 а2 .. 0 0

Ън = г * . I ?

0 0 .. 0 ам

Ат(Лг) = г = 1,..., га — (га * 1) - матрица искомых параметров сц;

В]у = Ц^Ц, = 1,..., N — (]\Г * 1) -матрица значений Ь^ Фг = ^¿(х7)!!, = 1,...,]\Г — (]\Г * 1) - матрица значений функции у>»(х) на векторах х1,х2,..., х^, г = 1,..., ш;

^ = ||^(х^)||, г = 1,..., т — (1 *га) - матрица значений функций <^(х) при х = х',^ = 1,... ,ЛГ;

Рдг,т = 11<£'г(х'011? ^ = 1, • • •, г = 1,..., т — (-/V * т) - матрица значений функций (рг(х),..., <рт(х) на векторах х1, х2,..., хж; Ьдг = ( = I,... ,N,3 = 1,... - диагональная матрица размер-

ности (ТУ" * И) для весов N наблюдений из статистической выборки.

В этих обозначениях минимизируемый функционал МНК (1.1) записывается в виде

J(■^m{N)) = - - Вдг). (1.2)

Необходимое условие экстремума [76]:

дЗ

дА

т{Ы)

О, т.е. ¥^тЪм(¥- ) = О,

или

В выражении (1.3) матрица

(1.3)

Ф?

Ф5

ф! ... ф

т

Ф^ЬдгФх Ф^ЬлгФш

1|, г,7 = 1

квадратная симметричная матрица, где

N

8=1

скалярное произведение векторов Ф; и Ф; с весами а 1,(22,..., адг по координатам, т.е. Рт(д-)— обобщенная матрица Грама векторов ФьФ2,...,Фт [46].

Широко известен критерий вырожденности для классической матрицы Грама [16] (с единичными весами): линейная зависимость векторов. Докажем,что он верен и для обобщенной матрицы Грама.

Лемма об определителе обобщенной матрицы Грама. Определитель обобщенной матрицы Грама с положительной матрицей весов для заданной системы векторов равен нулю тогда и только тогда, когда вектора линейно зависимы.

Доказательство. Верность этого утверждения следует из трех известных теорем [16,46]:

1) Согласно критерию Грама линейной зависимости векторов вектора Ф1, Ф2, ..., Фт, образующие матрицу линейно зависимы тогда и только тогда, когда определитель Грама для этих векторов

Ае1\\фТфЛ\=<1еЬ(¥1т¥М)ГП) = 0

2) Для прямоугольных матриц при N > т имеет место равенство

где суммирование проводится по всем С^ минорам т— ого порядка

в матрице Г#)ТО) = 1,... , т— номера строк в миноре

3) Для определителя обобщенной матрицы Грама верно равенство

¿еК^ггД^Р^т) = Е «Л• • •

1<к<32<-<^<Я

где а у > О V? = 1,..., N.

Из (2) и (3) следует, что и ¿.еЬ^^^т), и <1е1;(Р£>таЬ^Р.у>ТВ) обращаются в ноль тогда и только тогда, когда равны нулю все миноров т— ого порядка в матрице Последний вывод вместе с

критерием Грама и доказывает требуемое.

Если матрица Рт(#) невырожденная (функции ^х(х), ..., уто(х) линейно независимы на множестве точек х1, х2,..., х^), то существует единственное решение, называемое часто в литературе винеровским оптимальным вектором коэффициентов

А „»до = (1.4)

Легко доказывается [46,85], что на полученном решении (1.4) достигается минимум функционала (1.2), т.е. необходимое условие минимизации положительно определенной квадратичной формы (1.1) является и достаточным.

>

В случае, если Рт(щ = 0, решение тоже существует, т. к., согласно теореме Кронекера-Капелли [42], система (1.3) совместна, потому что ранги матрицы Рто(^) и расширенной матрицы системы определяются числом линейно независимых столбцов в матрице [34,85] .т. е. равны между собой. Но это решение неоднозначно: имеется множество решений, которые образуют линейное многообразие размерности, равной недостатку ранга матрицы Рт(#) до максимального [34,42].

Итак, главное достоинство решения задачи оценивания неизвестных параметров с использованием МНК - ее априорная разрешимость. К тому же решение любой задачи на основе статистических данных неизбежно требует рассмотрения статистических свойств получаемых оценок. Оценки неизвестных величин, полученные с помощью МНК, обладают рядом преимуществ [46,85]:

1) Оценка является несмещенной, если наблюдения не содержат систематических ошибок.

2) Согласно теореме Гаусса-Маркова среди всех линейных несмещенных оценок МНК дает оценку с наименьшей дисперсией, т. е. оценка является эффективной. Для нелинейных оценок это свойство имеет место, если случайные ошибки наблюдений независимы, несмещенны и подчиняются нормальному распределению.

3) Оценка, полученная с помощью МНК, состоятельна, если матрица Рто(#) невырожденна, и асимптотически распределена по нормальному закону.

Метод наименьших квадратов широко используется при обработке экспериментальных и статистических данных [31,46], в задачах аппроксимации [5], идентификации [6,29], адаптации [34,35,75], управле-

ния [45,66] и распознавания [1,2,11,77,82].

Трудности применения формулы (1.4), связанные с обращением матрицы большой размерности, преодолеваются путем использования различных итерационных методов минимизации функции потерь (градиентный, Ньютона-Рафсона и др.) [60,82]. Однако при использовании выборок со сравнительно небольшим числом наблюдений матрица Рт(.лг) часто бывает вырожденной, и в этом случае прибегают к различным ухищрениям типа поиска псевдообратной матрицы [16,45,58].

Существенной особенностью, расширяющей возможности применения МНК, является представимость его в рекуррентной форме.

1.1. Увеличение и сокращение исходных данных

Широко известно [45,66,82], что при использовании дополнительных данных (увеличение статистической выборки) переход от к Ат(#+1) (при всех с^ = 1, г = 1,..., лУ, N+1 ) может быть осуществлен рекуррентно согласно формулам

р-1

Ат(#+1) = А т(Я) + т^2-1+1рт—(^N+1 - 1^+1 Ат(#)),

р-1 _ р_1 _

Получим аналогичные формулы для случая, когда каждый из векторов х1,..., х^ входит в квадратичный функционал (1.1) со своим весом aj > 0.

При такой постановке задачи матрица значений Ате(#), на которых достигается минимум функционала, находится по формуле (1.4).

При пополнении исходных данных новым наблюдением а.лг+1) решение

Ат(ж+1) = Р~1^+1)Е5-+1)тЬЛг+1Вл?'+1, где

р

ЛЧ-1,171

=

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Теклина, Лариса Григорьевна

ЗАКЛЮЧЕНИЕ

В заключении остановимся кратко на практических результатах проведенных исследований. На основе модифицированных расширенных рекуррентных процедур МНК и кодирования распознаваемых образов разработаны алгоритмы для решения целого ряда проблем, возникающих в процессе анализа данных ( в настоящей работе представлена только часть из них):

1) Оценка качества исходных данных, верификация статистического материала и формирование обучающей выборки.

2) Анализ обучающей последовательности с целью выбора схемы проведения исследования и возможных методов решения задачи, в том числе и построения иерархических решающих правил при распознавании большого числа классов.

3) Предварительный анализ данных, представленных в виде временных рядов, с целью формирования признаков, информативных для решаемой задачи (на основе рассмотрения авторегрессионных и марковских моделей исследуемых процессов) [69].

4) Оценка параметров математических моделей и построение решающих правил в задачах распознавания.

5) Апробация и коррекция построенных моделей и решающих правил в процессе их эксплуатации.

6) Формирование двухуровневых систем принятия решений.

На основе описанных теоретических результатов и перечисленных алгоритмов создан комплекс программ для анализа данных, включенный в автоматизированную адаптивную самообучающуюся систему извлечения знаний и принятия решений методами распознавания образов [56]. Отметим главные свойства созданного комплекса программных средств.

Во-первых, представленные алгоритмы и соответствующие программы реализуют весь процесс решения достаточно большого класса задач анализа данных (параметрическое математическое моделирование, идентификация, классификация, диагностика, прогноз, выбор способа действия и др.) от кодирования и верификации исходных данных до построения и коррекции математических моделей и решающих правил распознавания. Они могут быть использованы для решения очень широкого круга задач с различными типами данных: качественные и количественные признаки, временные ряды, функции и др. Разные методы решения и синтетические решающие правила - основа для формирования двухуровневых систем принятия решений с возможностью использования обширных банков алгоритмов и программ.

Во-вторых, все разработанные алгоритмы легко формализуемы, обладают способностью самостоятельно настраиваться на различные типы задач и данных, а программные средства предусматривают последовательное выполнение всех этапов процесса решения задачи, когда выход каждого этапа представляет собой вход для следующего шага. Перечисленные возможности - основа для автоматизации анализа данных и создания на их основе персональных систем поддержки принятия решений.

В-третьих, адаптивные свойства предлагаемых алгоритмов позволяют легко и быстро корректировать построенные математические модели и решающие правила распознавания в процессе их эксплуатации на основании информации о статистических данных, вновь поступающих на вход системы анализа данных, и о характеристиках работы построенных моделей и решающих правил. Эти свойства - основа для организации процесса адаптации полученных решений к таким изменениям внешних условий, которые находят свое отражение в качественных и количественных изменениях статистического материала.

Именно поэтому представленную в настоящей работе расширенную и модифицированную рекуррентную форму метода наименьших квадратов можно назвать алгоритмической основой при создании автоматизированных адаптивных систем анализа данных и систем поддержки принятия решений в сложных ситуациях. Исследования по разработке и созданию такой системы ведутся при поддержке Российского фонда фундаментальных исследований.

И в заключение хотелось бы обратить внимание не столько на уже реализованные возможности изложенных в работе методов, основанных на рекуррентной форме МНК, сколько на существование новых идей, связанных с дальнейшей модификацией МНК применительно к решению задач анализа данных и ждущих своей реализации.

Список литературы диссертационного исследования кандидат физико-математических наук Теклина, Лариса Григорьевна, 1999 год

ЛИТЕРАТУРА

1. Айзерман М.А., Браверман Э.М., Розоноэр А.И. Методы потенциальных функций в теории обучения машин. М.: Наука, 1970

2. Алгоритмы и программы восстановления зависимостей. Под ред. Вапника В.Н. М.: Наука, 1984

3. Андерсон Т. Введение в многомерный статистический анализ. М., 1963

4. Аркадьев А.Г., Браверман Э.М. Обучение машины распознаванию образов. М.: Наука, 1964

5. Березин И.С., Жидков Н.П. Методы вычислений. T.l. М.: Наука, 1966

6. Бокс Дж., Дженкинс Г. Анализ временных рядов. Вып. 1. М.: Мир, 1974

7. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983

8. Будашевский Б.Г., Трошин В.М., Фраермам А.П., Неймарк К).И., Лихтерман Б.Л., Теклина Л.Г., Лебедев A.B. Определение риска летального исхода у больных с травматическим сдавлением головного мозга. Методические рекомендации. Ленинград-Горький, 1986.

9. Бурый A.C., Михайлов С.Н. Методы идентификации астроориен-тиров в задачах ориентации и навигации космического аппарата по изображениям звездного неба. // Зарубежная электроника, N 7-8, 1994. С.4-52.

10. Вальд А. Последовательный анализ. М., 1960

11. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979

12. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М.: Наука, 1974

13. Ватанабе С. Разложение Карунена-Лоэва и факторный анализ. Теория и приложение //Сб. Автоматический анализ сложных изобра-

жений. Под ред. Бравермана Э.М. М.: Мир, 1969

14. А.М. Вешторт, Ю.А. Зуев, В.В. Краснопрошин. Двухуровневая схема распознавания с логическим корректором. // Сб. Распознавание, Классификация, Прогноз. Вып.2. М.: Наука, 1989. С.73-98.

15. Виноградов В.И. Дискретные информационные системы в научных исследованиях. М.: Наука, 1976

16. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1967

17. Гнеденко Б.В. Курс теории вероятностей. М.: Наука,1969

18. Гнесина Е.А., Теклина Л.Г., Калистова В.В. Способ формализованного определения типа диффузных изменений электроэнцефалограммы. Методические рекомендации. Горький, 1987

19. Гуревич И.В., Журавлев Ю.И. Минимизация булевых функций и эффективные алгоритмы распознавания // Кибернетика. 1974, N 3.

С.16-20

20. Дуда РХа/рт П. Распознавание образов и анализ сцен. М.: Мир, 1976.

21. Дюран В., Оделл П. Кластерный анализ. М.:Статистика, 1977

22. Жирмунская Е.А., Лосев В.С. Понятие типа в классификации электроэнцефалограмм // Журнал физиологии человека, N 6, 1980. С.1039-1047.

23. Журавлев Ю.М., Гуревич И.Б. Распознавание образов и распознавание изображений.// Сб. Распознавание. Классификация. Прогноз. Математические методы и их применение. Под ред. Журавлева Ю.М. М.: Наука, 1989. С.5-73

24. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика. 1971, N 3. С. 1-11

25. Загоруйко Н.Г. Методы распознавания и их применение. М., 1972

26. Ю.А. Зуев, С.К. Иванов. Обучение и самообучение в процедурах взвешенного голосования. // Журнал вычислительной математики и математической физики, т.35, N 1, 1995. С.104-121.

27. Иванова И.М. О построении на ЭВМ разделяющей функции для

задач медицинской диагностики. Построение обобщенного синдрома // Сб. Динамика систем. Вып.10. Горький, 1976. С.128-140

28. Кабулов A.B., Зуфаров Б.И. Логические методы синтеза оптимальных корректоров эвристических алгоритмов. Ташкент: Фан, 1985.

29. Капустинскас А., Немура А. Идентификация линейных случайных процессов. Вильнюс, "Мокслас", 1983

30. Кариев М.Х., Лихтер май Л. Б., Трошин В.М., Неймарк Ю.И. Диагноз черепно-мозговой травмы (клинико-кибернетические методы). Ташкент, изд. медицинской литературы им. Абу Али ибн Сино, 1995.

31. Кендалл Дж.М., Сгпъюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976

32. Кендалл М. Дж., Стъюарт А. Статистические выводы и связи. М., 1973

33. Клинико-кибернетические подходы к проблемам диагноза и прогноза черепно-мозговой травмы. Сб. трудов под ред. Григорьева М.Г., Лихтермана Л.Б., Неймарка Ю.И. Горький, 1982.

34. Коган М.М., Неймарк Ю.И. Адаптивное локально-оптималтное управление и метод наименьших квадратов. Горький, изд. ГГУ, 1985

35. Коган М.М., Неймарк Ю.И. Адаптивное управление. Горький, изд. ГГУ, 1987

36. Колмогоров А.Н. К обоснованию метода наименьших квадратов.// Успехи математических наук. Т.1, вып.1, 1946. С. 57-70.

37. Котельников И.В. Кластерный анализ многомерных объектов на основе оптимальных тупиковых нечетких тестов.// Сб. Математические методы распознавания образов. Тезисы докладов. М., 1997.

С.63-64

38. Котельников И.В. Оптимизационные алгоритмы распознавания по общей близости и синдромам // Сб. Математические методы распознавания образов. Тезисы докладов. М., 1995. С.34-36

39. Кузьмичев Д.А., Радкевич И.А., Смирнов А.Д. Автоматизация экспериментальных исследований. М.: Наука, 1983

40. Кумсков М.И., Мигпюшев Д.Ф. Применение метода группового учета аргументов для построения коллективных оценок свойств органических соединений на основе индуктивного перебора их "структурных спектров". // Проблемы управления и информатики, N 4, 1996. С.127-149.

41. Курочкин С.С. Системы КАМАК-ВЕКТОР. М.: Наука, 1981

42. Курош А.Г. Курс высшей алгебры. М., 1975

43. A.B. Лапко, В.А. Лапко, С.В. Ченцов. Непараметрические модели распознавания образов на основе методов коллективного оценивания.// Сб. Математические методы распознавания образов. Тезисы докладов. М.: 1997. С.70-72.

44. Леман Э. Проверка статистических гипотез. М., 1979

45. Ли Р. Оптимальные оценки характеристик и управление. М.: Наука, 1966

46. Линиик Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. М.: Физматгиз, 1958

47. Литвакоа Б.М. Об одном итерационном методе в задаче аппроксимации функций по конечному числу наблюдений / / Автоматика и телемеханика, 1966, N.4. С.104-113.

48. Лихтерман Л.В., Корниенко В.Н., Потапов A.A., Кузьм,емко В. А., Горбунов В.И., Трошин В.М. Черепно-мозговая травма: прогноз течения и исходов. М.: Книга ЛТД, 1993.

49. Лоули Д., Максвелл А. Факторный анализ как статистический метод. М.: Мир, 1967

50. Марков Ф.Ф. Закон больших чисел и метод наименьших квадратов (1898). Избр. труды. Изд. АН СССР, 1951. С. 233-251

51. Мешал,кин Л.Д., Гольдберг С.И. Интеллектуальные системы: освоение новых методов. // Природа. N 10, 1994. С.66-75.

52. Нейман Ю. Статистическая оценка как проблема классической теории вероятностей. // Успехи математических наук. Вып.10, 1944. С.207-229.

53. Неймарк К).И., Иванова И.М., Таранова H.H., Эрдели Н.В. Алгоритмизация определения вида специализированной медицинской помощи для больных с острым торакальным болевым синдромом.// Сб.' Динамимика систем. Горький, 1983. С.161-185.

54. Неймарк К).И., Котельников И.В., Тара,нова H.H., Теклина Л.Г. ПРОРОК - автоматизированная система распознавания и принятия решений. // Сб. Математические методы распознавания образов. Тезисы докладов. М., 1995. С.132-134.

55. Неймарк Ю.И., Таранова H.H. Об отборе и кодировании признаков при распознавании образов. // Сб. Динамика систем. Изд. Нижегородского университета, 1995. С.45-54.

56. Неймарк К).И., Теклина Л.Г., Таранова H.H., Котельников И.В. Обучающаяся статистическая консультативная система.// Сб. Динамика систем. Изд. Нижегородского университета, 1995. С.3-28.

57. Нильсон Н. Обучающиеся машины. М.: Мир, 1967

58. Попов В.Н. Модифицированный адаптивный метод наименьших квадратов и его применение в системах распознавания образов. // Сб. Математические методы распознавания образов. Тезисы докладов. М., 1995. С. 143-144

59. Попов В.Н., Котов Н.И., Зобков А.Л. Распознавание образов в сложных измерительно-информационных системах с элементами искусственного интеллекта. //Сб. Математические методы распознавания образов. Тезисы докладов. М., 1997. С.202-203.

60. Пшеничный Б.Н., Данилин Ю.М. Численные методы в экстремальных задачах. М., 1975

61. Распознавание образов и медицинская диагностика. Под ред. Ней-марка К).И. М.: Наука, 1972

62. Растригин Л.А., Эренштейн Р.Х. Метод коллективного распознавания. М.: Энергоиздат, 1981.

63. Розенблагпт Ф. Принципы нейродинамики. М.: Мир, 1966

64. Себестиан Г. Процессы принятия решений при распознавании

образов. Киев, 1965

65. Смирнов Д. Л. Оптимальные точечные ориентиры для задач навигации летательных аппаратов. // Сб. Математические методы распознавания образов. Тезисы докладов. М., 1997. С.214-215.

66. Спиди К., Браун Р., Гуд вин Дж. Теория управления. М.: Мир, 1973

67. Статистические методы в экспериментальной физике. М.: Мир, 1976

68. Ступим К).В. Методы автоматизации физических экспериментов и установок на основе ЭВМ. М.: Наука, 1983

69. Теклина Л.Г. Выделение информативных данных для временных рядов с помощью авторегрессионных функций. // Сб. Математические методы распознавания образов. Тезисы докладов. М., 1995. С.159-160.

70. Трошин В.М., Лихтерман Л.Б., Неймарк К).И., Теклина Л.Г. Алгоритм распознавания травматических внутричерепных гематом и ушибов головного мозга. Методические рекомендации. Горький, 1979.

71. Трошин В.М., Лихтер ман Л. Б., Неймарк Ю.И., Теклина Л.Г. Табличные способы дифференциальной диагностики травматического сдавления и ушиба головного мозга. Методические рекомендации. Горький, 1982.

72. Ту Дж., Гопсалес Р. Принципы распознавания образов. М.: Мир, 1978

73. Турбович И. Т., Гигпис В.Г., Маслов В.К. Опознание образов. М.: Наука, 1971

74. Тъюки Дж. Анализ результатов наблюдений. М.: Мир, 1981

75. Уидроу Б., Сгпирнз С. Адаптивная обработка сигналов. М., 1989

76. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. T.l. М.: Наука, 1966

77. Фом/им В.Н. Математическая теория обучаемых опознающих систем. Л.: Изд. ЛГУ, 1976

78. Фу К. Последовательные методы в распознавании образов и обу-

чении машин. М.: Наука, 1971

79. Фу К. Структурные методы в распознавании образов. М.: Мир, 1977

80. Хаит, Э. Искусственный интеллект. М.: Мир, 1978

81. Хенна/н Э. Анализ временных рядов. М.: Мир, 1964

82. Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970

83. Чебышев П. Л. Об интерполировании по способу наименьших квадратов. Соч., т.1, 1859

84. Чепцов Н.Н. Статистические решающие правила и оптимальные выводы. М., 1972

85. Шметтерер Л. Введение в математическую статистику. М.: Наука, 1976

86. Birch М., Whiteley К. An object-oriented expert system based on pattern recognition.// IEEE Transactions on Systems, Man and Cybernetics. N 1, v.20, 1990. P.33-44.

87. Bittanti S., Bolzern P., Campi M. Recursive least-squares identification algorithms with incomplete excitations: convergence analysis and application to adaptive control.// IEEE Transactions on Automatic Control, v.35, N.12,1990. P.1371-1373.

88. Dai H., Sinha N.K. Robust recursive least-squares method with modified weights for bilinear system identification.// IEE Proceedings-D, Control Theory and Applications, 1989, v.136, N 3. P. 122-126

89. Fischer R.A. The use of multiple measurements in taxonomic problems. // Ann. Eugenics, 1936, v.7, N 11. P.179-188

90. Furukava Toshiyuki. AI in Medicine: A Japanese Perspective.// AI k, Society. N 3, v.4, 1990. P.196-214.

91. Gauss C.F. Theoria rnotus corporum coelestium. Hamburg, 1809

92. Gauss C.F. Disquisitio de elementis ellipticis Palladis. 1810

93. Keung-Chi Ng., Bruce Abramson. Consensus Diagnosis: A Simulation Study // IEEE Transactions on Systems, Man and Cybernetics. V.22, N.5, 1992. P.916-928.

94. Laplace P.S. Theorie analytique des probabilities. Paris, 1812

95. Legendre A.M. Nouvelles methodes pour la determination des orbites des cometes. Paris, 1806

96. Liu Z.-S., Li J. A QR-based least mean squares algorithm for adaptive parameter estimation.// IEEE Transactions on Circuits and Systems. V.45, N3, 1998. P. 321-329.

97. O'Leary D.P. Robust regression computation using iteratively reweiglited least squares // SIAM J. Matrix Anal, Appl. 1990, v.11, N.3. P.466-480

98. Mityushev G.M/, Kumskov M.I. An Integrated Software System to Predict Properties of Chemical Compounds on a Personal Computer. // Pattern Recognition and Image Analysis, 1996, v.6, N.4. P.809-822

99. Rao C. R. On the linear combination of observations and the general theory of least squares. // Sankhya. N3, v.7, 1946. P.237-256.

100. Rodd M.G. Engineering real-time systems.// Comput. and Contr. Eng. J., 1995, v.6, N5. P.233-240.

101. Rosenblatt F. The perceptron: A probalistic model for information storage and organization in the brain. // Psychol. Rev., 1958, v.65. P.386-408

102. Selfridge 0. Pandemonium. A paradigm for learning. // Proceedings of the Simposiuin on the Mechanization of Thought Processes. London, 1959

103. Trippi R. R., Turban E. Autolearning approaches for building expert systems.// Computer & Operation Research, N 6, v.17, 1990. P.553-561.

104. Wolke R.. Schwetlik H. Iteratively reweiglited least squares: algorithms, convergence analysis and numerical comparisons // SIAM Journal on Scientific and Statistical Computing. 1988, v.9, N.5. P.907-921

105. Yule G. U. On a method of investigating periodicities in disturbed series, with special refrence to Wolfer's sunspot numbers.// Phil. Trans., A226, 1927. P. 267.