Разработка и исследование математических моделей оценки качества распознавания и совершенствование обучающихся алгоритмов тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат технических наук Бельчусов, Анатолий Александрович

• Бельчусов, Анатолий Александрович
• кандидат технических наук
• 1998

Оглавление диссертации кандидат технических наук Бельчусов, Анатолий Александрович

ВВЕДЕНИЕ.2

ГЛАВА 1. ОБЗОР МЕТОДОВ ОЦЕНКИ КАЧЕСТВА РАСПОЗНАВАНИЯ.7

§1.1. постановка задачи.7

§1.2. обзор методов.14

ГЛАВА 2. ОЦЕНКА И СРАВНЕНИЕ КАЧЕСТВА АЛГОРИТМОВ.30

§2.1 динамический метод оценки качества распознавания.30

§2.2 модель оценки качества алгоритмов распознавания.40

§2.3. результаты экспериментов.62

ГЛАВА 3. ПОВЫШЕНИЕ КАЧЕСТВА ОТДЕЛЬНЫХ АЛГОРИТМОВ РАСПОЗНАВАНИЯ.70

§3.1. подбор оптимальных весов признаков.70

§3.2. адаптация генетических алгоритмов.86

ГЛАВА 4. КОНКРЕТНЫЕ ПРИЛОЖЕНИЯ МЕТОДИКИ ОЦЕНКИ КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ.ЮЗ

§4.1 программный комплекс по оценке качества распознавания.103

§4.2 визуализация пространства данных о признаках.106

§4.3. оценка качества алгоритмов в задачах распознавания акустических и сейсмических сигналов.108

§4.4 оценка качества алгоритмов в задачах медицинского прогнозирования на примере республиканского диабетологического центра при гуз-ркб №1 минздрава 4p.112

§4.5 оценка качества алгоритмов в задачах медицинской диагностики на примере центра вертебрологии.115

Введение диссертации (часть автореферата) на тему «Разработка и исследование математических моделей оценки качества распознавания и совершенствование обучающихся алгоритмов»

Современная теория распознавания получила признание в середине 50-х годов. По мере развития основных теоретических положений предлагаются все новые и новые типы алгоритмов распознавания, которые объединяются в классы согласно методологическим принципам построения. С увеличением числа новых алгоритмов и методов распознавания все заметнее потребность в их сравнении. Возникает необходимость упорядочить алгоритмы по качеству распознавания и типам задач, для решения которых те или иные алгоритмы более предпочтительны. С этой проблемой перекликаются и прикладные задачи распознавания образов. В итоге все сводится к двум основным вопросам:

- какой из существующих методов выбрать для решения данного класса задач распознавания.

- каким образом, находясь в пределах выбранного метода, настроить параметры алгоритма, чтобы, с учетом особенностей конкретной задачи, качество его работы было наилучшим.

Для ответа на эти вопросы необходимо научиться сравнивать рассматриваемые алгоритмы. Любое сравнение предполагает:

- установление количественной меры качества алгоритма;

- выработку конструктивных способов её расчета.

Такие задачи актуальны всегда, интерес к ним еще более возрастает с появлением новых и совершенствованием существующих алгоритмов распознавания.

Поэтому важно детально разобраться в принципиальных вопросах оценки качества алгоритмов распознавания.

В данном случае речь идет о широком классе алгоритмов распознавания, реализующих концепцию обучения с учителем [3, 22, 33, 36, 53, 88, 94]. Для разработки алгоритмов их авторы используют различные методы распознавания, подводят под свои рассуждения различную базу [57, 58, 74, 82, 92]. Но для оценки качества распознавания принципиально важно выяснить частоту совпадения ответов, данных алгоритмом, с действительными классами объектов. Поэтому в целях производимой оценки необходимо отвлечься от рассмотрения вопросов мотивации при выработке решений различными алгоритмами, поскольку оценивается и сравнивается только результат работы алгоритма.

Такой важный вопрос, как оценка качества распознавания алгоритмов, и связанные с ним прикладные задачи нашли свое отражение в научной литературе, главным образом в работах [23, 26, 33, 54, 59, 61, 90 и 104]. Однако после детального анализа предложенных в них методов оценки качества распознавания выясняется, что все они носят частный характер и затрагивают только отдельные аспекты проблемы. В большинстве работ качество распознавания оценивается для узкого класса алгоритмов [28]. В достаточной мере не обсуждается ни область использования, ни вопросы объективного и достоверного применения самих методов оценки.

Диссертант поставил своей целью создать универсальный метод оценки качества распознавания для класса алгоритмов обучающихся с учителем. Новизна работы состоит в том, что сформулирован универсальный метод оценки качества алгоритмов распознавания, основные положения которого реализованы в виде математической модели. В итоге создан программный комплекс, позволяющий давать сравнительную оценку качества, как различных модификаций одного и того же алгоритма, так и алгоритмов, использующих совершенно разные эвристические методы принятия решений.

На защиту выносятся: метод оценки качества обучающихся алгоритмов распознавания; математическая модель, позволяющая имитировать процесс распознавания.

Одновременно для некоторых методов распознавания, которые допускают по своей структуре настройку параметров решающего правила, разработаны конструктивные пути осуществления такой настройки с использованием предлагаемого метода оценки качества алгоритмов. Метод оценки качества распознавания положен в основу сравнительного исследования основных классов обучающихся алгоритмов распознавания, в том числе и на практическом материале.

Результаты работы докладывались на XXVII и XXVIII научных конференциях по гуманитарным, естественным и техническим наукам (Чебоксары, 1993,1994 г.), семинаре Вычислительного центра Российской академии наук (Москва, 1993), конференции «Математические методы распознавания образов» (Москва, 1994), научной конференции «Реформирование российской экономики» (Чебоксары, 1997), II всероссийской научно-технической конференции «Информационные технологии в электротехнике и электроэнергетике» (Чебоксары, 1998). Тезисы докладов опубликованы.

Представленная диссертация содержит введение, четыре главы, заключение, список литературы, насчитывающий 106 наименований и приложений.

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Бельчусов, Анатолий Александрович

Заключение

Процедура оценки качества распознавания различных классов алгоритмов требует достаточно специфического и объективного подхода. В литературе данный вопрос рассматривался, но недостаточно широко. Обзор методов показал, что нет четкого определения: кто и на каком этапе производит распознавание. Имеются попытки совместить обучение и экзамен алгоритма. Методы носят частный характер и применимы только к определенным классам алгоритмов. Это исключает возможность сравнения алгоритмов, принадлежащих к различным классам. Некоторые методы чисто теоретического характера не могут использоваться для получения численных результатов.

В итоге исследований разработан динамический метод оценки качества распознавания. Метод имеет следующие свойства. Обучающие и контрольные выборки генерируются независимо друг от друга, допускается повторение объектов. Объекты, вошедшие в выборку, не оказывают влияния на дальнейший процесс ее формирования. Оценка качества распознавания осуществляется экзаменатором, который не принимает участия в распознавании объектов. Экзаменатор обладает двумя видами информации: номером класса, которому принадлежит распознаваемый объект, и ответом алгоритма. Сравнение этих данных позволяет экзаменатору давать объективную оценку качества распознавания. Интеллект алгоритма распознавания оценивается в зависимости от длины обучающей последовательности.

Разработанная математическая модель позволяет получать оценку качества и сравнивать алгоритмы распознавания на разнообразном материале. Модель состоит из трех блоков: генерации объектов распознавания; оценки (экзаменатора) и

117 распознавания. Наличие блока генерации объектов распознавания позволяет выявлять интеллект алгоритма на различном материале обучения, при различном пересечении описаний классов. Независимость метода от вида представлений описаний объектов достигнута введением разбивки на градации признаков объектов по минимуму рассчитываемой энтропии. Блок распознавания содержит различные эвристические алгоритмы, осуществляющие классификацию. Блок оценки производит статистическую обработку результатов и осуществляет жеребьёвку, смысл которой заключается в том, что все алгоритмы должны получать для обучения и распознавания одинаковые выборки. Созданная по предложенной модели компьютерная программа имеет удобный интерфейс и может быть пополнена новыми алгоритмами и моделями объектов распознавания.

Проведенный сравнительный анализ основных классов алгоритмов распознавания выявил следующее:

- для выполнения гипотезы компактности лучшими оказываются алгоритмы, использующие геометрические принципы разделения, если гипотеза компактности нарушается, эффективнее начинают работать алгоритмы автоматического вычисления оценок, родственные ему алгоритмы, а также статистические методы распознавания;

- проявляется нелинейная зависимость оценки качества распознавания от длины обучающей последовательности - некоторые алгоритмы обучается быстрее, но останавливается в развитии, другие, наоборот, обучаются медленно, но основательно;

- время работы алгоритмов в основном характеризуется математическим аппаратом, используемым алгоритмом, а также длиной обучающей последовательности, что сказывается на процедуре принятия решения о классификации.

Модель дает перспективные результаты при использовании по следующим направлениям:

- подбор оптимальных весов признаков для алгоритмов, допускающих параметризации (класс алгоритмов автоматического вычисления оценок);

- моделирование эволюционных процессов на примере генетических алгоритмов.

Экспериментальные расчеты подтверждают действенность предложенных методов. Качество распознавания алгоритма автоматического вычисления оценок существенно улучшается примерно за три-четыре итерации. Сложность расчетов сокращается за счет опытов, проводимых по схеме полного факторного эксперимента, и использования дробных реплик. В результате строится функция, аппроксимирующая оценку качества распознавания, и поиск оптимальных весов признаков можно производить градиентными методами.

Показательным является пример, взятый из табл.2.2. Оказалось, что все объекты можно классифицировать, опираясь только на пятый и десятый признаки. В случае выполнения гипотезы компактности (см. рис.2.5) была подтверждена равная значимость всех признаков объектов.

Предложенная модель повышает эффективность распознавания конечных автоматов, позволяя закреплять их лучшие изменения. Родительский автомат подвергается мутациям по заданной схеме. Потомки проверяются по методу оценки качества распознавания. Лучший из потомков сохраняется и сам подвергается мутациям. В экспериментах для достижения правильной классификации объектов требовалась смена в среднем 15-20 поколений автоматов. Удовлетворительные результаты достигнуты при распознавании всех классов, имеющих непересекающиеся описания.

Наконец, имея конкретный практический материал, можно проводить исследование алгоритмов распознавания, выявлять их специфические свойства. Сравнивая полученные численные оценки качества распознавания, можно рекомендовать лучшие алгоритмы (например, по качеству распознавания или скорости работы) для практического использования, что и было успешно проделано по материалам Республиканского центра вертебрологии, Республиканского диабетологического центра при ГУЗ-РКБ №1 Минздрава ЧР и по данным 3-го Центрального научно-исследовательского института Министерства обороны РФ.

Список литературы диссертационного исследования кандидат технических наук Бельчусов, Анатолий Александрович, 1998 год

1. Адлер Ю.П., Грановский Ю.В., Маркова Е.В. Теория эксперимента прошлое, настоящее и будущее. -М.:3нание,1982.-64с.

2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных.-М.: Финансы и статистика, 1983.246с.

3. Айзерман М.А., Браверман Э.М. и др. Метод потенциальных функций в теории обучения машин. М.:Наука, 1970.-384с.

4. Аркадьев А.Г., Браверман Э.М. Обучение машины классификации объектов. -М.:Наука, 1971.-192с.

5. Баскакова JI.B. Журавлев Ю.И. Модель распознающих алгоритмов с представительными наборами и системами опорных множеств //Журнал вычислительной математики и математической физикию.-1981.-Т.21.^5.-С.1264-1275

6. Белов Г.А. Дискретные автоматы и коды, исправляющие ошибки: Учебное пособие. Чебоксары, 1996.-236с.

7. Березкин О.И., Серолапкин A.B., Ченских Н.И. Применение методов распознавания в задачах медицинской диагностики // Изв. РАН,- 1991.- N3

8. Бельчусов A.A. О подходе к проверке качества алгоритмов распознавания // Математические методы распознавания образов: Тез. докл. всерос. науч. конф,-М:. Моск. пед. ун-т, 1993.-С.6-7.

9. Бельчусов A.A. О подходе к проверке качества алгоритмов распознавания // XXVII студенческая конференция по гуманитарным, естественным и техническим наукам: Тез. докл.-Чебоксары: Изд-во Чуваш, ун-та, 1993.-С.97-100.

10. Бельчусов A.A., Олангин О. И. Моделирование взаимодействия человека и биосферы с применением аппарата математической статистики // Экология и проблемы защиты окружающей среды: Матер, всерос. науч. конф.-Красноярск:. Изд-во Краснояр. ун-та, 1994,- С.66.

11. Бельчусов A.A., Березкин О.И. Логические алгоритмы распознавания и оценка их эффективности // Наука, человек, гуманизм: Матер, межвуз. студ. науч. конф,-Чебоксары: Изд-во Чуваш, ун-та, 1995.- С.73.

12. Бельчусов A.A., Артемьев И.Т. Моделирование эпидемий // Наука, человек, гуманизм: Матер, межвуз. студ. науч. конф. Чебоксары: Изд-во Чуваш, ун-та, 1995,-С.73.

13. Бельчусов A.A. Математическая модель оценки качества распознавания и повышение эффективности алгоритмов распознавания //Реформирование российской экономики: Тез. докл. науч. конф. Чебоксары: Изд-во Чуваш, ун-та, 1997.- С.160-163.

14. Бельчусов A.A. Алгоритмы распознавания: подбор оптимальных весов признаков //Экономика и юриспруденция: сегодня и завтра: Тез. докл. науч. конф. -Чебоксары: Изд-во Чуваш, ун-та, 1997.- С.29-30.

15. Бельчусов A.A. Имитационное моделирование в задачах распознавания //Информационные технологии в электротехнике и электроэнергетике: Матер. II всерос. науч.-техн. конф. Чебоксары: Изд-во Чуваш, ун-та, 1998.- С.178-180.

16. Бон. ард М.М. Проблемы узнавания. М.-.Наука, 1967. -320с.

17. Браверман Э.М. Автоматический анализ сложных изображений: сборник переводов. М.:Мир,1969.-233с.

18. Браверман Э.М. Математические модели планирования и управления в экономических системах. М.:Наука,1976.- 366с.

19. Букатова И.Л. Обучающиеся, адаптивные и самоорганизующиеся эволюционные вычисления //Обозрение прикладной и промышленной математики.-1996. T.3.-N5.-С.706-724

20. Василенко В.А. Обучение автоматов распознаванию изображений.-М.:Энергия, 1973.-73с.

21. Васильев В.И. Распознающие системы: Справочник.-Киев: Наукова думка,1969.-292с,

22. Васильев В.И. Проблема обучения распознаванию образов: принципы, алгоритмы, реализация. -Киев:Высш. шк.,1989.-63с.

23. Вапник В.Н. Задача обучения распознаванию образов. М.:3нание, 1971.-60с.

24. Вапник В.Н. Алгоритмы обучения распознаванию образов. М.:Сов. радио,1973.-201с.

25. Вапник В.Н., Червоненкис А.Л. Теория распознавания образов. Статистические проблемы обучения.- М.:Наука,1974.- 415с.

26. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. -М:.Наука, 1979.- 447с.

27. Вапник В.Н. Алгоритмы и программы восстановления зависимостей.-М.:Наука,1984.-815с.

28. Вен щель Е.С. Теория вероятностей. М.:Наука, 1969.-625с.

29. Галушкин А.И. Синтез многослойных систем распознавания образов.-М.Энергия, 1974.-367с.

30. Головкин Б.А. Машинное распознавание и линейное программирование. М.: Сов. радио, 1973.-99с.

31. Горелик А.Л., Гуревич И.Б. и др. Современное состояние проблемы распознавания, некоторые аспекты.-М. ."Радио и связь, 1985.-147с.

32. Горелик А.Л. Скрипкин В.А. Методы распознавания. М.:Высш. шк., 1989.-231с.

33. Горелик А. Л., Скрипкин В.А. Некоторые вопросы построения систем распознавания. М.:Сов. радио.1974.-223с.

34. Гришин В.Г. Образный анализ экспертных данных. М.:Наука, 1982.-237с.

35. Гренадер У. Лекции по теории образов. М.:Мир, 1979.-383с.

36. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов,- Л.:Медицина, 1978.-296с.

37. Гублер Е.В. Информатика в патологии, клинической медицине и педиатрии. -Л.'.Медицина, 1990.-176с.

38. Гурфихель B.C. Описание и распознавание объектов в системах искусственного интеллекта. М.:Наука,1980.-120с.

39. Гуревич И.Б. Распознавание образов: состояние и перспективы. М.:Радио и Связь,1985.-103с.

40. Гуревич И.Б., Журавлев Ю.И. О формализации принципов выбора алгоритмов анализа изображений // Кибернетика.- Киев. Наукова димка, 1974,- N3.-C.23-57.

41. Де Янг К. Эволюционные вычисления: новейшие достижения и нерешенные проблемы // Обозрение прикладной и промышленной математики.-1996.- Т.3.-М.5,-С.567-607.

42. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке: Методы обработки данных / Пер. с англ. Э.К. Лецкого.- М.:Мир,1980.- 610с.

43. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке: Методы планирования эксперимента / Пер. с англ. Э.К. Лецкого.- М. :Мир, 1981.-516с.

44. Дуда Р. Распознавание образов и анализ сцен. М.:Мир, 1976.-511с.

45. Дюкова Е.В. Алгоритмы распознавания типа «Кора»: сложность реализации и метрические свойства // Распознавание, классификация, прогноз. -М.:Наука. 1989. Вып.2.- С.99-125.

46. Дюкова Е.В. Об алгебро-логическом синтезе корректных процедур распознавания на базе элементарных алгоритмов. //Журнал вычислительной математики и математической физики.- 1996.-T.36.-N8.- С.215-223

47. Ермаков С.М. Метод Монте-Карло и смежные вопросы. М:. Наука. 1975.-417с.

48. Ермаков С.М., Михайлов Г.А. Статистическое моделирование. М:. Наука,1982.-296с.

49. Ермаков С.М. Математическая теория оптимального эксперимента.- М:. НаукаЛ 987.-318с.

50. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика,- Киев. Наукова думка,1971.- N3.-0.5-68.

51. Журавлев Ю.И. Алгоритмы построения дизъюнктивной нормальной формы для функций алгебры логики //Дискретная математика и математические вопросы кибернетики. -М.:Наука, 1974,- С.67-98.

52. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации //Проблемы кибернетики.- М:. Наука,1978. Вып.ЗЗ.-С.5-68.

53. Загоруйко Н.Г. Методы распознавания и их применение. М.:Сов. радио,1972.-206с.

54. Загоруйко Н.Г. Эмпирическое предсказание. -Новосибирск:Наука, 1979,-124с.

55. Зуев Ю.А., Иванов С.К. Обучение и самообучение в процедурах взвешенного голосования // Журнал вычислительной математики и математической физики.-T.35.-N1. -С.1553-1563

56. Киселев Н.В. Методы построения систем распознавания и классификации негауссовых сигналов. Л.:Изд-во ЛГУ,1986.-185с.

57. Кондратьев А.И. Теоретико-игровые распознающие алгоритмы. М.:Наука,1990.-268с.

58. Кондратьев А.И. Теоретико-игровые модели в задачах распознавания. -М.:НаукаЛ 986.-283с.

59. Кононенко Р.Н., Лебедько O.A., Топчий А.П. Комбинированный эволюционный и градиентный поиск в обучении нейронных сетей //Математическое моделирование.- 1997.-T.9.-N2. -С.74-76

60. Ковалевский В.А. Методы оптимальных решений в распознавании изображений. -М.гНаука, 1976.-328с.

61. Кудрявцев В.Б. Введение в теорию абстрактных автоматов. М.:Наука, 1985.-319с.

62. Кудрявцев В.Б, Вашик К. и др. Об автоматном моделировании процесса обучения //Дискретная математика,-1996,- T.8.-N4.-C.3-10

63. Левин Л.Л. Введение в теорию распознавания образов. Томск,1982.-96с.

64. Мазуров В.Д. Математические методы распознавания образов. Свердловск:Изд-во Урал, ун-та, 1982.-83с.

65. Мазуров В.Д., Казанцев B.C. и др. Вопросы обоснования и применения коммигетных алгоритмов распознавания // Распознавание, классификация, прогноз.-М.:Наука,-1988. Вып. 1 .-С. 114-118.

66. Макаров И.М. Теория выбора и принятия решений. М.:Наука, 1982.-327с.

67. Маркова Е.В. Дисперсионный анализ и синтез планов на ЭВМ. М.:Наука,1982.-195с.

68. Маркова Е.В. Комбинаторные планы в задачах многофакторного эксперимента. -М. :Наука,1979.-348с.

69. Миркин Б.Г. Анализ качественных признаков. М.:Статистика, 1976.- 166с.

70. Михайлов Г.А. Оптимизация весовых методов Монте-Карло. М.:Наука,1987.-238с.

71. Неймарк Ю.И. Распознавание образов и медицинская диагностика.-М.:Маука, 1972.-328с.

72. Налимов В.В. Теория эксеримента.-М.:Наука, 1971.-137с.

73. Нильсон И. Обучающиеся машины. М.:Мир, 1967,-180с.

74. Нильсон II. Искусственный интеллект. Методы поиска решений М.:Мир,1973.-270с.

75. Нильсон Н. Принципы искусственного интеллекта. М.:Радио и Связь,1985.-373с.

76. Патрик, Эдвард А. Основы теории распознавания образов. М.:Сов. радио, 1980.408с.

77. Планирование эксперимента: методические указания к выполнению лабораторных работ/Сост. В.П. Бычков, В.П. Желтов, В.И. Загребаев, A.A. Стакун; Чуваш, ун-т,-ЧебоксарыД980.-42с.

78. Планирование эксперимента: методические указания к лабораторному практикуму по качественному улучшению систем / Сост. В. Михайлов, И.П. Рабкин; Чуваш. ун-т.-Чебоксары, 1983.-48с.

79. Применение регрессионного анализа для описания свойств химических систем. Методические указания к практическим занятиям. /Сост. В.А. Михайлов, Н.И. Кольцов:Чуваш. ун-т.- Чебоксары, 1985.-48с.

80. Растригин JI.A. Случайный поиск в эволюционных вычислениях //Обозрение прикладной и промышленной математики.-1996.- T.3.-N5.-С.689-705

81. Розин Б.Б. Распознавание образов при построении экономико-статистических моделей. Новосибирск: Наука, 1975.-92с.

82. Сенько О.В. Использование процедуры взвешенного голосования по системе базовых множеств в задачах прогнозирования // Журнал вычислительной математики и математической физики.- T.35.-N10. -С. 1553-1563

83. Тихонов А.Н., Уфимцев М.В. Статистическая обработка результатов экспериментов. М.:Изд-во Моск. ун-та, 1988.-174с.

84. Топчий А.П. Применение моделирования генетической эволюции для обучения искусственных нейронных сетей // Современные проблемы математического моделирования,- 1997.- T.9.-N2.-C.85-87

85. Ту Дж., Гонсалес Р. Принципы распознавания образов.-М.:Мир, 1978.-143с.

86. Турбович И.Т. Нелинейные и линейные методы в распознавании образов.1. М. :Наука, 197 5.-156с.

87. Турбович И.Т. Распознавание образов: теория и приложения. М.:Наука,1977.-126с.

88. Кинсан Ф. Последовательные методы в распознавании образов и обучении машин. М.:Наука, 1971.-213с.

89. Фукунага К. Введение в статистическую теорию распознавания образов. -М.:Наука, 1979.-367с.

90. Фогель. JI., Оуэне А., Уолш. М. Искусственный интеллект и эволюционное моделирование. М.: МирД969.-230с.

91. Цыпкин Я.З. Распознавание образов. Адаптивные системы. -М.:Наука, 1971.-270с.

92. Alan M.N. Fu, Hong Yan. A New Probabilistic Relaxation Method Based of Probability Space Partition // Pattern Recognition.- 1997,- Vol.30.-Nl 1 .-p. 1905-1917

93. Jiangying Zhou, Daniel Lopresti. Improving Classifier Performance Through Repeated Sampling // Pattern Recognition.-1997.- Vol.30.-Nl 1.-p. 1637-1650

94. Jonathan Baxter. Theoretical Models of Learning to Learn /Department of System Engineering Research School of Information Science and engineering Austrian National University, 1996.-3 5p.

95. Jonathan Baxter. Learning Internal Representation /Department of Mathematics London School of Economics and Department of Computer Science Royal Holloway College University of London, 1997.-23p.

96. Kamal M. Ali, Michael J. Pizzani. Error Reduction through Learning Multiple Description / Department of Information and Computer Science, University of California; -Irvine, 1997.-17p.

97. Padhraic Smyth. Bounds on the Mean Classification Error Rate Of Multiple Expert /Information and Computer Science University of California;- Irvine.-1996.-3 2p.

98. Rajat K. De, Nikhil R. Pal, Sankar K. Pal. Feature Analysis: Neural Network and Fuzzy Set Theoretic Approaches // Pattern Recognition.- 1997.- Vol.30.-Nl 1.-p. 15 791590

99. Ron Kohavi, George H. John. Automatic Parameter Selection by Minimizing Estimated Error /Computer Science Dept. Standford University: CA 94305, Standford, 1997,- 19p.

100. Satinder Singh, Peter Dayan, Analytical Mean Squared Error Curves For Temporal Difference Learning // Machine Learning. 1998.- Vol.32.- N1.- p.5-41

101. Simon Dennis, Janet Wiles. Integrating Learning into Models of Human Memory: The Hebbian Recurrent Network / University of Queensland, 1993.-12p.

102. Vasant Honavar. Toward Learning system that Integrate different Strategies and Representation: Technical Report 93-22 / Iowa State University of Science and Technology, Department of computer Science. 1993

103. Yi Lu, Fumiaki Yamaoka. Fuzzy Integration of Classification Results // Pattern Recognition. -1997,- Vol.30.-Nl 1.-p. 1877-1891

104. Yoh-Han Pao, Chang-Yun Shen. Visualization Of Pattern Data Through Learning Of Non-Linear Variance-Conserving Dimension-Reduction Mapping // Pattern Recognition.-1997.- Vol.30.-N10.-p. 1705-1717