Анализ и моделирование структуры растровых изображений рукописных математических формул с целью их автоматического распознавания тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Сапаров, Алексей Юрьевич

• Сапаров, Алексей Юрьевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Сапаров, Алексей Юрьевич

Оглавление

Введение

1 Обзор методов и систем автоматического распознавания текстов

1.1 Обзор методов

1.1.1 Статический метод

1.1.2 Динамический метод

1.2 Подходы к распознаванию различных видов текстов

1.2.1 Распознавание сплошного текста

1.2.2 Распознавание текста, содержащего структурированные элементы (таблицы, диаграммы, рисунки)

1.2.3 Распознавание математических формул

1.3 Методы, применяемые при различных способах ввода текста

1.3.1 Распознавание печатного текста

1.3.2 Распознавание последовательности записи

1.3.3 Распознавание сканированного рукописного текста

1.4 Обзор систем распознавания текстов

1.4.1 ABBYY FineReader

1.4.2 Math input panel

1.4.3 InftyReader

1.4.4 GOCR

1.5 Выводы по главе

2 Задача распознавания математических текстов

2.1 Описание задачи

2.2 Описание метода распознавания математических текстов

2.2.1 Скелетизация изображения

2.2.2 Вертикальное и горизонтальное проектирование

2.2.3 Разбор структуры символа

2.2.4 Построение и анализ дерева строки

2.2.5 Уточнение с помощью регулярных выражений

2.2.6 Построение математических выражений

2.3 Описание метода адаптации (обучения)

2.3.1 Адаптация к конкретному тексту

2.3.2 Использование предыдущих результатов распознавания

2.3.3 Адаптация к пользователю

2.4 Описание форматов представления математических формул

2.4.1 Формат TeX

2.4.2 Формат MathML

2.5 Методы распознавания «смешанных» текстов

2.5.1 Рукописные формулы в рукописном тексте

2.5.2 Рукописные формулы в печатном тексте

2.6 Выводы по главе

3 Описание алгоритма

3.1 Описание алгоритма распознавания математических текстов

3.2 Описание алгоритма обучения

3.3 Выводы по главе

4 Экспериментальные исследования разработанного алгоритма

4.1 Эксперименты на различных типах формул

4.2 Эксперименты на текстах с подобными формулами

4.3 Эксперименты с разными почерками

4.4 Сравнительный анализ с существующими системами

4.5 Выводы по главе

Заключение

Литература

Введение диссертации (часть автореферата) на тему «Анализ и моделирование структуры растровых изображений рукописных математических формул с целью их автоматического распознавания»

Введение

В настоящее время существует множество текстовых документов в бумажном виде, содержащих вписанные от руки математические формулы. Это в основном тексты, напечатанные ранее на пишущих машинках, либо на компьютерах до появления программ набора математических формул. Это связано с тем, что компьютеры появились сравнительно недавно, а история науки, так или иначе связанной с математикой, включает уже много веков. С развитием информационных технологий рано или поздно требуется перевод документов в электронный формат.

Уже существуют системы, которые с достаточно высокой точностью распознают обычные печатные тексты со сканированных изображений. Систем, распознающих сканированные математические формулы, пока не существует. Для перевода таких текстов в электронный формат требуется использовать ручной способ ввода формул. Если текст содержит много формул, то эта работа является достаточно трудоемкой. Учитывая то, что большинству пользователей с трудом удается вводить даже самые простые формулы, то для этой работы нужны специально подготовленные люди.

С постепенной автоматизацией многих процессов в различных сферах, более приоритетным является обучение компьютера распознаванию формул, а не подготовка специально обученных людей. Ввод формул в компьютер является достаточно сложной задачей, поэтому в качестве основной цели рассматривается не только возможность автоматического распознавания сканированных рукописных формул, но и облегчение процесса ручного ввода формул.

Таким образом, задача распознавания текстов с математическими формулами в настоящее время является актуальной.

Под задачей распознавания текстов подразумевается задача автоматического определения классов всех объектов, содержащихся в исходном изображении по конечному набору свойств и признаков этих объектов [1], [2], [3]. Основная сложность автоматического распознавания формул состоит в сложности их иерархической структуры и их большом разнообразии. Для анализа сложной структуры предлагается использование ориентированных графов, на основе которых будет построена модель изображения формулы. Так как все люди имеют уникальный почерк, то каждый символ имеет множество вариантов

написания. Кроме того, распечатанные на бумаге тексты со временем могут потерять свое качество из-за влияния внешних факторов. Следовательно, сканированное изображение будет иметь некоторые дефекты, связанные с появлением шумов или потерей фрагментов текста. В связи с этим при распознавании отдельных символов могут быть получены некоторые неопределенности, т.е. такие ситуации, в которых компоненту изображения нельзя однозначно соотнести к тому или иному классу символов. Для выбора наиболее правильного варианта в данном случае предлагается использовать специальные текстовые шаблоны, называемые регулярными выражениями.

Для возможности анализа сложных иерархических структур на плоскости предлагается рассмотреть такие понятия, как двумерно ориентированные графы, двухуровневые графы и графы изображения формулы. Предполагается представление каждой формулы в виде графов, в которых вершинами являются отдельные символы, а ребра будут описывать взаимосвязи между символами. В свою очередь, для описания отдельных символов так же используются графы, в которых вершинами являются точки пересечения кривых и конечные точки, а ребра описывают направление каждой кривой, соединяющей точки пересечения и крайние точки. Несмотря на большое разнообразие формул, можно выделить относительно небольшое число классов простейших формул, которые могли бы служить базисом всего множества, т.е. при помощи комбинации этих формул представить любую другую формулу. Таким образом, выделив небольшое число шаблонов, рекурсивно возможно построить шаблон любой формулы, который может быть использован при распознавании больших формул.

Понятие графа изображения формулы основывается на понятиях двухуровневого и двумерно ориентированного графов. Использование такого объекта принято в соответствии с анализом структуры математических формул. Основополагающим фактором, определяющим класс формулы, является взаимное расположение ее отдельных компонент на плоскости. Независимо от размера формулы, всегда можно выделить структуры на разных уровнях иерархии, которые принадлежать конечному набору классов. Таким образом, структуру математической формулы можно сравнить с фракталом, в котором формулы нижних уровней по форме напоминают формулу верхнего уровня.

Используя результаты анализа структуры формулы, делаются выводы о том, что любую формулу можно построить соединением нескольких базовых формул. Назовем эти формулы формулами простейших классов. В данном случае под построением формулы подразумевается построение иерархической структуры без обращения внимания на значения отдельных символов. Очевидно, что для моделирования изображения формулы необходимо, чтобы была возможность описания связей на плоскости между отдельными символами. Такую возможность не могут предоставить обыкновенные графы, так как они содержат информацию только о наличии связи, а не о ее направлении. Поэтому вводится понятие двумерно ориентированного графа, в котором каждому ребру ставится в соответствие направление на плоскости.

Не менее важным критерием при моделировании изображения формулы является возможность описания ее отдельных символов. Для этого будем рассматривать графы, в которых сами вершины так же представлены графами. Назовем сами графы, графами первого уровня, а ее вершины — графами второго уровня. Для их обозначения будем использовать термин двухуровневый граф.

Для описания структуры формулы построим двухуровневый граф, в котором первый уровень будет соответствовать структуре формулы, а графы второго уровня будут соответствовать структурам отдельных символов. В то же время, граф первого уровня будет двумерно ориентированным, у которого ребро будет задаваться одним вектором. Для описания структуры символа требуется учитывать все кривые, составляющие этот символ. В данном случае вершинами являются точки пересечения этих кривых и крайние точки, а ребрами сами эти кривые. Так как для описания кривых недостаточно задания одного единственного направления, то ребра будут задаваться сразу несколькими векторами.

В результате выполненных построений был получен двухуровневый двумерно ориентированный граф, в котором вершинами являются двумерно ориентированные графы, в которых каждое ребро задается набором векторов. Такой граф и будем называть графом изображения формулы.

Зададим шаблоны простейших классов математических формул в виде графов изображений формул. К таким классам можно отнести формулы следу-

ющих видов: отдельные символы, последовательность символов, возведение в степень, нижний индекс, дробь, интеграл, извлечение корня. Используя эти базовые шаблоны уже можно построить шаблоны более сложных формул. Например, используя два шаблона возведения в степень, можно получить формулу вида xyZ.

Для определения класса формулы требуется найти соответствующий ему шаблон. Очевидно, что при распознавании простейших формул соответствующий шаблон найдется среди базовых. При обработке более сложных формул требуется построение новых шаблонов. Так как используемые графы это позволяют, то могут быть определены классы формул любой сложности, в которых на каждом уровне иерархии используются только классы известных простейших формул. Построение новых шаблонов производится рекурсивно с перебором всех вариантов шаблонов простейших формул, одновременно с сопоставлением уже имеющихся частей шаблона со структурой входных данных. Если по какой-то причине находится несоответствие шаблона и исходных данных, например, отсутствует какой-либо обязательный символ, то дальнейшее построение по данной ветви рекурсии прекращается. В конечном итоге будут получены большие шаблоны соответствующие структуре входных данных, среди которых выбираются наиболее подходящие согласно процентам совпадений с шаблонами низших уровней, а также с использованием регулярных выражений. Таким образом, графы изображений формул дают мощный механизм при анализе различных образов [4], [5], [6], который может быть использован при решении других подобных задач.

Регулярные выражения в контексте данной задачи направлены главным образом на выбор правильного варианта распознавания при наличии неопределенностей. Под неопределенностью понимается наличие компонент в исходных данных, для которого не существует шаблона, соответствующего на 100% этому компоненту, и при этом существует более одного шаблона с разными значениями, соответствие с которыми более 0%. Сами величины этих совпадений не играют важной роли, но главное, что все они находятся между 0 и 100 процентами. Очевидно, что наиболее вероятным исходом в данном случае является выбор того шаблона, у которого процент совпадения максимальный.

Рассмотрим небольшой пример. Пусть имеется изображение формулы cos (ж).

Допустим, по каким-либо причинам в результате распознавания буква о имеет сразу два варианта распознавания. Очевидно, что этими вариантами являются сама буква о и цифра 0. Пусть процент совпадения шаблона буквы с изображением в формуле равен 50%, а процент совпадения с цифрой 0 — равен 70%. Тогда, следуя принципу выбора максимально похожего символа, в результате будет получена формула: cOs(x), что, конечно же, является неправильным решением данной задачи.

Рассмотрим другой вариант решения данной задачи. Учитывая то, что неопределенность имеется только при распознавании символа 'о', можем однозначно сказать, что правильным решением является либо cos (ж), либо cOs(x). Зададим шаблон формулы в виде строки cos(x). Тогда наиболее приоритетным будем считать тот вариант распознавания, который соответствует шаблону формулы. В этом случае, вариант распознавания cos(:c) полностью соответствует шаблону cos(x) и значит, является правильным решением данной задачи, хотя по отдельности совпадений символов с шаблонами больше в варианте cOs(rc).

Такой подход, который заключается в выборе варианта, соответствующего шаблону выражения и при отсутствии совпадений выбору варианта с наибольшим итоговым совпадением отдельных символов, является очень эффективным при решении подобных задач с наличием неопределенностей и позволяют значительно увеличить точность распознавания.

Пусть теперь в исходных данных аргумент х заменили на у, т.е. имеется изображение формулы cos (у). Для такой формулы уже совпадения с шаблоном не будет, так как в шаблоне cos(x) явно прописано, что аргумент должен быть х, а не у. Для возможности распознавания такой формулы при наличии неопределенностей следует ввести шаблон cos(y). Но сложность формулы не ограничивается всего лишь такими незначительными изменениями, так как могут быть еще формулы cos(z), cos(2:r), cos(a:+^) и т.д. Таким образом, становится практически невозможным выделение какого-либо конечного множества шаблонов, чтобы возможно было распознавать все используемые формулы.

Для избавления от такой проблемы введем шаблон формулы в виде регулярного выражения cos.+, где через .+ для сокращения записи обозначается любая строка длины больше нуля. Очевидно, что все перечисленные формулы

принадлежат множеству, порождаемому данным регулярным выражением, так как х, у, ъ, 2х, х+у являются строками с длиной больше нуля.

Представим результат распознавания с наличием неопределенности в виде следующего регулярного выражения: с(о|0)з\(х\), где (о|0) говорит о том, что в данном месте может быть любой из символов, разделенных вертикальной чертой. Таким образом, были получены два множества, одно из которых порождается регулярным выражением с(о|0)з\(х\), а другое — регулярным выражением С08.+. Очевидно, что первое множество является конечным, точнее содержит 2 элемента, а второе — является бесконечным. Не трудно предположить, что для решения данной задачи необходимо найти общие элементы двух этих множеств, т.е. найти пересечение этих множеств. Задача легко решается обычным перебором, если оба множества являются конечными и содержат сравнительно небольшое число элементов. Но в данном случае одно из множеств является бесконечным, следовательно, такой метод не подходит и требуется другой подход к решению задачи.

Для нахождения пересечения двух таких множеств можно воспользоваться теоремой о пересечении множеств, заданных регулярными выражениями, которая выглядит следующим образом:

(¿6,-с) ПА = Е(Ь<(СП(Ь,ХА))).

4=1 7 г=1

По условию теоремы одно из регулярных выражений должно быть конечным и представлено в виде конкатенации объединений, т.е. чередованием вариантов выбора. Этому условию полностью соответствует выражение с(о|0)з\(х\), где чередуются с, (о|0), в, \(, х, \) и каждый элемент представлен вариантом выбора, в частном случае вариантом выбора из одного элемента.

Теорема использует другую теорему, а именно теорему о делении множества слов слева:

а X (е^ег) = (а X е\\а X е2), а X б = 0,

( ((аХе1)е2|аХе2), б е е: [ ((аХе 1)е2), б £ е1

а X е* = (а X е)е*, а X Ъ = 0, а фЪ,

где В \ А означает деление множества слов А на множество слов В слева (в

частном случае деление на символ слева) и определяется следующим образом:

B\A = {w\3v е в ,vw £ А}.

Пересечение множеств не всегда содержит один элемент. Но в данной задаче требуется выбрать только один вариант распознавания. Для решения этой проблемы введем понятие взвешенного регулярного множества, которое отличается от обычного множества тем, что в ней каждому элементу ставится в соответствие некоторый числовой вес отражающий превосходство одних элементов над другими. Аналогично, регулярное выражение, порождающее взвешенное регулярное множество, будем называть взвешенным регулярным выражением. Будем рассматривать исходное множество вариантов распознавания в виде взвешенного регулярного множества, в котором определяющим фактором будут значения весов в зависимости от вероятностей каждого отдельно взятого символа.

В результате применения теорем к взвешенным регулярным множествам результат будет представлен регулярным выражением в виде вариантов выбора среди полных результатов. Например, результат может иметь вид: (1- cos(x)|0-cOs(x)), где 1 и 0 соответственно веса первого и второго элементов. Очевидно, что согласно полученным весам правильным вариантом является именно cos(x), а не cOs(x).

Применение данных теорем позволяет не только использовать бесконечное множество шаблонов, но и находить пересечение множеств за минимальное число шагов. Таким образом, предложенный механизм является довольно эффективным с точки зрения возможности уточнения результатов распознавания и с точки зрения сложностных характеристик алгоритма. Технология может быть использована в других задачах распознавания образов [7], [8], [9].

Степень разработанности проблемы. Исследования в области анализа и распознавания текстов рассматривали в своих работах H.S. Baird, Н. Saiga, N. Matsakis, K.-F. Chan, D.-Y. Yeung, M. Suzuki, Садыков C.C., Самандров И.Р., Салюм Сайд Салех, A. Belaid, J.P. Haton, R.H. Anderson, Фу K.C., Исупов Н.С., Кучуганов A.B., Костюк Ю.Л. и др.

В настоящее время существуют следующие приложения, распознающие математические формулы: Math input panel, InftyReader, GOCR. Math input panel является системой динамического распознавания рукописных формул, поэтому не может быть применена к обработке сканированных текстов. Infty-

Reader и GOCR предназначены для распознавания печатных текстов с растровых изображений. Требуемое качество не достигается при сканировании изображений, поэтому точность распознавания не высокая. Ни одна из существующих систем не распознает сканированные рукописные формулы.

Объектом исследования являются растровые изображения текстов, с содержащимися в них рукописными математическими формулами.

Предметом исследования являются методы анализа изображений и построения моделей изображений формул.

Цель работы — разработка и исследование средств анализа изображений со сложноструктурированными объектами и автоматического распознавания рукописных математических формул со сканированных изображений, в которых одновременно могут находиться как рукописные формулы, так и обычный печатный текст.

Для достижения этой цели требуется решить следующие основные задачи:

1. Выполнить подробный анализ проблем, возникающих при обработке изображений со сложноструктурированными объектами, с целью выявления возможных вариантов их решения. Исследовать существующие системы, решающие задачи, связанные с распознаванием текстов.

2. Разработать метод анализа графических изображений со сложной иерархической структурой на основе ориентированных графов. Построить модель изображения математической формулы. Разработать алгоритм распознавания иерархической структуры изображения математической формулы.

3. Разработать метод использования регулярных выражений для уточнения результатов обработки текстов при наличии в них неопределенностей. Разработать алгоритм нахождения пересечения множеств, заданных регулярными выражениями. Рассмотреть варианты адаптации алгоритма к различным условиям с целью повышения точности распознавания.

4. Произвести экспериментальные исследования предложенных алгоритмов.

Методы исследования. Теоретические исследования выполнены с использованием методов теории множеств, теории графов, теории алгоритмов и теории искусственного интеллекта. При решении практической части использовалась технология объектно-ориентированного программирования.

Достоверность и обоснованность полученных в работе результатов под-

тверждается корректностью построенных моделей, полным доказательством используемых теорем при использовании регулярных выражений, положительными результатами при выполнении экспериментальных исследований. Научная новизна.

1. Предложен новый способ описания изображений сложноструктурированных текстов. Для этого используется понятие двумерно ориентированного графа, в котором ребра могут задавать не только общую информацию о наличии связи между вершинами, но и характер этой связи с точки зрения направления на плоскости. Кроме того, направление может задаваться сразу целым набором двумерных векторов, что позволяет более детально описывать траекторию движения от одной вершины до другой.

2. Разработан метод построения графа любой сложности, удовлетворяющего текущему языку математических формул. Метод основан на использовании графов изображений формул в качестве базисных графов.

3. Предложен новый способ задания множества возможных вариантов распознавания текста, который позволяет учитывать вероятности тех или иных исходов как всего выражения, так и отдельных фрагментов и символов. Для этого вводится понятие взвешенных регулярных выражений, порождающих взвешенные регулярные множества, отличающиеся от обычных регулярных множеств тем, что каждому элементу задается некоторый числовой вес, отражающий превосходство одних элементов над другими. Результат распознавания задается взвешенным регулярным выражением.

4. Разработан метод нахождения пересечения множеств, заданных регулярными выражениями, который применяется для проверки соответствия результата распознавания используемому языку. Предложенный метод позволяет использовать словарь с бесконечным числом элементов, который задается в виде регулярного выражения.

Практическая полезность.

1. Проанализирована иерархическая структура изображений рукописных математических формул. Построена наглядная и понятная человеку модель изображения формулы с использованием понятия графа изображения формулы.

2. Разработан алгоритм построения шаблона формулы в виде двумерно ориентированных и двухуровневых графов.

3. Проанализирована структура математических формул с точки зрения их широкого разнообразия и возможности их структурной классификации.

4. Обоснована целесообразность использования регулярных выражений в качестве шаблонов формул для уточнения результатов распознавания. Исследована возможность представления промежуточного результата распознавания с наличием неопределенностей в виде регулярного выражения и последующего нахождения пересечения множества возможных вариантов распознавания с бесконечным множеством шаблонов формул.

5. Разработан алгоритм нахождения пересечения множеств, заданных регулярными выражениями. Разработан алгоритм нахождения пересечения множеств, заданных взвешенными регулярными выражениями, позволяющими упорядочивать элементы порождаемого множества по некоторым признакам с учетом особенностей как всего выражения, так и каждой компоненты по отдельности.

6. Проведены экспериментальные исследования предложенных алгоритмов. В результате использования графов становится возможным автоматическое распознавание иерархической структуры изображения формулы. Алгоритм применения регулярных выражений позволяют проверять результат распознавания с точки зрения соответствия языку математических выражений.

На защиту выносятся.

1. Результаты исследований сложноструктурированных текстов и особенности их обработки. Результаты исследований существующих систем распознавания математических формул.

2. Новые понятия, основанные на ориентированных графах, и методы построения модели формулы. Модели формул, построенные с использованием графов изображений формул. Методы построения шаблонов сложных формул на основе нескольких базовых с использованием текущего результата распознавания и алгоритм сопоставления результатов распознавания с шаблонным графом изображения формулы.

3. Новые понятия, основанные на регулярных выражениях, и теоремы, связанные с этими понятиями. Алгоритм нахождения пересечения множеств, заданных регулярными выражениями. Алгоритмы пересчета числовых параметров алгоритма при адаптации к конкретным условиям.

4. Результаты экспериментальных исследований.

Работа включает следующие области исследований:

1. Методы и алгоритмы структурно-параметрического синтеза и идентификации сложных систем.

2. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

Реализация результатов работы. Теоретические и практические результаты работы используются на кафедре теоретических основ информатики ФГБОУ ВПО УдГУ. Кроме того, теоретические результаты работы планируется применять для решения задачи распознавания химических формул и для решения задачи автоматизированной проверки решений математических задач.

Личный вклад автора. Автором лично предложен метод решения поставленной задачи; строилась модель изображений формул на основе ориентированных графов; проводилось описание новых объектов, основанных на регулярных выражениях, с обоснованием целесообразности их применения в текущей задаче; разрабатывалась система автоматического распознавания сканированных рукописных формул; подготавливалась база шаблонов и анализировались полученные результаты.

Апробация работы. Основные результаты работы докладывались и обсуждались на научных конференциях: XXXIX итоговая студенческая научная конференция, УдГУ, г.Ижевск, 2011г.; 4-я международная конференция «Системный анализ и информационные технологии» — САИТ-2011, с.Абзаково, 2011г.; Всероссийская научная конференция с международным участием «Технологии информатизации профессиональной деятельности (в науке, образовании и промышленности)» — ТИПД-2011, г.Ижевск, 2011г.; 3-я международная научно-техническая конференция студентов и молодых ученых «Современные информационные технологии в образовании и научных исследованиях» — СИТОНИ-2012, г.Донецк, 2012г.; 6-я Всероссийская мультиконференция по проблемам управления — МКПУ-2013 «Управление в интеллектуальных, эрга-тических и организационных системах» — УИнтЭргОС-2013, с.Дивноморское, 2013г.

Публикации. Результаты работы отражены в 7 публикациях, в том числе в 2 изданиях, рекомендованных ВАК.

Глава 1. Обзор методов и систем автоматического

распознавания текстов 1.1 Обзор методов

Распознавание текстов напрямую связано с работой с графическими форматами, так как исходные данные всегда представлены в виде некоторого изображения рукописного или печатного текста. Выделяют два основных формата представления графических данных [10]: растровый и векторный. В основу растрового входит представление изображения в виде набора отдельных точек (пикселей) различных цветов [16]. Для векторной характерно разбиение изображения на множество геометрических примитивов — точки, отрезки, кривые, многоугольники и т.д. Основным преимуществом растрового формата является то, что рисунок уже хранится в том виде, в котором его видит человек, и она позволяет хранить изображение высокого качества. Векторный формат же привлекателен тем, что для хранения соответствующих графических файлов требуется на порядок меньше памяти и предоставляется более широкий диапазон возможностей при обработке таких изображений. Отметим, что перевод из векторного формата в растровый выполняется довольно легко вне зависимости от сложности изображения, чего нельзя сказать об обратной задаче.

Список литературы диссертационного исследования кандидат наук Сапаров, Алексей Юрьевич, 2014 год

Литература

[1] Файн B.C. Опознавание изображений. — М.: Наука, 1970. — 299с.

[2] Файн B.C. Распознавание образов и машинное понимание естественного языка. — M.: Наука, 1987. — 276с.

[3] Файн B.C., Гурфинкель B.C. Описание и распознавание объектов в системах искусственного интеллекта, сб. ст. / АН СССР, Ин-т пробл. передачи информ.; отв. ред. B.C. Гурфинкель, B.C. Файн. — М.: Наука, 1980. — 136.с.

[4] Фурман Я.А., Юрьев А.Н., Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. — Красноярск: Изд-во Краснояр. ун-та, 1992. -248с.

[5] Гренандер У. Лекции по теории образов: Анализ образов: Пер. с англ. Т.2-М.: Мир 1981. — 448с.

[6] Гренандер У. Лекции по теории образов: Синтез образов: Пер. с англ. Т.1 -М.: Мир 1979.-384с.

[7] Эдвард А. Патрик Основы теории распознавания образов — М.: Сов. радио, 1980. -408.с.

[8] Тэрано Т., Асаи К., Сугэно М. Прикладные нечеткие системы — М.: Мир 1993.- 368 с

[9] Ту Дж., Гонсалес Р. Принципы распознавания образов — М.: Мир 1978. — 414 с

[10] Эйнджел Эдвард. Интерактивная компьютерная графика. Вводный курс на базе OpenGL. 2 изд.; пер. с англ./ Эдвард Эйнджел. — М. : Вильяме, 2001. - 592 с.:ил.

[11] Роджерс Д. Алгоритмические основы машинной графики; пер. с англ./ Д. Роджерс — М.: Мир, 1989. — 512 с.:ил.

[12] Роджерс Д., Адаме Дж. Математические основы машинной графики: Пер. с англ. - М.: Мир, 2001. - 604 с.

[13] Шикин Е. В., Боресков А. В. Зайцев А. А. Начала компьютерной графики. - М.: ДИАЛОГ-МИФИ, 1993. - 138 с.

[14] Горелик А.Л., Скрипкин В.А. Методы распознавания. — М.: Высш. шк., 1977,-224 с.

[15] Загоруйко Н.Г. Методы распознавания и их применение. — М.: Сов. радио, 1972,-208 с.

[16] Дэвид Форсайт, Жан Попе. Компьютерное зрение. Современный подход, пер. с англ./ А.В.Назаренко, И.Ю.Дорошенко. — М. : Вильяме, 2004. — 928 с.:ил.

[17] Арлазаров В.Л., Куратов П.А., Славин О.А. Распознавание строк печатных текстов // Сб. трудов ИСА РАН Методы и средства работы с документами. - М.: Эдиториал УРСС, 2000. - С. 31-51.

[18] H.S. Baird. Background Structure in Document Images, Proc. IAPR Workshop on Structural and Syntactic Pattern Recognition, Bern, 1992.

[19] H. Saiga, Y. Kitumura, S. Ida. "High-Speed Recognition of Tabulated Data", Proc. IAPR 12-th Intern. Conf. on Pattern Recognition, Los Alamos, 1994. — v.2.

[20] J.F. Arias, A. Prasad, R. Kasturi, A. Chhabra. Interpretation of Telephone Company Central Office Equipment Drawings, Proc. IAPR 12-th Intern. Conf. on Pattern Recognition, Los Alamos, 1994. — v.2.

[21] Кучуганов В. H. Автоматический анализ машиностроительных чертежей — Иркутск: Изд-во Иркут. ун-та, 1985. — 127с.

[22] Багрова И.А., Грицай А.А., Пономарев С.А., Сорокин С.В., Сытник Д.А. (2010) Выбор признаков для распознавания печатных кириллических символов. Вестник ТвГУ. Серия: Прикладная математика (18). Стр. 59-72.

[23] КОМПЬЮТЕРНЫЕ ВЕСТИ, Пульс цифрового мира, Android и стилус: рукописный ввод [Электронный ресурс] / Компьютерные вести — Электрон, дан. — Режим доступа: http://www.kv.by/content/android-i-stilus-rukopisnyi-vvod, свободный. — Загл. с экрана.

[24] Nicholas Matsakis. Recognition of handwritten mathematical expressions. MasterYs thesis, Massachusetts Institute of Technology, Cambridge, MA, May 1999.

[25] Ф.Блум, А.Лейзерсон, Л.Хофстедтер. Мозг, разум и поведение. — М.Мир, 1988.

[26] Бодянекий Е.В., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения. — Харьков: Телетех, 2004. — 369с.

[27] ABBYY FineReader — Система оптического распознавания текстов. [Электронный ресурс] / ABBYY — Электрон, дан. — Режим доступа: http://www.abbyy.ru/finereader/, свободный. — Загл. с экрана.

[28] Использование панели математического ввода для ввода и исправления математических уравнений [Электронный ресурс] = Use Math Input Panel to write and correct math equations / Microsoft Corporation — Электрон, дан. — Режим доступа: http://windows.microsoft.com/ru-RU/windows7/Use-Math-Input-Panel-to-write-and-correct-math-equations, свободный. — Загл. с экрана.

[29] Infty Project, Research Project on Mathematical Information Processing, Mathematical Document Recognition and Analysis, User Interface,Accessibility of Scientific Documents [Электронный ресурс] / Infty Project — Электрон, дан. — Режим доступа: http://www.inftyproject.org/en/software.html, свободный. — Загл. с экрана.

[30] GOCR, Open-source character recognition [Электронный ресурс] / GOCR — Электрон, дан. — Режим доступа: http://jocr.sourccforge.net/, свободный. — Загл. с экрана.

[31] K.-F. Chan, D.-Y. Yeung, Mathematical expression recognition: a survey, Int. J. Doc. Anal. Recognit. vol. 3, no. 1, pp. 3-15, 2000.

[32] M. Suzuki, F. Tamari, R. Fukuda, S. Uchida, and T. Kanahori, INFTY An integrated OCR system for mathematical documents, Proc. ACM Symposium on Document Engineering, pp.95-104, 2003.

[33] M. Suzuki, S. Uchida, and A. Nomura, A ground-truthed mathematical character and symbol image database, Proc. ICDAR, vol. 2 of 2, pp. 675679, 2005.

[34] Квасников В.П., Дзюбаненко A.B. Улучшение визуального качества цифрового изображения путем поэлементного преобразования // Авиационно-космическая техника и технология 2009 г., 8, стр. 200-204

[35] Журавлев Ю.И. Распознавание. Классификация. Прогноз. Математические методы и их применение. Вып.2. — М.: Наука, 1989. — 304 с.

[36] Патрик Э. Основы теории распознавания образов. — М.: Сов. радио, 1980,-408 с.

[37] Ясницкий JI.H. Введение в искусственный интеллект. — 1-е. — Издательский центр "Академия", 2005. — С. 176

[38] Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации //Проблемы кибернетики. — 1978. — Т.ЗЗ. — С. 5-68.

[39] Дуда Р., Харт П. Распознавание образов и анализ сцен. — М.: Мир, 1976.

[40] Калядин Н. И. Вычислимость в классификации образов // Вестник ИжГ-ТУ. - 2008. - №3. - С. 127-129.

[41] Калядин Н. И. Конструктивизация в классификации образов // Вестник УдГУ. Математика. Механика. Компьютерные науки. — Ижевск : Изд-во УдГУ, 2008. - Вып. 2. - С. 188-193.

[42] Калядин Н. И. Разрешимость в классификации образов // Вестник ИжГ-ТУ. - 2008. - №4. - С. 169-171.

[43] Девятков В. В. Системы искусственного интеллекта / Гл. ред. И. Б. Фдо-ров. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2001. - 352с.

[44] Лорьер Ж.-Л. Системы искусственного интеллекта. — М.: Мир, 1991. — 568с.

[45] Люгер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем = Artificial Intelligence: Structures and Strategies for Complex Problem Solving / Под ред. H. H. Куссуль. 4-е изд. — М.: Вильяме, 2005. - 864с.

[46] Нильсон Н. Искусственный интеллект. — М.: Мир, 1973. — 273с.

[47] Садыков С.С., Самандров И.Р. Скелетнзацня бинарных изображений // Зарубежная радиоэлектроника, — М.: Радио и связь. Вып. 11, 1985. — С. 30-35.

[48] Садыков С.С., Кан.В.Н., Самандаров И.Р. Методы выделения структурных признаков изображений. — Ташкент: Фаню, 1990. — 101 с.

[49] Борисенко В.И., Златопольский A.JI, Мучник И.Б. Сегментация изображения (состояние проблемы)//Автоматика и телемеханика. — М.; АН СССР. Вып. 7. 1957.-С. 3-56.

[50] Т. Y. Zhang, С. Y. Suen. A fast parallel algorithm for thinning digital patterns // Commun. ACM, vol. 27, no. 3, pp. 236-239, 1984.

[51] C.Arcelli, G.S. di Baja, A one-pass two-operation process to detect the skeletal pixels on the 4-distance transforms, IEEE Trans, on Pattern Recogntion and Machine Intell, Vol.11, 1989, No.4, pp.411-414

[52] Местецкий JI. M. Непрерывный скелет бинарного растрового изображения. Труды межд. конф. "Графикон-98", Москва, 1998.

[53] Клубков И.М. Применение волнового алгоритма для нахождения скелета растрового изображения. //Вестник ДГТУ. Т.1. 2001. №1(7).

[54] Бугров Я.С., Никольский С.М. Элементы линейной алгебры и аналитической геометрии. — М.: Наука, 1980, — 224 с.

[55] Зыков А. А. Основы теории графов. — М.: Наука, 1986. — 381 с.

[56] Берж К. Теория графов и ее применения. — М.: Иностранная литература, 1962.-319 с

[57] Салюм Сайд Салех. Разработка и исследование методов распознавания рукописных арабских текстов : Дис. канд. техн. наук : 05.13.01 : Ижевск, 2003 127 с. РГБ ОД, 61:04-5/1447

[58] Сапаров, А. Ю., Бельтюков А.П. Математическое моделирование изображений формул с целью их распознавания // Вестник Удмуртского университета. Сер. 1, Математика. Механика. Компьютерные науки. — 2013. — Вып. 1. — С. 153-167. — Библиогр.: с. 166 (2 назв.).

[59] Карпов Ю.Г. Теория автоматов. — СПб.: Питер, 2003. — 208 с.

[60] Сапаров, А. Ю., Бельтюков А.П. Применение регулярных выражений в распознавании математических текстов // Вестник Удмуртского университета. Сер. 1, Математика. Механика. Компьютерные науки. — 2012. — Вып. 2. — С. 63-73. — Библиогр.: с. 73 (2 назв.).

[61] Рассел С., Норвиг П. Искусственный интеллект: современный подход. 2-е изд. / пер. с англ. — М.: Вильяме, 2006. — 1407 с.

[62] A. Belaid and J. P. Haton. A Syntactic Approach for Handwritten Mathematical Formula Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence., PAMI-6:105-111, 1984.

[63] R.H. Anderson, Syntax-directed recognition of hand-printed two-dimensional mathematics, Interactive Systems for Experimental Applied Mathematics, M. Klerer and J. Reinfelds, Eds. Academic Press, pp. 436-459, 1968

[64] Фу K.C. Структурные методы в распознавании образов. — М.: Мир, 1977, - 320 с.

[65] Дж. Фридл. Регулярные выражения. — СПб.: Питер, 2003. — 464 с.

[66] Александров П. С. Курс аналитической геометрии и линейной алгебры. — М.: Наука, Главная редакция физико-математической литературы, 1979, — 512 с.

[67] Н. С. Исупов, А. В. Кучуганов. Использование теории графов в задаче распознавания рукописных текстов (Graph Theory Application in Handwriting Recognition Task). // Вестник ИжГТУ. - 2012 №4 - С. 160-162.

[68] Фу K.C. Последовательные методы в распознавании образов и обучении машин. — М.: Наука, — 1971.

[69] Волошин Г.Я., Бурлаков И.А., Косенкова С.Т. Статистические методы решения задач распознавания, основанные на аппроксимационном подходе. - Владивосток: ТОЙ ДВО РАН, 1992.

[70] Арлазаров B.JL, Котович Н.В., Троянкер В.В. Адаптивное распознавание символов // Сб. трудов ИСА РАН "Интеллектуальные технологии ввода и обработки информации", 1998

[71] Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). — М.: Наука, 1974, — 416 с.

[72] Головко В.А. Нейронные сети: обучение, организация и применение. — М.: ИПР-ЖР, 2001. - 256 с.

[73] Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. 1-е. — М.: Горячая линия — Телеком, 2001. - С. 382.

[74] Львовский С.М. Набор и верстка в системе MgX. 3-е издание, исправленное и дополненное, 2003. — 448с.

[75] Tobias Oetiker, Hubert Parti, Irene Hyna, Elisabeth Schlegl Не очень краткое введение в ЩйХ2е или Wl^XIq за 94 минуты, перевод: Б. Тоботрас, 1999. - 108с.

[76] Mathematical Markup Language (MathML) Version 3.0 [Электронный ресурс] / W3C(MIT, ERCIM, Keio) — Электрон, дан. — Режим доступа: http://www.w3.org/TR/MathML3/, свободный. — Загл. с экрана. — Яз. англ

[77] Extensible Markup Language (XML) [Электронный ресурс] / W3C(MIT, ERCIM, Keio) — Электрон, дан. — Режим доступа: http://www.w3.org/XML/, свободный. — Загл. с экрана. — Яз. англ

[78] ЩйХ — A document preparation system [Электронный ресурс] — Электрон, дан. — Режим доступа: http://http://www.latex-project.org/, свободный. — Загл. с экрана. — Яз. англ

[79] Маар Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. — М.: Радио и связь, 1987, — 400 с.

[80] Южиков B.C. Сегментация изображения страницы с текстом. // Вестник ИжГТУ. - 2007 №3 - С. 84-87.

[81] Исупов Н.С., Кучуганов A.B. Распознавание слитных рукописных текстов с использованием аппарата нечеткой логики (Joined-up Writing Recognition with Fuzzy Logic Application).// Вестник ИжГТУ. - 2012 №3 - С. 125-128.

[82] Кучуганов A.B., Лапинская Г.В. Распознавание рукописных текстов. — Современные информационные технологии и письменное наследие: от древних рукописей к электронным текстам [Текст]: материалы междунар.

науч. конф. (Ижевск, 13-17 июля 2006 г.) /отв. ред. В.А.Баранов. — Ижевск: Изд-во ИжГТУ, 2006. - С. 98-103.

[83] А. Ю. Сапаров, А. П. Бельтюков. Распознавание математических текстов регулярными выражениями // Современные информационные технологии в образовании и научных исследованиях (СИТОНИ-2012) : 3 междунар. науч.-техн. конф. студентов и молодых ученых, 4-5 окт. 2012 г., г. Донецк : сб. науч. тр. студентов, магистрантов, аспирантов и преподавателей / М-во образования и науки, молодежи и спорта Украины, ГВУЗ "Донецкий национальный технический университет", Фак. компьютер, наук и технологий, Соврем, информ. технологии в образовании и науч. исслед. ; отв. за вып. В. И. Павлыш. - Донецк : Изд-во ДонНТУ, 2012. — С. 108-116. -Библиогр.: с. 116 (2 назв.).

[84] Fortune S. A sweepline algorithm for Voronoi diagrams. — Algorithmica (1987) 2: 153-174.

[85] Местецкий JI. M. Скелетизация многоугольной фигуры на основе обобщенной триангуляции Делоне. — Программирование, 1999, №3, с. 16-31

[86] Гольдберг И. Как расшифровать почерк или Графология шаг за шагом. — Екатеринбург: У-Фактория, М: ACT Москва, 2008. — 224 с.

[87] Гольдберг И. Психология почерка. — Екатеринбург: У-Фактория, М: ACT Москва, 2008. - 254 с.

[88] Кучуганов А.В., Лапинская Г.В. Экспертная система синтеза психологического портрета личности по почерку // Вестник ИжГТУ. - 2008. — №4. — С. 174-177.

[89] Кучуганов А.В. Метод адаптивной векторизации фотоизображений / А. В. Кучуганов // 11-я междунар. конф. по компьютерной графике и машинному зрению Графикон : сб. тр. (И. Новгород, 10-15 сент. 2001 г.). — Н. Новгород : ННГАСУ, 2001. - С. 227-230.

[90] Смит Б. Методы и алгоритмы вычислений на строках (regexp) = Computing Patterns in Strings. — M.: Вильяме, 2006. — 496c.

[91] Фридл Дж. Регулярные выражения. Библиотека программиста. — СПб.: Питер, 2001. -352с.

[92] Гойвертс Я., Левитан С. Регулярные выражения. Сборник рецептов. — СПб.: Символ-Плюс, 2010. — 608с.

[93] Басакер Р., Саати Т. Конечные графы и сети. — М.: Наука, 1974. — 368с.

[94] Кормен Т.Х. и др. Часть VI. Алгоритмы для работы с графами // Алгоритмы: построение и анализ = Introduction to Algorithms. — 2-е изд. — М.: Вильяме, 2006. - 1296с.

[95] Свами М., Тхуласираман К. Графы, сети и алгоритмы. — М: Мир, 1984. —

[96] Белов В.В., Воробьев Е.М., Шаталов В.Е. Теория графов. — М.: Высш. школа, 1976. — 392с.

[97] Кристофидес Н. Теория графов. Алгоритмический подход. — М.: Мир, 1978.-429с.

[98] Костюк Ю.Л. Графовые модели цветных растровых изображений высокого разрешения / Ю.Л. Костюк, Ю.Л. Новиков // Вестник ТГУ. 2002. №275. С. 153-160.

[99] Костюк Ю.Л. Алгоритмы векторизации цветных растровых изображений на основе триангуляции и их реализация / Ю.Л. Костюк, А.Б. Кон, Ю.Л. Новиков // Вестник ТГУ. 2002. №275. С. 161-168.

[100] Yali А. 2D Object Detection and Recognition Models / A. Yali // The MIT Press Cambridge, Massachusetts London. 2002. 325p.

[101] Колмогоров A.H. Теория информации и теория алгоритмов. — M.: Наука, 1987. - 304с.

[102] Марков A.A., Нагорный H. М. Теория алгоритмов. — М.: Наука, 1984. —

[103] Катленд Н. Вычислимость. Введение в теорию рекурсивных функций. — М.:Мир, 1983. -256с.

[104] Мальцев А.И. Алгоритмы и рекурсивные функции. — М.:Наука, 1965. —

[105] Вапник В.Н. Алгоритмы обучения распознавания образов. — М.: Сов.

455с.

432с.

183с.

радио, 1973,-200с.