Разработка и исследование математического и программного обеспечения распознавания и визуализации подписи тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Шуб, Дмитрий Анатольевич

• Шуб, Дмитрий Анатольевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Шуб, Дмитрий Анатольевич

ВВЕДЕНИЕ.Ф.

ГЛАВА 1. МЕТОДИ К ИР АСПОЗНАВ АНИЯИ ВИЗУАЛИЗАЦИИ ПОДПИСИ И МОДЕЛИ ПРОЦЕССА СОЗДАНИЯ ПОДПИСИ.

1.1. Анализ существующих методик верификации!подписи:.

1.21 Существующие моделжпроцесса создания подписи.18'

1.2.1. Осцилляционнаямодель.

1.2.2. Дельта-Логнормальная модель.

1.2.3. Модель AУITEWRITE.

1.2.4. Модели, предполагающие наличие внутренних моделей.

1.2.5. Модели точки равновесия.

Г.2.6. Модель динамической фильтрации шума.

1.2.7. Модели оптимального управления.

1.3. Визуализация подписи.

1.4. Задачи исследования.:.

ГЛАВА 2. ФОРМАЛЬНОЕ ОПИСАНИЕ ВЕРИФИКАЦИИ ПОДПИСИ И ПРОЦЕССА СОЗДАНИЯ ПОДПИСИ.

2:1. Оценкаэффективности верификации.

2.2. Формальное описание верификации подписи.

2.31 Модель процесса создания подписи.

2.4. Выводы по главе 2.

ГЛАВА 3. МЕТОДИКИ РАСПОЗНАВАНИЯ, ВЕРИФИКАЦИИ И ВИЗУАЛИЗАЦИИ ПОДПИСИ.

3.1. Методика распознавания подписи.

3.2. Методика верификации подписи.

3.2.1. Формирование образа подписей.

3.2.2. Проверка введенной подписи.

3.3. Методика визуализации подписи.

3.4. Выводы по главе 3.

ГЛАВА 4. РЕАЛИЗАЦИЯ И ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ПРЕДЛОЖЕННЫХ МЕТОДИК.

4.1. Программное обеспечение, реализующее предложенные методики

4.2. Подсистема ввода подписи.

4.3. Подсистема создания образа подписей.

4.4. Подсистема предобработки.

4.5. Подсистема чтения/записи и технология «активных» данных.

4.6. Подсистема верификации.

4.7. Подсистема распознавания.

4.8. Подсистема взаимодействия с оператором.

4.9. Развертывание программной системы.

4.10. Экспериментальное исследование предложенных методик.

4.11. Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Разработка и исследование математического и программного обеспечения распознавания и визуализации подписи»

Актуальность проблемы

В" современном» информационном обществе большое внимание уделяется совершенствованию человеко-машинного^ интерфейса, который должен обеспечивать эффективную обработку данных и знаний* в вычислительных машинах, комплексах и компьютерных сетях простыми, быстрыми и доступными способами. Одним из способов» организации человеко-машинного интерфейса является обеспечение взаимодействия с компьютером с помощью рукописного ввода (ввод текста, подписи, рисунков и т.д.). Его применение не требует специального обучения, пользователя, привычно,^ оперативно, удобно, позволяет получать* не* только собственно* информацию; введенную пользователем, но и информацию о самом» пользователе. При этом неотъемлемой частью средств человеко-машинного интерфейса является математическое и программное обеспечение, позволяющее перейти от первичных низкоуровневых данных к непосредственно данным, описывающим вводимую информацию. Одним из современных направлений совершенствования такого типа человеко-машинного интерфейса является разработка и исследование математического и программного обеспечения распознавания и визуализации подписи.

Традиционно подпись представляет собой изображение, нанесенное с помощью пишущего средства, на бумаге. Это совокупность линий, имеющих часто на своем протяжении разную ширину. Подобное представление подписи получило название статического или офлайнового (offline signature), а методы, использующие такое представление подписи, — статических или офлайновых методов. Очевидно, что исследователь подписи должен извлечь из законченной записи и проанализировать максимум информации о характере движений руки, так как любая дополнительная информация позволит лучше судить об особенности личности пишущего. Однако, информация, которую легко получить из законченной записи на бумаге, не полна. Наиболее доступна информация о двухмерных координатах каждой точки на линии. Не всегда можно получить полную информацию о направлении движения руки, так как некоторые законченные линии, могут перекрещиваться: Не вполне ясна и- последовательность написания отдельных элементов подписи: Информацию о>давлениишишущей'ручки» на бумагу при письме можно получить только косвенно по анализу ширины* линии или с помощью^ специальных исследований, например,, по анализу толщины бумаги под линией.

Появление компьютеров и современных средств ввода1 подписи в< компьютер привело к появлению нового вида подписи — динамической или, онлайновой подписи (online signature). Новые средства ввода подписи в компьютер позволяют получить с высокой* точностью не только.» такие параметры письма, как двухмерные координаты линий, но и малодоступные при старых способах письма* на, бумаге- величину давления, направление' движения, скорость перемещения, а также не доступный при старых способах угол наклона ручки при письме. При этом подпись представляет собой последовательность векторов значений параметров для. каждого- из моментов времени. Такое представление подписи описывает не результат создания подписи, как в случае офлайнового представления, а сам процесс создания подписи.

Происходящая в настоящее время тотальная замена бумажных носителей на электронные, автоматизация в различных сферах деятельности неизбежно заставляют переходить на компьютеризированный ввод и хранение не только печатного, но и рукописного текста, что способствует широкому использованию онлайновой подписи, делает актуальным разработку методик распознавания онлайновой подписи и применение этих методик в таких областях как криминалистическая экспертиза, платежные системы, системы контроля доступа и т.д.

Подпись с давних времен используется длж удостоверения^ подлинности документов и верификации личности. Этот способ не вызывает негативных психологических ассоциаций, с которыми часто связывают, например, использование отпечатков» пальцев: Традиционно* анализ подписи используется* при проведении, криминалистической экспертизы. Верификация» личности по подписи относится» к биометрическим способам верификации- личности: При биометрических способах верификации личности средства верификации являются неотъемлемой частью распознаваемого' лица, их невозможно^ потерять, похитить, скопировать. Это выгодно отличает их от способов верификации личности, использующих секреты (пароли, криптографические ключи и др.) и способов, использующих физические-ключи доступа (смарт-карты, аппаратные»ключи ют.п.). Отметим, что для эффективного применения верификации личности пог подписи необходимо- привлечение квалифицированных экспертов (почерковедов), что увеличивает стоимость и снижает производительность проведения верификации. В- большинстве случаев для верификации личности по подписи привлекаются неподготовленные лица (например, операционисты, кассиры и т.д.), что приводит к снижению эффективности верификации личности. Таким, образом, актуальна задача разработки и применения эффективных систем- автоматического или автоматизированного распознавания подписи.

Распознавание подписи (установление личности, которой принадлежит подпись) может быть осуществлено с помощью проведения последовательной верификации подписи для каждого из известных лиц. Верификация подписи — это проверка подлинности подписи, то есть соответствия подписи заявленному лицу. Методика распознавания подписи содержит методику верификации и процедуру обработки последовательности результатов верификаций. Так как проведение обработки последовательности результатов верификаций представляет собой простую задачу принятия решений, на основе однокритериальной модели принятия решений, можно легко получить эффективную систему распознавания* подписи, создав эффективную систему верификации подписи. Поэтому основные усилия исследователей и разработчиков' систем распознавания подписи сосредоточены на. создании эффективной, системы верификации' подписи. В процессе' верификации подписи можно выделить следующие этапы: выделение сегментов подписи (сегментация), определение оценки схожести подписи, решение о признании подписи подлинной или подделкой. Для обеспечения, верификации подписи необходимо произвести формирование образа подписей' — подстройку параметров^ методики верификации под конкретную личность> по его эталонному множеству подписей. Для оценки эффективности распознаваниями верификации подписи традиционно используют такие характеристики как ошибка первого рода FAR (отношение количества ошибочно принятых подделок к общему количеству подделок), ошибка^ второго рода FRR (отношение количества ошибочно отвергнутых подлинных подписей к общему количеству подлинных подписей) и уровень равной ошибки EER (уровень равной вероятности ошибок, при котором FAR и FRR равны).

В настоящее время активно ведутся работы по разработке методик распознавания подписи. Известны работы в этой области Kholmatov А., YanikogluB. (стамбульский университет Sabanci University) [39, 40], Gupta G., McCabeA. и др. (австралийский университет Таунсвилля James Cook University) [27, 51], PlamondonR. и др. (монреальский институт Ecole Polytechnique de Montreal) [26, 45], Nalwa V. S. (американская компания Bell Laboratories) [57], Fierrez-Aguilar J., Ortega-Garcia J., Ramos D., Gonzalez-Rodriguez J. (мадридский университет Universidad Autonoma de Madrid) [18, 19, 20, 21], Freitas C., Justino E., OliveiraL. S. (бразильский университет Куритибы Pontificia Universidade Católica do Paran) [23], Matsumoto T.,

MuramatsuD. (токийский университет Waseda University) [50], Liu С. и др. (пекинский институт Institute of Automation) [46], Moallem P., MonadjemiS. А. (иранский университет Исфахана University of Isfahan) [54], Schimke S. и др. (магдебургский университет Otto-von-Guericke University of Magdeburg) [60] и многих других. На основе разработанных методик созданы программные средства iSign Suite SDK, SignatureOne, семейство продуктов Sign-it американской компании CIC (Communication Intelligence Corporation); программные средства Cyber-SIGN Capture, Cyber-SIGN Registration; ScreenLOCK, Enterprise SEAL SDK, Personal SDK, Enterprise NRD SDK японской компании Cyber-SIGN; программные средства SignDoc, SignSecure, Sign Ware SDK, SignCheck немецкой компании SOFTPRO и ряд других.

При распознавании подписи широко используются такие методы распознавания образов как скрытые марковские модели (Hidden Markov Model, НММ), динамическая деформация шкалы времени (Dynamic Time Warping, DTW), дискретное вейвлет преобразование (Discrete Wavelet Transform, DWT), нейронные сети и другие. В качестве примеров методик верификации подписи можно привести методику Rabiee Н. R., Shafiei М. М. [59], в которой используются скрытые марковские модели; методику Kholmatov A., Yanikoglu В. [39], в которой используется-метод динамической деформации шкалы времени и методику McCabe А. et. al. [51], в которой используется нейросеть.

В работе Rabiee Н. R., Shafiei М. М. [59] сегментирование подписи производится по локальным максимумам функции углов поворота векторов, соединяющих соседние точки кривой подписи. Каждый сегмент характеризуется положением точки с локальным максимумом этой функции относительно начала подписи, средней скоростью, средним ускорением, средним давлением, диапазоном изменения давления, углами между осью х и касательной в начальной и конечной точках сегмента. Определяется среднее количество сегментов во введенных подписях. При оценке схожести проверяемой подписи и принятии решения о ее подлинности используется НММ. Число состояний в НММ берется равным половине среднего количества сегментов. В качестве распределений вероятностей получения наблюдений в различных состояниях берется сумма десяти случайных величин, распределенных по нормальному закону. Обучение НММ производится* с помощью- алгоритма Баума-Вельха. На основе полученных оценок схожести подписей, введенных при формировании образа подписей, определяются математическое ожидание и среднеквадратическое отклонение оценок схожести. Подпись признается^ подлинной, если ее оценка схожести принадлежит интервалу, границы которого выбираются в зависимости от значений математического ожидания и среднеквадратического отклонения« оценок схожести. Для обучения НММ используются пять подлинных подписей. При использовании тестовой базы подписей, состоявшей из 622 подлинных подписей и 1010 подделок, система обеспечила РА11=4% и РШ1=12%.

В работе МсСаЬе А. е1:. а1. [51]1 в качестве сегментов подписи используется 41 параметр подписи (общая длительность подписи; количество разрывов линии, составляющей подпись; плотность точек, лежащих левее середины подписи; средняя скорость; среднеквадратическое отклонение скорости и т.д.). Для оценки схожести, проверяемой подписи и принятии решения о ее подлинности используется многослойный перцептрон с одним скрытым слоем, содержащий от пятнадцати до тридцати нейронов. В качестве активационной функции используется сигма-функция. Веса связей варьируются от 0.05 до 0.95. Обучение нейросети предлагается проводить с помощью метода обратного распространения ошибки, метода градиентного спуска и метода Левенберг-Маркуарта. Для формирования образа используются пять подлинных подписей и 120 случайных подделок. Сообщается, что система обеспечивает ЕЕК=1,9% при использовании случайных подделок. Проверка методики проводилась с помощью базы. подписей, содержащей 2779 подлинныхподписей, взятых от 111 писавших, и 1110 подделок. Заметим; что необходимость использования! подделок при обучении: нейросети значительно усложняет применение нейросетей для распознавания подписи.

В работе Kholmatov A., Yanikoglu В. [39] сегментом, подписи является вектор? значений параметров для конкретного? момента; времени: Для сравнениям подписей используется* расстояние между сравниваемыми? подписями:- оценкафасхождениящоследовательностей, даваемая алгоритмом-DTW. Определяется подпись, с минимальными: средними расстояниями до других введенных подписей: (эталоннаяшодпись); среднее расстояние: между введенными подписями? и ближайшей": подписью; среднее расстояние между введенными подписями- и самой дальней подписью; среднее: расстояние между введенными, подписями, и: эталонной* подписью;. Затем- происходит обучение классификатора для« пространства^ характеристических векторов. При этом; предлагается? использовать > классификатор Байёса, метод опорных, векторов» или принципиальный; компонентный; анализ; Для. обучения? классификатора к уже введенным: подлинным, подписям вводится^ дополнительный набор подлинных подписей и подделок. На этапе проверки подлинности подписи для введенной подписи вычисляется значение вектора; на основе которого* обученный, классификатор принимает решение о, подлинности введенной подписи. Сообщается, что система смогла достигнуть FAR=3,5% при FRR=3,6%.

Как видно из приведенных примеров, полученные значения FAR, FRR, EER оказываются не менее нескольких процентов. Оценка эффективности других методик, описанных в литературе [4, 8, 17, 18, 23, 24, 32, 39; .41, 50, 54, 57, 73, 59], показывает аналогичные значения. Эту оценку эффективности верификации подтверждают и результаты сравнения методик верификации подписи, проведенного на международном соревновании систем верификации подписи [12], которые показывают, что представленные на конкурс методы верификации подписи обеспечивают значение EER не менее 2,8%. Указанные значения* характеристик эффективности верификации подписи затрудняют широкое применение систем распознавания? подписи в областях, в^ которых традиционно принято; использовать подпись (например; в платежных системах,, системах; документооборота, системах криминалистической* экспертизы); Так; nos требованиям американского» национального стандарта Х9.84. Biometrie Information; Management and? Security [6]fзначения* ошибок." FAR'm FRR" ДЛЯ1 применения« в. сфере оказания финансовых услуг не должны превышать 0;01%, что значительно ниже, чем цифры, приведенные для существующих методик верификации подписи:

Таким образом; в настоящее время; актуальна; задача повышения эффективности-распознавания подписи; востребована? и актуальна методика верификации; подписи, обеспечивающая < высокую эффективность, распознавания подписи, актуальны разрабо тка и исследование реализующего> ее математическогош программного обеспечения:

Цель и задачи исследованиям

Целью данной работы является» повышение эффективности распознаваниям подписи за счет применения нового математического и программного обеспечения на этапе верификации подписи.

Для достижения; поставленной: целш необходимо? решить следующие задачи:

1. Провести исследование существующих методик верификации подписи:

2. Разработать формальное описание всего процесса, верификации подписи.

3. На основе полученного формального описания всего процесса верификации подписи определить пути повышения эффективности верификации подписи.

4. Разработать методику визуализации подписи, позволяющую наглядно представить все параметры подписи.

5. Провести исследование существующих моделей процесса создания подписи.

6. Разработать модель процесса создания подписи.

7. На основе, полученной модели процесса создания, подписи разработать методику верификации подписи.

8. На основе полученной методики верификации подписи разработать методику распознавания подписи.

9. Разработать программное обеспечение, реализующее предлагаемые методики:

10.Провести экспериментальную проверку разработанных методик и программного обеспечения.

Методы исследования

В данной работе используются методы теории вероятностей, математической статистики, теории множеств, теории* принятия решений, теории автоматов, численные методы: При разработке программной системы применялись методы объектно-ориентированного проектирования и универсальный язык моделирования UML (Unified Modelling Language).

Научная новизна работы

Научная новизна работы заключается в следующем:

1. Разработано^ формальное описание всего процесса верификации подписи.

2. Определены пути повышения эффективности верификации подписи.

3. Предложена модель подписи, учитывающая особенности процесса создания подписи и позволяющая провести устойчивую, адаптивную сегментацию.

4. Предложены^ методики, распознавания и верификации подписи, использующие устойчивую; адаптивную сегментацию; применение которых позволяет повысить эффективность распознавания и верификации.

5. Предложена методика визуализации» подписи, использующая трехмерный способ1 визуализации данных с; помощью временных меток, позволяющий одновременно индицировать координаты пера, величину давления;, скорость перемещения! ручки,, время> измерения; угол наклона ручки:.Использование предложенной методики позволяет повысить , точность выполнения ■ операций верификации и, в конечном итоге, повысить эффективность распознавания подписи.

6. Разработана технология хранения подписи (технология «активных» данных); позволяющая упростить реализацию подсистем доступа; хранения' и? работы с подписью; обеспечить возможность изменения набора, хранимых данных, облегчить поддержку обратной* совместимости с предыдущими версиями.

Теоретическая значимость

Теоретическая значимость работы состоит в том, что в ней разработано формальное1 описание процесса верификации подписи, определены пути повышения эффективности верификации подписи, предложена модель процесса создания- подписи, учитывающая особенности процесса письма, проведена классификация существующих методик верификации подписи.

Практическая значимость

Практическая значимость работы заключается в том, что разработаны методика верификации, использующая устойчивую, адаптивную сегментацию; разработана методика распознавания подписи, использующая разработанную методику верификации подписи; разработана методика визуализации подписи, позволяющая наглядно представить все параметры подписи; разработано программное обеспечение, реализующее перечисленные методики; разработана технология «активных» данных, позволяющая упростить реализацию подсистем доступа, хранения и работы с подписью, обеспечить возможность изменения набора хранимых данных, облегчить поддержку обратной совместимости с предыдущими версиями. Разработанные методики и реализующее их программное обеспечение, технология «активных» данных, могут быть применены в следующих областях:

1. Системы проведения криминалистической экспертизы.

2. Платежные системы.

3. Системы контроля доступа.

4. Системы идентификации личности.

5. Системы дистанционного обучения.

6. Программное обеспечение, обеспечивающее хранение информации.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Шуб, Дмитрий Анатольевич

Основные результаты1 диссертационной работы1

На защиту выносятся следующие научные результаты:

1. Разработано формальное описание процесса верификации подписи.

2. Определены пути повышения эффективности верификации подписи:

3. Предложена модель подписи, учитывающая особенности процесса создания подписи и позволяющая» провести« устойчивую, адаптивную сегментацию.

4. Предложены методики распознавания и верификации подписи, использующие устойчивую, адаптивную сегментацию, применение которых позволяет повысить эффективность распознавания и верификации.

5. Предложена методика визуализации подписи, использующая трехмерный способ визуализации данных с помощью временных меток, позволяющий одновременно индицировать координаты пера, величину давления, скорость перемещения ручки, время измерения, угол наклона ручки. Использование предложенной» методики позволяет повысить точность выполнения операций; верификации и, в конечном итоге, повысить эффективность распознавания подписи.

6. Разработана; технология хранения подписи- (технология «активных» данных), позволяющая упростить реализацию? подсистем доступа; , хранения и работы, с подписью, обеспечить возможность изменения набора? хранимых; данных,, облегчить, поддержку обратной; совместимости;с предыдущими версиями:

Публикации по теме диссертации

1. Шуб Д.Л. Модель процесса создания рукописного текста- // Труды; Института системного; анализа Российской академии наук (ИСА РАН). — 2009: - т. 42(1) - €1264-2701

2. Шуб Д.А. Технология; получения последовательности равностоящих; отсчетов* из последовательности* неравностоящих отсчетов при- анализе рукописного текста // Наукоемкие технологии; - 2009.'-т. Щ №8. — С. 3742.

3. Шуб Д.Л. Обеспечение ин героперабельности с помощью технологии «активных» данных // SITOP 2009. Труды третьей всероссийской конференции «Стандартизация информационных технологий и 11нтероперабельность». М., 2009г. С. 117- 120.

4. Shub D.A. Three-dimensional; handwriting visualization; method and1 implementing it software system. // ГрафиКон'2009: 19 Международная конференция: по компьютерной5 графике и зрению: Москва^ МГУ имени; М.В. Ломоносова, 5-9 октября 2009г. М.: МАКС ПРЕСС, 2009 г. С. 364368.

5. Шуб Д.А. Биометрические технологии: анализ рукописного почерка/подписи. // 58 Научно-техническая конференция. Сборник трудов. 4:1. Информационные технологии и системы: Вычислительная; техника./ Государственное образовательное учреждение высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)». М., 2009 г. С. 63 - 70.'

6. Шуб Д.А. Технология применения' «активных» данных как эффективный способ- реализации фреймовой модели. // Ломоносов - 2007: Международная конференция студентов, аспирантов: и молодых ученых; секция «Вычислительная математика и-кибернетика». Тезисы докладов/ Сост. Ильин A.B., Фомичев В.В. — Ml: Издательский- отдел факультета

ВМК МГУ; МАКС Пресс; 2007. С. 86. i

7. Андрианова E.F., ШубД.А. Повышение эффективности и защищенности дистанционного обучения путем применения современных средств анализа почерка. // Труды XVI -го Международного« Симпозиума «Новые технологии в образовании, науке и экономике» / Под ред. Г. К. Сафаралиева, А. Н. Андреева* - М.: Информационно-издательский центр Фонда поддержки вузов; 2007. С. 1-28 - 131.,

8. Шуб Д.А. Информационная система DA 3DH- Recorder. // «Микроэлектроника, и информатика». 14-я Всеросийская межвузовская, научно-техническая конференция студентов и аспирантов: Тезисы докладов. - М. МИЭТ, 2007. Стр. 222.

9. Шуб Д.А. Формирование последовательности равномерных отсчетов по последовательности неравномерных отсчетов. // Сборник трудов V Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии». Томск, 27 февраля — 1 марта 2007 г. - Томск. Изд-во ТПУ, 2007. С. 202 - 204.

Ю.Андрианова Е.Г., Шуб Д.А. Использование современных средств анализа в системе дистанционного обучения. // 56 Научно-техническая конференция, посвященная 60-летию МИРЭА. Сборник трудов. 4.4. Гуманитарные науки. Учебно-методические проблемы./ Государственное образовательное учреждение высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)». М., 2007 г. С. 57 - 61.

Первая и вторая работы опубликованы,в журналах, включенных ВАК в перечень журналов, в которых должны быть- опубликованы основные результаты диссертаций на соискание ученой степени кандидата наук.

Апробация работы

Предложенная в данной работе методика визуализации была удостоена медали и диплома Российской' Академии Наук для молодых ученых и* студентов высших учебных заведений России за лучшую научную работу по направлению «Информатика; вычислительная техника и автоматизация» (диплом №> 262 от 24.02.09). Применение методики визуализации подтверждено актом о внедрении программной системы DA 3D+ Handwriting в исследовательском процессе Института возрастной физиологии Российской академии образования (см. приложение 3). Результаты диссертационной работы внедрены в учебный процесс в Московском государственном институте радиотехники, электроники и автоматики (техническом университете) (см. приложение 2) и в решения компании ООО "Систематика" в области электронного управления документами, автоматизации делопроизводства, электронного документооборота, архивных, информационно-справочных системах и банках данных (см. приложение 1).

Основные положения диссертационной работы, разработанные модели, методы, алгоритмы и результаты экспериментов докладывались автором на следующих международных и всероссийских научных конференциях:

1. Третьей всероссийской конференции «Стандартизация информационных технологий и интероперабельность» SITOP 2009 (27 октября 2009г., Москва).

2. Девятнадцатой международной конференции по компьютерной графике и зрению ГрафиКон'2009 (5-9 октября 2009г., Москва).

3. Международной конференции студентов, аспирантов и молодых ученых Ломоносов (11-14 апреля 2007г., Москва).

4. Шестнадцатом международном симпозиуме «Новые технологии в образовании, науке и экономике» (26 января - 3 февраля 2007г., о.Тенерифе, Испания).

5. Четырнадцатой всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика» (18-20 апреля 2007г., Зеленоград).

6. Пятой всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии». (27 февраля - 1 марта 2007г., Томск).

ЗАКЛЮЧЕНИЕ

В^ диссертационной работе^ были рассмотрены, вопросы, связанные с распознаванием, верификацией* и. визуализацией, подписи. Проведенное исследование существующих методик, верификации и визуализации,подписи, моделей процесса-создания подписи показало, что в существующих работах не содержится полного^ формального описания- процесса верификации подписи,' существующие подходы к верификации подписи* имеют ограничения* по повышению* эффективности верификации, существующие моделш процесса^ создания! подписи; не -удовлетворяют выдвинутым требованиям по обеспечению эффективной верификации, существующие методы визуализации подписи не позволяют в удобной^ форме, отобразить весь набор параметров- подписи: При проведении формального* описания процесса верификации- подписи и оценки, эффективности верификации* предложен критерий оценки эффективности верификации, позволяющий^ сравнивать,разные методики верификации; введены определения1 равных и неравных сегментов, устойчивой, адаптивной и неадаптивной сегментации; доказаны леммы и теоремы, связывающие* особенности^ сегментации с эффективностью верификации и намечающие пути повышения эффективности верификации. В результате анализа процесса верификации, основанного на его формальном описании, установлено, что ограничения по повышению эффективности верификации существующих методик носят принципиальный характер; существует подход к верификации подписи, не имеющий таких ограничений — использование устойчивой сегментации; получение устойчивой сегментации возможно при использовании адаптивной сегментации; получение адаптивной сегментации возможно при использовании модели процесса создания подписи.

В работе предложена модель процесса создания подписи, которая отражает иерархический процесс формирования подписи от сложных образов к простым. Модель разделена на часть, формирующую образы, и часть, обеспечивающую физическую реализацию подписи. Часть, формирующая, образы, содержит цепочку порождающих автоматов. На основе модели возможно* проведение устойчивой и адаптивной* сегментации и выделение1 сегментов: В модели- указаны индивидуальные черты процесса1 создания' подписи.

На основе рекомендаций по повышению эффективности, выработанных при формальном описании верификации подписи, и предложенной модели процесса создания подписи^ разработаны методики распознавания и верификации подписи. В предложенной методике верификации подписи проводится адаптивная; устойчивая сегментация и формируется иерархия* образов подписей. На основе последовательности сегментов; полученной с помощью устойчивой сегментации, определяется оценка схожести подписи, по которой принимается решение о подлинности подписи. Предложенная методика распознавания^ подписи основана1 на использовании разработанной методики верификации подписи. При этом распознавание производится по оценке схожести введенной подписи с образами подписей, содержащимися в используемой при распознавании базе.

В работе предложена методика визуализации подписи, которая позволяет отображать, на одной кривой большинство используемых в настоящее время параметров подписи: координаты х, у пера, давление пера на поверхность при письме, длительность и скорость написания участков кривой, угол наклона ручки при письме. Возможен показ и сравнение нескольких подписей. Использование предложенной методики визуализации подписи предполагается для контроля выполнения операций и корректировки их результатов на всех этапах распознавания, и верификации подписи, что позволяет повысить точность их выполнения и, в конечном итоге, повысить эффективность распознавания подписи. Возможно применение данной' методики и для визуализации рукописного текста при проведении исследований в таких областях, как распознавание рукописного текста, криминалистическая*экспертиза, диагностика заболеваний; связанных с нарушением движений и т.п.

На основе предложенных методик распознавания, верификации и визуализации подписи была разработана программная система DA' 3D+ Handwriting. При разработке программной системы, помимо* требования по эффективной реализации предлагаемых методик распознавания, верификации и визуализации- подписи были поставлены требования к системе, выполнение которых позволяет упростить модификацию, наращивание системы и обеспечить защиту информации. Ввод подписи при создании образа подписей, верификации и распознавания подписи осуществляется с помощью устройства* ввода; (графического* планшета). При разработке были исследованы различные способы взаимодействия^ с устройством ввода, был выбран наиболее простой, и надежный способ взаимодействия с устройством ввода — использование сообщения WTPACKET, посылаемого интерфейсом WinTab. Сформированные образы подписей- сохраняются в файлах или базе данных. Для хранения и обработки информации была разработана и использована технология «активных» данных. В-соответствии с технологией «активных» данных в файле или таблице базы данных хранятся не сами данные, а объект, содержащий данные и методы для работы с данными. При этом доступ к данным осуществляется через содержащий их объект. Использование технологии «активных» данных позволяет упростить реализацию подсистем доступа, хранения и работы с подписью, обеспечить возможность изменения набора хранимых данных, облегчить поддержку обратной совместимости с предыдущими версиями. Были разработаны и предложены варианты развертывания программной системы с максимальным и минимальным числом узлов. Вариант развертывания программной системы с максимальным числом узлов рассчитан на использование при большом числе пользователей, подписи которых предполагается- проверять, он обеспечивает максимальную защищенность программной системы. Вариант развертываниям программной системы с минимальным- числом узлов является более экономичным, однако при использовании данного» варианта сложнее* обеспечить обслуживание большого количества запросов, ниже защищенность программной системы.

В работе проведена экспериментальная» проверка разработанных методик верификации, распознаваниям визуализации подписи. Для проверки методик использовалась база подписей первого5 международного соревнования систем верификации, подписей SVC 2004, содержащая^ 1600 подлинных подписей и 1600^ подделок. Так как содержащиеся в базе подлинные* подписи слабо выработаны, а подделки можно считать опытными, испытания методик на основе указанной базы являются* хорошей проверкой- эффективности распознавания и верификации подписи. Кроме того, известны результаты проверки на основе этой базы эффективности верификации, других методик, что позволило сравнить эффективность предложенной, методики с эффективностью существующих методик. Результаты проверки разработанной методики верификации подписи показали, что эффективность предлагаемой методики верификации выше эффективности показавших лучшие результаты методик верификации, участвовавших в соревновании SVC 2004. Кроме того, полученное значение среднего EER меньше значений EER существующих методик, описанных в литературе, что позволяет говорить о справедливости сформулированных на основе исследования и анализа процесса верификации рекомендаций по повышению эффективности верификации. Результаты экспериментальной проверки разработанной методики распознавания подписи показывают, что применение предлагаемой методики, распознавания подписи позволяет повысить эффективность распознавания подписи.

На основании всего вышесказанного* можно утверждать, что поставленная цель — повышение эффективности распознавания за, счет повышения эффективности верификации подписи— достигнута.

Таким образом, в данной- диссертации! решена важная/ инженерная задача, вносящая» вклад в повышение эффективности процессов» обработки данных и знаний в вычислительных^ машинах, комплексах и компьютерных сетях.

В заключение перечислим, основные полученные результаты диссертационной работы, приведем данные о публикациях и апробациях, и рассмотрим направлениям дальнейших исследований вданнойобласти.

Список литературы диссертационного исследования кандидат технических наук Шуб, Дмитрий Анатольевич, 2011 год

1. Иванов А.И. Биометрическая идентификация« личности по, динамике подсознательных движений: — Пенза; Изд-во Пензенского ГУ, 2000.

2. Шорт С. Разработка XML Web-сервисов^ средствами* Microsoft' .NETÍ Platform. СПб.: БХВ-Петербург, 2003. - 480 с.

3. Abend'W. et all Human Arm Trajectory Formation // Brain. 1982. №105. -Pi 331-348.

4. Alizadeh A. et al. Optimal Threshold^ Selection for Online-Verification-of Signature // Proceedings of the International MultiConference of Engineers and Computer Scientists. 2010. Vol Г. - P. 98-1021

5. Alston J., Taylor J. Handwriting: Theory, Reseach ande Practice. London.: Routlegde, 1987.

6. ANSI X9.84-2003 Biometric Information Management and.Security.

7. Arend W. A-. et. al. Stress, neuromotor noise, and human performance: A theoretical perspective. // Journal of Experimental Psychology: Human Perception and Performance: 1997. - Vol 23(5). - P. 1299-1313.

8. Aviczer E. et al. Reliable On-Line Human Signature Verification Systems // IEEE transactions on pattern analysis and machine intelligence. 1996. - Vol. 16,№6.-P. 643-647.

9. Barto A.G., Sutton R.S. Toward a modern theory of adaptive networks: expectation and prediction. // Psychology Review. 1981. - №88. - P. 135-170.

10. Bizzi E. et al. Does the nervous system use equilibrium-point control to guide single and multiple joint movements // Behavior Brain Science. 1992. - №15. -P. 603-613.

11. Bizzi E. et al. Posture control and trajectory formation during arm movement // Journal of Neuroscience: — 1984. №4. P. 2738-2744.

12. Chang H. et. al. SVC2004: First international signature verification competition. // Proceedings of International Conference on Biométrie Authentication. Berlin, 2004. - P. 16-22.

13. Connell S. D. et al. On-line signature verification // Pattern Recognition Letters. 2002. - Volume 35, Issue 12. - P: 2963-2972.

14. Feng H., Wah C.C. Online signature verification using a new extreme points warping technique // Pattern Recognition Letters. 2003. — Vol. 24, Issue 16. -P. 2943-2951.

15. Fierrez-Aguilar J. et al. An On-Line Signature Verification System Based on Fusion of Local and Global Information // AVBPA: Lecture Notes in Computer Science. 2005. - Vol. 3546. - P. 523-532.

16. Fierrez-Aguilar J. et al. HMM-based on-line signature verification: feature extraction and signature modeling // Pattern Recognition Letters. 2007. - Vol. 28, №16. -P. 2325-2334.

17. Fierrez-Aguilar J. et al. Improving the Enrollment in Dynamic Signature Verification with Synthetic Samples // Proceedings of 10th International Conference on Document Analysis and Recognition. 2009. - Vol. 38. - P. 1295-1299.

18. Fierrez-Aguilar J. et al. Target Dependent Score Normalization Techniques and Their Application to Signature Verification // IEEE transactions on systems,man, and cybernetics Part C: Applications and reviews. - 2005. - Vol. 35, №3. -P. 418-425.

19. Flash Т., Hogan N. The coordination of arm movements: an experimentally confirmed'mathematical model // Journal of Neuroscience. 1985. - №5. -P. 1688-1703.

20. Freitas C. et al. The Graphology Applied" to. Signature Verification // 12th Conference of the International Graphonomics Society. Salerno, 2005. — P. 286290.

21. Govindaraju V., Lei H. A Comparative Study on the Consistency, of Features in On-line Signature Verication // Pattern Recognition Letters. 2005. - Vol. 26, Issue 15.-P. 2483-2489.

22. Grossberg S., Paine R.W. A neural model of cortico-cerebellar interactions during attentive imitation and' predictive learning of sequential' handwriting movements //Neural Networks. 2000. - Vol. 13, Issues 8-9. - P. 999-1046.

23. Guerfali W., Plamondon R. The generation of handwriting with delta-lognormal synergies // Biological Cybernetics. 1998. - №78. - P. 119-132:

24. Harris С. M., Wolpert D. M. Signal-dependent noise determines motor planning //Nature. 1998. - №394. - P. 780-784.

25. Hawkins J., Obermeyer P. Object Serialization in the .NET Framework // .NET Development (General) Technical Articles // MSDN. March 2002.

26. Hollerbach J. M. An Oscillation Theory of Handwriting // Biological Cybernetics. 1981. №39. - P. 139-156.

27. Ito M. The cerebellum and neural control. New York: Raven Press. 1984.

28. ItohY. et-al; Multi-Matcher On-Line Signature: Verification System in DWT Domain // IEEE transactions fundamentals. 2006. - Vol. E89-A, №1. -P. 178-185.

29. JordamM;!!, Rumelhart:D:E. Forwardimodels:: Supervised learning withiia distaK teacher. // Cognitive Science: 1992. - №16. - PI 307—354'. .

30. Kawato;Mî Internalimodèls-fbr;motor; control?and trajectory^ planning// Current' Opinion in Neurobiology. -1999: №9: - P. 718—727.

31. Kholmatov A., Yanikoglu B. SUSIG: an on-line signature database, associated protocols and benchmark results // Pattern Analysis & Applications. 2009. -Vol. 12, №3. - P. 227-236.

32. Koike S. et al. Score Level Fusion in DWT Domain On-Line Signature Verification // 1TC-CSCC. 2008. P.669-672.

33. Kravitz J.H. Conditioned adaptation to prismatic displacement//Perception and Psychophysics. 1972. - №11. - P. 38^-2.

34. Kuperstein M. Neural model of adaptive hand-eye coordination? for single postures // Science. 1988. - №239; - P. 1308-1311.

35. Lacquaniti et al. The law relating the kinematic and figurai aspects of drawing* movements // Acta Psychologica. 1983. - №54. - P. 115-130.

36. Leclerc F., Plamondon R. Automatic Signature Verification: The State Of The Art 1989 -1993 // International, Journal Pattern» Recognition Letters, Artificial Intelligence. 1994: - Vol. 8. - P. 643-660.'

37. Liu C. et. al. On-line Signature Verification Using Local Shape Analysis // Proceedings- of 7th International Conference on Document- Analysis and Recognition. 2003. P. 5.

38. Loeb G. E., Scott S. H. The computation* of position sense from spindles in mono- and multiarticular muscles // Journal1 of Neuroscience. 1994. - №14. -P. 7529-7540.

39. Lorette G., Plamondon R. Automatic signature verification and writer identification—the state of the art // Pattern Recognition. 1989. - Vol: 22, №2. -P. 107-131.

40. Martin T.A. et. al. Throwing while looking through prisms // Brain. 1996. -№119.-P. 1199-1211'.

41. Matsumoto T., Muramatsu D. An HMM' On-line Signature Verifier Incorporating Signature Trajectories // Proceedings of 7th International Conference on Document Analysis and Recognition. 2003. - Vol. 2688. -P. 1058-1063.

42. McCabe A. et. al. Neural Network-based Handwritten Signature Verification // Journal of Computers. 2008. - Vol. 3, №8. - P. 9-22.

43. Miall R.C et al. Is the cerebellum a Smith predictor // Journal of Motor Behavior. 1993. - Vol. 25(3). - P. 203-216.

44. Miller W.T. Sensor-based control of robotic manipulators using a general learning algorithm // IEEE Journal'of Robotics and Automation. 1987. - №3. -P. 157-165.

45. Moallem P., Monadjemi S. A. Dynamic online signatures recognition system using a novel signature-based normalized features string and MLP neuralnetwork // Iranian Journal of Engineering Sciences. 2007. - Vol. 1, №1. -P. 24-36.

46. Morasso P. et al. How a discontinuous mechanism can produce continuous patterns in trajectory formation and handwriting // Acta Psychologica. 1983. -№54.-P. 83-98.

47. Morasso P. Spatial^control of arm movements // Experimental BrainResearch. 198T. - №42. - P. 223-227.

48. Nalwa V. S. Automatic On-Line Signature Verification // Proceedings of the IEEE. 1997. - Vol. 85, №2. - P. 215-239.

49. Parizeau M., Plamondon R. A Comparative Analysis of Regional Correlation, Dynamic Time Warping, and Skeletal Tree Matching for Signature Verification // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1990. -Vol 12,№7.-P. 710-717.

50. Rabiee H. R., Shafiei M. M. A New On-Line Signature Verification Algorithm Using Variable Length Segmentation and Hidden- Markov Models // Proceedings of 7th International Conference on Document Analysis and Recognition. 2003. - Vol. 1. - P. 443-447.

51. Schimke S. et. al. Biometrics: Different Approaches for Using Gaussian Mixture Models in Handwriting // CMS, LNCS. 2005. - №3677. - 2005. -P. 261-263.

52. Shimamura A. P. The role of the prefrontal cortex in dynamic filtering // Psychobiology. 2000. - Vol. 28(2). - P. 207-218.

53. Soechting J., Terzuolo C. Organization of arm movements. Motion is segmented //Neuroscience. — 1987. №23. - P. 39-51.

54. Teulings H. et al. Motor programming and temporal patterns in handwriting. // Timing and Time Perception, Annals of the New York Academy of Sciences. -1984.-№423.-P. 144-157.

55. Teulings H., Thomassen A. Time, size and shape in handwriting: exploring' spatio-temporal relationships at different levels. // Time, Mind, and Behavior. -Berlin: Springer-Verlag, 1985. P. 253-263.

56. The new system for forensic document examination ForensicXP-4010 // The National' Research Institute of Electronics. 2006. URL: http://www.msmacrosystem.nl/Forensic/ (дата обращения 12.09.2009).

57. Vallbo A. B. Human> muscle spindle discharge during' isometric voluntary contractions. Amplitude relations between spindle frequency and torque // Acta Physiologies 1974. - №90: - P. 319-336.

58. Van Galen» G. P. et. al. Error, stress and*the role of neuromotor noise in space oriented behaviour // Biological Psychology. — 2000. Vol. 51, Issues 2-3. -P. 151-171.

59. Vignolo L.A'. Modality-specific disorders of writing languages // Localization in neuropsychology. N-Y,, 1983.

60. Warm et al. Relation between velocity and curvature in movement: equivalence and divergence between a power law and a minimum-jerk model // Journal of Experimental Psychology: Human Perception and Performance. 1988. - №14. -P. 622-637.

61. Welch R.B. Discriminative conditioning of prism adaptation // Perception and Psychophysics. 1971. - №10. - P. 90-92.

62. Wolpert D.M. Computational Approaches to Motor Control // Trends in Cognitive Sciences. 1997. Vol. 1, №6. - P. 209-216

63. Wolpert D.M., Ghahramani Z., Jordan M.I. An internal model for sensorimotor integration. // Science. 1995. - №269. - P. 1880-1882.

64. Zhang J., Kamata S. Online Signature Verification Using Segment-to-Segment Matching // International Conference on Frontiers in Handwriting Recognition ICFHR. Montreal, Quebec, 2008. P. 51-57.