Методы распознавания рукописных текстов в системах автоматизации документооборота на промышленных предприятиях тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Ла Суан Тханг

• Ла Суан Тханг
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Ла Суан Тханг

1. ОБЗОР СИСТЕМ ДОКУМЕНТООБОРОТ.

1.1. Система электронного документооборота как элемент управления предприятием.

1.2. Основные задачи, решаемые системами документооборота.

1.3. Общая классификация систем документооборота.

1.4. Сравнительный анализ систем документооборота.

Выводы по главе 1.

2. ПОДХОД К ПОСТРОЕНИЮ СИСТЕМ РАСПОЗНАВАНИЯ РУКОПИСНОГО ТЕКСТА.

2.1. Основные виды задач распознавания рукописного текста.

2.2. Подходы к решению задач распознавания рукописного текста.

2.3. Сверточная нейронная сеть в применении к распознаванию отдельных символов.

2.3.1. Новый подход к построению систем распознавания рукописных символов.

2.3.1. Новый подход к построению систем распознавания рукописных символов.

2.3.2. Модель СНС, используемой в распознавании рукописных символов

2.4. Обучение системы на основе данных.

Выводы по главе 2.

3. ЭКСПЕРИМЕНТ С СИСТЕМАМИ РАСПОЗНАВАНИЯ РУКОПИСНЫХ СИМВОЛОВ.

3.1. Сбор данных для обучения.

3.2. Реализация системы распознавания рукописных текстов.

3.3. Интерфейс программы.

3.4. Результаты экспериментов.

3.4.1. Эксперимент с системой CHCJPT.

3.4.2. Сравнение с другими классификаторами.

3.5. Инвариантность или устойчивость системы к шумам.

Выводы по главе 3.

4. ВНЕДРЕНИЕ СЭД НА ПРОМЫШЛЕННОМ ПРЕДПРИЯТИИ.

4.1. Характеристики КИС в промышленных предприятиях.

4.2. Современная модель управления информационными потоками предприятия и роль СУД в КИС.

4.3. Выбор Docs Vision как комплексная программная платформа для автоматизации процессов управления, документооборота и для создания интегрированных приложений.

4.4. Методология внедрения автоматизированных систем управления документами.

4.4.1. Этапы работ по внедрению системы управления документами.

4.4.2.Модели методологии внедрения системы автоматизации документооборота Docs Vision.

4.5. Внедрения системы Docs Vision в ТД «Роллтон».

4.5.1. Общие сведения об объекте.

4.5.2. Типичные бизнес-процессы документооборота в ТД «Роллтон» и ЗАО «DHV-S», подлежащие автоматизации с помощью системы Docs Vision.

4.6. Результаты внедрения системы документооборота Docs Vision в ТД

Роллтон».

4.6.1 Показательные данные результатов процесса внедрения системы автоматизации документооборота в ТД «Роллтон».

4.6.2. Техническое описание внедренной системы в ТД «Роллтон».

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Методы распознавания рукописных текстов в системах автоматизации документооборота на промышленных предприятиях»

С течением времени требования к автоматизации деловых процессов растут. И если когда-то ставилась задача автоматизации отдельных участков работы подразделений, что привело к наличию большого количества разрозненных программных продуктов, то теперь основной вопрос -организация комплексной системы оперативного управления. Именно этот подход позволяет наиболее эффективно решить задачу автоматизации.

Документы - это основные информационные ресурсы любой организации, работа с ними требует правильной постановки. Документы обеспечивают информационную поддержку принятия управленческих решений на всех уровнях и сопровождают все бизнес-процессы. Документооборот - это непрерывный процесс движения документов, объективно отражающий деятельность организации и позволяющий оперативно ей управлять. Горы макулатуры, длительный поиск нужного документа, потери, дубликаты, задержки с отправкой и получением, ошибки персонала составляют далеко не полный перечень проблем, возникающих при неэффективном построении документооборота. Всё это может сильно затормозить, а в исключительных случаях - полностью парализовать работу организации.

Эффективный документооборот является обязательной составляющей эффективного управления. Документооборот исключительно важен для правильной организации финансового и управленческого учёта.

Системы электронного документооборота формируют новое поколение систем автоматизации предприятий. Основными объектами автоматизации в таких системах являются документы (в самом широком их понимании, от обычных бумажных до электронных любого формата и структуры) и бизнес-процессы, представляемые как движение документов и их обработка. Данный подход к автоматизации предприятий является одновременно и конструктивным и универсальным, обеспечивая автоматизацию документооборота и всех бизнес-процессов предприятия в рамках единой концепции и единого программного инструментария.

Конечных приложений автоматизации документооборота можно насчитать огромное количество. Вот несколько примеров:

• Регистрация корреспонденции (входящие, исходящие)

• Электронный архив документов

• Согласование и утверждение разных видов документов

• Контроль исполнения документов и поручений

• Автоматизация договорного процесса

• Библиотека регламентов управленческих процедур

• Оформление командировок

• Организация внутренней) информационного портала предприятия и его подразделений

• Система контроля знаний должностных инструкций

В составе систем автоматизации документооборота обязательно присутствуют средства ввода бумажных документов, естественно, путем сканирования. Задача распознавания произвольного рукописного текста является актуальной сегодня, и проблема не будет закрыта в ближайшие десятилетия. Задача распознавания рукописных текстов (РРТ) как научная проблема и как информационная технология находиться на подъеме, благодаря большому интересу к этой области в коммерческих кругах, среди компьютерных компаний, в научном сообществе.

Благодаря доступности и относительной дешевизне мощных микропроцессоров, в настоящее время появляется возможность реализации современных методов обработки изображений, лежащих в основе автоматической обработки документов. Однако задача обработки реального документа все еще предъявляет чрезвычайно высокие требования к прикладным системам, поскольку включает в себя комплекс таких подзадач как:

• анализ документа для извлечения отдельных полей из полного его изображения;

• обработка изображения низкого уровня для устранения шумов, выравнивания строк, коррекции наклона рукописного текста;

• сегментация строк текста на слова и символы;

• распознавание символов;

• распознавание слов и предложений.

Задача обработки сложного документа оказывается настолько непростой, что ее решение в общем виде пока не представляется возможным.

Предметом исследования являются система электронного документооборота (СЭД) на промышленных предприятиях, а таюке ее составляющая - система автоматического ввода данных.

Целью работы является повышение эффективности функционирования СЭД па промышленных предприятиях за счет создания методики комплексного анализа, внедрения СЭД, а также усовершенствования системы ввода данных в СЭД.

Для достижения данной цели в работе решаются следующие задачи:

• Сравнительный анализ систем документооборота в России.

• Исследование методов распознавания рукописных текстов.

• Разработка модели нейронной сети распознавания рукописных символов.

• Разработка алгоритма для ускоренного обучения нейронной сети.

• Разработка программы для распознавания рукописных цифр.

• Методы выбора и внедрения систем документооборота на промышленных предприятиях среднего размера.

Научная новизна работы состоит в разработке методов, моделей, алгоритмов и стратегий построения системы распознавания рукописных текстов в качестве системы автоматического ввода данных для СЭД, а также методики комплексного анализа и внедрения СЭД на промышленных предприятиях.

На защиту выносятся:

• Методика сравнительного анализа систем документооборота по функциональности, стоимости и др.

• Методика внедрения СЭД на промышленных предприятиях.

•Модели интеграционных корпоративных информационных систем, систем электронного документооборота, жизненного цикла документов на предприятии и т.д.

• Результаты классификации и исследования методов обработки документов.

• Модель нейронной сети для распознавания рукописных текстов

• Алгоритм ускоренного обучения нейронных сетей с большим количеством весовых коэффициентов.

• Разработанная программа распознавания рукописных текстов и результаты экспериментов.

В первой главе проведены классификация СЭД и подробный сравнительный анализ систем автоматизации документооборота.

С каждым годом спрос на СЭД значительно повышается. По этой причине становится важной задача оценки и выбора системы автоматизации документооборота в условиях конкретного предприятия.

Для проведения сравнительного анализа СЭД в диссертации выделяются решения от ведущих компаний-разработчиков, работающих в сфере автоматизации работы с документами.

В диссертации проанализированы системы документооборот по функциональности, а также по стоимости внедрения решений. Это необходимо для объективной оценки ситуации, при которой организации, использующей СЭД, пришлось бы приобрести всю предлагаемую функциональность для каждого рабочего места.

Во второй главе представлены новый подход к распространению рукописных символов, модель нейронной сети, которая обеспечивает устойчивость к разным видам деформации в задаче распознавания рукописных символов, а также алгоритм ускоренного обучения многослойных нейронных сетей с большим количеством весовых коэффициентов.

В диссертации приведены классификация задач обработки документов, а также основные этапы задач распознавания рукописных текстов.

В традиционной модели распознавания образов система делится на 2 модуля:

• Вручную настроечный модуль выделения признаков собирает наиболее значимую входящую информацию и отсеивает лишнюю.

•Обучаемый классификатор сортирует полученные характеристические векторы по классам. При таком подходе, как правило, полносвязные многослойные нейронные сети могут быть использованы как классификаторы.

Однако при использовании полносвязных нейронных сети в РРТ могут возникнуть ряд проблем. Более рациональный подход состоит в построении систем РРТ, объединяющих модули выделения признаков и классификатор с применением нейронных сетей, имеющих меньше количества весов относительно многослойных полносвязных нейронных сетей. Системы должны сами выделять признаки и обладать инвариантностью к искажению входных символьных изображений. В диссертации предлагается метод построения таких систем на основе сверточных нейронных сетей.

В третьей главе была разработана программа СНСРТ, а также проведены эксперименты по работоспособности предложенных модели НС и алгоритмов обучения НС.

База данных, используемая для обучения и тестирования описанной в диссертации, состоит из двух частей SD-1 и SD-3. SD1 содержит 60000 образов и используется в качестве обучающей выборки, SD3 содержит 10000 образов и используется в качестве тестовой выборки.

В диссертации приведены результаты работы сверточной нейронной сети в задаче распознавания рукописных цифр по сравнению с другими классификаторами. Сверточные нейронные сети особенно хороши для распознавания и фильтрации фигур с варьируемыми размерами, положением, ориентацией в пространстве. Система неправильно распознает только 74 символа (из 10 000 изображений тестовой выборки). Значит, что . уровень ошибок составляет 0,74%.

В четвертой главе были разработаны методы выбора и внедрения СЭД в производственных предприятиях. На практике популярны 2 подхода к внедрению СЭД: Внедрения платформы автоматизации документооборота или автоматизации отдельных задач обработки документов.

При реализации набора не интегрированных приложений первые внедрения обходятся относительно недорого, однако, при внедрении большого количества приложений с одной стороны существенно удорожается стоимость их сопровождения и обучения персонала, с другой возникающая необходимость их интеграции, что приводит к дополнительным издержкам.

Внедрение платформы автоматизации избавляет от этих проблем, и даже более того, по мере накопления опыта использования системы, все меньше усилий необходимо тратить на внедрение очередного приложения и существенно снижаются риски неудачного внедрения. Исходя из сравнительного анализа в главе 1, в качестве СЭД для предприятия среднего размера автор рекомендует выбрать систему DocsVision как платформу автоматизации документооборота. В диссертации проанализированы основные этапы в процессе внедрения СЭД.

В четвертой главе также представлены результаты внедрения СЭД DocsVision в ТД Роллтон и его заводе в г. Серпухов. В итоге было автоматизировано 61,46% документооборота на предприятии.

При разработке формальных моделей компонент в диссертации использовались модели нейронных сетей, градиентные методы обучения нейронной сети, методы математического программирования, интеграционной модели корпоративной информационной системой, теория вероятностей и др.

Обоснованность научных положений, рекомендаций и выводов определяется предварительным анализом работы системы распознавания рукописных цифр, согласованностью результатов предложенных модели нейронной сети и алгоритма обучения сети. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения положений работы на крупном промышленном предприятии, занимающемся производством продуктов быстрого приготовления.

Научные результаты, полученные в диссертации, доведены до практического использования. Они представляют непосредственный интерес в области распознавания образов и системной интеграции. Методы и алгоритмы, а также программные средства могут быть использованы при решении задач построения систем автоматического ввода данных. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения на предприятиях ТД «Роллтон», ООО «DocsVision», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на заседании кафедры АСУ МАДИ (ГТУ).

• на конференциях в области автоматизации документооборота (2006г.-2008г.)

Материалы диссертации отражены в 5 печатных работах.

Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 183 страницах машинописного текста, содержит 38 рисунков, 15 графиков и 14 таблиц, список литературы из 135 наименований и приложения.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Ла Суан Тханг

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ большинства систем документооборота в России.

2. Проведен анализ основных задач обработки документов и существующих методов решения задач обработки документов.

3. Разработана модель взаимодействия СЭД с другими приложениями КИС.

4. Разработаны методы анализа документооборота в промышленных предприятиях.

5. Разработан метод внедрения СЭД в промышленных предприятиях.

6. Разработана модель нейронной сети с высокой производительностью и устойчивая к разновидности и искажениям входной информации.

7. Разработан алгоритм ускоренного обучения многослойных нейронных сетей.

8. Разработана программа распознавания рукописных символов.

9. Разработанные методы, алгоритмы и программы прошли апробацию и внедрены для практического применения на предприятиях ТД «Роллтон», ЗАО «DocsVision».

Список литературы диссертационного исследования кандидат технических наук Ла Суан Тханг, 2008 год

1. Котович Н.В., Славин О.А. Распознавание скелетных образов // сборник трудов Института системного анализа РАН — Методы и средства работы с документами — 2000.

2. Местецкий Л.М., Нефедов А.Г. Восстановление следа пера при анализе сканированных рукописных документов // Доклады 11-й Всероссийской конференции «Математический методы распознавания образов» (ММРО-11). Москва 2003. С. 364-376.

3. Ту Дж., Гонсалес Р. Принципы распознавания образов. Пер. с англ. -М.: Мир, 1978.

4. Фукунага К. Введение в статистическую теорию распознавания образов. Пер с англ. — М.: Наука, 1979.

5. Интеллектуальные технологии ввода и обработки информации // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. М.: Эдиториал УРСС, 1998. - 164 с.

6. Развитие безбумажной технологии в организационных системах // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. М.: Эдиториал УРСС, 1999. - 384 с.

7. Методы и средства работы с документами // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. -М.: Эдиториал УРСС, 2000. 376 с.

8. Романов Б.Л. Представление структурированных информационных объектов в виде электронных форм // Статья в настоящем сборнике

9. Романов Б.Л. Средства разработки форм документов // Методы и средства работы с документами // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. М.: Эдиториал УРСС, 2000. С. 304 - 311.

10. Горский Н., Аиисимов В., Горская JI. Распознавание рукописного текста: от теории к практике СПб.: Политехника, 1997.

11. Годунов А.Н., Емельянов Н.Е., Космынин А.Н., Солдатов В.А. Система НИКА // Системы управления базами данных и знаний / М.: Финансы и статистика, 1991. С. 209-249.

12. Michael D. Gams, Damn L. Dimmick. Form Design for High Accuracy Optical Character Recognition. IEEE Transactions PAMI, June 1996.

13. J. Rocha, B. Sakoda, J. Zhou, and T. Pavlidis, "Deferred Interpretation of Grayscale Saddle Features for Recognition of Touching and Broken Characters," Proceedings of Document Recognition, SPIE, vol. 2181, San Jose, CA,pp. 342-350, February 1994.

14. Gillies, D. Hepp, R. Rovner, M. Whalen, "Handwritten Text Recognition System for Processing Census Forms," Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, vol. 3, pp. 2335-2340, October 1995.

15. P. D. Gader, M. Mohamed, and J. H. Chiang, "Segmentation-Based Handwritten Work Recognition," Proceedings of the USPS Advanced Technology Conference, Washington, DC, 1992.

16. F. Kimura, M. Shridar, and N. Narasimhamurthi, "Lexicon Directed Segmentation-Recognition Procedure for Unconstrained Handwritten Words," Proceedings of the Third International Workshop on Frontiers in Handwriting Recognition, Buffalo, NY, 1993.

17. Michael D. Garris. Component-Based Handprint Segmentation Using Adaptive Writing Style Model. NISTIR 5843 (Internal report of National Institute of Standards and Technology).

18. Арлазаров B.JI., Славин O.A. Алгоритмы распознавания и технологии ввода текстов в ЭВМ. Информационные технологии и вычислительные системы 1996, No 1.

19. Арлазаров B.JL, Астахов А.Д., Троянкер В.В., Котович Н. В. Адаптивное распознавание символов. В сб. "Интеллектуальные технологии ввода и бработки информации", М.: Эдиториал УРСС, 1998

20. А.В.Мисюрёв. Использование искусственных нейронных сетей для распознавания рукопечатных символов. В сб. "Интеллектуальные технологии ввода и обработки информации", М.: Эдиториал УРСС, 1998

21. В.В. Постников. Разработка методов наложения формы на графическое изображение документа. В сб. "Интеллектуальные технологии ввода и обработки информации", М.: Эдиториал УРСС, 1998

22. Система распознавания стандартных форм Cognitive Forms. http://www.cognitive.ru

23. Колесов А. Наука управления документами // ж. BYTE N2, 2003, с. 30 -33

24. Ладенко И. С. Методология и методы организации интеллектуальных систем. Новосибирск, ИИФФ СО АН СССР, 1987. — 66 с.

25. Форрестер Д. У. Основы кибернетики предприятия. М.: Прогресс, 1971. — 340 с.

26. Скобелев П. О. Виртуальные миры и интеллектуальные агенты для моделирования деятельности компании. В кн.: Труды VI Национальной конференции по искусственному интеллекту. Т. 2. Пущино, 5—7 ноября 1998 г., с. 714—719 (www.kg.ru/Publish/vm.stm).

27. Справочник. Искусственный интеллект. В 3 кн. Кн. 1.: Системы общения и экспертные системы. Под ред. Попова Э. В. М.: Радио и связь, 1990.—464 с.

28. Фролов 10. В. Интеллектуальные системы и управленческие решения. М., МГПУ, 2000. — 294 с.

29. Арлазаров B.JL, Славин О.А. Алгоритмы распознавания и технологии ввода текстов в ЭВМ // Информационные технологии и вычислительные системы. 1996, № 1

30. Славин О.А. Распознавание атрибутов текстовых символов. // Сб. трудов ИСА РАН " Документооборот. Концепции и инструментарий", 2004, С. 142-150

31. Арлазаров B.JL, Славин О.А., Котович Н.В. Адаптивное распознавание. // Информационные технологии и вычислительные системы, № 4, 2002, С. 11-23.

32. Владимир Андреев DocsVision 3.6 - универсальная платформа дляавтоматизации документооборота и процессов управления. Финансовая газета, региональный выпуск, сентябрь 2004

33. Осовский С. Нейронные сети для обработки информации: Пер. с польского. М: Финансы и статистика, 344 е., 2002.

34. Seong-Wang Lee, Young Joon Kim. "Off-line Recognition of Totally Unconstrained Handwritten Numerals Using Multilayer Cluster Neural Network." Proc. Of the 12th IAPR International Conference on Pattern Recognition. Jerusalem, Israel. 1994. Стр. 507-509.

35. R. Schapire, "The Strength of Weak Learnability," Machine Learning. 5 197-227 (1990).

36. H.Drucker, R.Schapire, P.Simard. "Boosting Performance in Neural Networks." International Journal of Pattern Recognition and Artificial Intelligence. 7 705-720 (1993).

37. Fukushima, K. (1988). Neocognition: a hierarchical neural network capable of visual pattern recognition. Neural Networks 1 (2), Стр. 119-130.

38. Knerr, S., Personnaz, L. & Dreyfus, G. (1992) Handwritten digit recognition by neural networks with single-layer training. IEEE Transactions on Neural Networks 3, 962-968.

39. Lee, Y. (1991) Handwritten digit recognition using К neares-neighbor, radial-basis function, and back-propagation neural networks. Neural Computation 3,440-449.

40. Martin, G.L. & Pitman, J. A. (1991) Recognizing hand-printed letters and digits using backpropagation learning. Neural Computation 3, 258-267.

41. M. Riedmiller, "A direct method for faster backpropagation learning", Proceedings of the 1993 IEEE International Conference on Neural Networks (ICNN '93), Vol. 1, San Francisco, 586-591.

42. Nguyen, D., and B. Widrow, "Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights," Proceedings of the International Joint Conference on Neural Networks, vol 3, pp. 21-26,1990.

43. Moller, M. F. 'A scaled conjugate gradient algorithm for fast supervised learning', Neural Networks, vol. 6, pp. 525-533, 1993.

44. R. O. Duda and P. E. Hart, Pattern Classification And Sc Analysis Wiley and Son, 1973.

45. Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Back propagation applied to handwritten zip code recognition," Neural Computation, vol 1, no. 4, pp. 541-551, Winter 1989.

46. S. Seung, H. Sompolinsky, and N. Tishby, "Statistical mechanics of learning from examples," Physical Revew , vol. 45, pp. 6056-6091, 1992.

47. V. N. Vapnik, E. Levin, and Y. LeCun, "Measuring the vc-dimension of a learning machine," Neural Computation, vol. 6, no. 5, pp. 851-876, 1994.

48. V. N. Vapnik, The Nature of Statistical Learning Theory Springer, New-York, 1995.

49. V. N. Vapnik, Statistical Learning Theory, John Wiley & Sons New-York, 1998.

50. W. H. Press, B. P. Flannery, S. A. Teukolsky, and W. T. Vetterling, Numerical Recipes: The Art of Scientific Computing Cambridge University Press, Cambridge, 1986.

51. S. I. Amari, "A theory of adaptive pattern classifiers," IEEE Transactions on Electronic Computers, vol. EC-16, pp. 299-307, 1967.

52. Ya. Tsypkin, Adaptatin and Learning in automatic system Academic Press, 1971.

53. Ya. Tsypkin, Foundations of the theory of learning system Academic Press, 1973.

54. M. Minsky and O. Selfridge, "Learning in random nets," in 4th London symposium on Informatics Theory, London, 1961 pp. 335-347.

55. D. H. Ackley, G. E. Hinton, and T. J. Sejnowski, "A learning algorithm for boltzmann machines" Cognitive Science, vol. 9, pp. 147-169, 1985.

56. D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation," in Parallel distribed processing: Explorations in the microstructure of cognitio, vol. I, pp. 318-362. Bradford Books, Cambridge, MA, 1986.

57. Y. LeCun, "A learning scheme for asymmetric threshold networks," in Proceedings of Cognitiva 85, Paris, France, 1985, pp. 599-604.

58. Y. LeCun, "Learning processes in an asymmetric threshold network in Disordered systems and biotical recognition"

59. Y. LeCun, Modeles connexionnistes de I'apprentissage (connectionist learning models), Ph.D. thesis, Universite P. et M. Curie (Paris 6), June 1987.

60. Y. LeCun, "A theoretical framework for back-propagation," in Proceedings of the 1988 Connectionist Models Summer School D. Touretzky, G. Hinton, and T. Sejnowski, Eds, CMU, Pitts burgh, Pa, 1988, pp. 21-28, Morgan Kaufmann.

61. L. Bottou and P. Gallinari, "A framework for the cooperation of learning algorithms," in Advances in Neural Information Processing Systems, D. Touretzky and R. Lippmann, Eds Denver 1991, vol. 3, Morgan Kaufmann.

62. Ofer Matan, Christopher J. C. Burges, Yann LeCun, and John S. Denker, "Multi-digit recognition using a space dis placement neural network," in Neural Information Processing Systems, J. M. Moody, S.J. Hanson, and R. P. Lippman, Eds

63. D. H. Hubel and T. N. Wiesel, "Receptive fields, binocular interaction, and functional architecture in the cat's visual cortex," Journal of Physiogy (ndn), vol. 160, pp. 106-154, 1962.

64. K. Fukushima, "Cognitron: A self-organizing multilayered neural network," Biological Cyberntics vol 20, no. 6, pp. 121-136, November 1975.

65. M. C. Mozer, The perception of multiple objects: A connectionist approach, MIT Press Bradford Books, Cambridge MA, 1991.

66. G. L. Martin, "Centered-object integrated segmentation and recognition of overlapping hand-printed characters" Neural Computation, vol. 5, no. 3, pp. 419-429, 1993.

67. J. Wang and J Jean, "Multiresolution neural networks for Omni font character recognition," in Proceedings of International Conference on Neural Networks, 1993, vol. Ill, pp. 1588-1593.

68. Y. Bengio, Y. LeCun, С Nohl, and С Burges "A NN/HMM hybrid for online handwriting recognition," Neural Computation, vol. 7, no. 5, 1995.

69. K. J. Lang and G. E. Hinton, "A time delay neural network architecture for speech recognition," Tech. Rep. CMU-CS-88-152, Carnegie-Mellon University, Pittsburgh PA, 1988.

70. Y. LeCun, I. Kanter, and S. Solla, "Eigenvalues of covariance matrices: application to neural-network learning," Physical Review Letters, vol. 66, no. 18, pp. 2396-2399, May 1991.

71. В. H. Juang and S. Katagiri, "Discriminative learning for minimum error classification, IEEE Trans, on Acoustics, Speech and Signal Processing vol. 40, no. 12, pp. 3043-304, December 1992.

72. Fogelman and P. Gallinari, Eds., Paris, 1995, pp. 53-60, EC2 & Cie.

73. Guyon, I. Poujaud, L. Personnaz, G. Dreyfus, J. Denlcer, and Y. LeCun, "Comparing different neural net architectures for classifying handwritten digits," in Proc. of IJCNN, Washington DC. 1989, vol. II, pp. 127-132, IEEE.

74. R. Ott, "Construction of quadratic polynomial classifiers in Proc. of International Confine on Pattern Recognition 1976, pp. 161-165, IEEE.

75. G. Cybenko, "Approximation by superposition of sigmoidal functions," Mathematics of Control, Signals, and Systems, vol. 2, no. 4, pp. 303-314, 1989.

76. L. Bottou and V. N. Vapnik, "Local learning algorithms" Neu ral Computation, vol. 4, no. 6, pp. 888-900, 1992.

77. R. E. Schapire, "The strength of weak learn ability Machine Learning, vol. 5, no. 2, pp. 197-227, 1990.

78. P. Simard, Y. LeCun, and Denker J., "Efficient pattern recognition using a new transformation distance," in Advances in Neural Information Processing Systems, S. Hanson, J. Cowan, and L. Giles, Eds. vol. 5. Morgan Kaufmann, 1993.

79. Y. LeCun, L. Bottou, and Y. Bengio, "Reading checks with graph transformer networks," in International Conference on Acoustics, Speech, and Signal P s sing, Munich, 1997, vol. 1 pp. 151-154, IEEE.

80. Y. Bengio, Neural Networks for Speech and Sequence Recognition, International Thompson Computer Press, London, UK, 1996.

81. Т. M. Breuel, "A system for the off-line recognition of handwritten text" in ICPR', IEEE, Ed., Jerusalem 1994, 1994, pp. 129-134.

82. Lippmann R. P. and Gold В., "Neural-net classifiers useful for speech recognition," in Proceedings of the IEEE First International Conference on Neural Networks, San Diego, June 1987, pp. 417-422.

83. Y. Bengio, R. De Mori, G. Flammia, and R. Kompe, "Global optimization of a neural network-hidden Markov model hybrid," IEEE Transactions n Neural Networks, vol. 3, no. 2, pp. 252-259, 1992.

84. T. Kohonen, G. Barna, and R. Chrisley, "Statistical pattern recognition with neural network: Benchmarking studies," in Proceedings of the IEEE Second International Conference of Neural Networks, San Diego, 1988, vol. l,pp. 61-68.

85. M. Lades, J. C. Vorbruggen, J. Buhmann, and C. von der Mais burg, "Distortion invariant object recognition in the dynamic link architecture," IEEE Trans. Comp, vol. 42, no. 3, pp. 300-311, 1993.

86. B. Boser, E. Sackinger, J. Bromley, Y. LeCun, and L. Jackel "An analogneural network processor with programmable topology," IEEE Journal of Solid-Stat Circuits vol. 26, no. 12, pp. 2017-2025, December 1991.

87. С Dugast, L. Devillers, and X. Aubert, "Combining TDNN and HMM in a hybrid system for improved continuous-speech recognition," IEEE Transactions on Speech and Audio Processing, vol. 2, no. 1, pp. 217-224, 1994.

88. Y. Bengio and Y. Le Cun, "Word normalization for on-line handwritten word recognition," in Proc. of the International Conference on Pattern cognition, IAPR, Ed., Jerusalem, 1994, IEEE.

89. R. Vaillant, C. Monrocq, and Y. LeCun, Original approach for the localization of objects in images," IEEEProc on Vision, Image, and Signal Processing, vol. 141, no. 4, pp. 245-250, August 1994.

90. H. Bourlard and C. J. Wellekens, "Links between Markov models and multilayer perceptrons," in Advances in Neural Information Processing Systems, D. Touretzky, Ed., Denver, 1989, vol. 1, pp. 186-187, Morgan-Kaufmann.

91. Guyon, M. Schenkel, and J. Denker, "Overview and synthesis of on-line cursive handwriting recognition techniques," in Handbook on Optical Character Recognition and Document Image Analysis P. S. P. Wang and Bunke H. Eds. 1996, World Scientific.

92. M. Mohri and M. Riley, "Weighted determinization and minimization for large vocabulary recognition," in Proceedings of Eurospeech '97, Rhodes, Greece, September 1997, pp. 131-134.

93. M. Gilloux and M. Leroux, "Recognition of cursive script amounts on postal checks," in European Conference dedicate to Postal Technology, Nantes France, June 1993, pp. 705-712.

94. D. Guillevic and C. Y. Suen, "Cursive script recognition applied to the processing of bank checks," in Int. Conf on Document Analysis and Recognitin, Montreal, Canada, August 1995, pp. 11-14.

95. R. Battiti, "First- and second-order methods for learning: Between steepest descent and newton's method. Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

96. A. H. Kramer and A. Sangiovanni-Vincentelli, "Efficient parallel learning algorithms for neural networks," in Advances in Neural Information Processing Systems, D.S. Touretzky, Ed.

97. Основы Visual С++, Microsoft Press, 1997.122. «Разработка приложений на Microsoft Visual С++. Учебный курс MCSD». Издательский дом «Русская редакция», 2000.

98. Тихомиров Ю.В. SQL Server 6.5. Разработка приложений., БХВ СПб,1998.

99. Сайт компании Lotus (http://www.lotus.com/home.nsf/welcome/russia)

100. Сайт компании DOCS OPEN (http://www.hummingbird.ru)

101. Сайт компании Documentum 4i. (http://www.documentum.ru/docum4i.html)

102. Сайт компании Cognitive. (http://www.cognitive.ru/products/euphrates/index.shtml)

103. Евфрат документооборот, (http://www.cognitive.ru/products/euph-doc.htm)

104. Стандарты Work Flow.(http://www.wfmc.org)

105. Сайт компании DocsVision (http://www.docsvision.com)

106. Сайт компании Digital Design (http://www.digdes.ru)

107. Сайт компании Syntellect (http://www.syntellect.ru)

108. Электронный журнал «Открытые системы» (http://www.osp.ru)

109. Электронный журнал «CNews» (http://www.cnews.ru)

110. Электронный журнал «Альянс Разработчиков Программного Обеспечения» (http://www.silicontaiga.ru)