Алгоритмы и программная система классификации полутоновых изображений на основе нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Макаренко, Алексей Александрович

• Макаренко, Алексей Александрович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Макаренко, Алексей Александрович

Введение.

1 Методы выделения сюжетной части изображения в системах распознавания

1.1 Методы и средства выделения лица человека на изображении.

1.2 Методы основанные на построении модели лица.

1.2.1 Искусственные нейронные сети в системах распознавания.

Выводы.

2 Разработка топологии искусственной нейронной сети для задач выделения сюжетной части изображения.

2.1 Структура сети для выделения сюжета изображения.

2.1.1 Свёрточные нейронные сети.

2.1.2 Топология свёрточной нейронной сети.

2.2 Алгоритм обучения нейронной сети для ускоренной сходимости обучения

2.2.1 Алгоритм обратного распространения ошибки.

2.2.2 Режим обучения.

2.2.3 Выбор активационной функции.

2.2.4 Обоснование целевых значений.

2.2.5 Инициализация синаптических коэффициентов.

2.2.6 Оценка скоростей обучения.

2.2.7 Масштабирование входных значений.

Выводы.

3 Программная реализация системы выделения сюжетной части изображения

3.1 Алгоритм обучения нейронной сети.

3.1.1 Формирование обучающей выборки.

3.1.2 Результаты обучения нейронной сети.

3.2 Программная реализация.

3.2.1 Принцип локализации лица нейронной сетью.

3.2.2 Минимизация ресурсных требований к программной реализации.

3.3 Экспериментальные исследования.

3.3.1 Оцениваемые характеристики.

3.3.1 Создание тестового набора.

3.3.3 Оценка чувствительности системы к повороту образа лица относительно горизонтальной плоскости.

3.3.4 Оценка чувствительности нейронной сети к изменению масштаба.

3.3.5 Оценка чувствительности нейронной сети к уровню освещения.

Выводы.

Введение диссертации (часть автореферата) на тему «Алгоритмы и программная система классификации полутоновых изображений на основе нейронных сетей»

Актуальность исследований. Многие направления науки, техники и производства в значительной степени ориентируются на развитие систем, в которых информация носит характер поля (изображения). При обработке такой информации возникает ряд сложных научных, технических и технологических проблем. Одной из самых сложных на сегодняшний момент из них является обработка и распознавание изображений. О важности этой проблемы говорит тот факт, что исследования по распознаванию образов, анализу изображений и речи включены в перечень приоритетных направлений развития науки и техники и критических технологий федерального уровня [1].

Распознавание изображений находит широкое применение в различных приложениях - это может быть контроль топологии печатных плат [2], текстуры ткани, робототехника (интеллектуальные системы) [3,4]. В информатике - контроль доступа к информации по идентификации личности (биометрическая идентификация) [5]. Спецприменение - доступ к объектам ограниченного доступа, оперативный поиск в картотеке изображений, дактилоскопия и др. Широко используются эти методы для классификации исторических источников на бумаге, а также в физике, химии, биологии и др. областях науки [6-11].

Особую значимость задачи анализа и обработки изображений имеют в обеспечении обороноспособности страны - повышение надежности предотвращения несанкционированного доступа к образцам военной техники и объектам военного назначения. В настоящее время эта задача решается с помощью организационно-технических мероприятий, реализуемых специальными службами с привлечением значительного количества личного состава и материально-технических ресурсов, не обеспечивая при этом достаточного уровня надежности и оперативности. В последние годы актуальность решения проблемы возрастает в связи с осуществляемым сокращением Вооруженных Сил и переходом их на контрактную систему комплектования, а также вследствие активизации деятельности террористических групп, способных, используя несанкционированный доступ к комплексам вооружения и военным объектам, нанести существенный ущерб безопасности страны, привести к гибели людей.

В настоящее время всё более широкое распространение получают биометрические системы идентификации человека. Традиционные системы идентификации требуют знания пароля, наличия ключа, идентификационной карточки, либо иного идентифицирующего предмета, который можно забыть или потерять. В отличие от них биометрические системы основываются на уникальных биологических характеристиках человека, которые трудно подделать и которые однозначно определяют конкретного человека. К таким характеристикам относятся отпечатки пальцев, форма ладони, узор радужной оболочки, изображение сетчатки глаза. Лицо, голос и запах каждого человека так же индивидуальны [12-14].

Задача обнаружения лица (выделения сюжета) на изображении является "первым шагом", предобработкой в процессе решения задачи идентификации личности человека по изображению лица (например узнавания лица, распознавания выражения лица). В настоящее время наиболее перспективными являются подходы с использованием искусственных нейронных сетей. Нейронные сети [15,16,17] применяются для решения задач классификации или кластеризации многомерных данных.

Объектом данного исследования являются системы обработки изображений, основанные на искусственных нейронных сетях.

Предметом исследования являются алгоритмы выделения сюжетной части на групповом изображении, основанные на искусственных нейронных сетях.

Естественно, что конфигурация системы выделения сюжетной части изображения существенно определяется характером решаемых задач, однако, в целом она должна удовлетворять некоторой совокупности требований, важнейшими из которых являются следующие.

1. Система должна быть ориентирована на эксплуатацию обработку изображений для конкретной предметной области.

2. Система должна обеспечивать возможность обработки данных в реальном режиме времени.

3. Система должна обладать инвариантностью к изменениям условий съемки (освещению, цветовой баланс камеры, искажение изображения, привносимые оптикой системы, качество изображения).

Основная цель исследований - разработка методов и средств повышения эффективности выделения информативных частей группового изображения в системах видеонаблюдения и контроля доступа.

Основные задачи диссертации:

1. Анализ методов построения алгоритмов обработки изображений, основанных на использовании искусственных нейронных сетей.

2. Разработка эффективной архитектуры нейронной сети для выделения информативной части на групповых изображениях.

3. Разработка метода обучения используемой нейронной сети.

4. Реализация и исследование работоспособности и эффективности, программной системы выделения сюжетной части изображения основанной на использовании искусственной нейронной сети.

Методы исследования.

В диссертационной работе при решении поставленных задач использованы методы теории искусственных нейронных сетей, математического моделирования, теории вероятностей и математической статистики.

Основные защищаемые положения:

1. Топология нейронной сети, обеспечивающая вероятность обнаружения образа лица на уровне 0,95.

2. Алгоритм обучения нейронной сети, позволяющий обеспечить эффективную работу нейронной сети при изменений углов наблюдения до ±15°, уровня освещения в ~ 3 раза и изменения масштаба изображения в ~ 2 раза.

3. Программная система, обеспечивающая обработку изображения с вероятностью обнаружения образа лица на уровне 0,95 при времени обработки не более 100 мс.

Достоверность результатов диссертационной работы подтверждается экспериментальными данными, полученными при использовании программно-технических систем созданных при непосредственном участии соискателя, имеющими как научную, так и практическую ценность. Достоверность результатов, выводов и положений диссертационной работы обеспечивается:

- тщательной разработкой структуры нейронной сети и алгоритма её обучения;

- тщательной разработкой методики и алгоритмов выделения сюжетной части на групповом изображении;

- качественным и количественным сопоставлением полученных результатов с имеющимися современными теоретическими и экспериментальными данными.

Научная новизна заключается в следующем.

1. Предложена топология нейронной сети с добавленной сверточной плоскостью и модифицированной активационной функцией нейронов, обеспечивающая выделение сюжета на произвольном фоне с вероятностью 0,95.

2. Разработан алгоритм обучения, использующий процедуру самонастройки, обеспечивающий возможность выделения сюжетной части изображения при изменений углов наблюдения до ±15°, уровня освещения в ~ 3 раза и изменения масштаба изображения в ~ 2 раза.

3. Предложен алгоритм локализации сюжетной части изображения, основанный на двухэтапной схеме, повышающий вероятность правильного обнаружения и снижающий вероятность ложного обнаружения лиц.

Практическая значимость:

Разработанная топология свёрточной нейронной сети и алгоритм её обучения послужили основой для создания программной системы выделения сюжетной части на групповом изображении с произвольным фоном. Разработайные в диссертации методические, алгоритмические и информационные средства предназначаются для использования в системах безопасности, видеонаблюдения и видеоконтроля и имеют практическую значимость независимо от типов ЭВМ и операционных сред.

Работа поддержана грантом РФФИ проект № 06-08-00751.

Апробация работы. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: Международная научная студенческая конференция «Студент и научно-технический прогресс», НГУ (г. Новосибирск, 2005); Всероссийская научно-техническая конференция студентов и молодых ученых «Научная сессия ТУСУР», ТУСУР (г. Томск, 2005, 2006); Всероссийская научная конференция студентов-физиков, АСФ (г. Екатеринбург, 2005, 2006, 2007); Всероссийская научно-практическая конференция «Научное творчество молодежи», Филиал КемГУ (г. Анджеро-Судженск, 2007); Всероссийская конференция «Актуальные проблемы авиации и космонавтики», СИБГАУ (г. Красноярск, 2006); Всероссийская научно-практическая конференция «Проблемы информационной безопасности государства, общества и личности», ТГУ (г. Томск, 2006); Международная научно-практическая конференция «Электронные средства и системы управления», ТУСУР (г. Томск, 2005); Всероссийская научно-практтческая. конференция «Информационные технологии и математическое моделирование» (г. Анжеро-Судженск, 2005).

Результаты исследований докладывались на научных семинарах кафедры автоматизированных систем управления Томского государственного университета систем управления и радиоэлектроники.

Основное содержание диссертации отражено в 14 научных работах (в том числе в 3-х научных статьях (1 в журнале из перечня ВАК), 11 докладах на конференциях различного уровня).

Личный вклад. В диссертации использованы только те результаты, в которых автору принадлежит определяющая роль. Опубликованные работы написаны в соавторстве с сотрудниками научной группы. В совместных работах диссертант принимал участие в непосредственной разработке алгоритмов, теоретических расчетах и вычислительных экспериментах, в интерпретации результатов. Постановка задачи исследований осуществлялась научным руководителем, к.т.н., с.н.с. Калайдой В.Т.

Внедрение результатов. Результаты работы внедрены в Институте Оптики Атмосферы СО РАН, Томском государственном университете, Томском политехническом университете, Томском государственном университете систем управления и радиоэлектроники.

Структура и объем работы: Диссертация изложена на 110 страницах, содержит 42 рисунка и 7 таблиц, и состоит из введения, трех глав, заключения, и списка используемой литературы из 84 наименований и работ соискателя.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Макаренко, Алексей Александрович

Выводы

1. Топология нейронной сети, основанная на принципах свёрточных нейронных сетей, позволяет создать на ее базе программную систему выделения сюжетной части изображения.

2. Алгоритм обучения свёрточной нейронной сети использующий процедуру самонастройки уменьшает длительность обучения и улучшает классифицирующие способности свёрточной нейронной сети при решении реальных задач выделения сюжетной части изображения.

3. Экспериментальное исследование системы выделения сюжетной части изображения, созданной на основе предложенной свёрточной нейронной сети, показало, что разработанная программная система обладает инвариантностью к поворотам изображения лица до ±15 градусов, способна работать в диапазоне изменения освещения от 42,8% до 157,1% (от естественного уровня освещения), и обладает инвариантностью к изменению масштаба изображения лица в диапазоне от 0,7 до 1,6 от размера входного окна.

Заключение

В диссертации выполнено исследование по созданию алгоритма выделения сюжетной части изображения, и реализована система выделения человеческого лица на изображении. Практическая реализация подтвердила эффективность разработанного алгоритма. Исследование выполнено полностью: создана программная система и на реальных прикладных задачах подтверждена ее эффективность.

По результатам исследования можно сделать следующие выводы:

1. Разработанные в диссертации алгоритм и программный комплекс базирующиеся на свёрточной нейронной сети, позволяют обеспечить вероятность обнаружения образа лица на уровне не менее 0,95, уменьшить вычислительную сложность решения задачи по сравнению с классическими нейросете-выми архитектурами порядка 40 раз.

2. Разработанный алгоритм обучения свёрточной нейронной сети, основанный на процедуре самонастройки нейронной сети, повышает классифицирующие способности нейронной сети (среднее значение выхода нейронной сети для лицевого изображения составляет 0,9, для нелицевого образа 0,2).

3. Разработанная топология свёрточной нейронной сети, обеспечивает инвариантность к изменениям условий съемки, поворотам изображений, качеству съемки.

4. Разработанная система выделения сюжетной части изображения, созданная на основе предложенной свёрточной нейронной сети обладает инвариантностью к поворотам изображения лица до ±15 градусов, способна работать в диапазоне изменения освещения от 42,8% до 157,1% от естественного (изменения средней интенсивности пикселов от 60 до 220), и обладает инвариантностью к изменению масштаба изображения лица в диапазоне от 0,7 до 1,6 от размера входного окна.

Рекомендации:

Перспективной областью применения разработанного алгоритма являются комплексы видеоконтроля и видеонаблюдения, в том числе и системы безопасности.

Потенциальными потребителями результатов исследований являются управления и научно-исследовательские организации Министерства обороны РФ при создании АСУ перспективных образцов военной техники (в части защиты от несанкционированного доступа) и организации оборонной промышленности при проведении работ по созданию перспективных АСУ образцов и систем вооружения (в части создания автоматизированных систем идентификации личности), а также организации Министерства юстиции РФ при внедрении систем защиты от несанкционированного доступа.

Список литературы диссертационного исследования кандидат технических наук Макаренко, Алексей Александрович, 2007 год

1. Перечень критических технологий Российской Федерации: утвержден Президентом Российской Федерации В.В. Путиным 30 марта 2002 г. Пр. 578.

2. Антонюк, В. А. Автоматизация визуального контроля изделий микроэлектроники / В. А. Антонюк, Ю. П. Пытьев, Э. И. Pay // Радиотехника и электроника. 1985. № 12. С. 2456-2458.

3. Пытьев, Ю. П. Об автоматизации сравнительного морфологического анализа электронномикроскопических изображений / Ю. П. Пытьев, С. С. Задорожный,

4. A. Е. Лукьянов // Изв. АН СССР. Сер. Физическая 1977. Т. 41. № 11, С. 37-44.

5. Ермолаев, А. Г. Априорные оценки полезного сигнала для морфологических решающих алгоритмов / А. Г. Ермолаев, Ю. П. Пытьев // Автоматизация. 1984. №5. С. 118-120.

6. Антонюк, В. А. Спецпроцессоры реального времени для морфологического анализа реальных сцен / В. А. Антонюк, Ю. П. Пытьев // Обработка изображений и дистанционное исследование Новосибирск: Наука. 1981. С. 87-89.

7. Калайда, В. Т. Мониторинг электромагнитных полей. II. Флуктуации параметров атмосферного электричества / В. А. Донченко, М. В. Кабанов,

8. B. Т. Калайда и др. // Известия ВУЗов. Сер. Физика. 1998. № 5.10 с.

9. Калайда, В. Т. Алгоритм обработки спектров флуоресценции методами анализа изображений / О. С. Андриенко, Т. П. Астафурова, В. Т. Калайда и др. // Светокорректирующие пленки для сельского хозяйства. Томск: Изд-во «Спектр», 1998. 6 с.

10. Калайда, В. Т. Филигрань в эпоху современных технологий / В. В. Белов, В. А. Есипова, В. Т. Калайда и др. // Природа. 1999. № 12. С. 12-16.

11. Калайда, В. Т. Экспериментальные наблюдения ступенчатой ионизации атома Си в активной среде лазера / В. Т. Калайда, В. М. Климкин, В. Е. Прокопьев и др. // Известия ВУЗов. Сер. Физика. 1999. № 42. 10 с.

12. Калайда, В. Т. Физические и математические основы тематического анализа исторических документов / В. В. Белов, В. А. Есипова, В. Т. Калайда и др. // Историческая наука на рубеже веков. М. 1999. 7 с.

13. Калайда, В. Т. Оптогальванический эффект в лазере на самоограниченных переходах меди / В. Т. Калайда, В. М. Климкин, В. Е. Прокопьев и др. // Квантовая электроника. 1999. Т. 28, № 3. 4 с.

14. Панканти, Ш. Биометрия: будущее идентификации / Ш.Панканти, Р. М. Болле, Э. Джейн // Открытые Системы. 2000. № 3.

15. Филлипс, Дж. Введение в оценку биометрических систем / Дж. Филипс, Э. Мартин, С. JI. Уилсон, М. Пржибоски // Открытые Системы. 2000 № 3.

16. Глазунов, А. Компьютерное распознавание человеческих лиц // Открытые Системы. 2000. № 3.

17. Rowley, Н. A. Neural network-based face detection / H. A. Rowley, S. Baluja, T. Kanade //IEEE Trans. Pattern Anal. Mach. Intell. 1998. P. 23-38.

18. Karungaru, S. Human Face Detection In Visual Scenes Using Neural Networks / S. Karungaru, M. Fukumi, N. Akamatsu // Proc. of ICONIP 2000. 2000. P. 1-6.

19. Lin, S.- H. Face Recognition Detection by Probabilistic Decision-Based Neural Network / S.-H. Lin, S.-Y. Kung, L.-J. Lin // IEEE Trans. Neural Networks. 1997. Vol. 8. P. 114-132.

20. Feraud, R. A fast and accurate face detector based on neural networks / R. Feraud, O. Bernier, J.-E. Viallet // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2002. № 23. P. 42-53.

21. Rowley, H. Rotation invariant neural network-based face detection / H. Rowley, S. Baluja, T. Kanade // In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 1998. P. 38-44.

22. Young, F. W. Handbook of Research on Face Processing. Amsterdam: North-Holland. 1989. 250 p.

23. Kalaida, V.T. Physical and Mathematical Methods for the Visualization and Identification of Watermarks / V.T. Kalaida, V.V. Belov, V.A. Esipova, V.M.

24. Klimkin // Solanus. Published by the School of Slavonic and East European Studies (University of London). Typeset in Plantin and Times Cyrillic at Oxford University Computing Service. № 13. c. 80-92.

25. Yang, G., Huang T. S. Human Face Detection in Complex Background / G. Yang, T. S. Huang // Pattern Recognition. 1994. Vol. 27. № 1. P. 53-63.

26. Kotropoulos, C. Rule-Based Face Detection in Frontal Views / C. Kotropoulos, I. Pitas // Proc. Int'l Conf. Acoustics, Speech and Signal Processing. 1997. Vol. 4. P. 2537-2540.

27. Sakai, T. Line Extraction and Pattern Detection in a Photograph / T. Sakai, M. Nagao, S. Fujibayashi // Pattern Recognition. 1969. Vol. 1. P. 233-248.

28. Craw, I. Automatic Extraction of Face Features /1. Craw, H. Ellis, J. Lishman // Pattern Recognition Letters. 1987. Vol. 5. P. 183-187.

29. Govindaraju, V. Locating Human Faces in Photographs // Int'l J. Computer Vision. 1996. Vol. 19. № 2. P. 129-146.

30. Хорн, Б. К. Зрение роботов /пер. с англ. М.: Мир, 1989. 487 С.

31. Яншин, В. В. Обработка изображений на языке СИ для IBM PC: Алгоритмы и программы / В. В. Яншин, Г. А. Калинин, М: Мир, 1994. 240 С.

32. Анисимов, Б. В. и др. Распознавание и цифровая обработка изображений/ Б. В. Анисимов, В. Д. Курганов, В. К. Злобин. М.: Высшая школа, 1983. 295 С.

33. Хемминг Р. В. Цифровые фильтры /пер. с англ. М.:Сов. радио, 1980. 224 С.

34. Сойфер В. А. Компьютерная обработка изображений // Соровский образовательный журнал. 1996. № 2. С.110-121.

35. Пытьев Ю. П. Морфологический анализ изображений// Докл. АН СССР. 1983. Т.269. № 5. С.1061-1064.

36. Пытьев, Ю. П. Задачи морфологического анализа изображений // Математические методы исследования природных ресурсов Земли из космоса / под ред. В. Г. Золотухина. М: Наука 1984. С. 41-83.

37. Пытьев, Ю. П. Морфологические понятия в задачах анализа изображений // Докл. АН СССР. 1975. Т. 224, № 6. С. 1283-1286.

38. Soille, P. Morphological Image Analysis: Principles and Applications // Springer -Verlag. 1999. P. 170-171.

39. Sung, К. K. Learning Human Face Detection in Cluttered Scene / К. K. Sung, T. Poggio // Lecture Notes in Computer Science Computer Analysis of Images and Patterns. 1995. P. 432-439.

40. Moghaddam, B. Probabilistic visual learning for object representation / B. Moghaddam, A. Pentland // IEEE Trans. Pattern Anal. Mach. Intell. 1997. № 19(1). P. 696-710.

41. Yang, M.-H. Face Detection Using Multimodal Density Models / M.-H. Yang, N. Ahuja, D. Kriegman // Computer Vision and Image Understanding (CVIU). 2001. Vol. 84. №2. P. 264-284.

42. Boser, E. A training algorithm for optimal margin classifiers / E. Boser, I. M. Guyon, V. N. Vapnik // in Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory. 1992. P. 144-152.

43. Cortes, C. Support Vector Networks / C. Cortes, V. Vapnik // Machine Learning. 1995. №20(3). P. 273-297.

44. Muller, K. An Introduction to Kernel-Based Learning Algorithms / K. Muller, S. Mika, G. Ratsch, K. Tsuda, B. Scholkopf// IEEE Neural Networks. 2001. № 12(2). P.181-201.

45. Burges, C. A Tutorial on Support Vector Machines for Pattern Recognition // Knowledge Discovery and Data Mining. 1998. № 2(2).

46. Maydt, J. Face Detection with Support Vector Machines and a Very Large Set of Linear Features / J. Maydt, R. Lienhart// IEEE ICME 2002. 2002. P. 81-89.

47. Osuna, E. Training Support Vector Machines: An Application to Face Detection / E. Osuna, R. Freund, F. Girosi // Proc. IEEE Conf. Computer Vision and Pattern Recognition. 1997. P. 130-136.

48. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика./ перевод на русский язык, Ю. А. Зуев, В. А. Точено. 1992. 184 С.

49. Ежов, А. А. Нейрокомпьютинг и его применения в экономике и бизнесе / А. А. Ежов, С. А. Шумский. М., 1998. 216с.

50. Горбань, А. Н. Нейроинформатика / А. Н. Горбань, В. JI. Дунин-Барковский, А. Н. Кирдин и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998.

51. Moody, J. Fast Learning In Netwoks of Locally Tuned Processing Units / J. Moody, C. J. Darken // Neural Computation. 1989. № 1. P. 281-284.

52. Haddadnia, J. Human face Recognition Using Radial Basis Function Neural Network / J. Haddadnia, К. K. Faez // Proceedings of 3 rd Int'l Conf. on Human and Computer. 2000. P. 137-142.

53. Kohonen, T. Self-Organizing Maps. Berlin. Heidelberg: Springer. 1995. 501 p.

54. Kohonen, T. Self-Organization and Associative Memory. Springer-verlag, Berlin, Heidelberg: Springer. 1989. 500 p.

55. Takacs, B. Locating Facial Features Using SOFM / B. Takacs, H. Wechsler // in Proceedings of International Conference on Pattern Recognition. 1994. Vol.2. P. 55-60.

56. Fukushima, K. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position. / K. Fukushima, S. Miyake // Pattern recognition. 1982. № 15(6). P. 455-469.

57. Fukushima, K. Neocognitron: A model for visual pattern recognition. / In M. Arbib, editor // The Handbook of Brain Theory and Neural Networks. MIT Press. 1995.

58. Sadykhov, R. New training algorithm of neural network «neocognitron» for a recognition of hand-written symbols / R. Sadykhov, M. Vatkin// Proceedings of

59. Sixth International Conference «Pattern Recognition and Information Processing». 2001. P. 203-212.

60. LeCun, Y. Handwritten digit recognition with a backpropagation neural network / Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. Howard, W. Hubbard, L. Jackel //Advances in Neural Information Processing Systems. 1990. № 2. P. 396-404.

61. LeCun, Y. Convolutional networks for images, speech, and timeseries / Y. LeCun, Y. Bengio // The Handbook of Brain Theory and Neural Networks. 1995. P. 255-258.

62. Lawrence, S. Face Recognition: A Convolutional Neural Network Approach / S. Lawrence, C. L. Giles, A. C. Tsoi, A. D. Back // IEEE Transactions on Neural Networks, Special Issue on Neural Networks and Pattern Recognition. 1997. P. 1-24.

63. Juell, P. A hierarchical neural network for human face detection / Juell P., R. Marsh // Pattern Recognition. 1996. P. 781-787

64. Hubel, D. H. Receptive fields binocular interaction and functional architecture in the cats visual cortex / D. H. Hubel and T. N. Wiesel // Journal of Physiology London, 1962. Vol. 2. P 105-164

65. Garcia, C. A neural architecture for fast and robust face detection. / C. Garcia, M. Delakis //In Proceedings of International Conference on Pattern Recognition, 2002. P.44-48

66. Rumelhart, D. E. Learning internal reprentations by error propagation. / D. E. Rumelhart, G. E. Hinton, R. J Williams // Parallel distributed processing, MIT Press. Vol. 1.1986. P. 318-362.

67. Rumelhart, D. Learning representations of back-propagation errors. // D. E. Rumelhart, G. E. Hinton, R. J Williams /Nature, 1986. №323. P. 533-536.

68. Heskes, T.M. On-line learning processes in artificial neural networks / T.M. Heskes, B. Kappen // Mathematical Approaches to Neural Networks. 1993. Vol. 51. P. 199-233

69. Wilson, D.R. The inefficiency of batch training for large training sets / D.R. Wilson, T.R. Martinez // Proc.Int. Joint Conf. Neural Networks (IJCNN'2000). 2000. Vol.2. P. 113-117.

70. Wilson, D.R. The general inefficiency of batch training for gradient descent learning / D.R. Wilson, T.R. Martinez // Neural Networks. 2003. Vol.16. P. 1429-1451.

71. Царегородцев, В.Г. Общая неэффективность использования суммарного градиента выборки при обучении нейронной сети // Материалы XII Все-росс. семинара "Нейроинформатика и ее приложения", Красноярск, 2004. 196 с. С. 145-151.

72. LeCun Y. Generalization and network design strategies // Proceedings of the International Conference Connectionism in Perspective, University of Zurich, 10 -13. October 1988.

73. LeCun, Y. Efficient BackProp / Y. LeCun, L. Bottou, G.B. Orr, K.-R. Muller // Neural Networks: Tricks of the trade (G.Orr and K.Muller, eds.), Springer Lecture Notes in Сотр. Sci. 1524,1998. P. 5-50.

74. Sompolinsky, H. On-line learning of dichotomies: algorithms and learning curves / H. Sompolinsky, N. Barkai, H.S. Seung //Neural Networks: The Statistical Mechanics Perspective. Singapore. 1995. P 105-130.

75. Sutton, R.S. Adapting bias by gradient descent: An incremental version of delta-bar-delta //Proceedings of the 10th National Conference on Artificial Intelligence. MIT Press. 1992. P. 171-176

76. Murata, N. Adaptive on-line learning in changing environments / N.Murata, K.-R. Miiller, A. Ziehe, S. Amari //Advances in Neural Information Processing Systems. The MIT Press. 1997. Vol.9. P. 599.

77. Darken, C. Note on learning rate schedules for stochastic optimization / C. Darken, J. E. Moody //Advances in Neural Information Processing Systems. 1991. Vol.3. P. 83-90.

78. Robert, A. J. Increased rates of convergence through learning rate adaptation // Neural Networks, 1988. P. 295-307.

79. Roth, D. A SNoW-based face detector / D. Roth, M.-H. Yang, N. A. Ahuja // In Advances in Neural Information Processing Systems, MIT Press. 2000. Vol.12. P. 855-861.

80. Sung, K.-K. Example-based learning for view-based human face detection / K.-K. Sung, T. Poggio // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. № 20(1). P. 39-51.

81. Макаренко, A.A. Методика локализации изображения лица для систем видеоконтроля на основе нейронной сети / А.А. Макаренко, В.Т. Калайда // Известия Томского политехнического университета. 2006. Т. 309. № 8. С.113-118.

82. Stuttgart Neural Network Simulator Электронный ресурс.: сайт University of Stuttgart Режим доступа: http://www-ra.informatik.uni-tuebingen.de/SNNS/

83. QNet Электронный ресурс.: сайт компании Vesta Services Inc. Режим доступа: http://www.qnetv2k.com./

84. Neurosolutions Электронный ресурс.: сайт компании NeuroDimension. Режим доступа: http://www.neurosolutions.com./

85. Fast Artificial Neural Network Library Электронный ресурс.: Режим доступа: http://fann.sourceforge.net/

86. Jets Neural Library Электронный ресурс.: Режим доступа: http://www.voltar.org/jneural

87. Matlab Neural Network Toolbox Электронный ресурс.: Сайт компании MathWorks: Режим доступа: http://www.mathworks.com/access/helpdesk/help/toolbox/nnet/backprl4.html