Разработка и исследование маршрута проектирования нейросетевого приложения с аппаратной поддержкой тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Казанцев, Павел Александрович

• Казанцев, Павел Александрович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Казанцев, Павел Александрович

Введение.

Глава 1. Основы построения нейросетевых приложений.

1.1 Нейроматематика - новый перспективный раздел вычислительной математики.

1.2. Выбор задач, адекватных нейросетевому логическому базису.

1.3. Маршрут проектирования нейросетевого приложения.

1.4. Алгоритм обратного распространения ошибки для сетей с прямыми последовательными связями.

1.5. Выводы по главе 1.

Глава 2. Решение сложных инженерных задач в нейросетевом логическом базисе.

2.1. Решение задач гидроакустики с учетом рельефа дна.

2.1.1. Нейросетевой алгоритм решения задачи гидроакустики с учетом рельефа дна.

2.1.2. Экспериментальные результаты.

2.2. Синтез микрополосковых антенн.

2.2.1. Нейросетевой синтез однослойной микрополосковой антенны (МПА) с возбуждением пластины коаксиальной линией.

2.2.2. Экспериментальные результаты.

2.3. Распознавание гранулометрического состава шарообразных тел применительно к горно-рудному производству.

2.3.1. Нейросетевой алгоритм распознавания гранулометрического состава шарообразных тел.

2.3.2. Экспериментальные результаты.

2.4. Выводы по главе 2.

Глава 3. Программный комплекс "Нейроматематика" (ПКНМ).

3.1 Назначение и область применения.

3.2. Основные компоненты IIKИМ.

3.2.1 Состав ПКНМ.

3.2.2 Платформа ПКНМ.

3.2.3. Компоненты РПЗ.

3.2.4. Общий алгоритм работы ПКНМ.

3.3. Выводы по главе 3.

Глава 4. Аппаратная поддержка нейросетевого алгоритма.

4.1. Реализация нейросетевых алгоритмов на классическом кластере.

4.2. Реализация нейросетевых алгоритмов на графических процессорных устройствах.

4.3. Реализация нейросетевых алгоритмов на базе программируемых логических интегральных схем (ПЛИС).

4.4 Перспективные аппаратные реализации нейросетевых алгоритмов

4.5. Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Разработка и исследование маршрута проектирования нейросетевого приложения с аппаратной поддержкой»

Актуальность темы. Нейросетевые технологии на сегодняшний день зарекомендовали себя как эффективное средство решения многих инженерных и производственных задач. Нейросетевые решения успешно применяются в системах безопасности, системах динамического управления сложными объектами, проектах интеллектуальных зданий, медицинской технике, системах контроля качества на производстве, системах энергосбережения, и многих других.

Одной из причин успешного применения нейросетевых технологий является то, что в настоящее время расчет сложных производственных и инженерных задач требует больших вычислительных мощностей. Характерной особенностью некоторых современных практических задач является то, что. даже кластерные конфигурации с числом процессоров до нескольких сотен, не позволяют получать требуемое время счета. Выигрыш по производительности нейросетевых систем обуславливается принципиально отличной от классических алгоритмизацией этих систем.

Реализация сверхвысоких вычислений для ресурсоемких вычислительных задач все чаще осуществляется на основе использования нейромате-матики — новом разделе математики, интенсивно развивающемся в настоящее время как у нас в стране, так и за рубежом. Использование методов нейрома-тематики позволяет изначально определить параллельный алгоритм - нейро-сетевой алгоритм решаемой задачи и, в зависимости от требований производительности и других ограничений, использовать для его реализации соответствующие вычислительные мощности, специально ориентированные на параллельные вычисления, включая кластеры.

Помимо алгоритмической эффективности, нейросетевой подход обладает существенным уровнем универсализации. Он позволяет обеспечить эффективное решение не только сложных прикладных задач, реализация которых представляет трудность по критерию отношения производительности к стоимости для вычислительных средств с традиционной многопроцессорной архитектурой, но и задач среднего класса сложности, решение которых целесообразно выполнять на кластерных конфигурациях с небольшим числом узлов (до нескольких десятков). Кроме того, для относительно небольших задач возможно использование традиционных ПЭВМ с применением нейроу-скорителей.

Как отмечалось выше, в настоящее время известно множество применений нейросетевых технологий, как у нас в стране, так и за рубежом, однако, попытки построения единой методологии разработки нейросетевых приложений, в т.ч. с аппаратной поддержкой, практически отсутствуют. Это вызвано, в первую очередь тем, что нейросетевые приложения носят, по своей сути, специализированный характер. Разработка единой методологии проектирования нейросетевых приложений позволит повысить эффективность разрабатываемых решений, снизить время разработки, а также обеспечит единый базис для сравнения различных нейросетевых решений.

Цель работы состоит в исследовании и разработке маршрута проектирования нейросетевых приложений с аппаратной поддержкой и решении трех практических задач:

- гидроакустики с учетом рельефа дна;

- синтеза микрополосковых антенн;

- распознавание гранулометрического состава набора шарообразных тел применительно к горнорудному производству;

Задачи исследования. Конкретными задачами, решенными в данной работе, являются

1) разработка основ маршрута проектирования нейросетевых приложений;

2) решение конкретных задач:

- гидроакустики с учетом рельефа дна;

- синтеза проволочных антенн;

- распознавание гранулометрического состава набора шарообразных тел применительно к горнорудному производству;

3) классификация средств аппаратной поддержки нейросетевых алгоритмов;

Методы исследования. В процессе работы были использованы методы теории нейронных сетей, теории вычислительных машин и систем, моделирование на ЭВМ.

Научная новизна работы. В результате выполнения работы был получен ряд новых научных результатов, позволяющих более эффективно решать сложные инженерные задачи в нейросетевом логическом базисе, а также:

1) предложен единый маршрут проектирования нейросетевых приложений;

2) Разработан нейросетевой алгоритм определения глубины источника гидроакустического сигнала с учетом рельефа дна.

3) Разработан нейросетевой алгоритм синтеза микрополосковой антенны с возбуждением коаксиальным зондом;

4) Разработан нейросетевой алгоритм распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству.

Практическая ценность диссертации. Предложенный маршрут проектирования нейросетевых приложений использовался при создании программного комплекса «Нейроматематика», предназначенного для решения сложных инженерных задач, в том числе задач гидроакустики и синтеза микрополосковых антенн. Программный комплекс «Нейроматематика» является конечным результатом опытно-конструкторских работ по теме ИТ-13.3/001 «Разработка прикладных технологий для инженерных задач с плотными системами уравнений и сверхбольшим числом неизвестных» по заказу Федерального агентства по науке и инновациям. Разработанные нейросетевые алгоритмы решения задач гидроакустики с учетом рельефа дна, синтеза микрополосковых антенн и оценки гранулометрического состава шарообразных тел применительно к горнорудному производству используются в разработках и системах различных организаций Российской Федерации, о чем свидетельствуют соответствующие Акты внедрения. Научные положения, выносимые на защиту:

1) маршрут проектирования нейросетевых приложений;

2) нейросетевой алгоритм и экспериментальные результаты его применения в решении задачи определения глубины источника гидроакустического сигнала с учетом рельефа дна;

3) нейросетевой алгоритм и экспериментальные результаты его применения в решении задачи синтеза микрополосковой антенны с возбуждением коаксиальным зондом;

4) нейросетевой алгоритм и экспериментальные результаты его применения в решении задачи распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству;

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на научно-техническом совете МФТИ при защите эскизного и технического проектов ОКР по теме ИТ-13.3/001 «Разработка прикладных технологий для инженерных задач с плотными системами уравнений и сверхбольшим числом неизвестных» (Москва 2006г.), на научной конференции «Развитие вычислительной техники в России и странах бывшего СНГ: история и перспективы» (г. Петрозаводск 2006), на международном конгрессе по интеллектуальным вычислениям IEEE WCCI'2006 (г. Ванкувер, 2006), на научной конференции «Нейроинформатика» (г. Москва, 2006), на научной конференции «Нейросетевые технологии и их применение» (г. Краматорск, 2006), на Международной научно-технической конференции «Интеллектуальные машины и системы» (г. Дивноморск, 2006), в международном научном журнале Applied and Computational Mathematics (2003 г.), в научно-техническом журнале «Нейрокомпьютеры и их применение» (Москва, 2005г.), в отчете по НИР «Разработка системы нейроуправления чашевыми окомкователями» (Научный центр нейрокомпьютеров, Москва, 2004г.), в отчете по НИР по гранту РФФИ № 03-07 90159 (Москва, 2005г.), на научных конференциях Московского физико-технического института (Москва, 20032005гг.), на международной конференции «International Conference on Pattern Recognition and Image Analysis» (Санкт-Петербург, 2004г.), на международной научно-технической конференции «DSPA-2004» (Москва 2004г.), в отчете по НИР по проекту «Нанонейроэлементы» программы «Научные исследования высшей школы по приоритетным направлениям науки и техники» (подпрограмма «Электроника», раздел «Микро- и наносистемная техника», Москва 2003 г.), на международных рабочих совещаниях российской секции IEEE по интеллектуальным вычислениям (Russian Section of IEEE CIS, Москва 2006г.)

Структура и краткое содержание работы. Диссертационная работа содержит введение, четыре главы, заключение, приложение, библиографию работ по теме диссертации. Диссертация содержит 29 рисунков и 10 таблиц. Общий объем диссертации составляет 117 страниц. Содержание работы распределено по отдельным разделам следующим образом.

Заключение диссертации по теме «Теоретические основы информатики», Казанцев, Павел Александрович

4.5. Выводы по главе 4

В данной главе, помимо рассмотрения основных аспектов аппаратной реализации нейросетевых алгоритмов, описываются наиболее распространенные на сегодняшний день ее варианты (на базе ПЛИС, графических процессорах, классических кластерах). Также рассматриваются прочие перспективные аппаратные реализации нейросетевых алгоритмов.

Аппаратная поддержка ПКНМ (см. Главу 3) реализуется на классических кластерах и графических процессорах, а также на кластерах из графических процессоров. Однако, разработчики ПКНМ, включая автора, не ограничивают область возможных реализаций только указанными выше. В Главе 4 излагаются и другие перспективные аппаратные реализации нейросетевых алгоритмов. Поддержка некоторых из них ожидается в будущих версиях ПКНМ.

ЗАКЛЮЧЕНИЕ

В данной диссертационной работе были рассмотрены теоретические и практические проблемы разработки и применения нейросетевых алгоритмов решения сложных инженерных задач, а также их аппаратной поддержки.

Разработан единый маршрут проектирования нейросетевых приложений на основе алгоритмов синтеза многослойных нейронных сетей.

Приведено описание программного комплекса «Нейроматематика», основной которого является разработанный единый маршрут проектирования нейросетевых приложений.

Рассмотрены наиболее эффективные варианты аппаратной реализации нейросетевых алгоритмов.

Приведено описание аппаратных средств для ускорения нейросетевых алгоритмов, поддерживаемых программным комплексом

Нейроматематика».

Разработан нейросетевой алгоритм определения глубины источника гидроакустического сигнала с учетом рельефа дна. Ускорение расчета по У сравнению с классическим алгоритмом составляет не менее 10 при потере в точности около 1,5-2%.

Разработан нейросетевой алгоритм синтеза микрополосковой антенны с возбуждением коаксиальным зондом. Ускорение расчета по сравнению с алгоритмов реализованным в CST Microwave Studio составляет не менее 104 при потере в точности 5%. В результате время проектирования антенны данного типа можно снизить как минимум на порядок.

Разработан нейросетевой алгоритм решения задачи распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству. Точность алгоритма составляет от 1,5% до 4% в зависимости от категории размера тел, а скорость обработки — около 1 погонного метра транспортера в секунду.

По результатам диссертационного исследования опубликовано 15 научных работ, из них 5 опубликовано в рецензируемых ВАК журналах и 10 были включены в труды международных конференций.

Список литературы диссертационного исследования кандидат технических наук Казанцев, Павел Александрович, 2008 год

1. Галушкин А.И. Многослойные системы распознавания образов, М. МИЭМ, 1970 г.

2. Галушкин А.И. Синтез многослойных нейронных систем распознавания образов, М. Из-во «Энергия», 1974 г.

3. Галушкин А.И. Теория нейронных сетей, М., ИПРЖР, 2000 г.4. под ред. Галушкина А.И, Нейроматематика. Т.6 серии «Нейрокомпьютеры и их применение», М., Из-во «Радиотехника», 2002 г.

4. Галушкин А.И. Нейроматематика (проблемы развития), «Нейрокомпьютер» №1, 2003 г.

5. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае, М., Из-во «Горячая линия Телеком», 2004 г.

6. Галушкин А.И. Формирование начальных условий для ускорения настройки коэффициентов нейронных сетей в задачах оптимизации, «Нейрокомпьютер» №5, 2005 г.

7. Галушкин А. И. Нейрокомпьютеры. Серия «Нейрокомпьютеры и их применение» книга 3, Изд-во «Радиотехника», М 2002г.

8. K.Likharev, "Single-electron devices and Their Applications", Proc. of IEEE, vol. 87, 1999, pp. 606-632.

9. K.K. Likharev, "Correlated discrete transfer of single electron in ultrasmall tunnel junctions", IBM J. Res. Develop., vol. 32, №1, pp. 144-158, 1988.

10. Simon Foiling, Ozgur Turel, Konstantin Likharev, "Single-Electron Latching Switches as Nanoscale Synapses". Proc. IJCNN'01, 216-221

11. Галушкин А.И., Кирсанов Д.В., Цифровые нейрочипы, Зарубежная ра-диолектроника № 1, 1999 г.;

12. ХЪ.под ред. Галушкина А.И., Нейронные сети: обучение, организация и применение, Серия «Нейрокомпьютеры и их применение» Книга 4, Издательство «Радиотехника», М, 2001 г.;

13. Галушкин А.И., Сфера применения нейрокомпьютеров расширяется, Нейрокомпьютер №1, 2001 г. 60-70;

14. Галушкин A.PL, Сфера применения нейрокомпьютеров расширяется, Приложение к журналу «Информационные технологии» №10, 2001 г.;

15. Galushkin A.I., Problem of Neural Networks Theory in Their perspective, Int. Conf. On Neural Information Processing Shanghai 2001, ICONIP'Ol;

16. Розенблатт Ф, Принципы нейродинамики. — M., Мир, 1964.

17. J own D.Owens, David Luebke, Naga Govindaraju, Mark Harris, Jens Kruger, Aaron E. Lefohn, Timothy J. Purcell. A survey of General-Purpose Computation on Graphics Hardware. Eurographics 2005,State of the Art Reports , August 2005, pp.21-51.

18. JANSEN Т., VONRYMON-LIPINSKI В., HANSSENN., KEEVE E.\ Fourier volume rendering on the GPU using a Split-Stream-FFT. //Proceedings of Vision, Modeling,and Visualization (Nov. 2004), pp. 395-403.

19. PURCELL Т. J, BUCK I., MARK W. R., HANRAHAN P.: Ray tracing on programmable graphics hardware.// ACM Transactions on Graphics 21, 3 (July 2002), 703-712.

20. BOHN C. A.: Kohonen feature mapping through graphics hardware.// Proceedings of the Joint Conference on Information Sciences (1998), vol. II, pp. 64-67.

21. GPU-based multi-layer perceptron as efficient method for approximation complex light models in per-vertex lighting. // http://stud.ics.p.lodz.pl/~keyei/lab/atmoseng/index.html.

22. Kyoung-Su Oh, Keechul Jung :GPU implementation of neural networks. // Pattern Recognition 37 (2004) 1311 1314 www.elsevier.com/locate/patcog.

23. NVIDIA GeForce 7900 GT PCI-E 256MB DDR3 (450/1320 MHz). http://www.ixbt.com/video/itogi-video/0306/itogi-video-gf7900gt.html.

24. NVIDIA GeForce 7900 GTX PCI-E 512MB DDR3 (650/1600 MHz). http://www.ixbt.com/video/itogi-video/0306/itogi-video-gf7900gtx-512.html.33. 3Dlabs, New Wildcat Realizm Graphics Technology, www.3dlabs.com,2004.

25. William R. Mark. R. Steven Glanville, Kurt Akeley, Mark Kilgard (The University of Texas at Austin. NVIDIA Corporation): Cg: A system for programming graphics hardware in a C-like language.

26. Mccormick P. S., Inman J., Ahrens J. P., Hansen C., Roth G.: Scout: A hardware-accelerated system for quantitatively driven visualization and analysis.IEEE Visualization 2004 (Oct. 2004), pp. 171-178.

27. LEFOHN A. E., KNISS J., STRZODKA R., SENGUPTA S., OWENS J. D.: Glift:Generic, efficient, random-access GPU data structures.//ACM Transactions on Graphics(2005).

28. LEFOHN A., KNISS J., OWENS J.: Implementing efficient parallel data structures on GPUs. GPU Gems 2, Pharr M., (Ed.).AddisonWesley, Mar.2005, ch. 33, pp. 521-545.

29. BUCK I, FOLEY Т., HORN D., SUGERMAN J., FATAHALIAN K, HOUSTON M., HANRAHAN P.: Brook for GPUs: Stream computing on graphics hardware.// ACMTransactions on Graphics 23, 3 (Aug. 2004), 777— 786.

30. PURCELL T. J., BUCK I., MARK W. R., HANRAHAN P.: Ray tracing on programmable graphics hardware.// ACM Transactions on Graphics 21, 3 (July 2002), 703-712.

31. Коммуникационные библиотеки -http://www.parallel.ru/tech/tech dev/ifaces.html.

32. Технология параллельного программирования MPI — http://parallel.ru/tech/tech dev/mpi.html.

33. Под ред. Бреховских JI.M. , Акустика океана. / М.: Наука, 1974.43 .Бреховских JI.M., Лысанов Ю.П. Теоретические основы акустики океана. Гидрометеоиздат, Ленинград, 1982.

34. H.J. DELGADO, М.Н. THURSBY, F.M. НАМ, A Novel Neural Network for the Synthesis of Antennas and Microwave Devices // IEEE Trans. On Neural Networks, vol. 16, №6, Nov. 2005.

35. Галушкин А.И., Кирсанов Д.В., «Заказной каскадируемый нейрочип», Нейрокомпьютер, 2, 1992.

36. Галушкин А.И., Кирсанов Д.В. и др., «Разработка цифрового универсального каскадируемого нейрочипа», Отчет по НИР, НЦН РАН, 1993, Москва.41 .Реализация нейронных сетей на ПЛИС Xilinx. Воронеж: СКАН Инжиниринг Телеком. 2000. 32 стр.

37. А.В. Алюшин, М.И. Шулепко, Исследование технологии проектирования на ПЛИС, 2-ой Этап НИР 90-3-730, 1991, Москва

38. Choi Н., Burleson W.P., Phatak D.S. Fixed-Point Roundoff Error Analysis of Large Feedforward Neural Networks. //Proceedings of 1993 IEEE50.www.xilinx.com. The programmable logic data book, 2002

39. L.M. Reyneri, "Implementation Issues of Neuro-Fuzzy Hardware: Going Towards HW/SW Design", IEEE Transactions on Neural Networks, Vol. 14, №1, Janyary 2003, pp. 176-194.

40. Галушкин А.И., Кирсанов Д.В., Цифровые нейрочипы (специализированные цифровые БИС для нейрокомпьютеров)// Зарубежная радиоэлектроника 1999 №1, стр. 17-37.

41. П.А. Казанцев. О нейронных сетях на базе одноэлектронных туннельных устройств. Труды XLV научной конференции МФТИ, 2002 г.

42. П.А.Казанцев, А.И. Галушкин, Г.П. Остапенко. Реализация фрагмента нейронной сети на ПЛИС Xilinx с возможностью изменения весов и функции активации в реальном времени, Труды 6-ой Международной научно-технической конференции DSPA-2004, Москва.

43. Казанцев П.А., Интегрированный контур обучения, как средство повышения производительности и функциональности цифрового нейросетевого устройства, Труды 6-ой Международной научно-технической конференции DSPA-2004, Москва.

44. Галушкин A.M., Казанцев П.А., Остапенко Г.П., Исследования с целью создания супернейрокомпыотеров, включая системное и прикладное программное обеспечение, отчет по НИР по гранту № 03-07 90159, Москва 2005г.

45. Казанцев П.А. и др., Разработка системы нейроуправления чашевыми окомкователями. Отчет по НИР/ Научный центр нейрокомпьютеров. — М, 2004.

46. Остапенко Г.П., Казанцев П.А., Аппаратная реализация нейрокомпьютеров в России, Юбилейный выпуск «Нейрокомпьютерыи их применение», №1, Москва, ИПРЖР, 2005г.,

47. A.I. Galushkin, S.V. Korobkova, P.A. Kazantsev, Neurocomathematics: Development tendencies, Applied and Computational Mathematics v.2, №1, 2003r.

48. Казанцев П.А., Коробкова С.В., Лодягин A.M., Распознавание гранулометрического состава потока округлых тел по огибающей поверхности нейросетевым методом, Нейросетевые технологии и их применение («НСТиП-2005»), г. Краматорск, 2005.

49. Galushkin A.I., Kazantsev P.A., Korobkova S.V., Lodyagin A.M., Panteleev S.V., Neural Network Recognition of Spherical Bodies Set Grain-Size Distribution Using Envelope of Surface, Proceedings of IEEE WCCI'2006.

50. Казанцев П.А., Нейросетевой синтез микрополосковой антенны с возбуждением коаксиальным зондом // Труды 9-ой Международной конференции DSPA'07, стр. 537-539, Москва, 2007.

51. Казанцев П.А., Определение глубины источника в морском пространстве по гидроакустическим параметрам среды с помощью нейронных сетей // Труды 9-ой Международной конференции DSPA'07, стр. 543546, Москва, 2007.

52. Х.Казанцев П.А., Скрибцов П.В., «Нейроматематика» открытый пакет для решения сложных прикладных математических задач с использованием нейросетевых алгоритмов // Труды 9-ой Международной конференции DSPA'07, стр. 522-527, Москва, 2007.

53. Казанцев П.А., Нейрокомпьютеры на базе программируемых логических интегральных схем // Нейрокомпьютеры: разработка и применение, Издательство «Радиотехника», №8, стр. 73-84, Москва, 2007.

54. Казанг\ев П.А., Построение моделей микрополосковых антенн с помощью нейронных сетей прямого распространения // Нейрокомпьютеры: разработка и применение, Издательство «Радиотехника», №9, на CD, Москва, 2007.

55. Галушкин А.И., Казанцев П.А., Козлов КВ., Лодягин A.M., В.Ф. Лось, Нейросетевой синтез микрополосковой антенны, возбуждаемой коаксиальным зондом // Издательство «Радиотехника», Журнал «Антенны», №9, 2007.