Модели, алгоритмы и реализация нейронных сетей в многопроцессорных и распределенных вычислительных средах тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Плотникова, Наталья Павловна

• Плотникова, Наталья Павловна
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Плотникова, Наталья Павловна

Оглавление

Введение

1 Искусственные нейронные сети и массивно-параллельные вычисления

1.1 Современное состояние науки в области исследования искусственных нейронных сетей и массивно-параллельных вычислений

1.2 Анализ имеющихся средств моделирования искусственных нейронных сетей

1.3 Модель акторов

1.4 Язык программирования Erlang и фреймворк ОТР

1.5 Выводы по первой главе

2 Асинхронная распределенная модель многослойной нейронной сети

2.1 Обобщенная многоуровневая модель многослойной нейронной сети

2.2 Обоснование выбора алгоритма «упругого» обратного распространения ошибки (RPROP)

2.3 Асинхронная распределенная модель многослойной нейронной сети (алгоритм обучения RPROP)

2.4 Асинхронная распределенная модель многослойной нейронной сети с диспетчеризацией (алгоритм обучения RPROP)

2.5 Применение метода гравитационного поиска для обучения многослойного персептрона

2.6 Асинхронная распределенная модель многослойной нейронной сети (алгоритм обучения на основе метода гравитационного поиска)

2.7 Архитектура программной системы моделирования искусственных нейронных сетей

2.8 Выводы по второй главе

3 Тестирование разработанной системы моделирования искусственных нейронных сетей

3.1 Условия, средства и критерии тестирования

3.2 Результаты исследования зависимости среднего времени обучения от объема обучающей выборки

3.3 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети (алгоритм обучения ЯРШР)

3.4 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети с диспетчеризацией (алгоритм обучения КРЯОР)

3.5 Сравнение результатов тестирования моделей с диспетчеризацией и без диспетчеризации

3.6 Результаты исследование зависимости среднего времени обучения от количества наборов весовых коэффициентов в алгоритме гравитационного поиска

3.7 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети (алгоритм гравитационного поиска)

3.8 Сравнение результатов тестирования моделей без диспетчеризации для алгоритмов КРЯОР и гравитационного поиска

3.9 Выводы по третьей главе

4 Применение разработанной системы для решения задачи проектирования композиционных материалов

4.1 Постановка задачи проектирования композиционных материалов

4.2 Архитектура нейронных сетей, используемых для решения задач проектирования композиционных материалов

4.3 Результаты применения разработанной системы для решения задачи проектирования композиционных материалов

4.4 Выводы по четвертой главе

Заключение

Список принятых сокращений

Словарь терминов

Список литературы

Приложения

А Акт о внедрении результатов исследования на ООО «Завод

герметизирующих материалов», г. Дзержинск

Введение диссертации (часть автореферата) на тему «Модели, алгоритмы и реализация нейронных сетей в многопроцессорных и распределенных вычислительных средах»

Введение

Актуальность темы. В индустрии для обеспечения заданных свойств композиционных материалов, зависящих от состава сырья и параметров технологического процесса, в настоящее время широко применяются математические методы на основе нейросетевых технологий, так как для этого случая не существует тривиально программируемого алгоритма принятия решений. Хорошо зарекомендовавшим себя инструментом для решения данной задачи является многослойный персептрон. В процессе проектирования композитов постоянно растет объем данных для обучения многослойного персептрона. Процедура дополнительного обучения с использованием только лишь новых данных без наращивания обучающей выборки приводит к снижению точности результирующих вычислений. Единственный способ поддержания сети в актуальном для решения рассматриваемой задачи состоянии - циклическое обучение, которое приводит к значительному увеличению временных затрат. Ускорение процессов обучения и функционирования многослойного персептрона осуществляется посредством использования массивно-параллельных вычислительных систем.

Существует несколько подходов к распараллеливанию работы многослойного персептрона. Данный вопрос рассматривался в российских и зарубежных исследованиях (В. Г. Царегородцев, М. С. Герасименко, С. Д. Ионов, А. А. Краснощёкое, А. В. Калинин, О. БЬег) [14, 28-30, 42, 71, 128, 132]. Все они исходят из того, что наиболее ресурсоемким является не столько процесс функционирования сети, сколько процесс ее обучения. Основным подходом, используемым в исследованиях, является распараллеливание на уровне обучающей выборки, которая разбивается на несколько блоков. Согласно другому подходу элементарные вычислительные элементы сети (нейроны) организуются в группы. Шаги алгоритма обучения выполняются для каждой группы нейронов на отдельном вычислительном узле. И, наконец, существует подход, который

сводится к эффективному распараллеливанию матричных операций в процессе обучения сети.

Реализация описанных подходов в современных системах моделирования имеет ряд недостатков. В частности, отсутствие обобщенной концепции массивно-параллельных вычислений в многопроцессорных и распределенных вычислительных средах, отсутствие эффективных распределенных алгоритмов обучения [129].

Многообещающим направлением исследований в области массивно-параллельных вычислений является применение асинхронной обработки данных. Данный подход позволяет максимально использовать вычислительные ресурсы, избегая затрат на синхронизацию между независимыми частями алгоритма. Ранее этот подход не применялся в процессе обучения многослойного персептрона из-за отсутствия адекватной асинхронной нейросетевой модели.

В области обучения искусственных нейронных сетей перспективным является применение алгоритмов обучения на базе методов глобальной оптимизации. Подобные алгоритмы содержат меньшее количество синхронных операций [46, 60].

Постоянное обучение нейронной сети на новых данных требует повышенной отказоустойчивости, поскольку постоянный контроль работоспособности сети приводит к увеличению времени работы над задачей, а также требует более высокой квалификации специалистов. Повысить отказоустойчивость можно посредством применения специализированных средств разработки. Однако в настоящее время не существует разработок по искусственным нейронным сетям, использующих подобные возможности и достигающих требуемого уровня отказоустойчивости.

Таким образом, актуальной научной задачей является разработка асинхронной модели многослойной нейронной сети и основанной на ней отказоустойчивой системы моделирования искусственных нейронных сетей, позволяющей организовывать обучение и функционирование нейронной сети в любых многопроцессорных и распределенных вычислительных средах без

дополнительных затрат на разработку модулей массивно-параллельных вычислений. Кроме того, актуальной является задача разработки асинхронного распределенного алгоритма обучения, позволяющего добиться максимально возможной минимизации ошибки нейронной сети и позволяющего организовать распределенные вычисления для как можно большего числа шагов.

Целью диссертационной работы является разработка отказоустойчивой системы моделирования искусственных нейронных сетей, отличительной особенностью которой является возможность развертывания на любых многопроцессорных и распределенных ресурсах. Алгоритмы обучения и функционирования нейронной сети, реализованные в рамках системы, должны удовлетворять требованиям наискорейшей минимизации ошибки сети и максимизации количества шагов алгоритма, подлежащих выполнению в распределенной среде. Система должна обеспечить решение ряда практических задач в области технологии производства композиционных материалов, в частности, для строительной сферы.

Для достижения поставленных целей были решены следующие задачи:

1. Разработка асинхронной обобщенной модели искусственной нейронной сети, в которой общие и специальные функциональные блоки распределены между различными уровнями модели.

2. Разработка алгоритма взаимодействия уровней обобщенной модели искусственной нейронной сети, включающего частичную синхронизацию асинхронных операций.

3. Разработка асинхронного распределенного алгоритма обучения многослойной нейронной сети, основанного на методе глобальной оптимизации.

4. Выбор и обоснование специализированного средства разработки, позволяющего реализовать отказоустойчивую систему на базе разработанных обобщенной модели и алгоритмов.

5. Разработка на базе платформы Ег1ап^ОТР отказоустойчивой программной системы, в возможности которой входит проектирование произвольной многослойной нейронной сети для любых многопроцессорных и

распределенных вычислительных сред.

6. Определение параметров производительности разработанной системы и точности выдаваемых ею результатов вычислений.

7. Апробация системы, применение ее для решения задачи проектирования композиционных материалов.

Объектом исследования диссертационной работы являются системы моделирования многослойных искусственных нейронных сетей.

Предметом исследования являются математические модели, а также технические и архитектурные решения для построения эффективной системы моделирования многослойных нейронных сетей.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории оптимизации, математической статистики, теории планирования эксперимента, теории искусственных нейронных сетей, функционального и массивно-параллельного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработана обобщенная многоуровневая модель искусственной нейронной сети, отличающаяся распределением общих и специальных функциональных блоков функционирования нейронной сети между различными уровнями модели и использованием на этих уровнях асинхронных операций.

2. Разработан алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, особенностью которого является использование частичной синхронизации асинхронных операций.

3. Разработан алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации, отличающийся распределением вычислительных операций по функциональным блокам и введением асинхронного взаимодействия между этими блоками.

4. Предложена программная архитектура нейронной сети, отличающаяся максимальным использованием инструментов обеспечения отказоустойчивости платформы Ег1ап^ОТР.

Практическая ценность работы заключается в том, что предложенные

модель и алгоритм реализованы в виде программной системы, позволяющей проводить исследования многослойной нейронной сети, а также решать практические задачи, в частности задачу проектирования композиционных материалов.

Достоверность и обоснованность результатов. Обоснованность применения асинхронной распределенной модели и предложенного алгоритма обучения многослойной нейронной сети подтверждается корректностью использования математического аппарата. Достоверность результатов исследования подтверждается хорошим соответствием результатов вычислительных экспериментов, проведенных в процессе исследования, и результатов лабораторных экспериментов на заводе-изготовителе, на основе которых проводилась проверка корректности предложенных решений.

Соответствие паспорту специальности. Работа соответствует паспорту специальности ВАК 05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях), пункты 4, 5, 10 и 13.

На защиту выносятся:

1. Асинхронная распределенная обобщенная многоуровневая модель искусственной нейронной сети.

2. Алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, включающий использование частичной синхронизации асинхронных операций.

3. Асинхронный распределенный алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации.

4. Отказоустойчивая распределенная программная система моделирования искусственных нейронных сетей, созданная на базе платформы Ег1ап§/ОТР.

Внедрение результатов работы и связь с научными программами.

Диссертационные исследования проводились на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Мордовский государственный университет» (МГУ) при выполнении государственного контракта с Министерством образования и науки Российской

Федерации от 11 октября 2011 г. №14.527.12.0007, шифр «2011-2.7-527-026-006», по теме «Разработка и организация производства вибро-шумопоглощающих материалов нового поколения для авто-, авиа-, судо-, вагоно-, машиностроения и строительства», при выполнении НИР «Совершенствование методов и алгоритмов резервного копирования и восстановления данных» № 01201277361, а также при выполнении НИОКР «Универсализация, совершенствование и тестирование автоматизированной системы проектирования композиционных материалов» (программа «УМНИК» Фонда содействия развитию малых форм предприятий в научно-технической сфере, проект № 9600).

Результаты работы используются на ООО «Завод герметизирующих материалов», г. Дзержинск, что подтверждено актом о внедрении.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих конференциях: Ежегодная научная конференция «Огаревские чтения», Саранск, 2010 г., 2011г., 2012 г., 2013 г.; III Международная научная конференция «Проблемы управления, обработки и передачи информации (АТМ-2013)», Саратов, 2013 г.; IX Международная научно-практическая конференция «Наука в информационном пространстве», Киев, 2013 г.; Международная конференция «CISSE», Bridgeport (CT, USA), University of Bridgeport, 2013 r.

Публикации. По теме диссертации опубликовано 13 печатных работ, в том числе 3 в журналах, рекомендованных ВАК, получено 1 свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Работа изложена на 137 страницах основного текста, включающего 62 рисунка, 11 таблиц, список литературных источников из 136 наименований, 2 страницы приложений.

Краткое содержание работы. Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, отражены научная новизна работы и практическая значимость, перечислены методы исследования, приведены положения, выносимые на защиту.

В первой главе проводится анализ результатов исследований в области высокопроизводительных вычислений применительно к искусственным нейронным сетям. Приводится сравнительная характеристика ряда существующих систем моделирования многослойных искусственных нейронных сетей, таких как MATLAB Neural Networks Toolbox, Emergent Neural Network Simulation System, NeuroSolutions и другие). Обосновывается применение платформы Erlang/OTP, на базе которой проводятся дальнейшие исследования.

Во второй главе предлагается асинхронная распределенная модель многослойного персептрона и архитектура системы моделирования многослойных искусственных нейронных сетей, построенная на базе концепций модели акторов. Подробно описывается структура предложенных асинхронных распределенных моделей, а также разработанный асинхронный распределенный алгоритм обучения многослойного персептрона, основанный на методе глобальной оптимизации - гравитационном поиске.

Третья глава посвящена анализу результатов тестирования реализованных моделей в многопроцессорных и распределенных средах четырех видов:

1. Система с общей памятью на базе высокопроизводительного вычислительного кластера.

2. Распределенная система на базе высокопроизводительного вычислительного кластера.

3. Распределенная система на базе локальной вычислительной сети.

4. Гибридная система на базе локальной вычислительной сети.

В виде графиков приводятся результаты вычислительных экспериментов для указанных систем и разработанных моделей и алгоритмов. Проводится сравнительный анализ производительности программных систем, реализующих предложенные модели и алгоритмы.

В четвертой главе описывается применение разработанной системы моделирования искусственных нейронных сетей для решения задачи проектирования композиционных материалов.

В заключении формулируются основные результаты диссертационной

работы.

Приложение содержит акт о внедрении результатов диссертационного исследования на ООО «Завод герметизирующих материалов», г. Дзержинск.

Автор благодарит Федосина С. А. и Теслю В. В. за руководство и помощь в процессе написания диссертационной работы.

Глава 1. Искусственные нейронные сети и массивно-параллельные

вычисления

1.1 Современное состояние науки в области исследования искусственных нейронных сетей

К настоящему времени накопилось достаточно большое количество разнообразных исследований, тем или иным образом касающихся искусственных нейронных сетей. Условно эти исследования можно разделить на две группы: работы, объектами исследований которых являются сами нейронные сети; работы, рассматривающие возможность применения нейронных сетей для решения определенных классов задач.

Исследования первой группы включают анализ архитектуры и структуры искусственных нейронных сетей; анализ принципов и алгоритмов обучения; исследование и разработку математических интерпретаций процессов, протекающих в ИНС во время обучения и функционирования; исследование возможностей применения современных инженерных решений для совершенствования работы ИНС.

Исследования второй группы касаются непосредственно прикладного аспекта ИНС. Математическое моделирование биологических нейронов находит применение в различных сферах деятельности: от прогнозирования финансовых показателей и исследования физических явлений до реализации принятия решений в медицинских экспертных системах.

На современном этапе решение основной части практических задач с помощью искусственных нейронных сетей обеспечивается использованием программного обеспечения на основе методов нейрологики. Это в первую очередь связано с тем, что ИНС - относительно новая область, а создание программного обеспечения - достаточно гибкий процесс, что позволяет тестировать и внедрять с малыми затратами некоторые экспериментальные методы.

В большей части исследований искусственная нейронная сеть

представляется как совокупность большого числа сравнительно простых элементов, топология соединений которых зависит от типа сети. Практически все известные подходы к проектированию нейронных сетей связаны в основном с выбором и анализом некоторых частных структур однородных сетей на формальных нейронах с известными свойствами (многослойный персептрон, сети Хопфилда, Хемминга, Гроссберга, Кохоннена) и некоторых описанных математически режимов их работы [11-13, 23, 31, 36, 105].

Остановимся подробнее на сетях типа «Многослойный персептрон». С точки зрения архитектуры эта сеть представляет собой набор групп нейронов -слоев. Слои связаны между собой по принципу «все со всеми». То есть для двух слоев 1 и 2 все нейроны слоя 1 соединены взвешенными связями со всеми нейронами слоя 2. Сети данного вида позволяют решать широкий круг задач: аппроксимация, кластеризация, распознавание образов, архивирование данных, прогнозирование и другие. В дальнейшем мы будем рассматривать сети именно этого типа[40, 46, 59, 65].

Обучение многослойного персептрона осуществляется на базе обучающего множества - заранее определенного набора пар {Вход, Выход}. Суть обучения сводится к определению весовых коэффициентов связей между нейронами, таких, что ошибка вычислений сети минимальна. Алгоритмы обучения делятся на два больших класса - методы локальной оптимизации и методы глобальной оптимизации. Методы локальной оптимизации охватывают широкий круг градиентных алгоритмов, в основе которых лежит метод обратного распространения ошибки, например, алгоритм градиентного спуска, алгоритм Левенберга-Марквардта. Методы глобальной оптимизации - это в основном стохастические алгоритмы, такие как алгоритм имитации отжига, генетический алгоритм [18, 46, 58, 70].

Для решения некоторых задач проектируются искусственные нейронные сети, достигающие огромных размеров - количество нейронов в них измеряется тысячами, а то и миллионами. Задачи такого рода возникли в середине прошлого века в связи с развитием атомной энергетики, авиастроения, ракетно-космических

технологий и ряда других областей науки и техники.

Кроме того, имеется большое количество важнейших практических задач, связанных с вычислительными экспериментами, решение которых требует использования огромных компьютерных мощностей. К таким задачам относятся, например, задачи точных долгосрочных прогнозов климатических изменений, геологических катаклизмов - землетрясений, извержений вулканов, столкновений тектонических плит, прогнозов цунами и разрушительных ураганов [16, 61, 91, 94, 136].

К сожалению, технологические возможности увеличения быстродействия процессоров ограничены по объективным причинам, связанным с физическими основами работы процессоров.

Вследствие указанных выше причин для повышения производительности приходится идти по пути создания параллельных вычислительных систем, то есть систем, в которых предусмотрена одновременная реализация ряда вычислительных процессов, связанных с решением одной задачи, на разных процессорных элементах. На современном этапе развития вычислительной техники такой способ является одним из основных способов ускорения вычислений и достижения требуемой производительности [2, 9, 6, 10].

Существует два основных варианта организации систем параллельных вычислений: с общей памятью и с разделяемой памятью [32].

Первый подход обеспечивает однородный доступ к памяти - UMA (uniform memory access) - и служит основой для построения симметричных мультипроцессоров - SMP (symmetric multiprocessor) [4, 27, 122, 130].

Представителями систем второго класса являются мультикомпьютеры -многопроцессорные системы с распределенной памятью NORMA (no-remote memory access). Принципиальная особенность мультикомпьютеров - каждый процессор системы может использовать только свою локальную память. При этом для доступа к данным, располагаемым на других процессорах, необходимо явно выполнить операции передачи сообщений. Данный подход используется при построении двух важных типов многопроцессорных вычислительных систем -

массивно-параллельных систем МРР (massively parallel processor) и кластеров [39, 45]. Это системы с распределенной памятью и с произвольной коммуникационной системой. При этом, как правило, каждый из процессорных элементов МРР системы является универсальным процессором, действующим по своей собственной программе.

Применительно к многослойному персептрону существует несколько подходов по распараллеливанию работы сети. Все они исходят из того, что наиболее ресурсоемким является не столько процесс функционирования сети, сколько процесс ее обучения.

Основным и наиболее популярным является распараллеливание на уровне обучающей выборки. При использовании данного подхода вычислительные узлы получают «порции» пар обучающей выборки и выполняют операции в соответствии с алгоритмом обучения только для локальной группы данных.

Согласно другому подходу элементарные вычислительные элементы сети (нейроны) организуются в группы. Шаги алгоритма обучения выполняются для каждой группы нейронов на отдельном вычислительном узле. Считается, что такой подход имеет преимущества перед распределением по вычислительным узлам отдельных нейронов, поскольку вычислительная нагрузка элементарного нейрона мала по сравнению с затратами на обмен сообщениями при синхронизации вычислений.

Следующий подход сводится к эффективному распараллеливанию ресурсоемких математических операций в процессе обучения сети. А именно, практически все алгоритмы обучения многослойного персептрона предполагают наличие больших объемов матричных вычислений. При построении чисто математической модели процесса обучения персептрона применяются такие алгоритмы, как алгоритм Фокса и алгоритм Кэннона.

И, наконец, существует вариант распараллеливания, основанный на понятии коллективов нейронных сетей. Данный подход предполагает повышение эффективности процесса непосредственного функционирования нейронной сети. При этом решаемая задача одновременно запускается на нескольких экземплярах

нейронных сетей. Каждый экземпляр запускается на своем вычислительном узле. После завершения работы всех экземпляров выбирается наилучший полученный результат [38].

В следующем параграфе остановимся подробнее на наиболее распространенных системах моделирования ИНС.

1.2 Анализ систем моделирования искусственных нейронных сетей

Популярность математического аппарата искусственных нейронных сетей привела к созданию огромного количества нейроимитаторов и программных библиотек для моделирования процессов обучения и функционирования ИНС.

STATISTICA Automated Neural Networks - богатая, современная, мощная и чрезвычайно быстрая среда анализа нейросетевых моделей. STATISTICA Automated Neural Networks поддерживает современные, оптимизированные и мощные алгоритмы обучения сети (включая методы сопряженных градиентов, алгоритм Левенберга-Марквардта, BFGS, алгоритм Кохонена); полный контроль над всеми параметрами, влияющими на качество сети, такими как функции активации и ошибок, сложность сети; выбор наиболее популярных сетевых архитектур, включая многослойные персептроны; опциональную возможность генерации исходного кода на языках С, С++, С#, Java, PMML (Predictive Model Markup Language), который может быть легко интегрирован во внешнюю среду для создания собственных приложений. Однако данная среда моделирования не ориентирована на выполнение вычислений в распределенной среде [43, 55].

Emergent Neural Network Simulation System — это комплексная среда моделирования для создания сложных моделей мозга и познавательных процессов с помощью аппарата нейронных сетей. Emergent включает в себя полноценное графическое окружение для исследования искусственных нейронных сетей, а также различные инструменты, помогающие понять, как протекает процесс работы сети во время моделирования. Данный программный продукт поддерживает алгоритмы обратного распространения ошибки (простейшие

варианты - градиентные с небольшой скоростью сходимости), самоорганизующиеся карты Кохонена, обобщенный алгоритм Хебба, алгоритм LEABRA (Local, Error-driven and Associative, Biologically Realistic Algorithm) [48].

Система Emergent написана на С++. Разработчики широко используют объектно-ориентированное программирование при реализации основных функциональных сущностей системы. Однако используемые сущности являются результатом анализа и синтеза исходных элементарных функциональных блоков, которые включает математическая модель искусственных нейронных сетей. В частности, выделяются отдельно такие сущности, как слой и система связей, но не рассматривается такая сущность, как нейрон.

В последних версиях системы введена поддержка работы симулятора на кластерах на базе стандарта MPI [118, 119], а также вычислений на многоядерных системах с общей памятью. При этом MPI используется в основном для распределенных вычислений математических величин больших размерностей, например, частных производных функции ошибки в пределах слоя.

Neural Network Toolbox — пакет, входящий в состав комплексной системы MATL AB, разработанной американской компанией The Math Works. Neural Network Toolbox позволяет проектировать, обучать, визуализировать и моделировать различные виды ИНС (от персептрона до самоорганизующихся карт). Данный пакет может быть применен для предсказания временных рядов, распознавания образов, кластеризации, моделирования и управления динамическими системами [51, 96].

Все функции пакета реализованы на языке MATL AB. При реализации функций, отвечающих за моделирование и обучение ИНС, акцент сделан на математическую составляющую логической модели ИНС. Как результат, все функциональные возможности нейронных сетей реализованы в виде матричных вычислений.

Список литературы диссертационного исследования кандидат наук Плотникова, Наталья Павловна, 2014 год

Список литературы

1. Ara, Г., Мейсон, И., Смит, С., Талкотт, К. Основания для вычислений акторов / Г. Ата, И. Мейсон, С. Смит, К. Талкотт. Journal of Functional Programming, 1993.

2. Антонов, А. С. Введение в параллельные вычисления. Методическое пособие / А. С. Антонов. - М.: Изд-во МГУ, 2002. - 70с.

3. Блейд-сервер. [Электронный ресурс]. - Режим доступа: http://ru.wikipedia.org/wiki/Блeйд-cepвep.

4. Букатов, А. А., Дацюк, В. Н., Жегуло, А. И. Программирование многопроцессорных вычислительных систем / А. А. Букатов, В. Н. Дацюк, А. И. Жегуло. - Ростов-на-Дону: Изд-во ООО «ЦВВР», 2003. - 208с.

5. Буцев, А. В., Первозванский, А. А. Локальная аппроксимация на искусственных нейросетях / А. В. Буцев // Автоматика и Телемеханика 1995. № 9. С. 127-136.

6. Вальковский, В. А., Котов, В. Е., Марчук, А. Г., Миренков, Н. Н. Элементы параллельного программирования / В. А. Вальковский, В. Е. Котов, А. Г. Марчук, Н. Н. Миренков. - М.: Радио и связь, 1983. - 240с.

7. Вапник, В. Н. Восстановление зависимостей по эмпирическим данным / В. Н. Вапник. - М.: Наука, 1980, 520с.

8. Васильев, Д. Знакомьтесь, Erlang / Д. Васильев // Системный администратор. - 2009. - № 8.

9. Воеводин, В. В. Математические модели и методы в параллельных процессах / В. В. Воеводин. - М.: Наука, 1986, 296с.

10. Воеводин, В. В., Воеводин, Вл. В. Параллельные вычисления / В. В. Воеводин, Вл. В. Воеводин. - СПб.ГУ, 1997. - 308с.

11. Воронцов, К. В., Лекции по искусственным нейронным сетям // К. В. Воронцов. - Воронеж, 2007. - 29 с.

12. Галушкин, А. И. Нейронные сети. Основы теории / А. И. Галушкин. -М.: Горячая линия - Телеком, 2012. - 496с.

13. Галушкин, А. И. Нейронные сети: история развития: учеб. Пособие для вузов / А. И. Галушкин, Я. 3. Цыпкин. - М.: ИПРЖ, 2001. - 839с.

14. Герасименко, М. С. Вычисление искусственных нейронных сетей на вычислительных кластерах или ЛВС / М. С. Герасименко / Вестник Воронежского государственного университета, Серия: Системный анализ и информационные технологии, № 1, 2010. - С. 120-125.

15. Глебов, А. Н. Параллельное программирование в функциональном стиле. - 2003 [Электронный ресурс]. - Режим доступа: http://www.softcraft.ru/parallel/ppfs.shtml.

16. Головко, В. А. Нейронные сети: обучение, организация и применение / В. А. Головко. - М.: ИПРЖР, 2001, 256с.

17. Горбань, А. Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А. Н. Горбань // Сибирский журнал вычислительной математики - 1998. - Т. 1, №1. - С. 12-24.

18. Горбань, А. Н. Обучение нейронных сетей / А. Н. Горбань. - М.: Параграф, 1990. - 160с.

19. Городняя, Л. В. Основы функционального программирования. Курс лекций / Л. В. Городняя. - М.: Интернет-университет информационных технологий, 2004. 280с.

20. Далхаймер, М. К. Запускаем Linux / M. К. Далхаймер. - М.: Символ-Плюс, 2008.-992 с.

21. Демиденко, Е. 3. Оптимизация и регрессия / Е. 3. Демиденко. - М.: Наука, 1989.-293с.

22. Дехтяренко, И. А. Декларативное программирование. - 2003 [Электронный ресурс]. - Режим доступа: http://www.softcrafl.ru/paradigm/dp/.

23. Дорогов, А. Ю. Быстрые нейронные сети / А. Ю. Дорогов. - СПб.: СПУ, 2002. - 80с.

24. Дрейпер, Н., Смит., Г, Прикладной регрессионный анализ. Множественная регрессия. - 3-е изд. - М.: «Диалектика» 2007. - С. 912.

25. Емельянов, А. И. Прогнозирование демпфирующих свойств композиционных материалов: Дис. ... канд. техн. наук. - Саранск, 2002. - 132 с.

26. Ерофеев, В. Т. Оптимизация содержания компонентов винилэфирных композитов / В. Т. Ерофеев, Е. В. Волгина, С. В. Казначеев, А. Д. Богатов, И. В. Ерыкалина // Региональная архитектура и строительство, №1, 2012. - С. 2231.

27. Зюбин, В. Е. Многоядерные процессоры и программирование / В. Е. Зюбин // Открытые системы. - 2005. №7-8. - С. 12-19.

28. Ионов, С. Д. Распределенная потоковая нейронная сеть / С. Д. Ионов // Современные проблемы математики: тез. 42-й Всеросс. молодежи, шк.-конф., 30 янв. - 6 февр. 2011 г. Екатеринбург: ИММ УрО РАН, 2011. С. 288-290.

29. Калинин, А. В. Математическое и программное обеспечение массивно-параллельных вычислений в распределенных системах на базе аппарата нейронных сетей: Дис. ... канд. техн. наук. - Воронеж, 2003. - 157с.

30. Калинин, А. В., Подвальный, С. Л. Технология нейросетевых распределенных вычислений / А. В. Калинин, С. Л. Подвальный. - Воронеж.: ВГУ, 2004.-121с.

31.Каллан, Р. Основные концепции нейронных сетей / Р. Каллан. - М.: Вильяме, 2001.-288с.

32. Классификация параллельных вычислительных систем. [Электронный ресурс]. - Режим доступа: http://ru.wikipedia.org/wiki/ Классификация параллельных вычислительных систем.

33. Королюк, В. С. Справочник по теории вероятностей и математической статистике / В. С. Королюк, Н. И. Портенко, А. В. Скротоход, А. Ф. Турбин. - М.: Наука, Главная редакция физико-математической литературы, 1985. - 640с.

34. Красовский, Г. И., Филаретов, Г. Ф. Планирование эксперимента / Г. И. Красовский, Г. Ф. Филаретов. - Минск: изд-во БГУ, 1982. - 302 с.

35. Крил, П. Функциональное программирование - друг параллелизма / П. Крил // Открытые системы. - 2010. - № 8.

36. Круглов, В. В. Нечеткая логика и искусственные нейронные сети // В. В. Круглов, М. И. Дли, Р. Ю. Голунов: Учеб. пособие. - М.: Физматлит, 2001. -224с.

37. Кузнецов, С. Д. Блеск и нищета легковесных процессов / С. Д. Кузнецов // Computerworld Россия. - 1996. №31.

38. Любченко, В. С. К проблеме создания модели параллельных вычислений / В. С. Любченко // Труды Третьей международной конференции «Параллельные вычисления и задачи управления» (РАСО'2006). Москва, 2-4 октября 2006г. Институт проблем управления им. В. А. Трапезникова РАН. - М.: Институт проблем управления им. В. А. Трапезникова РАН, 2006. - С. 1359-1374.

39. Массово-параллельная архитектура. [Электронный ресурс]. - Режим доступа: http.7/ш.wikipedia.org/wiki/Maccoвo-пapaллeльнaя_apxитeктypa.

40. Минский, М., Пейперт, С. Перцептроны / М. Минский, С. Пайперт. - М. Мир, 1971.-262с.

41. Модель акторов. [Электронный ресурс]. - Режим доступа: http://ru.wikipedia.org/wiki/Moдeль_aктopoв.

42. Нгуен, З.Ч. Распределенная платформа для параллельного обучения искусственных нейронных сетей DisANN / 3. Ч. Нгуен, А. А. Краснощекое // Программные продукты и системы. №3 - 2013. - С.99-104.

43. Нейронные сети. STATISTICA Neural Networks: Методология и технологии современного анализа данных / Под редакцией В.П. Боровикова. - 2-е изд., перераб. и доп. - М.: Горячая линия - Телеком, 2008. - 288с.

44. Немет, Э., Снайдер, Г., Хейн, Т., Уэйли, Б. Unix и Linux: руководство системного администратора. Как установить и настроить Unix и Linux / Э. Немет, Г. Снайдер, Т. Хейн, Б. Уэйли. -4-е изд. -М.: Вильяме, 2012. - 1312 с.

45. Немнюгин, С. А., Стесик, О. Л. Параллельное программирование для многопроцессорных вычислительных систем / С. А. Немнюгин, О. Л. Стесик. Серия «Мастер программ». - СПб.: БХВ-Петербург, 2002. - 400с.

46. Оссовский, С. Нейронные сети для обработки информации / Пер. с польского И. Д. Рудинского. - М.: Финансы и статистика, 2002. - 344с.

47. Официальный сайт CentOS [Электронный ресурс]. - Режим доступа: http://www.centos.org.

48. Официальный сайт Emergent Neural Network Simulation System [Электронный ресурс]. - Режим доступа: http://grey.colorado.edu/emergent/index.php.

49. Официальный сайт FANN [Электронный ресурс]. - Режим доступа: http://leenissen.dk/fann/wp.

50. Официальный сайт ЮМ [Электронный ресурс]. - Режим доступа: http://ibm.com.

51. Официальный сайт Math works [Электронный ресурс]. - Режим доступа: http://www.mathworks.com.

52. Официальный сайт Neurosolutions [Электронный ресурс]. - Режим доступа: http://www.neurosolutions.com.

53. Официальный сайт Oracle VirtualBox [Электронный ресурс]. - Режим доступа: http://www.virtualbox.org.

54. Официальный сайт PCSIM [Электронный ресурс]. - Режим доступа: http://www.lsm.tugraz.at/pcsim.

55. Официальный сайт STATISTIC A Automated Neural Networks -автоматизированные нейронные сети [Электронный ресурс]. - Режим доступа: http://www.statsoft.ru/products/STATISTICA_Neural__Networks

56. Официальный сайт VMWare [Электронный ресурс]. - Режим доступа: http:// www.vmware.com.

57. Официальный сайт Wolfram Mathematica [Электронный ресурс]. -Режим доступа: http://www.wolfram.com.

58. Поляк, Б. Т. Введение в оптимизацию / Б. Т. Поляк. М.: Наука, 1983. -

384с.

59. Розенблатт, Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга / Ф. Розенблатт. - М. Мир, 1965. - 480с.

60. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская и др. - М. Горячая линия - Телеком, 2004. - 452с.

61. Савочкин А. Е. Применение нейросетевого подхода при проектировании информационно-измерительных систем для определения степени повреждения технически сложных объектов / А. Е. Савочкин // Прикаспийский журнал: управление и высокие технологии - 2013. - №2. - С. 151-159.

62. Себер, Дж. Линейный регрессионный анализ / Дж. Себер. - М.: Мир, 1980.-456с.

63. Сидняев, Н. И. Введение в теорию планирования эксперимента: учеб. пособие / Н. И. Сидняев, Н. Т. Вилисова. - М.: изд-во МГТУ им. Н. Э. Баумана, 2011.-463с.

64. Стивене, У. P. UNIX: разработка сетевых приложений / У. Р. Стивене. -СПб.: Питер, 2003. - 1088с.

65. Тархов, Д. А. Нейронные сети. Модели и алгоритмы. Кн. 18 / Д. А. Тархов. - М.: Радиотехника, 2005. - 256 е.: ил.

66. Топорков, В. В. Модели распределенных вычислений / В. В. Топорков. -М.: ФИЗМАТЛИТ, 2004.

67. Фёрстер Э., Рёнц, Б. Методы корреляционного и регрессионного анализа / Э. Фёрстер, Б. Рёнц. - М.: Финансы и статистика, 1981. - 302 с.

68. Филд А., Харрисон, Д. Функциональное программирование / А. Филд, Д. Харрисон. - М.: Мир, 1993.-637 с.

69. Функциональное программирование. [Электронный ресурс]. - Режим доступа: Ьир://ш.ш1к1ресИа.ог§^1к1/Функциональное_программирование.

70. Хайкин, С. Нейронные сети: полный курс, 2-е издание. : Пер. с англ. -М. Издательский дом «Вильяме», 2006. - 1104 е.: ил. - Парал. тит. англ.

71. Царегородцев, В. Г. Перспективы распараллеливания программ нейросетевого анализа и обработки данных / В. Г. Царегородцев // Материалы III Всеросс. конф. «Математика, информатика, управление», Иркутск, 2004.

72. Чезарини, Ф., Томпсон, С. Программирование в Erlang / Ф. Чезарини, С. Томпсон. - М.: ДМК Пресс, 2012. - 488с.

73. Черкасов, В. Д. Композиции из неполярных каучуков для неотверждаемых герметиков / В. Д. Черкасов, Г. А. Савченкова, Т. А.

Артамонова, Ю. В. Юркин // Региональная архитектура и строительство, №2, 2012.-С. 12-17.

74. Черкасов, В. Д. Оптимизация полимерной смеси для неотверждаемых герметиков / В. Д. Черкасов, Г. А. Савченкова, Т. А. Артамонова, Ю. В. Юркин // Клеи. Герметики. Технологии, №3, 2011.-С. 13-17.

75. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 1. Стратегии выявления зависимостей между свойствами композиционных материалов и их составом /В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Материалы седьмой международной научно-технической конференции «Актуальные вопросы строительства». - Саранск: Изд-во Мордов. ун-та, 2008. - С. 254-256.

76. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 2. Выбор архитектуры и алгоритма обучения многослойной нейронной сети при решении различных задач / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник Волжского регионального отделения РААСН. -Н.Новгород, ННГАСУ, 2009. - Выпуск 12. - С. 128-139.

77. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 3. Определение оптимального количества экспериментов для обучения нейронной сети / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник Волжского регионального отделения РААСН. - Н.Новгород, ННГАСУ, 2009. -Выпуск 12.-С. 119-128.

78. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 4. Сравнение результатов работы нейронной сети и регрессионного анализа / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Материалы седьмой международной научно-технической конференции «Актуальные вопросы строительства». - Саранск: Изд-во Мордов. ун-та, 2008. - С. 279-291.

79. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 5. Применение нейронной сети для определения оптимального состава матрицы композиционного материала /В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Материалы седьмой международной научно-технической конференции «Актуальные вопросы строительства». - Саранск: Изд-во Мордов. ун-та, 2008.-С. 291-295.

80. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 6. Применение нейронной сети для прогнозирования свойств композиционных материалов /В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник Волжского регионального отделения РААСН. - Н.Новгород, ННГАСУ, 2009.-Выпуск 12.-С. 114-119.

81. Черкасов, В. Д. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 7. Применение нейронной сети для определения зависимости свойств пенообразователя от технологии его изготовления/В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник отделения архитектуры и строительных наук. - Москва-Орел: РААСН, АСИ ОрелГТУ, 2009. - Выпуск 13, Т.2.-С. 114-119.

82. Шалыто, А. А., Туккель, Н. И. Программирование с явным выделением состояний / А. А. Шалыто, Н. И. Туккель // Мир ПК. - 2001, №8. - С. 116-121.

83. Шалыто, А. А., Туккель, Н. И. Программирование с явным выделением состояний / А. А. Шалыто, Н. И. Туккель // Мир ПК. - 2001, №9. - С132-138.

84. Юркин, Ю. В. Прогнозирование демпфирующих свойств композиционных материалов: Дис. ... канд. техн. наук. - Саранск, 2002. - 132с.

85. Actor model. [Электронный ресурс]. - Режим доступа: http://en.wikipedia.org/wiki/Actor_model.

86. Agha, G. A. Actors: A model of concurrent computation in distributed systems, Cambridge, Massachusetts: MIT Press, 1986. - 190p.

87. Agha, G. Thati, P. An algebraic theory of actors and its application to a simple object-based language / G. Agha, P. Thati // Festschrift in Honor of Ole-Johan Dahl. - Lecture Notes in Computer Science, Vol. 2635, 2004. — 33p.

88. Armstrong, J. Making reliable distributed systems in the presence of sodware errors. Thesis. November, 2003. - 283 p.

89. Armstrong, J. Programming Erlang: Software for a Concurrent World, Pragmatic Bookshelf, 2007.

90. Armstrong, J. Virding, R., Wikstorm, C., Williams, M. Concurrent programming in Erlang, - Hertfordshire: Prentice Hall, 1996. - 385p.

91.Bose В. K., Neural network applications in power electronics and motor drives - An introduction and perspective / В. K. Bose // IEEE Trans. Ind. Electron. -2007.-vol. 54, no. l.-pp. 14-33.

92. Brown, M. Introduction to programming in Erlang, Part 1: The basics. - 2011. [Электронный ресурс]. - Режим доступа: http://www.ibm.com/developerworks/opensource/library/os-erlangl/index.html.

93. Brown, М. Introduction to programming in Erlang, Part 2: Use advanced features and functionality. - 2011. [Электронный ресурс]. - Режим доступа: http://www.ibm.com/developerworks/opensource/library/os-erlang2/index.html.

94. Chen, Т. P., Chen, H. Universal approximation to nonlinear operators by neural networks with arbitrary activation functions and its application to dynamical systems, IEEE Trans. Neural Netw., vol. 6, no. 4, pp. 911-917, Jul. 1995.

95. Clinger, W. D. Foundation of actor semantics. - Doctoral Dissertation. - MIT Artificial Intelligence Laboratory, 1981. - 177p.

96. Demuth, H., Beale, M., Hagan, M. Neural Network Toolbox™ User's Guide, 2000 - 907 c.

97. Erlang programming language [Электронный ресурс]. - Режим доступа: http ://www. erlang. org/.

98. Erlang. [Электронный ресурс]. - Режим доступа: http ://en. wikipedia. org/wiki/Erlang_(programming_language).

99. Erlang/OTP documentation. [Электронный ресурс]. - Режим доступа: http://www.erlang.org/doc/.

100. Functional programming. [Электронный ресурс]. - Режим доступа: http://en.wikipedia.org/wiki/Functional_programming.

101. Hagan, M. T., Menhaj, M. Training feedforward networks with the Marquardt algorithm, IEEE Trans. Neural Networks, vol. 5, no. 6, pp. 989-993, 1994.

102. Hébert, F. Learn you some Erlang for great good!: A Beginner's Guide / F. Hébert. - No Starch Press, 2013. - 624p.

103. Hewitt, C. Viewing control structures as patterns of message passing / С/ Hewitt//Jornal of Artificial Intelligence. - Vol.8, №3, 1997. - P. 323-364.

104. Hewitt, C., Bishop, P., Steiger, R. A. Universal modular actor formalism for artificial intelligence / C. Hewitt, P. Bishop, R. A. Steiger // International Joint Conference on Artificial Intelligence. - Stanford, California. 1973. - P.235-245.

105. Hopfield, J. J. Neural networks and physical systems with emergent collective computational abilities / J. J. Hopfield, Proceedings of National Academy of Sciences, vol. 79 no. 8, 1982. - pp. 2554-2558.

106. Hornik, K., Stinchcombe, M., White, H. Multilayer feedforward networks are universal approximators, Neural Netw., vol. 2, no. 5, pp. 359-366, 1989.

107. IBM BladeCenter HS22 Technical Introduction [Электронный ресурс]. -Режим доступа: http://www.redbooks.ibm.com/redpapers/pdfs/redp4538.pdf.

108. Kandegedara, M., Ranasinghe, D. N. Functional Parallelism with Shared Memory and Distributed Memory Approaches in Industrial and Information Systems, IEEE Region 10 and the Third international Conference, 2008, pp. 1-6.

109. Larson, J. Erlang for Concurrent Programming / J. Larson // ACM Queue. -2008.-№ 5.-P. 18-23.

110. Laurent, S. S. Introducing Erlang / S. S. Laurent. - O'Reilly Media, Inc., 2013.-185p.

111. Leshno, M., Lin, V. Y., Pinkus, A., Schocken, S. Multilayer feedforward networks with a nonpolynomial activation function can approximate any function, Neural Netw., vol. 6, no. 6, pp. 861-867,1993.

112. Levenberg, К. A method for the solution of certain problems in least squares, Quart. Appl. Math., vol. 2, pp. 164-168, 1944.

113. Logan, M., Merritt, E., Carlsson, R. Erlang and OTP in Action / M. Logan, E. Merritt, R. Carlsson. - Manning, 2011. - 397p.

114. Macal, С. M., North, M. J. Tutorial on agent-based modeling and simulation part 2: How to model with agents, in Proc. Winter Simulation Conference WSC 06, 3-6 Dec. 2006, pp. 73-83.

115. Mirjalili, S., Hashim, S., Sardroudi, H. Training feedforward neural networks using hybrid particle swarm optimization and gravitational search algorithm, in ELSEVIER: Applied Mathematics and Computation, Volume 218, Issue 22, Malaysia, 2012, pp. 11125-11137.

116. Mitchel, J. C. Concepts in programming languages / J. C. Mitchel. -Cambridge: Cambridge University Press, 2003. - 529p.

117. Moller, M. F. A scaled conjugate gradient algorithm for fast supervised learning / M. F. Moller, Neural Networks, vol. 6, 1993. - pp. 525-533.

118. MPI: A Message-Passing Interface Standard. (Version 1.1: June, 1995) [Электронный ресурс]. - Режим доступа: http:// www.mcs.anl.gov/mpi/standard.html.

119. MPI-2: Extensions to the Message-Passing Interface. (Version 1.1: June, 1995) [Электронный ресурс]. - Режим доступа: http:// www.mcs.anl.gov/mpi/standard.html.

120. Nguyen, D. Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights / D. Nguyen, B. Widrow, Proceedings of the International Joint Conference on Neural Networks, vol. 3. - 1990. - pp. 21-26.

121. Nystrom, J. H., Trinder, P. W., King, D. J. High-level distribution for the rapid production of robust telecoms software: comparing С++ and ERLANG / J. H. Nystrom, P. W. Trinder, D. J. King // Concurrency and Computation: Practice and Experience. - 2008. -T. 20. - № 8. - P. 941-968.

122. OpenMP Application Program Interface (Version 3.0: May, 2008) [Электронный ресурс]. - Режим доступа: http://www.openmp.org/mp-documents/spec3 0 .pdf.

123. Rashedi, E., Nezamabadi-pour, H., Saryazdi, S. BGSA: binary gravitational search algorithm, Nat Comput, vol. 9, pp. 727-745, 2010.

124. Rashedi, E., Nezamabadi-pour, H., Saryazdi, S. GSA: A Gravitational Search Algorithm, Information Sciences, v. 179, issue 13, 2009, pp. 2232-2248.

125. Riedmiller M., A direct adaptive method for faster backpropagation learning: The RPROP algorithm / M. Riedmiller, H. Braun // Proc. Int. Conf. Neural Networks, San Francisco, CA. - 1993. - pp. 586-591.

126. Sexton, R. S., Dorsey, R. E., Johnson, J. D. Toward global optimization of neural networks: A comparison of the genetic algorithm and backpropagation, Decis. Support Syst., vol. 22, no. 2, pp. 171-185, Feb. 1998.

127. Sheikhpour, S., Sabouri, M., Zahiri, S.-H. A hybrid Gravitational search algorithm - Genetic algorithm for neural network training, in Electrical Engineering (ICEE), 2013 21st Iranian Conference, 2013, pp. 1-5.

128. Sher, G. I. Handbook of neuroevolution through Erlang / G. I. Sher. -Springer, 2013.-831p.

129. Sundararajan, N. Parallel architectures for artificial neural networks / N. Sundararajan, P. Saratchandran. Wiley-IEEE Computer Society Press, 1998. - 412p.

130. Symmetric multiprocessing. [Электронный ресурс]. - Режим доступа: http://en.wikipedia.org/wiki/Symmetric_multiprocessing.

131. Thompson, S. J. Erlang Programming: A Concurrent Approach to Software Development / S. J. Thompson, F. Cesarini. 1st ed. Sebastopol, California: O'Reilly Media, Inc., 2009.-496p.

132. Tsaregorodtsev, V. G. Parallel implementation of back-propagation neural network software on SMP computers / V. G. Tsaregorodtsev // Lecture Notes In Computer Science 3606 (PaCT-2005 Proceedings), Springer-Verlag, 2005. - pp. 185192.

133. Vinoski, S. Concurrency and Message Passing in Erlang, Computing in Science & Engineering, vol. 14, issue 6, 2012, pp. 24-34.

134. VMWare ESXi 5.0 Operations Guide [Электронный ресурс]. - Режим доступа: http://www.vmware.com/files/pdi7techpaper/vSphere-5-ESXi-Operations-Guide.pdf.

135. VMWare VSphere Basics (ESXi 5.0, vCenter Server 5.0) [Электронный ресурс]. - Режим доступа: http://pubs.vmware.com/vsphere-50/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter-server-50-basics-guide.pdf.

136. Wilamowski, В. M. Neural networks and fuzzy systems for nonlinear applications, in Proc. 11th INES 2007-11th Int. Conf. Intelligent Engineering Systems, Budapest, Hungary, June 29-July 1, 2007, pp. 13-19.