Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем тема диссертации и автореферата по ВАК РФ 05.13.15, доктор технических наук Потапов, Илья Викторович

• Потапов, Илья Викторович
• доктор технических наук
• 2010

Оглавление диссертации доктор технических наук Потапов, Илья Викторович

СПИСОК ОСНОВНЫХ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1 ИСКУССТВЕННЫЕ НЕЙРОНЫ, НЕЙРОННЫЕ СЕТИ И МНОГОФУНКЦИОНАЛЬНЫЕ НЕЙРОННЫЕ МОДУЛИ.

1.1 Искусственные нейронные сети как объект исследования.

1.2 Многофункциональные ИН с пороговой функцией активации.

1.2.1 Модели пороговых ИН без пресинаптического взаимодействия волокон.

1.2.2. Модели нейронов с пресинаптическим взаимодействием волокон.

1.3 Информационная избыточность в структуре нейронных сетей.

1.3.1 Информационная избыточность в структуре ИН.

1.3.2 Информационная избыточность и отказоустойчивость ИНС.

1.3.3 Модель надежной сети ненадежных ИН.

1.4 Разработка моделей отказоустойчивых многофункциональных нейромо-дулей с информационно-структурным резервированием.

1.4.1 Модели с использованием информационного резервирования.

1.4.2 Модель с использованием адаптивного выходного ИН.

1.4.3 Модель с полным использованием имеющейся структурно-информационной избыточности.

1.4.4 Заключительные замечания.

Выводы к главе 1.

2 СИНТЕЗ ФУНКЦИОНАЛЬНО ИЗБЫТОЧНЫХ ИНС, УСТОЙЧИВЫХ К ОТКАЗАМ КОМПОНЕНТОВ.

2.1 Функциональная избыточность и критерий оптимизации синтеза отказоустойчивых ИНС.

2.1.1 Функциональная избыточность ИНС.

2.1.2 Критерий оптимизации структурного синтеза ИНС отказоустойчивой нейрокомпьютерной системы.

2.2 Синтез отказоустойчивых адаптивных ИНС.

2.2.1 Синтез логически стабильных ИНС.

2.2.2 Синтез ИНС с дифференцированным принципом адаптации к отказам.

2.3 Повышение надежности адаптивных функционально избыточных нейронных сетей.

2.3.1 Вероятностная модель для расчета показателей надежности.

2.3.2 Минимизация процесса адаптации логически стабильных ИНС к отказам нейронов.

2.3.3 Эффективное использование функциональной избыточности.

2.4 Примеры.

2.4.1 Пример 1.

2.4.2 Пример 2.

2.5 Заключительные замечания.

Выводы к главе 2.

3 ГОТОВНОСТЬ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ.

3.1 Выбор режима контроля работоспособности ИНС ОНКС.

3.1.1 Общий подход к выбору режима контроля работоспособности.

3.1.2 Готовность ИКС для двух частных моделей контроля работоспособности.

3.2 Влияние отказов СКА на готовность ОЬЖС с непрерывным контролем работоспособности.

3.3 Готовность нейрокомпьютерной системы при настройке и восстановлении ИНС.

3.3.1 Готовность нейрокомпьютерной системы с абсолютно надежной системой настройки.

3.3.2 Готовность нейрокомпьютерной системы с ненадежной системой настройки.

3.4 Готовность нейрокомпьютерной системы при диагностике и восстановлении после различных типов отказов.

3.5 Повышение готовности НКС длительного автономного функционирования.

Выводы к главе 3.

4 ЗАДАЧИ ОПТИМИЗАЦИИ СТРУКТУРНОГО РЕЗЕРВИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ.

4.1 Базовая архитектура ИНС нейрокомпьютерных систем.

4.2 Вероятностная модель функционирования адаптивной однородной ИНС нейрокомпьютерной системы.

4.3 Решение задачи оптимального резервирования адаптивной однородной ИНС нейрокомпьютерной системы.

4.3.1 Решение задачи оптимального резервирования, максимизирующего среднее время работы до отказа адаптивной ИНС при восстановлении отказавших нейронных блоков.

4.3.2 Решение задачи оптимального резервирования, максимизирующего вероятность безотказной работы адаптивной ИНС при восстановлении отказавших нейронных блоков.

4.4 Решение задач оптимального резервирования «стареющей» адаптивной ИНС нейрокомпьютерной системы.

4.4.1 Решение задачи оптимизации вероятности безотказной работы адаптивной «стареющей» ИНС.

4.4.2 Решение задачи оптимизации среднего времени работы до отказа адаптивной «стареющей» ИНС.

4.4.3 Задачи нахождения минимальной избыточности, гарантирующей требуемую надежность «стареющей» ИНС.

4.5 Решение задачи оптимального восстановления «стареющей» адаптивной ИНС.

Выводы к главе 4.

5 РАЗВИТИЕ МОДЕЛЕЙ И ЗАДАЧ ОПТИМИЗАЦИИ СТРУКТУРНОГО РЕЗЕРВИРОВАНИЯ ОДНОРОДНЫХ ИНС ШИРОКОМ ПЫОТЕРНЫ X СИСТЕМ.

5.1 Модели для решения задач оптимального резервирования однородных адаптивных ИНС с ненадежным устройством контроля и адаптации.

5.2 Вероятностные модели функционирования однородных ИНС с дообучением после отказов.

5.2.1 Модель функционирования ИНС, дообучаемой после замещения отказавших нейронных блоков.

5.2.2 Модель функционирования «стареющей» дообучаемой после отказов ИНС.

5.2.3 Модель функционирования дообучаемой самовосстанавливаемой ИНС.

5.3 Вероятностные модели функционирования ИНС с общим резервом и ограниченным замещением отказавших нейронных блоков резервными.

5.3.1 Вероятностная модель функционирования адаптивной ИНС с общим резервом и ограниченным замещением.

5.3.2 Сравнение двух способов замещения отказавших нейронных блоков ИНС нейрокомпьютерных систем.

5.4 Функции восстановления «стареющих» подсетей ИНС, гарантирующие требуемое среднее время «жизни» НКС.

Выводы к главе 5.

6 ДИНАМИЧЕСКОЕ РЕЗЕРВИРОВАНИЕ И ТЕОРЕТИКО-ИГРОВОЕ МОДЕЛИРОВАНИЕ КОНФЛИКТОВ И ПРОТИВОБОРСТВА ИНС НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ.

6.1 Оптимизация функциональной надежности «стареющих» искусственных нейронных сетей с динамическим резервированием.

6.1.1 Задача оптимизации динамического резервирования «стареющей» ИНС при заданном векторе моментов настройки.

6.1.2 Обобщенная задача оптимизации динамического резервирования «стареющей» ИНС нейрокомпьютерной системы.

6.2 Задача оптимального динамического распределения резерва «стареющей» ИНС в конфликтной ситуации.

6.2.1 Дифференциальная игра «стареющей» ИНС.

6.2.2 Решение многошаговой матричной игры.

6.3 Резервирование «стареющей» ИНС нейрокомпьютерной системы в условиях игры с «природой».

6.3.1 Обобщенная постановка задачи.

6.3.2 Игра с «природой» при постоянных вероятностях состояний.

6.3.3 Игра с «природой» при переменных вероятностях состояний.

6.4 Противоборство двух нейрокомпьютерных систем.

6.4.1 Постановка задачи противоборства.

6.4.2 Решение задачи противоборства двух НКС.

Выводы к главе 6.

7 НАДЕЖНОСТЬ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ С ВРЕМЕННОЙ ИЗБЫТОЧНОСТЬЮ.

7.1 Надежность НКС при нарушениях работоспособности, не обесценивающих наработку.

7.1.1 Вероятностная модель функционирования НКС с временной избыточностью

7.1.2 Расчет показателей надежности НКС с временной избыточностью для частных видов распределений времени безотказной работы и времени восстановления.

7.1.3 Увеличение производительности как способ повышения надежности НКС с временной избыточностью.

7.1.4 Временная избыточность, гарантирующая НКС заданную надежность

7.1.5 Совместное использование в НКС аппаратурного и временного резервирования.

7.2 Надежность НКС при нарушениях работоспособности, обесценивающих наработку.

7.2.1 Вероятностная модель функционирования НКС с обесценивающими отказами.

7.2.2 Модель отказоустойчивой НКС с временной избыточностью

7.2.3 Выбор режима контроля работоспособности ИНС нейрокомпьютерной системы.

7.2.4 Модели НКС с использованием временной избыточности для устранения последствий сбоев.

7.2.5 Выбор модели НКС при постоянных интенсивностях сбоев.

Выводы к главе 7.

Введение диссертации (часть автореферата) на тему «Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем»

Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питтса, Ф. Розенблатта, М. Минского, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга [1-15], а также советских и российских ученых И.Б. Гутчина, A.C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня [16-24] и др. [25-40] получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем (НКС) на их основе. В- настоящее время нейросетевая тематика стала междисциплинарной и. породила новые научные направления, такие как нейроинформатика, нейро-математика [36, 37] и др. В нашей стране и за рубежом издано большое количество монографий и учебников, посвященных основам и развитию теории ИНС и НКС, рассчитанных на максимально широкий круг читателей, например, [41-48].

Нейронные сети и нейрокомпьютеры в настоящее время находят применение для решения задач практически во всех областях научно-исследовательской и инженерной деятельности [49]: в авиации и космической технике, энергетике (в т.ч. атомной), химической, электронной и нефтегазодобывающей отраслях промышленности, военной технике и системах двойного применения, в управлении роботами, станками и технологическими процессами, в системах обработки изображений, сигналов и данных, вычислительных системах и др. [50-64].

Одним из наиболее популярных инструментов для проведения исследований свойств нейронных сетей и решения различных прикладных задач являются так называемые нейроимитаторы, предназначенные для моделирования процессов обучения и функционирования ИНС и НКС на ПЭВМ [65]. Однако в настоящее время в России и за рубежом особое внимание уделяется вопросам аппаратной реализации ИНС и нейрокомпьютеров, о чем свидетельствует большое количество научных публикаций.

Так, например, в работе [66] описана модель нейрона, рассмотрены структурная схема ИН и- структура нейровычислителя на базе нейронной сети. Для изготовления нейрочипов выбрана технология полузаказных СБИС. Работа [67] посвящена реализации нейросетевых моделей с использованием высокопроизводительных программируемых матриц. Показана эффективность такой реализации для обеспечения массового параллелизма вычислений и синтеза систем с переменной структурой. В [68] рассматриваются методы построения специализированных оптоэлектронных вычислителей и схемы вычисления вектор-матричных перемножений для аппаратной реализации многослойных нейросетей, а в [69] обсуждаются способы использования? аналогово-цифровых технических решений для-упрощения конструкции-нейросетевых электронных устройств, применяемых в технических системах управления и обработки информации. В статье [70] описаны два способа реализации ИНС на элементной базе ПЛИС. Обсуждаются их преимущества и недостатки.

Известно также большое количество работ, посвященных описанию разработки и вопросам исследования свойств и применения однокристальных процессоров семейства №игоМа1т1х, разработанных в НТЦ'«Модуль». В качестве примера можно привести работы [71—74], в которых рассматриваются особенности архитектуры процессора №игоМайх ЫМ6403, в т.ч. векторного сопроцессора, являющегося основным вычислительным узлом, особенности применения данного микропроцессора для эмуляции нейронных сетей, способы построения высокопроизводительных многопроцессорных нейроускорителей на его базе, вопросы живучести систем на основе процессоров данного семейства.

Развитие микроэлектронных технологий и появление новых принципов распараллеливания алгоритмов решения задач стало основой для проектирования нейрокомпьютеров в виде СБИС, поскольку реализация ИНС на пластине отвечает требованиям глобальной интеллектуальной системы [75] — специализированной нейрокомпьютерной системы, состоящей из нейрочипов и системы контроля и управления. Разработкой нейрочипов занимаются мировые лидеры в области электроники и вычислительной техники, такие как Intel, Texas Instruments, IBM, Bell, Hitachi, Toshiba, Mitsubishi и др., а также лаборатории и университеты [76]. Среди работ по данной тематике можно выделить [77] о проектировании нейронной сети с использованием нанотех-нологий, статью об аппаратной реализации на КМОП-СБИС сигмоидных функций активации нейронов и их производных [78] и ряд других публикаций, например, [79], в которой рассматривается подход к созданию нейро-БИС с высокой плотностью компоновки и даны сравнительные характеристики аппаратно реализованных нейросетей на основе программируемой логики известных зарубежных производителей, [80], посвященную описанию нейропроцессорного комплекта* СБИС для построения перестраиваемых нейг ронных сетей, и работы [81, 82], также посвященные вопросам реализации нейрочипов и нейросистем на пластинах.

Известно, что искусственные нейронные сети в первую очередь предназначены для решения специфических, трудно формализуемых задач (также возможно применение ИНС для решения формализуемых задач вместо'традиционных фон-неймановских вычислителей [83]), что дает основания предполагать высокую эффективность использования нейрокомпьютеров в так называемых системах специального (двойного) назначения. В настоящее время в связи с бурным развитием информационных технологий можно ожидать появления новых сверхмощных универсальных нейровычислительных комплексов и систем, способных выполнять большие объемы вычислительных работ в реальном масштабе времени [49, 76].

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных проблем и задач, системному решению которых ранее уделялось недостаточно внимания. Одной из таких проблем является отсутствие комплексного подхода в анализе и разработке базовых принципов организации отказоустойчивых нейровычислительных структур, а также построении математических моделей, разработке методов, постановке и решении задач обеспечения и повышения надежности функционирования ИНС и НКС.

Необходимость исследования надежности нейронных сетей и нейрокомпьютерных систем отмечают ведущие специалисты в области нейроин-форматики и нейрокомпьютеров. Например, А.Н. Горбань в статье [84] прямо указывает на то, что «должна возникнуть новая область: «теория надежности искусственных нейронных сетей»1. По мнению А.И. Галушкина исследование надежности нейронных сетей при всей его значимости находится на начальной стадии [22]. В связи со структурной сложностью нейровычислительных систем особую важность имеет проблема разработки математических моделей и построения необходимого аппарата для исследования и оптимизации показателей надежности ИНС и НКС. Это-мнение разделяют и другие ученые, полагая, что решение данных проблем окажет существенное влияние на создание высоконадежных ИНС и нейрокомпьютеров на основе принципиально новых технологий, включая нанотехнологии, что существенно повысит эффективность их использования в системах специального назначения.

Изучение отечественных и зарубежных открытых источников информации, посвященных вопросам надежности искусственных нейронных сетей, показало, что интерес к данной проблеме возрастает и носит многоплановый характер. В этой связи возникает необходимость рассмотрения широкого

1 Справедливости ради отметим, что, судя по контексту, под термином «надежность» А.Н. Горбань скорее имел ввиду точность, достоверность, правдоподобие. Однако это не снижает важности приведенной цитаты. спектра научных работ в области исследования и обеспечения отказоустойчивости ИНС.

Известно; что функциональная надежность биологических нейронных сетей очень высокая [85-88]. Это свойство уже на ранних стадиях изучения, возможностей искусственных нейронных сетей: привлекло внимание исследователей [89, 90]; Основным результатом, этих работ, полученным на качественном уровне, было установление факта логической избыточности рассматриваемых нейронных сетей, благодаря которой отказы некоторых элементов сети (нейронов) не вызывают появления ошибки на выходе.

Дальнейшие исследования надежностных свойств искусственных нейронных сетей с учетом их структурно-функциональной: избыточности и логической гибкости ИН проводились в работах [16, 18].

По-видимому, одной из; первых попыток аналитического исследования-надежности искусственных нейронных сетей явилась работа [91]. Результаты исследования; надежностных свойств простейших двухслойных (двухранго-вых) ИНС методами математического моделирования при: ограниченном числе отказов нейронов показали, что нейронные сети; адаптивные к отказам ИН, могут быть более надежными, чем мажоритарные модули, реализующие* те же функции [92].

В развитие указанных выше работ на основе функционально устойчивых ИНС были созданы отказоустойчивые адаптивные к отказам ;ИН нейро-компьютерные системы [93-96], качественный анализ надежности работьь которых и области предпочтительного использования приведены: в [97]. В современном представлении это были, по-видимому, первые отечественные нейрокомпьютеры, адаптивные к отказам ИН, демонстрирующие возможность повышения функциональной надежности НКС за счет логической гибкости ИНС и сочетания; в них структурно-функциональной и временной^ избыточности. •

Развитие теории нейронных сетей послужило основой для появления новых задач и новых методов их решения в области исследования надежности ИНС и НКС. Это нашло отражение в большом числе научных публикаций в России и за рубежом. Рассмотрим некоторые из них.

Большой интерес представляют работы [98-101], в которых изучаются ошибки, возникающие при технической реализации ИНС, а также при шумах и отказах в сети.

В монографиях В.Н. Лопина и И.С. Захарова [102-104] изучаются вопросы надежности, сложности и функциональной мощности иерархических однородных нейронных сетей. Основу исследований составляет специальная модель базисного нейроноподобного элемента. Рассматриваются подходы к получению количественных оценок надежности и синтезу отказоустойчивых искусственных нейронных сетей, В Т.Ч. сетей с памятью, исследуются ИНг формационные процессы в рассматриваемых однородных нейроструктурах.

Большое количество работ в области формирования общей теории помехоустойчивого кодирования в избыточной системе остаточных классов выполнено членами научной школы Н.И. Червякова [34, 35, 105-109]. Эти работы являются теоретической базой для разработки и проектирования высоконадежных непозиционных нейропроцессоров и нейровычислительных систем.

В статье [ПО] рассмотрен экспериментальный метод исследования надежности ИНС, синтезированных для задач аппроксимации функций. Показано, что применение процедур дообучения- или переобучения при отказах компонентов ИНС позволяет эффективно восстанавливать работоспособность сети.

Следует также рассмотреть некоторые представляющие интерес работы зарубежных ученых, опубликованные в отрытой печати.

В [111-113] представлены научные отчеты коллектива авторов в составе Dr. Laura L. Pullum, Dr. Marjorie A. Darrah и Brian J. Taylor (Institute for

Scientific Research, Inc.). Материалы посвящены системе проверки разработок на основе нейросетевых технологий, используемых в проектах NASA.

В статье [114] представлен вероятностный метод, основанный на самонастройке, для повышения надежности в самоорганизующихся картах; в [115] - модель отказоустойчивой нейронной сети с естественной организацией взаимосвязи нейронов посредством прямых и латеральных связей; в [116] описана методика определения надежности работы ограниченного класса специально обученных многослойных персептронов.

Исследования в области моделирования надежности нейронных сетей представлены в [117]. Публикация [118] посвящена описанию разработки помехоустойчивой пороговой логики, а в статье [119] в развитие классической работы [120] и дополнение работ [121-123] рассматриваются вопросы, связанные с задачей синтеза надежных сетей из ненадежных нейронных элементов с пороговой функцией активации.

Исследованию нейронных сетей ассоциативной памяти с неисправными соединениями посвящена работа [124]. Среди публикаций этого же автора можно дополнительно отметить, например, [125-127], также посвященные исследованию надежности ассоциативной памяти.

Известная работа [128] посвящена* изучению реакций нейронов на воздействие шумов.

Методология и набор компьютерных средств проектирования, разработанные для расчета и повышения отказоустойчивости нейронных сетей, представлены в [129].

В работах [130, 131] предложена .модель нейронной сети прямого распространения с обеспечением заданного уровня отказоустойчивости для решения прикладных задач.,

В статье [132] в развитие результатов [133] рассматриваются присущее многослойным нейросетям свойство сохранять работоспособность при отказах компонентов. Обсуждается воздействие отказов на процесс вычислений.

В [134, 135] изучаются характеристики отказоустойчивости специализированных ИНС, используемых для решения задач оптимизации. Также можно выделить еще одну работу [136], посвященную проектированию и исследованию нейронных сетей для решения оптимизационных задач, в которой для обеспечения отказоустойчивости рассматривается применение метода утроения схемы.

Публикация [137] посвящена рассмотрению специализированной методики повышения устойчивости ИНС к отказам компонентов. Задача устойчивости к отказам поставлена как задача оптимизации с ограничениями.

Для увеличения отказоустойчивости и обобщающих способностей ИНС в [138] рассматривается применение генетического алгоритма.

В научных трудах Дж. Болта [139, 140] представлены подробные отчеты об исследовании отказоустойчивости многослойных ИНС. Известны также другие публикации результатов работы этого автора, посвященные исследованию надежности нейронных сетей и решению проблем повышения их отказоустойчивости и живучести. В качестве примера можно привести работы [141, 142], дополняющие вышеупомянутые отчеты.

Большой интерес представляет статья [143], в которой рассматриваются отказоустойчивые ИНС, характеризующиеся комбинированным видом избыточности, включающем структурную и временную избыточность, а также специальную систему кодирования.

В [144] рассмотрена модель надежного искусственного нейрона.

Работа [145] посвящена методике синтеза высоконадежных ИНС. По мнению автора, данная методика позволяет повысить не только надежность нейросети, но и скорость ее обучения.

Отказоустойчивость нейронных сетей в работе [146] достигается путем применения специально разработанных методик обучения. Результаты исследования обсуждаются в ключе аппаратной реализации высоконадежных нейросетей, в т.ч. в виде СБИС.

Исследование чувствительности ИНС с пороговой функцией активации нейронов к изменению значений весов входов ИН и ошибкам во входных сигналах описано в [147]. В работе [148] исследуется влияние ошибок, порождаемых отказами компонентов, на результаты работы нейровычислитель-ных устройств. Фундаментальная работа [149] посвящена анализу чувствительности нейронной сети к ошибкам весов.

В статье [150] рассматривается взаимосвязь процедур обучения и отказоустойчивости ИНС. Авторы исследуют технику формирования устойчивости нейросетей к отказам и свойства таких сетей.

Оригинальная методика оценки отказоустойчивости нейросети с использованием методов статистической физики рассматривается в работе [151].

В работах D.S. Phatak [152, 153] представлены модели отказов и процедуры синтеза отказоустойчивых ИНС. На основе этих процедур показано, что отказоустойчивость нейронной сети напрямую зависит от избыточности, рассматриваемой в данных работах как важнейший фактор надежного функционирования ИНС. Известны также другие работы этого автора в области разработки и исследования методов повышения отказоустойчивости ИНС. В качестве примера можно привести» [154], посвященную модификации процедур обучения нейронных сетей с целью повышения их надежности, а также [155, 156], в которых рассмотрены методы введения избыточности и специального обучения.

Результаты исследования надежности ИНС с различной избыточностью отражены в [157]. В статье [158] тех же авторов представлен метод вычисления и сравнения надежности искусственных нейронных сетей.

Способы восстановления после отказов нейронов скрытого слоя сети рассматриваются в работе [159]. Исследованы различные методики переобучения ИНС и предложен метод восстановления работоспособности ИНС при отказах ИН.

Известно большое число публикаций, отражающих результаты исследований различных модификаций процедур обучения ИНС с целью повышения надежности их функционирования. В качестве примера можно привести работы [160-176], в которых обсуждаются различные подходы к обучению отказоустойчивых нейронных сетей.

Работа [177] посвящена синтезу отказоустойчивых ИНС большой размерности (в т.ч. в интегральном исполнении) с возможностями самовосстановления при отказах. Внимание авторов сосредоточено на структурной избыточности и переобучении (дообучении) нейронной сети. В качестве средства обучения ИНС рассматривается применение генетических алгоритмов. Для демонстрации возможностей самовосстановления нейронной сети разработан прототип на базе ПЛИС.

Помимо вышеназванной работы [177] и др. большое количество публикаций посвящено вопросам аппаратной реализации отказоустойчивых нейро-вычислительных систем, среди которых можно выделить работы [178-182]

Известны также работы отечественных авторов в этой области. В качестве примера можно привести работу [183], посвященную вопросам реализации отказоустойчивых нейросетевых архитектур по технологии «Систем с интеграцией на пластине» и монографию В.А. Головко [46] (а также цитируемые работы), в которой рассматриваются-вопросы структурной самоорганизации, отказоустойчивости и реализации нейронных систем на систолических процессорах.

В дополнение к названным источникам следует упомянуть работы, в которых надежность функционирования ИНС повышается за счет использования идей и методов ./V-вариантного программирования. Например, [184187].

Одной из важных задач в области создания отказоустойчивых нейро-вычислительных систем является разработка контролирующих средств и диагностических процедур, необходимых для своевременного обнаружения и устранения отказов ИНС. Необходимо построение минимальных проверяющих тестов для ИН сети и минимальных диагностических тестов, локализующих неисправности с точностью до входа-выхода. Эти задачи для пороговых элементов были в основном решены в работах [188, 189] и развиты в [190]. Вопросы технической диагностики нейронных сетей рассматривались так же в работах [22, 191, 192]. Авторы предложили свой алгоритм построения минимального теста для обнаружения отказов типа логических констант на выходах нейронов и метод адаптивной диагностики отказов в нейронных сетях.

В работах [193-195] представлена методика обнаружения отказов при аппаратной реализации ИНС. Данная методика базируется на выявлении «необычного» режима работы сети, отличающегося от режима работы без отказов. Описан алгоритм выделения не содержащих отказов подсхем. При- * ведены результаты моделирования. Большое внимание уделено'схемотехническим аспектам и возможности реализации рассматриваемой методики на практике.

Задача диагностирования технического состояния нейронной сети рассмотрена в [196]. Представлены модели и метод выявления неисправностей по поведению нейронной сети. Рассмотренный в данной работе метод может использоваться для автоматической перестройки нейронной сети путем замещения отказавших нейронов резервными.

Не вызывает сомнений, что повышение надежности функционирования нейронных сетей,и нейрокомпьютеров - актуальная задача, имеющая большое теоретическое и практическое значение [16, 18, 22, 46, 56, 84, 102-109, 183, 197-199], поскольку надежность является важным свойством современной техники [200] вследствие того, что от нее зависят такие показатели как качество, эффективность, безопасность, готовность, живучесть систем.

Из приведенного обзора, выполненного в таком объеме, по-видимому, впервые в [201], следует, что основное внимание в области изучения и повышения надежности ИНС авторами указанных в обзоре работ сосредоточено, как правило, на несистемном решении частных проблем и проводимые ими исследования зачастую имеют прикладной характер.

Таким образом, особой важностью и актуальностью характеризуются системные теоретические и практические исследования в данной области знаний, заключающиеся в обобщении известных и разработке новых математических моделей, методов и решений задач обеспечения и повышения надежности функционирования ИНС и НКС [190, 202, 203], совокупность которых отражает системный подход в исследовании надежности искусственных нейронных сетей и нейрокомпьютерных систем, что является главной целью данной диссертационной работы.

Основные задачи, поставленные и решенные в данной диссертационной работе, следующие.

1. Исследование информационной избыточности сообщений в структуре нейронов и нейронных сетей и методов введения информационного резервирования для обеспечения надежности функционирования ИНС. Разработка моделей отказоустойчивых многофункциональных нейромодулей с использованием методов информационно-структурного резервирования.

2. Исследование функциональной (логической) избыточности ИНС как фактора обеспечения отказоустойчивости в работе НКС. Развитие метода синтеза адаптивных к отказам оптимизированных функционально избыточных нейронных сетей на основе дифференцированного подхода, позволяющего эффективно использовать имеющуюся избыточность ИНС для адаптации к отказам.

3. Построение моделей и исследование методов обеспечения и повышения-готовности нейрокомпьютерных систем с учетом различных условий их функционирования и особенностей технической реализации.

4. Разработка и развитие моделей функционирования структурно избыточных нейронных сетей НКС и методов решения задач оптимизации показателей надежности избыточных структурно-однородных (в т.ч. «стареющих») ИНС нейрокомпьютерных систем с замещением отказавших нейронных блоков резервными.

5. Постановка и решение методами теоретико-игрового моделирования задач оптимизации показателей надежности избыточных структурно-однородных «стареющих» ИНС нейрокомпьютерных систем с динамическим замещением отказавших нейронных блоков резервными в конфликтных ситуациях, в т.ч. задачи противоборства двух НКС.

6. Теоретическое обоснование, разработка и исследование моделей введения в процесс функционирования1 нейрокомпьютерных систем временной избыточности (временного резервирования) как фактора повышения надежности выполнения задания с учетом различных условий работы НКС и особенностей технической реализации.

7. Обобщение и систематизация теоретических положений, моделей, методов и решений задач исследования, обеспечения и повышения надежности ИНС и НКС.

Для решения поставленных задач используются математический аппарат теории надежности, теории марковских процессов, прикладной теории информации, теории игр, вычислительной математики и компьютерное моделирование.

Научная новизна диссертационной работы заключается в следующем.

1. Исследованы информационная избыточность в структуре волокон ИН и межнейронных соединений ИНС и методы информационного резервирования. Разработаны модели отказоустойчивых многофункциональных ней-ромодулей с информационно-структурным резервированием.

2. Разработан метод синтеза оптимизированных функционально избыточных ИНС с дифференцированным способом адаптации к отказам, позволяющий эффективно использовать имеющуюся логическую избыточность ИНС в целях повышения отказоустойчивости.

3. Разработаны модели и даны решения задач исследования и повышения готовности нейрокомпьютерных систем с учетом различных условий их функционирования и особенностей технической реализации.

4. Построены базовые модели; поставлены и решены задачи оптимизации показателей надежности, структурно-однородных «нестареющих» и «стареющих» ИНС нейрокомпьютерных систем с замещением отказавших нейронных блоков резервными. Решения задач доведены до алгоритмов, реализуемых на современных ПЭВМ:

5. Построены вероятностные модели, развивающие и дополняющие базовые модели функционирования структурно однородных «нестареющих» и «стареющих» ИНС, с учетом отказов системы контроля и адаптации, временных затрат на. процедуры дообучения (переобучения), ограниченного замещения в рамках общего резерва.

6. Поставлены и решены-задачи оптимизации динамического резервирования структурно-однородных «стареющих» ИНС нейрокомпьютерных систем. Методами: теоретико-игрового моделирования решены задачи? оптимизации резервирования «стареющих» ИНС в конфликтных ситуациях. Поставлена ирешена задача исследования противоборства двух НКС1 •

7. Поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования процесса функционирования (выполнения задания) ИКС, т.е. введения временной избыточности, с учетом различных условий работы и особенностей технической реализации НКС.

Теоретическая ценность диссертации:

1. Рассмотрены и обобщены методы введения и эффективного использования в целях повышения надежности НКС различных видов избыточности ИНС - информационной, функциональной, структурной и временной. '

2; Разработаны вероятностные модели функционирования НКС в условиях возникновения отказов, используемые в широком спектре исследовательских и оптимизационных задач, в т.ч. для исследования методов синтеза отказоустойчивых ИНС, а также в задачах оптимизации показателей надежности и рационального выбора технических решений при проектировании нейровычислительных систем и комплексов.

3. Поставлены и решены задачи исследования и оптимизации показателей надежности «нестареющих» и «стареющих» ИНС, оптимизации восстановления работоспособности ИНС, отыскания функций восстановления' ИНС, обеспечивающих НКС заданный уровень надежности, задачи резервирования ИНС в конфликтных ситуациях и противоборства нейрокомпьютер-ных систем, исследования и повышения эффективности временного резервирования процесса функционирования НКС.

4. Совокупность представленных в диссертации» теоретических положений, моделей, методов и задач является основой для системного исследования надежности нейровычислительных систем и комплексов.

5. Исследования по данной тематике основаны на результатах выполненного автором диссертации, комплекса фундаментальных научно-исследовательских работ в рамках госбюджетных НИР по заданию Минобр-науки РФ и при поддержке в форме грантов:

- Грант Президента РФ (№МК-7420.2006.8) для молодых ученых -кандидатов наук «Построение математических моделей, разработка методов и алгоритмов оптимизации надежности искусственных нейронных сетей нейрокомпьютерных систем с логической, аппаратурной и временной избыточностью» (2006-2007 гг.).

- Грант РФФИ (№06-07-89013-а) «Построение математических моделей, разработка методов и алгоритмов оптимизации надежности искусственных нейронных сетей с логической, аппаратурной и временной избыточностью» (2006-2007 гг.).

- Грант Минобрнауки РФ по естественным и точным наукам (Е02-2-75; № ГР 01.02. 00306859) «Разработка математических моделей и методов оптимизации функциональной надежности искусственных нейронных сетей» (2003-2004 гг.).

- Госбюджетная НИР по заданию Минобрнауки РФ «Разработка методов оптимизации надежности и технической диагностики адаптивных отказоустойчивых систем автоматики и вычислительной техники из искусственных нейронных сетей»; № ГР 0120.0 407005 (2004-2006 гг.).

- Госбюджетная НИР по заданию Минобрнауки РФ «Разработка основ прикладной теории надежности нейронных сетей и нейрокомпьютерных систем»; № ГР 0120.0 712204 (2007-2009 гг.).

Практическая ценность диссертации:

1. На основе результатов исследований информационной избыточности ИНС и методов информационного резервирования разработаны модели отказоустойчивых многофункциональных нейромодулей с информационно-структурным резервированием, имеющие преимущество в характеристиках надежности по сравнению с логически эквивалентными многофункциональными ИН.

2. Разработан метод синтеза функционально избыточных ИНС нейрокомпьютерных систем с дифференцированным способом адаптации к отказам, позволяющий эффективно использовать имеющуюся логическую избыточность ИНС в целях повышения отказоустойчивости НКС.

3. Построены модели и даны решения задач выбора режима контроля работоспособности ИНС нейрокомпьютерной системы, исследования готовности НКС при настройке и восстановлении ИНС после отказов, готовности НКС при диагностике ИНС и восстановлении после различных типов отказов, повышения готовности НКС в условиях длительного автономного функционирования.

4. Поставлены и решены задачи оптимизации» резервирования, максимизирующего показатели надежности структурно-однородных «нестареющих» и «стареющих» ИНС нейрокомпьютерных систем с замещением откаг завших нейронных блоков резервными. Решения задач доведены до алгоритмов, реализуемых на ПЭВМ, и могут использоваться при построении отказоустойчивых НКС.

5. Поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования работы НКС (введения временной избыточности в процесс функционирования) с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в инженерной практике.

6. Разработано программное обеспечение для решения практических задач оптимизации структурного резервирования (в т.ч. динамического) однородных ИНС нейрокомпьютерных систем (приложение 1 диссертации). Копия свидетельства о регистрации в ОФАП прилагается.

Основные положения, выносимые на защиту.

1. Методы введения структурной, функциональной, информационной и временной избыточности в структуру и процессы функционирования нейронных сетей и нейрокомпьютерных систем, а также соответствующие модели и методы синтеза отказоустойчивых НКС.

2. Вероятностные модели для расчета, анализа и решения поставленных в диссертации задач оптимизации показателей надежности ИНС нейрокомпьютерных систем с информационным, структурным, функциональным и временным резервированием.

3. Решение задачи синтеза адаптивных к отказам ИНС, модели и задачи исследования и повышения готовности нейрокомпьютерных систем, включая модели систем с ненадежным устройством контроля и адаптации нейронной сети к отказам, модели подготовки НКС к функционированию, постановки и решения задач о выборе режима контроля работоспособности ИНС нейрокомпьютерной системы.

4. Постановка и решение задач оптимизации структурного резервирования «нестареющих» и «стареющих» однородных ИНС, в т.ч. систем с динамически перераспределяющимся в процессе функционрования резервом, обеспечивающего максимизацию основных показателей надежности НКС, включая задачи оптимизации структурного резервирования ИНС в конфликтных ситуациях и в условиях противоборства двух НКС.

5. Вероятностные модели функционирования однородных «нестареющих» и «стареющих» ИНС с учетом отказов системы контроля и адаптации, временных затрат на выполняемые с целью восстановления функциональных свойств нейросетей процедуры дообучения (переобучения) и дополнительных ограничений на замещение отказавших блоков резервными.

Личный вклад автора. Основные полученные научные результаты, включая обобщение и систематизацию комплекса теоретических и прикладных исследований, моделей, методов и задач обеспечения и повышения надежности искусственных нейронных сетей и нейрокомпьютерных систем, являются личным вкладом автора. Отдельные результаты, представленные в диссертации в разделах 1.1 (модели ИН), 2.1, 2.2 (синтез логически избыточных ИНС), 2.3 (минимизация процесса адаптации), 4.1-4.5, 5.3, 5.4, 6.1 (оптимизация структурного резервирования и восстановления ИНС), 6.4 (противоборство НКС), получены совместно с д.т.н., профессором В.И. Потаповым в рамках НИР, выполняемых при поддержке РФФИ и Минобрнауки РФ (руководитель В.И. Потапов). Программное обеспечение для решения задач оптимизации структурного резервирования однородных ИНС нейрокомпьютерных систем разработано совместно с М.В. Кузиным в рамках одного из этапов выполнения НИР при поддержке Гранта Президента РФ для молодых ученых - кандидатов наук (руководитель И.В. Потапов).

Апробация работы. Результаты работы докладывались на конференциях международного, всероссийского и регионального уровней: «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002, 2007; Барнаул 2005; Новосибирск, 2004; Тюмень, 2006), «Интеллектуальные и многопроцессорные системы» (Геленджик, 2005), «Искусственный интеллект. Интеллектуальные и многопроцессорные системы» (Кацивели, Крым, 2006), «Актуальные проблемы электронного приборостроения» (Новосибирск, 2004), «Динамика систем, механизмов и машин» (Омск, 2002, 2004, 2007), «Новые информационные технологии в = исследовании сложных структур» (Шушенское, 2006, Томск, 2008), «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001), «Развитие оборонно-промышленного комплекса, на современном; этапе» (Омск, 2003), «Военная техника, вооружение и технологии двойного применения» (Омск, 2005), «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2005,. 2008), «Нейроинформатика и ее приложения» (Красноярск, 2006); «Нейроинформатика, ее приложения и анализ данных» (Красноярск, 2007, 2008), «Проблемы разработки, изготовления-и эксплуатации ракетно-космической и авиационной техники» (Омск, 2004), «Наука, технологии, инновации» (Новосибирск, 2004).

Использование результатов диссертации. Результаты диссертационной работы, использованы в ПО «Полет» (филиал ФГУП ГКНПЦ им. М.В. Хруничева, г. Омск) при разработке космического аппарата «Союз Сат» при определении« требований к программно-аппаратной адаптивной^ системе предупреждения катастрофический отказов: жизненно важных функций бортовых систем; в разработках ОАО «Омская энергосбытовая компания (г. Омск) при проведении перспективных исследований по прогнозированию потребления электроэнергии при помощи) аппарата искусственных нейронных сетей. Также результаты диссертации используются, при выполнении фундаментальных НИР (госбюджетные НИР- по заданию Минобрнауки РФ) и в учебном процессе в Омском государственном техническом университете (г. Омск) при подготовке магистров по магистерской образовательной программе «Отказоустойчивые вычислительные системы»; в учебном процессе в Омском государственном университете им. Ф.М. Достоевского (г. Омск) при подготовке инженеров по специальности 230101 — «Вычислительные машины, комплексы, системы и сети». Имеются акты об использовании.

Публикации. По материалам диссертации автором опубликовано 46 научных работ, включая 3 монографии, 42 печатные работы в журналах и сборниках (из них 15 статей в журналах по перечню ВАК РФ), 1 депонированную в ВИНИТИ рукопись. Получено свидетельство о регистрации программного обеспечения в ОФАП.

Структура и объем работы. Диссертация состоит из введения, 7 глав, заключения, библиографического списка (302 наименования) и приложения. Основное содержание работы изложено на 300 страницах. В тексте содержатся 16 рисунков и 3 таблицы.

Заключение диссертации по теме «Вычислительные машины и системы», Потапов, Илья Викторович

Основные результаты данной диссертационной работы заключаются в следующем.

1. В результате изучения отечественной и зарубежной научной литературы по теории нейронных сетей и публикаций, посвященных исследованию отказоустойчивости ИНС, установлено, что анализ и разработка решений базовых научных проблем в области обеспечения и повышения надежности ИНС и НКС являются актуальными задачами. В рамках этого направления важной задачей является разработка математических моделей и методов обеспечения и повышения надежности нейронных сетей и нейрокомпьютер-ных систем. Обзор различных моделей ИНС, широко представленных в литературе, позволяет сделать вывод о том, что в общем случае нейронные сети могут характеризоваться двумя важными с точки зрения теории надежности качествами: структурной однородностью и различными видами избыточности. Эти качества являются основой для применения эффективных методов повышения надежности функционирования нейрокомпьютерных систем -структурного, информационного, функционального и временного резервирования.

2. Результаты рассмотрения информационных характеристик моделей ИН с пороговой функцией активации и нейронных сетей позволяют заключить, что сообщения в структуре волокон ИН и межнейронных связей ИНС могут характеризоваться информационной избыточностью. Для эффективного введения и использования имеющейся избыточности в отказоустойчивых ИНС предложено применять методы информационного резервирования. Рассмотрена модель многофункционального нейровычислительного модуля, в котором для обеспечения отказоустойчивости применен метод структурно-информационного резервирования в виде передачи между слоями ИНС помехоустойчивого кода. Показано, что надежность таких схем существенно зависит от надежности выходного слоя ИН (являющегося восстанавливающим органом), реализующего функции декодирования и коррекции. Построены модели многофункциональных нейромодулей с использованием структурно-информационного резервирования и адаптивными восстанавливающими органами - выходными ИН с отключаемыми входами. Показано, что такие схемы могут обеспечить более высокие показатели надежности в сравнении с одиночными многофункциональными ИН и нейромодулями с неадаптивными выходными ИН.

3. Рассмотрена функциональная избыточность искусственных нейронных сетей как фактор их надежного функционирования. Приведены выражения для количественной оценки данного вида избыточности и определены условия ее максимизации в рамках задачи синтеза отказоустойчивых ИНС. Предложен критерий оптимизации синтеза отказоустойчивых нейрокомпью-терных систем на базе функционально избыточных адаптивных к отказам компонентов ИНС, зависящий от надежности синтезируемой ИНС и затрат, связанных с разработкой и эксплуатацией НКС.

4. В рамках решения задачи синтеза адаптивных отказоустойчивых ИНС рассмотрены две модели функционально избыточных нейросетей с различными методами адаптации к отказам. В развитие метода синтеза логически стабильных ИНС с интегральным методом адаптации решена задача синтеза нейронной сети с дифференцированной адаптацией, позволяющей более полно использовать имеющиеся ресурсы функциональной избыточности. Для расчета, исследования и оптимизации показателей надежности разработана вероятностная модель функционирования отказоустойчивой НКС, состоящей из адаптивной ИНС и системы контроля и адаптации. В рамках данной модели определены условия максимизации готовности рассматриваемой нейро-компьютерной системы и решены задачи повышения надежности функционирования НКС на базе нейросетей с рассмотренными методами адаптации к отказам путем эффективного использования имеющейся функциональной избыточности ИНС на этапах их синтеза и эксплуатации.

5. Рассмотрены принципы функционирования отказоустойчивых ней-ровычислительных систем с периодическим и непрерывным режимами контроля работоспособности нейронной сети. Сформулирован критерий рационального выбора режима контроля работоспособности исходя из затрат, связанных с проектированием и эксплуатацией соответствующих нейрокомпью-терных систем. На основе рассмотренных принципов работы систем с непрерывным и периодическим контролем построены базовые вероятностные модели функционирования нейрокомпьютерных систем для исследования и расчета характеристик готовности. Для НКС с непрерывным режимом контроля работоспособности нейронной сети в рамках разработанных вероятностных моделей функционирования рассмотрено влияние различных видов отказов устройства контроля на показатели готовности системы.

6. Рассмотрены задачи исследования и расчета функции готовности нейросистем при выполнении процедур настройки (обучения) и адаптации (дообучения, переобучения) нейронных сетей в процессе функционирования НКС. Построены модели для исследования готовности нейросети в процессе обучения с линейной последовательностью выполняемых процедур и как абсолютно надежной, так и ненадежной системой обучения, а также модель функционирования при диагностике и восстановлении после различных типов отказов. Решена задача расчета времени дообучения и тренировки нейронной сети нейрокомпьютерной системы, предназначенной для работы в условиях длительного автономного функционирования, минимизирующего вероятность отказа системы в процессе выполнения задания.

7. Предложены математические модели для расчета и исследования показателей надежности многослойных многовыходных структурно однородных ИНС с замещением отказавших нейронных блоков резервными. Поставлены и решены задачи оптимального резервирования рассматриваемых ИНС, максимизирующего среднее время работы до отказа, и оптимального резервирования, максимизирующего вероятность безотказной работы, при постоянных во времени интенсивностях отказов и восстановления нейронных блоков. Приведены алгоритмы для машинного решения указанных задач.

8. Предложен способ решения задачи оптимального резервирования многослойной многовыходной структурно однородной «стареющей» ИНС, в которой интенсивности отказов нейронных блоков являются возрастающими функциями времени. Приведены алгоритмы решения задач оптимального резервирования, максимизирующего вероятность безотказной работы, и оптимального резервирования, максимизирующего среднее время работы до отказа, «стареющей» адаптивной ИНС при заданных условиях и ограничениях. Поставлены и решены задачи о минимальной избыточности рассматриваемой «стареющей» адаптивной ИНС, обеспечивающей системе показатели надежности (вероятность безотказной работы или среднее время работы до отказа) не ниже заданных. Приведены алгоритмы для машинного решения данных задач. Поставлена и решена задача оптимизации восстановления рассматриваемой «стареющей» адаптивной ИНС. Данная задача сведена к задаче нахождения оптимального управления при заданных условиях и ограничениях, ее решение оформлено в виде алгоритма, реализуемого на ПЭВМ.

9. Для расчета показателей надежности и решения задач оптимизации резервирования многослойных многовыходных структурно однородных ИНС нейрокомпьютерных систем построены вероятностные модели их функционирования с учетом отказов системы контроля и адаптации в предположении как постоянных, так и возрастающих во времени интенсивностей отказов нейронных блоков ИНС. Построены вероятностные модели функционирования рассматриваемых ИНС с учетом временных затрат на процедуры дообучения (переобучения), выполняемые с целью восстановления функциональных свойств нейросетей, для расчета показателей надежности и решения задач оптимизации резервирования в предположении как постоянных, так и возрастающих во времени интенсивностей отказов. Предложены вероятностные модели для расчета и исследования показателей надежности ИНС с ограниченным замещением отказавших нейронных блоков резервными, функционирующей как при постоянных во времени, так и возрастающих интен-сивностях отказов. Поставлена задача сравнения двух способов замещения отказавших нейронных блоков ИНС по значениям показателей надежности. При сравнении систем по среднему времени работы до отказа решение данной задачи сводится к расчету интенсивностей переходов системы в работоспособные состояния. Построена вероятностная модель функционирования и определены условия для нахождения в рамках заданных параметров и ограничений функций интенсивности восстановления «стареющих» подсетей ИНС нейрокомпьютерной системы, гарантирующих НКС среднее время работы до отказа не ниже заданного.

10. Для «стареющих» многослойных многовыходных структурно однородных ИНС с замещением отказавших нейронных блоков резервными поставлены и решены задачи оптимального динамического резервирования, максимизирующего вероятность безотказной работы рассматриваемых ИНС нейрокомпьютерных систем. Приведены алгоритмы для машинного решения поставленных задач.

11. На основе методов теоретико-игрового моделирования поставлена и решена задача оптимального динамического резервирования «стареющей» многослойной многовыходной структурно однородной ИНС нейрокомпьютерной системы в конфликтной ситуации. Приведен алгоритм для решения данной задачи на ПЭВМ. Поставлены и решены задачи оптимизации резервирования рассматриваемой «стареющей» ИНС нейрокомпьютерной системы в условиях игры (конфликта) с «природой». Решения задач доведены до алгоритмов, реализуемых на ПЭВМ.

12. В развитие и дополнение теоретико-игровых постановок и решений задач оптимизации резервирования нейронных сетей поставлена и решена задача исследования и оптимизации поведения двух нейрокомпьютерных систем в условиях антагонистического противоборства. Для решения задачи противоборства двух НКС приведен алгоритм, реализуемый на современных ПЭВМ.

13. Построены вероятностные модели для исследования и расчета показателей надежности НКС с временным резервированием при нарушениях работоспособности ИНС, не обесценивающих или обесценивающих наработку. Приведены выражения для машинного расчета показателей надежности рассматриваемых систем в предположении частных видов распределений времени до отказа ИНС и восстановления.

14. Рассмотрено увеличение производительности НКС с временным резервированием путем наращивания вычислительных возможностей ИНС как способ повышения надежности функционирования. Сформулированы условия для определения в рамках заданных ограничений минимального числа подсетей ИНС, необходимого для достижения рассматриваемой НКС заданного уровня надежности. Поставлена и решена задача о нахождении временной избыточности, гарантирующей нейрокомпьютерной системе заданную надежность функционирования при различных способах введения временного резервирования в процесс выполнения задания с учетом соответствующих затрат и ограничений. Рассмотрены вопросы совместного использования аппаратурного и временного резервирования для повышения надежности работы НКС.

15. Рассмотрена модель функционирования НКС с учетом введения временной избыточности для устранения последствий отказов, обесценивающих наработку. Приведены выражения для исследования и расчета показателей надежности данной НКС. Поставлена и решена задача о выборе режима контроля работоспособности ИНС нейрокомпьютерной системы рассматриваемого типа в предположении ее использования в системах длительного функционирования. Рассмотрены две модели нейрокомпьютерных систем, отличающихся реализацией системы контроля выполнения задания, с введением в процесс их функционирования временной избыточности для устранения последствий сбоев в работе нейронных сетей, выполняющих обработку информации. Разработан алгоритм решения задачи максимизации вероятности безотказного функционирования рассматриваемых НКС в рамках заданных условий и ограничений.

Результаты диссертационной работы использованы в ПО «Полет» (филиал ФГУП ГКНПЦ им. М.В. Хруничева, г. Омск) при разработке космического аппарата «Союз Сат» при определении требований к программно-аппаратной адаптивной системе предупреждения катастрофический отказов жизненно важных функций бортовых систем; в разработках ОАО «Омская энергосбытовая компания (г. Омск) при проведении перспективных исследований по прогнозированию потребления электроэнергии при помощи аппарата искусственных нейронных сетей. Также результаты диссертации используются при выполнении фундаментальных НИР (госбюджетные НИР по заданию Минобрнауки РФ) и в учебном процессе в Омском государственном техническом университете (г. Омск) при подготовке магистров по магистерской образовательной программе «Отказоустойчивые вычислительные системы»; в учебном процессе в Омском государственном университете им. Ф.М. Достоевского (г. Омск) при подготовке инженеров по специальности 230101 -«Вычислительные машины, комплексы, системы и сети». Имеются акты об использовании.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования доктор технических наук Потапов, Илья Викторович, 2010 год

1. Розенблатт, Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга : пер. с англ. / Ф. Розенблатт. М.: Мир, 1965. - 480 с.

2. Rosenblatt, F. Two theorems of statistical separability in the perceptron / F. Rosenblatt // Symposium on the Mechanization of Thought Processes. 1959. -P. 421-456.

3. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts // Bull. Math. Biophys. 1943. - V. 5. - P. 115 -133.

4. Kohonen, T. Self-organization and associative memory / T. Kohonen. -New-York: Springer-Verlag, 1988.-620 p.

5. Grossberg S. Adaptive pattern classification and universal recording:

6. Parallel development and coding of neural feature detectors / S. Grossberg // Biological Cybernetics. 1976. - Vol. 23. - № 3. - P. 121 - 134.

7. Grossberg, S. Adaptive pattern classification and universal recording:1.. Feedback, expectation, olfaction, illusions / S. Grossberg // Biological Cybernetics. 1976. - Vol. 23. -№ 4.-P. 187-202.

8. Carpenter, G.A. A massively parallel architecture for a self-organizing neural pattern recognition machine / G.A. Carpenter, S. Grossberg // Computer Vision, Graphics, and Image Processing. -1987. № 37. - P. 54-115.

9. Grossberg, S. Nonlinear neural networks: principles, mechanisms and architectures / S. Grossberg // Neural Networks. 1988. - №1. - P. 17-61.

10. The Adaptive Brain / S. Grossberg (Ed.). North-Holland, 1987. - Vol. 1. Cognition, Learning, Reforcement, and Rhythm. - 498 p.; Vol. 2. Vision, Speech, Language, and Motor Control. - 514 p.

11. Hopfield, J. Neural Networks and physical systems with emergent collective computation abilities / J. Hopfield // Proc. of the National Academy of Science USA. 1982. - Vol. 79. - P. 2554 - 2558.

12. Hopfïeld, J. Neurons with graded response have collective computational properties like those of two-state neurons / J. Hopfield // Proc. of the National Academy of Sciences USA. 1984. - Vol. 81. - P. 3088-3092.

13. Widrow, B. Adaptive switching circuits / B. Widrow, M. Hoff // In 1960 IRE WESCON Convention Record. DUNNO, 1960. - P. 96-104.

14. Widrow, B. Learning phenomena in layered neural networks / B. Widrow, R.G. Winter, R.A. Baxter // IEEE First Int. Conf Neural Networks. -1987.-Vol. 2.-P. 411-429.

15. Widrow, B. 30 years of adaptive neural networks: Perceptron, Madaline and Backpropogation / B. Widrow, M.A. Lehr // Proc. IEEE. 1990. - Vol. 78. -№9.-P. 1415-1442.

16. Минский, M. Персептроны / M. Минский, С. Пейперт. M.: Мир, 1971.-252 с.

17. Гутчин, И.Б. Бионика и надежность: элементы теории формальных нейронов / И.Б. Гутчин, А.С. Кузичев. М.: Наука, 1967. - 283 с.

18. Позин, Н.В. Моделирование нейронных структур / Н.В. Позин. -М.: Наука, 1970.-259 с.

19. Мкртчян, С.О. Нейроны и нейронные сети / С.О. Мкртчян. М.: Энергия, 1971.-232 с.

20. Мкртчян, С.О. Проектирование логических устройств ЭВМ на нейронных элементах / С.О. Мкртчян. М.: Энергия, 1977. - 200 с.

21. Амосов, Н.М. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей / Н.М. Амосов, А.Д. Гольцев, Э.М. Куссуль // Кибернетика. 1988. - №5. - С. 113-119.

22. Нейрокомпьютеры и интеллектуальные роботы / Н.М. Амосов и др.; под ред. Н.М. Амосова. Киев: Наукова думка, 1991. - 272 с.

23. Галушкин, А.И. Теория нейронных сетей. Кн. 1 / А.И. Галушкин. -М.: ИПРЖР, 2000. 416 с. (Научная серия «Нейрокомпьютеры и их применение»).

24. Горбань, А.Н. Обучение нейронных сетей / А.Н. Горбань. М.: Изд-во СССР-США СП «ParaGraph», 1990. - 160 с.

25. Горбань, А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А.Н. Горбань // Сибирский журнал вычислительной математики. 1998. - Т. 1. - № 1. - С. 12-24.

26. Le Cum, Y. Optimal brain damage / Y. Le Cum, K.S. Denker, S.A. Solla // Advances in Neural Information Processing Systems II (Denver, 1989). Morgan Kaufman. - 1990. - P. 598-605.

27. Fukushima, F. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position / F. Fukushima et al. // Pattern Recognition. 1982. - Vol. 15. - № 6. - P. 455-469.

28. Chua, L.O. CNN paradigm / L.O. Chua, T. Roska // IEEE Transactions on Circuits and Systems-1. Mar., 1993. - Vol. 40. - P. 147-156.

29. Chua, L.O. Cellular neural networks: theory and applications / L.O. Chua, L. Yang // IEEE Transactions on Circuits and Systems. Oct., 1998. - Vol. 35.-P. 1257-1290.

30. Specht, D.F. Probabilistic neural networks / D.F. Specht // Neural Networks. 1990. - Vol. 3. - № l.-P. 109-118.

31. Arbib, M.A. Brains, Machines, and Mathematics / M.A. Arbib. -Springer Verlag, 1987. 202 p.

32. Сигеру, О. Нейроуправление и его приложения : пер. с англ. / О. Сигеру, X. Марзуки, Ю. Рубия; под ред. А.И. Галушкина, В.А. Птичкина. -М.: ИПРЖР, 2000. 272 с.

33. Ивахненко, А.Г. Персептрон — система распознавания образов / А.Г. Ивахненко. Киев: Наукова думка, 1975. - 431 с.

34. Миркес, Е.М. Нейрокомпьютер. Проект стандарта / Е.М. Миркес. -Новосибирск: Наука. Сибирское предприятие РАН, 1999. 337 с.

35. Модулярные параллельные вычислительные структуры нейропро-цессорных систем / Н.И. Червяков и др.. М. : Физматлит, 2003. - 284 с.

36. Нейрокомпьютеры в остаточных классах. Кн. 11./ Н.И. Червяков и др. М.: Радиотехника, 2003. - 272 с. (Научная серия «Нейрокомпьютеры и их применение»)

37. Нейроинформатика / А.Н. Горбань и др.. Новосибирск: Наука, Сиб. изд. фирма РАН, 1998. - 296 с.

38. Нейроматематика. Кн. 6. / А.Д. Агеев и др.; общая ред. А.И. Галушкина. М.: ИПРЖР, 2002. - 448 с. (Нейрокомпьютеры и их применение).

39. Каляев, A.B. Моделирование информационных процессов в нейро-процессорных сетях / A.B. Каляев // Нейрокомпьютеры: разработка, применение. 2004. - № 10. - С. 3-22.

40. Аведьян, Э.Д. Ассоциативная нейронная сеть СМАС. Часть I. Структура, объем памяти, обучение и базисные функции / Э.Д. Аведьян // Информационные технологии. 1997. - № 5. - С. 6-14.

41. Аведьян, Э.Д. Ассоциативная нейронная сеть СМАС. Часть II. Процессы обучения, ускоренное обучение, влияние помех, устранение влияния помех в двухслойной сети / Э.Д. Аведьян // Информационные технологии. -1997.-№6.-С. 16-27.

42. Уоссермен, Ф. Нейрокомпыотерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. - 182 с.

43. Кирсанов, Э.Ю. Цифровые нейрокомпьютеры: архитектура и схемотехника / Э.Ю. Кирсанов ; под ред. А.И.Галушкина. Казань: Казанск. гос. ун-т, 1995.- 131 с.

44. Кирсанов, Э.Ю. Нейрокомпьютеры с параллельной архитектурой. Кн. 16 / Э.Ю. Кирсанов. М.: ИПРЖР, 2004. - 221 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

45. Кругл ob, B.B. Искусственные нейронные сети. Теория и практика / В.В. Круглов, В.В. Борисов. М.: Горячая линия-Телеком. - 2001. - 382 с.

46. Комарцова, Л.Г. Нейрокомпьютеры / Л.Г. Комарцова, A.B. Максимов. М.: изд-во МГТУ им. Н.Э. Баумана, 2004. - 400 с.

47. Головко, В.А. Нейронные сети: обучение, организация и применение. Кн. 4. / В.А. Головко ; общая ред. А.И. Галушкина. М.: ИПРЖР, 2001. - 256 с. (Нейрокомпьютеры и их применение)

48. Тархов, Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18 / Д.А. Тархов. М.: ИПРЖР, 2005. - 256 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

49. Хайкин, С. Нейронные сети: полный курс (2-е издание) : пер. с англ. / С. Хайкин. М.: Вильяме, 2005. - 1104 с.

50. Галушкин, А.И. Сфера применения нейрокомпьютеров расширяется / А.И. Галушкин // Информационные технологии. Приложение. 2001. - № 10.-24 с.

51. Нейрокомпьютеры в авиации (самолеты) / Под ред. В.И. Васильева, Б.Г. Ильясова, С.Т. Кусимова. Кн. 14. М.: Радиотехника, 2003. - 496 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

52. Нейрокомпьютеры в космической технике / В.В. Ефимов и др. ; под ред. В.В. Ефимова. Кн. 17. М.: Радиотехника, 2004. - 320 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

53. Нейрокомпьютеры в системах обработки изображений / А.Н. Балу хто и др. ; общ. ред. А.И. Галушкина. М.: Радиотехника, 2003. - 192 с. (Нейрокомпьютеры и их применение).

54. Park, M.G. Self-tuning control of a nuclear reactor using gaussian function neural network / M.G. Park, N.Z. Cho // Nuclear Technology. 1995. - Vol. 110.-№2.-P. 285-293.

55. Fantoni, P.F. A pattern recognition-artificial neural networks based model for signal validation in-nuclear power plants / P.F. Fantoni, A. Mazóla // Annals of Nuclear Energy. 1996. - Vol. 23. - № 13. - P. 1069-1076.

56. Flynn, D. Neural control of turbogenerator systems / D. Flynn et al. // Automática. 1997. - Vol. 33. - № 11. - P. 1961-1973.

57. Галушкин, А.И. Нейрокомпьютеры в разработках военной техники США (обзор по материалам открытой печати) / А.И. Галушкин // Зарубежная радиоэлектроника. 1995. - № 5. - С. 3^48. - № 6. - С. 4-21.

58. Santa, К. Control of microassembly-robots by using fuzzy logic and neural networks / K. Santa, S. Fatikow, G. Felso // Computers in Industry. 1999. -Vol. 39.-№3.-P. 219-227.

59. Подход к моделированию элементов магистрального газопровода на основе искусственных нейронных сетей / С.А. Терехов и др. // Радиоэлектроника. Информатика. Управление. 2000. — № 1. — Р. 116-122.

60. Kok, M.V. Well test model identification by artificial neural networks / M.V. Kok, E. Karakaya // Petroleum Science and Technology. 2000. - Vol. 18. -№ 7-8. - P. 783-794.

61. Rao, M.A. Torsional Vibrations of pretwisted blades using artificial neural network technology / M.A. Rao, J. Srinicas // Eng. Comput. 2000. - Vol. 16. - № 1. - P. 10-15.

62. Gao, F. Neural network-based optimal iterative controller for nonlinear processes / F. Gao, F. Wang, M. Li // Canadian Journal of Chemical Engineering. -2000. Vol. 78. - № 2. - P. 363-370.

63. Lin, F.-J. Hybrid control using recurrent fuzzy neural network for linear-induction motor servo drive / F.-J. Lin, R.-J. Wai // IEEE Transactions on Fuzzy Systems.-2001.-Vol. 9.-№ l.-P. 102-115.

64. Гриняев, C.H. Области применения нейронных сетей в задачах кодирования и декодирования информации / С.Н. Гриняев // Двойные технологии. 1999. -№ 1. - Р. 57-59.

65. Bonissone, P.P. Hybrid soft computing systems: industrial and commercial applications / P.P. Bonissone et al. // Proc. IEEE. 1999. - Vol. 87. - № 9. -P. 1641-1667.

66. Горбань, А.Н. Нейронные сети на персональном компьютере / А.Н. Горбань, Д.А. Россиев. Новосибирск: Наука. Сиб. изд. фирма РАН, 1996. -276 с.

67. Weinstein, R.K. Architectures for high-performance FPGA implementations of neural models / R.K. Weinstein, R.H. Lee // Journal of Neural Engineering. 2006. - Vol. 3. - № 1. - P. 21-34.

68. Обеснюк, В.Ф. Цифро-аналоговые элементы электронных нейросе-тей / В.Ф. Обеснюк, Ю.С. Шкодских // Науч. сесс. МИФИ-99: Сб. науч. трудов Всерос. науч.-техн. конф. «Нейроинформатика-99» (Москва, 20-22 янв., 1999). М., 1999. - Ч. 2. - С. 67-72.

69. Грошев, А.В. Реализация нейронных сетей на базе ПЛИС / А.В. Грошев, Ю.В. Панов // Нейрокомпьютеры: разработка, применение. 2003. -№ 10-11.-С. 35-42.

70. Применение микропроцессора NM6403 для эмуляции нейронных сетей / П.А. Шевченко и др. // Нейрокомпьютер. 1998. - № 3-4. - С. 4555.

71. Применение микропроцессора NM6403 для эмуляции нейронных сетей / П.Е. Виксне и др. // Науч. сесс. МИФИ-99: Сб. науч. трудов Всерос. науч.-техн. конф. «Нейроинформатика-99» (Москва, 20-22 янв., 1999). М., 1999.-Ч. 2.-С. 35-43.

72. Архитектурные особенности нейропроцессора NM6403 / В.М. Черников и др. // Науч. сесс. МИФИ-99: Сб. науч. трудов Всерос. науч.-техн. конф. «Нейроинформатика-99» (Москва, 20-22 янв., 1999). М., 1999. - Ч. 2. -С. 93-101.

73. Поспелов, И.Г. О живучести систем на базе процессоров семейства NeuroMatrix® / И.Г. Поспелов // Вопросы радиоэлектроники. Серия Электронная вычислительная техника. 2001. - № 1. - С. 11-14.

74. Бубенников, А.Н. Технологические проблемы создания субмикронных нейрочипов и нейросистем на пластинах / А.Н. Бубенников, А.А. Бубенников // Информационные технологии. 1997. - № 5. — с. 21-28.

75. Галушкин, А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) / А.И. Галушкин // Информационные технологии. 2000. - № 8. - С. 210.

76. Пат. 6889216 США, МПК7 G 06 F 15/18. Physical neural network design incorporating nanotechnology / Known Tech, LLC, Alex Jugent. № 10/095273 ; заявл. 12.03.2002 ; опубл. 03.03.2005; НПК 706/15.

77. Tabarce, S. Programmable analogue VLSI implementation for asymmetric sigmoid neural activation function and its derivative / S. Tabarce, V.G. Tavares, P.G. de Oliveira // Electronics Letters. 2005. - Vol. 41. - № 15. - P. 863-864.

78. Левин, И.И. Элементная база для построения реконфигурируемых нейросетей / И.И. Левин // Нейрокомпьютеры: разработка, применение. -2001.-№7-8.-С. 36^14.

79. Fujita, M. Development and fabrication of digital neural network WSIs / M. Fujita, Y. Kobayashi // TEICE Transactions on Electronics 1993. - Vol. E76.- № 7. P. 1182-1189.

80. Campbell, M. 3-D wafer scale architectures for neural network computing / M. Campbell, S. Toberg // IEEE transactions on components, hybrids, and manufacturing technology. 1993. - Vol. 16. - № 7. - P. 646-655.

81. Галушкин, А.И. О методике решения задач в нейросетевом логическом базисе / А.И. Галушкин // Информационные технологии. Приложение. -2006. № 9. - 24 с.

82. Горбань, А.Н. Нейроинформатика: кто мы, куда идем, как путь наш измерить? / А.Н. Горбань // Информационные технологии. 2000. - № 4. - С. 2-6.

83. Мак-Каллок, У. Надежность биологических систем. Самоорганизующиеся системы / У. Мак-Каллок. -М.: Мир, 1964. - С. 358-377.

84. Радченко, А.Н. Моделирование основных механизмов мозга / А.Н. Радченко. Л.: Наука, 1968. - 212 с.

85. Брайнес, С.Н. Проблемы нейрокибернетики и нейробионики /С.Н. Брайнес, В.Б. Свечинский. М.: Медицина, 1968. - 232 с.

86. Фомин, C.B. Математические проблемы в биологии / C.B. Фомин, М.Б. Беркинблит. -М.: Наука, 1973.- 199 с.

87. Вербик, Л. О нейронных сетях с минимизацией ошибки / Л. Вербик.- Принципы самоорганизации. М.: Мир, 1966. - С. 163-174.

88. Блюм, М. Допустимые ошибки нейронов для безотказной работы сетей / М. Блюм, Н. Онесто, Л. Вербик // Методы введения избыточности для вычислительных систем. М.: Сов. Радио, 1966. - С. 84-87.

89. Потапов, В.И. Функциональная надежность сетей из формальных нейронов / В.И. Потапов // Автоматика и вычислительная техника. 1968. -№ 1. - С. 37-43.

90. Потапов, В.И. Исследование свойств адаптивных логических сетей из нейроподобных элементов методом математического моделирования / В.И. Потапов, М.Ф. Доценко // Проблемы бионики. — Харьков: ХГУ, 1971. -Вып. 7.-С. 16-24.

91. A.C. 226302 СССР, МПК G 06 f. Адаптивное вычислительное устройство / В.И. Потапов (СССР). 1163597/26-24; заявлено 30.05.67; опубл. 8.01.68, Бюлл. № 28.

92. A.C. 443382 СССР МПК G 06 f 7/00. Однородная вычислительная среда / В.И. Потапов, В.Ф. Нестерук (СССР). 1884174/18-24; заявлено 14.02.73; опубл. 15.09.74, Бюлл. № 34.

93. A.C. 260968 СССР МПК G 06 f Адаптивное вычислительное-устройство / В.И. Потапов, A.A. Маслов (СССР). 1282453/18-24; заявлено 14.11.68; опубл. 06.01.70, Бюлл. № 4.

94. A.C. 479115 СССР МПК G 06 f 15/18. Адаптивное вычислительное устройство с поразрядной обработкой информации /В.Ф. Нестерук, В.И. Потапов (СССР). 1938482/18-24; заявлено 28.06.73.; опубл. 30.07.75, - Бюлл. №28.

95. Senashova, M.Y. Back Propagation of Accuracy / M.Y. Senashova, A.N. Gorban, D. Wunsch // Proc. IEEE/INNS International Conference of Neural Networks, Houston, IEEE, 1997. -P. 1998-2001.

96. Сенашова М.Ю. Погрешности нейронных сетей. Вычисление погрешностей весов синапсов / М.Ю. Сенашова // Методы нейроинформатики.- Красноярск: КГТУ, 1998. С. 48-64.

97. Горбань, А.Н. Погрешности в нейронных сетях / А.Н. Горбань, М.Ю. Сенашова ; ВЦ СО РАН. Красноярск, 1997. - 38 с. - Деп. в ВИНИТИ 25.07.97, №2509-В97.

98. Сенашова, М.Ю. Оценки погрешностей сигналов в нейронных сетях / М.Ю. Сенашова // Вычислительные технологии. 2000. - Т.5. - № 3. -С. 83-109.

99. Лопин, В.Н. Отказоустойчивые однородные сети на нейроподоб-ных элементах / В.Н. Лопин, И.С. Захаров. Курск: КГТИ, 2000. - 163 с.

100. Лопин, В.Н. Информационные процессы в иерархических сетях на нейроподобных элементах / В.Н. Лопин, И.С. Захаров. — Курск: КГТУ, 2002.- 115 с.

101. Лопин, В.Н. Многофункциональные отказоустойчивые устройства на нейроподобных элементах / В.Н. Лопин, И.С. Захаров. — Курск: КГТУ, 2004. 176 с.

102. Червяков, Н.И. Коррекция ошибок в модулярных нейрокомпьютерах / Н.И. Червяков, Б.С. Шалин // Нейрокомпьютеры: разработка, применение. 2004. - №5-6. - С. 15-18.

103. Применение нейронных сетей Хопфилда для коррекции ошибок в модулярных нейрокомпьютерах / Н.И. Червяков и др. // Нейрокомпьютеры: разработка, применение. — 2002. №11. - С. 10-16.

104. Локализация и исправление арифметических ошибок в модулярных нейрокомпьютерах / Н.И. Червяков и др. // Нейрокомпьютеры: разработка, применение. 2003. - № 7. - С. 28-32.

105. Архитектура адаптивной параллельно-конвейерной нейронной сети для коррекции ошибок в модулярных нейрокомпьютерных системах / Н.И.

106. Червяков и др. // Нейрокомпьютеры: разработка, применение. 2003. - №6. - С. 47-60.

107. Архитектура отказоустойчивой нейронной сети для цифровой обработки сигналов / Н.И. Червяков и др. // Нейрокомпьютеры: разработка, применение. 2004. - № 12. - С. 51-60.

108. Данилин, С.Н. Экспериментальное исследование надежности обученных нейронных сетей прямого распространения / С.Н. Данилин, Н.Ю. Ку-зякина // Нейрокомпьютеры: разработка, применение. 2006. - № 3. - С. 912.

109. Toward Reliable Neural Network Software for the Development of Methodologies for Independent Verification and Validation of Neural Networks / Institute for Scientific Research, Inc. (ISR), 2002. Nov., 2002. - IVVNN-LITREV-F001 -UNCLASS-111202.

110. Introduction to Development of Methodology for Independent Verification and Validation of Neural Networks / Institute for Scientific Research, Inc. (ISR), 2003a. Jan., 2003. - IWNN-INT-F001-UNCLASS-021403.

111. Draft Guidance for the Independent Verification and Validation of Neural Networks / Institute for Scientific Research, Inc. (ISR), 2003b. Oct., 2003. -IWNN-GUIDE-D001 -UNCLASS-101603.

112. Rousset, P. Understanding and reducing variability of SOM neighbourhood structure / P. Rousset, C. Guinot, B. Maillet // Neural Networks. 2006. - V. 19. - № 6-7. - July-August 2006. - P. 838-846. Advancies in Self Organising Maps - WSOM'05.

113. Kidwell, E. Brainchild: a fault tolerant neural network / E. Kidwell // IJCNN International Joint Conference on Neural Networks. 1989. - Vol. 2. - P. 570.

114. Pomerleau, D. Reliability Estimation for Neural Networks Based Autonomous Driving / D. Pomerleau // Robotics and Autonomous Systems. -1994.-Vol. 12.-P. 113-119.

115. Lakey, P.B. Reliability modeling and design criteria for the backpropa-gation artificial neural network / P.B. Lakey // Reliability and Maintainability Symposium, 1993, (Atlanta, GA, 26-28 Jan, 1993), Proceedings, Annual. 1993. -P. 114-119.

116. Tatapudi, S. Split-Precharge Differential Noise-Immune Threshold Logic Gate (SPD-NTL) / S. Tatapudi, V. Beiu // Artificial Neural Nets Problem Solving Methods, 2003. 7th Int. Work-Conference IWANN'03, Menorca, Proc. -Part II. - P. 49-56.

117. Berman, P. A note on the Complexity of Reliability in Neural networks / P. Berman, I. Parberry, G. Schnitger // IEEE Transactions on Neural Networks. -1992. Vol. 3. - № 6. - P. 998r1002.

118. Von Neumann, J. Probabilistic logics and the synthesis of reliable organisms from unreliable components / J. Von Neumann // In Automata Studies (C.E. Shannon and J. McCarthy, eds.). Princeton University Press, 1956. - P. 4398.

119. Pippenger, N. Invariance of complexity measures for networks with unreliable gates / N. Pippenger // Journal of the ACM. 1989. - Vol. 36. - № 3. - P. 531-539.

120. Pippenger, N. On networks of noisy gates / N. Pippenger // In Proc. of the 26th Annual IEEE Symp. On Foundation of Computer Science. New-York, 1989.-P. 30-38.

121. Feder, T. Reliable computation by networks in the presence of noise / T. Feder // IEEE Transactions on Information Theory. 1989. - Vol. 35. - № 3. -P. 569-571.

122. Reliability Characteristics of Neural Networks Having Faulty Interconnections (Thesis P.H.D.) / P.-C. Chung. Texas Tech University, 1991. - 162 p.

123. Chung, P.-C. Reliability Measures of Hebbian-Type Associative Memories with Faulty Interconnections / P.-C. Chung, T.F. Krile // Proceeding of IJCNN, San Diego, CA, June 1990. 1990. - Vol. I, P. 847-852.

124. Chung, P.-C. Reliability Characteristics of Hebbian-Type Associative Memories in Network Implementations / P.-C. Chung, T.F. Krile // Proceeding of IJCNN, Seattle, WA, July 1991. 1991. - Vol. II. - P. 363-368.

125. Chung, P.-C. Reliability Characteristics of Quadratic Hebbian-Type Associative Memories in Optical and Electronic Network Implementations / P.-C. Chung, T.F. Krile // IEEE Trans. Neural Networks. 1995. - Vol. 6. - № 2. -P.357-367.

126. Pakdaman, K. Coherence resonance and time reliability in neurons and neuronal models / K. Pakdaman, S. Tanabe, T. Shimokawa // Neural Networks. -2001. Vol. 14. - № 6-7. - P. 895-905.

127. Chun, R.K. Immunization of neural networks against hardware faults / R.K. Chun, L.P. McNamee // IEEE International Symposium on Circuits and Systems. 1990. - Vol. l.-P. 714-718.

128. Neti, C. Maximally fault-tolerant neural networks and nonlinear programming / C. Neti, M.H. Schneider, E.D. Young // IJCNN International Joint Conference on Neural Networks. - 1990. - Vol. 2. - P. 483-496.

129. Neti, C. Maximally fault tolerant neural networks / C. Neti, M.H. Schneider, E.D. Young // IEEE Transactions on Neural Networks. 1992. - Vol. 3.-№ l.-P. 14-23.

130. Piuri, V. Analysis of Fault Tolerance in Artificial Neural Networks / V. Piuri // Journal of Parallel and Distributed Computing. 2001. - Vol. 61. - № 1. -P. 18-48.

131. Fault Tolerance of Artificial Neural Networks with Applications in Critical Systems : tech. rept. / P.W. Protzel, D.L. Palumbo, M.K. Arras. NASA TP-3187.-1992.-49p.

132. Protzel, P.W. Performance and Fault-Tolerance of Neural Networks for Optimization / P.W. Protzel, D.L. Palumbo, M.K. Arras // IEEE Transactions on Neural Networks. 1993. - Vol. 4. - № 4. p. 600-614.

133. Tohma, Y. Fault-tolerant design of neural networks for solving optimization problems / Y. Tohma, Y. Koyanagi // IEEE Transactions on Computers -1996. Vol. 45. - № 12. - P. 1450-1455.

134. Deodhare, D. Synthesis of Fault-Tolerant Feedforward Neural Networks Using Minimax Optimization / D. Deodhare, M. Vidyasagar, S.S. Keerthi // IEEE Transactions on Neural Networks. 1998. - Vol. 9. - № 5. - P. 891-900.

135. Zhou, Z.-H. Evolving Fault-Tolerant Neural Networks / Z.-H. Zhou, S.-F. Chen // Neural Computing & Applications. 2003. - Vol. 11. - № 3-4. - P. 156-160.

136. Investigating Fault Tolerance in Artificial Neural Networks : tech. rept. / G. Bolt. Univ. of York, UK. - 1991. - 46 p. - YCS 154.

137. Fault tolerant Multi-Layer Perceptron Networks : tech. rept. / G. Bolt, J. Austin, G. Morgan. Univ. of York, UK. - 1992. - 27 p. - YCS 180.

138. Bolt, G. Fault tolerance and robustness in neural networks / G. Bolt // International Conference on Neural Networks (IJCNN-91, Seattle). 1991. - Vol. 2.-P. 986.

139. Bolt, G. Assessing the reliability of artificial neural networks // G. Bolt // IEEE International Joint Conference on Neural Networks. 1991. - Vol. 1. - P. 578-583.

140. Chu, L.-C. Fault tolerant neural networks with hybrid redundancy / L.-C. Chu, B.W. Wah // International Joint Conference on Neural Networks (IJCNN, 1990). 1990. - Vol. 2. - P. 639-649.

141. Sibai, F.N. A fault-tolerant digital artificial neuron / F.N. Sibai // IEEE Design & Test of Computers. 1993. - Vol. 10. - № 4. - P. 76-82.

142. Wei, W. Re-constructing high reliable BP-model neural networks / W. Wei // Proceedings of International Joint Conference on Neural Networks (IJCNN, 1993). 1993. - Vol. 2. - P. 1421-1424.

143. Nijhuis, J., Limits to the fault-tolerance of feedforward neural networks with learning / J. Nijhuis et. al. // 20th International Symposium on Fault-Tolerant Computing (FTCS-20 Digest of Papers). 1990. - P. 228-235.

144. Sang-Hoon, Oh. Sensitivity analysis of single hidden-layer neural networks with threshold functions / Oh. Sang-Hoon, L. Youngjik // IEEE Transactions on Neural Networks. 1995. - Vol. 6. - № 4. - P. 1005-1007.

145. Alippi, C. Sensitivity to errors in artificial neural networks: a behavioral approach / C. Alippi, V. Piuri, M. Sami // IEEE International Symposium on Circuits and Systems (ISCAS, 1994). 1994. - Vol. 6. - № 30. - P. 459-462.

146. Stevenson, M. Sensitivity of feedforward neural networks to weight errors / M. Stevenson, R. Winter, B. Widrow // IEEE Transactions on Neural Networks. 1990. - Vol. 1. - № 1. - P. 71-80.

147. Yasuo, T. A fault-tolerant multilayer neural networks model and its properties / T. Yasuo, T. Nanya // Systems and computers in Japan. 1994. - Vol. 25.-№2.-P. 33^13.

148. Belfore II, L.A. Modeling of fault tolerance in neural networks / L.A. Belfore II, B.W. Johnson, J.H. Aylor // IECON-89. 15th Annual Conference of IEEE. 1989. - Vol. 4. - P. 753-758.

149. Phatak, D.S. Fault tolerance of feedforward neural nets for classification tasks / D.S. Phatak, I. Koren // International Joint Conference on Neural Networks (IJCNN, 1992). 1992. - Vol. 2. - P. 386-391.

150. Phatak, D.S. Complete and partial fault tolerance of feedforward neural nets / D.S. Phatak, I. Koren // IEEE Transactions on Neural Networks. 1995. -Vol. 2. - № 2. - P. 446-456.

151. Phatak, D.S. Fault Tolerant Artificial Neural Networks / D.S. Phatak // Proc. of the 5th Dual Use Technologies and Applications Conference. 1995. - P. 193-198.

152. Phatak, D.S. Synthesis of Fault Tolerant Neural Networks / D.S. Phatak, E. Tchernev // Proc. of International Joint Conference on Neural Networks (IEEE IJCNN, 2002). 2002. P. 1475-1480.

153. Tchernev, E.B. Investigating the Fault Tolerance of Neural Networks / E.B. Tchernev, R.G. Mulvaney, D.S. Phatak // Neural Computation. 2005. - № 17 (7).-P. 1646-1664.

154. Segee, B.E. Fault tolerance of pruned multilayer networks / B.E. Segee, M.J. Carter // International Joint Conference on Neural Networks (IJCNN, 1991). -1991.-Vol. 2. P. 447-452.

155. Segee, B.E. Comparative Fault Tolerance of Parallel Distributed Processing Networks / B.E. Segee, M.J. Carter // IEEE Transactions on Computers. -1994.-Vol. 43. -№ 11. P. 1323-1329.

156. Sequin, C.H. Fault tolerance in artificial neural networks / C.FI. Sequin, R.D. Clay // International Joint Conference on Neural Networks (IJCNN, 1990). -1990.-Vol. l.-P. 703-708.

157. Fault Tolerance of Neural Networks : final rept. / K. Mehrotra et al. // Syracuse Univ. 1994. - P. 104. - AD-A285098. - RL-TR-94-93.

158. Training techniques to obtain fault-tolerant neural networks / Chin Ching-Tai et al. // 24 International Symposium on Fault-Tolerant Computing (FTCS-24). Digest of Papers. 1994. - P. 360-369.

159. Modifying training algorithms for improved fault tolerance / Chin Ching-Tai et al. // IEEE International Conference on Neural Networks. IEEE World Congress on Computational Intelligence. 1994. - Vol. l.-P. 333-338.

160. Murray, A.F. Synaptic weight noise during MLP learning enhances fault-tolerance, generalization and learning trajectory / A.F. Murray, P.J. Edwards

161. Advances in Neural Information Processing Systems 5 (1992). Morgan Kaufman, 1993.-P. 491^-98.

162. Murray, A.F. Enhanced MLP performance and fault tolerance resulting from synaptic weight noise during training / A.F. Murray, P.J. Edwards // IEEE Transactions on Neural Networks. 1994. - Vol. 5. - № 5. - P. 792-802.

163. Clay, R.D. Fault tolerance training improves generalization and robustness / R.D. Clay, C.H. Sequin // International Joint Conference on Neural Networks (IJCNN, 1992). Vol. 1. - P. 769-774.

164. Kwon, O.J. A design method of fault tolerant neural networks / O.J. Kwon, S.Y. Bang // Proc. ICONIP'94, Seoul, Korea. 1994. - Vol.1. - P. 396400.

165. Hammadi, N.C. A learning algorithm for fault tolerant neural networks / N.C. Hammadi, H. Ito // IEICE Tech. Rept. 1996. - P. 23-30. - FT95-78.

166. Fault tolerant constructive algorithm for feedforward neural networks / N.C. Hammadi et al. // Proc. Pacific Rim International Symposium on Fault-Tolerant Systems. 1997. - P. 215-220.

167. Dynamic constructive fault tolerant algorithm for feedforward neural networks / N.C. Hammadi et al. // IEICE Transactions on Information and Systems. 1998. -Vol. E81-D. - № l.-P. 115-123.

168. Cavaleri, S. A novel learning algorithm which improves the partial fault tolerance of multilayer neural networks / S. Cavaleri, O. Mirabella // Neural Networks. 1999. - Vol. 12.-№ l.-P. 91-106.

169. Takase, H. Weight minimization approach for fault tolerant multi-layer neural networks / H. Takase, H. Kita, T. Hayashi // Proc. of International Joint Conference on Neural Networks (IJCNN, 2001). Vol. 4. - P. 2656-2660.

170. Learning algorithm with activation function manipulation for fault tolerant neural networks / N. Kamiura et al. // IEICE Transactions on Information and Systems. 2001. - Vol. E84-D. - № 7. - P. 899-905.

171. Ito, T. On fault injection approaches for fault tolerance of feedforward neural networks / T. Ito, I. Talcanami // Proc. Sixth Asian Test Symposium (ATS, 1997).-P. 88-93.

172. Takanami, I. A novel learning algorithm which makes multilayer neural networks multiple-weight-fault tolerant /1. Takanami, Y. Oyama // IEICE Transactions on Information and Systems. 2003. - Vol. E86-D. - № 12. - P. 2536-2543.

173. Horita, T. Learning algorithm which make multilayer neural networks multiple-weight-and-neuron-fault tolerant / T. Horita, I. Takanami, M. Mori // IEICE Transactions on Information and Systems. 2008. - Vol. E91-D. - № 4. -P. 1168-1175.

174. Sugawara, E. Fault tolerant multi-layer neural networks with GA training / E. Sugawara, M. Fukushi, S. Horiguchi // Proc. 18th IEEE International Symposium on Detect and Fault Tolerance in VLSI Systems (DFT, 2003). 2003. - P. 328-335.

175. Bettola, S. High performance fault-tolerant digital neural networks / S. Bettola, V. Piuri // IEEE Transactions on Computers. 1998. - Vol. 47. - № 3. -P. 357-363.

176. Заявка 19925206 Германия, МПК7 G 06 F 15/18%G 06 F 11/00. Prüfverfahren eines neuronalen Netzes und Prüfvorrichtung fur dieses / Tateishi Masahiko, Tamura Shinichi; Denso Corp. № 19925206.8; Заявл. 01.06.1999; Опубл. 07.12.2000.

177. Fault-tolerant logic gates using neuromorphic CMOS circuits / N. Joye et al. // In IEEE 3rd Conference on Ph.D. Research in Microelectronics and Electronics. 2007. - P. 249-252.

178. Fault tolerance of feed-forward artificial neural network architectures targeting nano-scale implementations / M. Vural et al. // Proc. of 50th Midwest Symposium on Circuits and Systems (MWSCAS, 2007). 2007. - P. 779-782.

179. Defect tolerant implementations of feed-forward and recurrent neural networks / P. Franzon et al. // Proceedings of 2nd International Conference on Wafer Scale Integration. 1990. - P. 160-166.

180. Стемпковский, A.JI. Проблемы реализации отказоустойчивых архитектур нейрочипов по технологии Систем с Интеграцией на Пластине / A.JI. Стемпковский, Л.Б. Осипов, С.З. Селезнев // Информационные технологии. 1997. - № 5. - С. 15-20.

181. How to improve the reliability of artificial neural networks : research report / A. Sharkey, N. Sharkey // University of Shefield, Department of Computer Science.-1995.-CS-95-11.

182. Герон, C.B. Нейронное голосование в TV-кратно резервированной вычислительной системе / С.В. Герон, А.И. Фрид // Нейрокомпьютеры: разработка, применение. 2007. - №7. - С. 30-34.

183. High reliability neural networks structure with application to spacecraft ASMS tone detection / K. Rahnamai et al. // Proc. Joint 9th IFSA World Congress and 20th NAFIPS International Conf., July 25-28, 2001. 2001. - Vol. 2. - P. 829-834.

184. Потапов, В.И. Построение проверяющих тестов для пороговых элементов / В.И. Потапов, И.А. Пальянов // Известия АН СССР. Техническая кибернетика. 1973. -№ 4. - С. 140-147.

185. Потапов, В.И. Диагностика неисправности пороговых элементов /

186. B.И. Потапов, И.А. Пальянов // Известия СО АН СССР. Технические науки. -1976. № 8. - Вып. 2. - С. 126-133.

187. Потапов, В.И. Теоретические основы диагностики и оптимизации надежности искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. -Омск: Изд-во ОмГТУ, 2004. 152 с.

188. Фомин, Ю.И. Методы технической диагностики сетей пороговых элементов / Ю.И. Фомин, А.И. Галушкин // Техника средств связи. Сер. «Системы связи». 1980. - Вып. 2. - С. 84-94.

189. Фомин, Ю.И. О методике параллельной диагностики отказов в сетях пороговых элементов / Ю.И. Фомин, А.И. Галушкин // Электронное моделирование. Киев: Наукова Думка. - 1981. - № 3. - С. 89-92.

190. Belfore И, L.A. Testing recurrent artificial neural networks / L.A. Bel-fore II, C.A. Fleischer // IEEE Int. Conf. on Systems, Man and Cybernetics. Intelligent Systems for the 21st Century. 1995. - Vol. 1. - P. 462-467.

191. Belfore II, L.A. A test methodology for artificial neural networks / L.A. Belfore II, C.A. Fleischer // Proc. of the 1995 IEEE IECON 21st Int. Conf. on Industrial Electronics, Control and Instrumentation. 1995. - Vol. 2. - P. 14001405.

192. Fleischer, C.A. A new approach for testing artificial neural networks /

193. C.A. Fleischer, L.A. Belfore II. // 15th IEEE VLSI Test Symposium. 1997. - P. 245-250.

194. Бабкин, P.А. Метод выделения подозреваемых неисправностей в нейронных сетях / Р.А. Бабкин, А.В. Лобанов // Нейрокомпьютеры: разработка, применение. 2004. - № 5-6. - С. 4-14.

195. Потапов, И.В. Проблемы надежности искусственных нейронных сетей / И.В. Потапов // Динамика систем, механизмов и машин: Материалы IV Международной научно-технической конференции (Омск 12-14 ноября 2002 г.) Омск: ОмГТУ, 2002. - Кн. 1. - С. 236-238.

196. Потапов, В.И. Фундаментальные проблемы разработки основ прикладной теории надежности искусственных нейронных сетей и нейрокомпь-ютерных систем / В.И. Потапов // Омский научный вестник. 2006. - № 4(38).-С. 112-115.

197. Половко, A.M. Основы теории надежности. 2-е изд., перераб. и доп. / A.M. Половко, C.B. Гуров. СПб.: БХВ-Петербург, 2006. - 704 с.

198. Потапов, И.В. Предпосылки к созданию прикладной теории надежности искусственных нейронных сетей и нейрокомпьютерных систем / И.В. Потапов ; Омский гос. техн. ун-т. Омск, 2009. - 39 с. - Деп. в ВИНИТИ 17.02.09, №79-В2009.

199. Потапов, В.И. Математические модели, методы и алгоритмы оптимизации надежности и технической диагностики искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. Омск: Изд-во ОГУП Омская областная типография, 2004. - 220 с.

200. Потапов, И.В. Надежность нейрокомпьютерных систем. Модели и задачи / И.В. Потапов. Омск: Изд-во ОмГТУ, 2007. - 240 с.

201. Синтез схем на пороговых элементах / E.H. Вавилов и др.. М.: Сов. радио, 1970.-368 с.

202. Бутаков, Е.А. Методы синтеза релейных устройств из пороговых элементов / Е.А. Бутаков. М.: Энергия, 1970. - 328 с.

203. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / В.Г. Хорошевский. М.: Радио и связь, 1987. -256 с.

204. Калбертсон, Д.Т. Некоторые неэкономичные работы / Д.Т. Калбертсон // Автоматы. М.: ИЛ, 1956. - С. 205-241.

205. Варшавский, В.И. Некоторые вопросы теории логических сетей, построенных из пороговых элементов / В.И. Варшавский // Вопросы теории математических машин. М.: Физматгиз, 1962. - Вып. 2. - С. 43-52.

206. Дейч, С. Модели нервной системы / С. Дейч. М.: Мир, 1970.325 с.

207. Мкртчян, С.О. О модели формального нейрона с объединяющимися волокнами / С.О. Мкртчян // Известия АН СССР. Техническая кибернетика. 1970. - № 3. - С. 122-124.

208. Бриллюэн, Л. Наука и теория информации : пер. с англ. / Л. Брил-люэн. М.: Физматгиз, 1960. - 392с.

209. Красовский, A.A. Основы автоматики и технической кибернетики / A.A. Красовский, Г.С. Поспелов. М.: Госэнергоиздат, 1962. - 600с.

210. Потапов, И.В. Информационная избыточность искусственных нейронов и нейронных сетей как фактор их надежного функционирования / И.В. Потапов // Омский научный вестник. Серия Приборы, машины и технологии. 2006. - № 10(48).-С. 153-157.

211. Барлоу, Р. Математическая теория надежности : пер. с англ. / Р. Барлоу, Ф. Прошан. М.: Сов. радио, 1969. - 488 с.

212. Надежность технических систем : справ. / Под ред. И.А. Ушакова. М.: Радио и связь, 1985. - 606 с.

213. Козлов, Б.А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики / Б.А. Козлов, И.А. Ушаков. М.: Сов. радио, 1975.-472 с.

214. Потапов, И.В. Модели отказоустойчивых многофункциональных нейромодулей с информационно-структурным резервированием / И.В. Потапов // Нейрокомпьютеры: разработка, применение. 2008. — № 9. - С. 3-9.

215. Виноград, С. Надежные вычисления при наличии шумов : пер. с англ. / С. Виноград, Дж. Д. Коуэн. М.: Наука, 1968. - 112 с.

216. Теория кодирования : пер. с яп. / Т. Кассами и др.. М.: Мир, 1978.-576 с.

217. Черкесов, Г.Н. Надежность аппаратно-программных комплексов / Г.Н. Черкесов. СПб.: Питер, 2005. - 497 с.

218. Пирс, У. Построение надежных вычислительных машин : пер. с англ. / У. Пирс. М.: Мир, 1968. - 272 с.

219. Острейковский, В.А. Теория надежности / В.А. Острейковский. — М.: Высшая школа, 2003. 463 с.

220. Потапов, В.И. О логической избыточности функционально устойчивых сетей искусственных нейронов / В.И. Потапов, И.В. Потапов // Омский научный вестник. 2001. - Вып. 15. - С. 90-91.

221. Потапов, В.И., Синтез многофункциональных формальных нейронов с оптимальными параметрами / В.И. Потапов, JLB. Камаева // Вычислительная техника и системы управления. Омск: ОмПИ, 1974. - С. 20-30.

222. Потапов, В.И. Синтез оптимизированных многофункциональных формальных нейронов / В.И. Потапов, А.Н. Флоренсов // Вычислительная техника и системы управления. Омск: ОмПИ, 1975. - Вып. 2. - С. 9-18.

223. Потапов, В.И. Синтез адаптивных избыточных искусственных нейронных сетей, функционально устойчивых к отказам нейронов / В.И. Потапов, И.В. Потапов // Вестник СО АН ВШ. № 1(9). - 2005. - С. 153-163.

224. Потапов, В.И. Минимизация процесса восстановления в функциональных устойчивых логических сетях из элементов нейронного типа / В.И. Потапов, В.Ф. Нестерук // Проблемы бионики. Харьков: ХГУ, 1973. -Вып. 11.-С. 22-26.

225. Сердаков, A.C. Автоматический контроль и техническая диагностика / A.C. Сердаков. Киев: Техшка, 1971. - 244 с.

226. Райкин, A.JI. Вероятностные модели функционирования резервированных устройств / A.JI. Райкин. М.: Наука, 1975. - 254 с.

227. Зеленцов, Б.П. Матричные модели надежности систем: инженерные методы расчета / Б.П. Зеленцов. Новосибирск: Наука. Сиб. отд-ние, 1991.-112 с.

228. Потапов, И.В. О готовности и средней готовности нейрокомпью-терной системы с ненадежным устройством контроля работы искусственной нейронной сети / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. Прил. 2005. - № 3. - С. 34-37.

229. Потапов, И.В. Вычисление функциональной готовности нейрокомпыотерной системы при настройке и восстановлении после отказов / И.В. Потапов // Омский научный вестник. 2006. - № 3(36). - С. 129-132.

230. Васильев, Б.В. Надежность и эффективность радиоэлектронных устройств / Б.В. Васильев, Б.А. Козлов, Л.Г. Ткаченко. -М.: Сов. радио, 1964. -368 с.

231. Вентцель, Е.С. Теория случайных процессов и ее инженерные приложения / Е.С. Вентцель, JI.A. Овчаров. М.: Высш. шк., 2000. - 383 с.

232. Потапов, В.И. Новые задачи прикладной теории надежности нейронных систем / В.И. Потапов. Омск: Изд-во ОмГТУ, 2008. - 56 с.

233. Потапов, И.В. Решение задач оптимизации надежности аппаратур-но-избыточных отказоустойчивых однородных искусственных нейронных сетей / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. 2005. -№ 4. - С.24-26.

234. Потапов, И.В. Комплекс программного обеспечения для оптимизации надежности однородных нейронных структур / И.В. Потапов // Программные продукты и системы. 2008. - № 1(81). - С. 90-92.

235. Потапов, И.В. Программное обеспечение для исследования й оптимизации надежности однородных нейронных структур (ОФАП № 10518) / И.В. Потапов, М.В. Кузин // М.: ОФАП ФГНУ «ГКЦИТ», 2008. № 50200800878.

236. Потапов, И.В. Программное обеспечение для исследования и оптимизации надежности однородных нейронных структур / И.В. Потапов, М.В. Кузин // Инновации в науке и образовании (Телеграф отраслевого фонда алгоритмов и программ). 2008. - № 4(39). - С. 35.

237. Потапов, И.В. Программное обеспечение для исследования и оптимизации надежности однородных нейронных структур / И.В. Потапов, М.В. Кузин // Компьютерные учебные программы и инновации. 2008. — № 7.-С. 138.

238. Потапов, В.И. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными / В.И. Потапов, И.В. Потапов // Омский научный вестник. 2002. - Вып. 18. - С. 135— 138.

239. Потапов, В.И. Новые задачи оптимизации резервированных систем / В.И. Потапов, С.Г. Братцев. — Иркутск: изд-во Иркут. ун-та, 1986. — 112с.

240. Козлов, Б.А. Резервирование с восстановлением / Б.А. Козлов. -М.: Сов. радио, 1969. 152 с.

241. Диткин, В.А. Интегральные преобразования и операционное исчисление / В.А. Диткин, А.П. Прудников. М.: Наука, 1974. - 542 с.

242. Мишина, А.П. Высшая алгебра / А.П. Мишина, И.В. Проскуряков. -М.: Наука, 1965.-300 с.

243. Егорычев, Г.П. Интегральное представление и вычисление комбинаторных сумм / Г.П. Егорычев. Новосибирск: Наука, 1977. - 281с.

244. Потапов, В.И. Решение задачи оптимального резервирования «стареющей» адаптивной искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Доклады СО АН ВШ. 2003. - № 1(7). - С. 35-43.

245. Потапов, В.И. Оптимизация функциональной надежности избыточной восстанавливаемой после отказов нейронов «стареющей» искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Информационные технологии. 2004. - № 12. - С. 32-37.

246. Брайсон, А. Прикладная теория оптимального управления / А. Брайсон, Ю Ши Хо. М.: Мир, 1972. - 544 с.

247. Федоренко, Р.П. Приближенное решение задач оптимального управления / Р.П. Федоренко. М.: Наука, 1978. - 486 с.

248. Флеминг, У. Оптимальное управление детерминированными и стохастическими системами / У. Флеминг, Р. Ришел. М.: Мир, 1978. - 316 с.

249. Корн, Г. Справочник по математике для научных работников и инженеров / Г. Корн, Т. Корн. М.: Наука, 1984. - 833 с.

250. Потапов, И.В. Расчет показателей надежности резервированных искусственных нейронных сетей с учетом случайного времени восстановления работоспособности / И.В. Потапов // Вестник ТГУ. Прил. 2006. - № 18. -С. 106-110.

251. Потапов, И.В. Методика анализа надежности резервированной искусственной нейронной сети / И.В. Потапов // Изв. вузов. Приборостроение.- 2007. Т. 50. - № 1. - С. 26-30.

252. Сачков, В.Н. Комбинаторные методы дискретной математики / В.Н. Сачков. М.: Наука, 1977. - 320 с.

253. Потапов, В.И. Вычисление коэффициентов уравнений «гибели» при скользящем резервировании / В.И. Потапов, С.Г. Братцев // Изв. АН СССР. Техническая кибернетика. 1976. - № 2. - С. 74-81.

254. Потапов, В.И. Об оптимизации среднего времени «жизни» однородных нейронных сетей нейрокомпьютеров с замещением отказавших нейронов резервными / В.И. Потапов, И.В. Потапов // Омский научный вестник.- 2004. Вып. 1 (26). - С. 95-99.

255. Беллман, Р. Квазилинеаризация и нелинейные краевые задачи / Р. Беллман, Р. Калаба. М.: Мир, 1968. - 324 с.

256. Потапов, В.И. Оптимизация функциональной надежности «стареющих» искусственных сетей нейрокомпьютеров с динамическим резервированием / В.И. Потапов, И.В. Потапов // Доклады АН ВШ России. 2004. -№ 2(3).-С. 76-81.

257. Потапов, И.В. Исследование и оптимизация надежности нейро-компьютерных систем в конфликтных ситуациях / И.В. Потапов // Вестник ТГУ. Управление, вычислительная техника и информатика. 2008. - № 4(5). -С. 69-73.

258. Гермейер, Ю.Б. Введение в теорию исследования операций / Ю.Б. Гермейер. -М.: Наука, 1971.-383 с.

259. Крапивин, В.Ф. Теоретико-игровые методы синтеза сложных систем в конфликтных ситуациях / В.Ф. Крапивин. — М.: Сов. радио, 1972. 192 с.

260. Понтрягин, JI.C. Оптимизация и дифференциальные игры / JI.C. Понтрягин // Природа. 1979. - № 1. - С. 2-7.

261. Благодатских, В.И. Введение в оптимальное управление (линейная теория) / В.И. Благодатских. М.: Высш. шк., 2001. - 238 с.

262. Оуэн, Н.Г. Теория игр и игровое моделирование / Н.Г. Оуэн // Исследование операций. Методологические основы и математические методы. -М.: Мир, 1981.-Т. 1.-С. 513-549.

263. Вентцель, Е.С. Исследование операций / Е.С. Вентцель. М.: Сов. радио, 1972. - 552 с.

264. Потапов, И.В. Решение задачи оптимального динамического распределения резерва «стареющей» искусственной нейронной сети в конфликтной ситуации / И.В. Потапов // Нейрокомпьютеры: разработка, применение. 2006. - № 3. - С. 3-8.

265. Потапов, И.В. Резервирование «стареющей» искусственной нейронной сети в условиях игры с «природой» / И.В. Потапов // Надежность. -2006.-№4.-С. 3-10.

266. Потапов, В.И. Противоборство (дифференциальная игра) двух нейрокомпьютерных систем / В.И. Потапов, И.В. Потапов // Информационные технологии. 2005. - № 8. - С. 53-57.

267. Черкесов, Г.Н. Надежность технических систем с временной избыточностью / Г.Н. Черкесов. М.: Сов. радио, 1974. — 295 с.

268. Креденцер, Б.П. Прогнозирование надежности систем с временной избыточностью / Б.П. Креденцер. Киев: Наук, думка, 1978. - 238 с.

269. Копп, В.Я. Стохастические модели автоматизированных производственных систем с временным резервированием / В.Я. Копп, Ю.Е. Обже-рин, А.И. Песчанский. Севастополь: СевГТУ, 2000. - 284 с.

270. Потапов, И.В. Новый подход к оценке надежности' нейрокомпьютерных систем с временной избыточностью / И.В. Потапов // Омский научный вестник. 2006. -№ 1(34). - С. 148-151.

271. Михлин, С.Г. Приближенные методы решения дифференциальных и интегральных уравнений / С.Г. Михлин, Х.Л. Смолицкий. М.: Наука, 1965.-383 с.

272. Хинчин, А.Я. Работы по математической теории массового обслуживания / А.Я. Хинчин. М.: Физматгиз, 1963. — 236 с.

273. Гнеденко, Б.В. Математические методы в теории надежности / Б.В. Гнеденко, Ю.К. Беляев, А.Д. Соловьев. М.: Наука, 1965. - 524 с.

274. Герцбах, И.Б. Модели отказов / И.Б. Герцбах, Х.Б. Кордонский. -М.: Сов. радио, 1966. 166 с.

275. Бейтмен, Г. Таблицы интегральных преобразований / Г. Бейтмен, А. Эрдейи. Т. 1. - М.: Наука, 1969. - 343 с.

276. Потапов, И.В. Отказоустойчивые нейрокомпьютерные системы с временной избыточностью / И.В. Потапов // Нейроинформатика и ее приложения: Материалы XIV Всерос. семинара (Красноярск, 6-8 октября 2006 г.). Красноярск: ИВМ СО РАН, 2006. - С. 75-76.

277. Потапов, И.В. Две модели нейрокомпьютерных систем с временной избыточностью / И.В. Потапов // Нейрокомпьютеры: разработка, применение. 2006. - № 10.-С. 16-21.