Оптимизация межресурсного обмена при сборке данных в распределённых GRID-вычислениях на основе сетевых и суперкомпьютерных технологий тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Амиршахи Бита

• Амиршахи Бита
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Амиршахи Бита

Оглавление

Введение

Глава 1. Параллельные и распределённые информационные технологии в основе СК/О-системы и их эффективность

1.1. Проблема оптимизация межрессурсного обмена в распределённых ОКГО-вычислениях

1.2. Распараллеливание, его сложность и необходимость

1.3. Определение ОШБ-технологий

1.4. Основные направления исследований в области ОШО-технологий

1.5. Методологические и технологические особенности выполнения пакета параллельных прикладных программ. ЭРМБ-технология

1.6. Выводы

Глава 2. Кластеризация СШО-ресурсон для оптимизации информационного обмена при совместной обработке результатов распределённых вычислений

2.1. Основное понятие кластеризации

2.1.1. Применение методов кластеризации для распределённых вычислений

2.1.2. Вычислительные кластеры

2.1.3. Основные методы кластеризации

2.2. Анализ известных алгоритмов кластеризации, Алгоритмы кластеризации, допускающие распараллеливание

2.3. Параллельный Алгоритм Кластеризации (ПАК)

2.3.1. Актуальность предлагаемого алгоритма ПАК

2.3.2. Алгоритм Прим

2.3.3. Метрики кластеризации

2.3.4. Построение Параллельного Алгоритма Кластеризации ПАК

2.3.5. Оценка сложности алгоритма ПАК

2.3.6. Моделирование и реализация параллельного алгоритма кластеризации ПАК

2.4 Выводы

Глава 3. Выбор метода и обоснование плана решения тестовой задачи решения «большой» системы линейных уравнений на вычислительной сети и на суперкомпьютере кластерного типа МИИТ

Т- 4700 (СКИФ)

3.1. Суперкомпьютер МИИТ Т-4700

3.1.1. Аппаратное обеспечение

3.1.2. Программное обеспечение

3.2. Алгоритм распределенного решения системы линейных уравнений методом Крамера

3.3. Решение системы линейных уравнений методом Крамера

на суперкомпьютере СКИФ

3.4. Решение системы линейных уравнений методом Крамера

в вычислительной сети

3.4.1. Понятие многопоточной обработки данных

3.4.2. Алгоритм решения

3.5. Выводы

Глава 4. Результаты моделирования сетевой реализации метода

Крамера в вычислительной сети и на кластерном суперкомпьютере

4.1. Результаты моделирования сетевой реализации метода Крамера в вычислительной сети

4.2. Результаты моделирования сетевой реализации метода Крамера на кластерном суперкомпьютере

4.2.1. Этап первый: Кластеризация и Раздача заданий

4.2.2. Этап второй: параллельные вычисления

4.2.3. Этап третий: сбор результатов

4.3. Выводы

Заключение

Список литературы

Приложение

Введение диссертации (часть автореферата) на тему «Оптимизация межресурсного обмена при сборке данных в распределённых GRID-вычислениях на основе сетевых и суперкомпьютерных технологий»

Введение

Как известно [1,2,3], главным критерием оптимальной параллельной и распределенной обработки информации является минимум времени решения задачи. Это определяет критерий эффективности такой обработки: Трешение = min. Традиционно, параллельная обработка предполагает наличие общей оперативной памяти, решающей задачи взаимодействия программных модулей и массивов данных, выполняемых или обрабатываемых разными процессорами вычислительной системы. Временем обмена для обеспечения этого взаимодействия в таком случае пренебрегают.

Однако идея будущего построения и развития GRID-систем изначально предполагает самое широкое использование вычислительных сетей в качестве основных вычислительных ресурсов. Применение принципа общей оперативной памяти представляется весьма ограниченным. Даже современные суперкомпьютеры строятся по кластерному типу, допускающему оперативный обмен только внутри кластера.

В частности, суперкомпьютер типа СКИФ полностью основан на применении сетевой технологии, представляя собой «сеть в коробке».

Таким образом, единственным средством уменьшения времени решения задачи является организация распределенных вычислений, где временем внутрисистемного обмена данными при совместном решении одной задачи не только нельзя пренебречь, но это время становится определяющим.

Наступает парадокс, при котором увеличение числа используемых процессоров не только не приводит к уменьшению времени решения, но даже к быстрому росту этого времени. Можно говорить о «точке насыщения», о целесообразном количестве процессоров, при котором время решения задачи достигает минимума. Дальнейшее увеличение числа процессоров способно приводить лишь к росту затрат на обмен а, в связи с этим - к увеличению времени распределённого решения задачи (см. рис В.1).

Рис В.1. Определение точки насыщения, где I - время решения на одном процессоре, п- число процессоров, х- точка

насыщения

Как видно из графика, что точка насыщения находится на основе сравнения результатов решения одной и той же задачи на разном числе процессоров.

Отсюда уже становится важной проблема: как организовать обмен при распределённом решении задачи так, чтобы эта точка насыщения отстояла как можно дальше - при больших значениях количества используемых процессоров. Время же решения задачи до этой точки должно продолжить убывание. Практически решение этой проблемы приводит к достижению максимальной производительности

вычислительных средств, совместно решающих задачи высокой сложности.

Однако решение указанной проблемы должно учитывать взаимодействие распределяемых работ, обусловленное типом решаемой задачи. Задача и метод её решения диктуют обязательную структуру обменных операций в системе выделенных для её решения процессоров -структуру внутри-ресурсного обмена.

К самым «критическим» задачам следует отнести такие задачи, где основным элементом схемы решения является следующая: «раздача заданий головным процессором, выполнение этих заданий ресурсными процессорами, сбор результатов решения на головном процессоре».

Сбор результатов, осуществляемый без принятия каких-либо мер, при последовательном обмене каждого ресурсного процессора с головным и является основным источником потерь производительности. Это обусловило выбор задачи решения больших систем линейных уравнений в качестве теста для компьютерных исследований. Само решение не является целью настоящей работы. Оно определило тест, иллюстрацию характерных черт наиболее критичной схемы распределённых вычислений, той схемы, которая характерна для многих вычислительных процессов. Такая схема в будущем будет отражать решение пакетов задач управления в реальном времени.

Основным методом уменьшения отрицательного влияния сбора данных является его распараллеливание на основе структуризации выделенного вычислительного ресурса специально для организации направлений внутрисистемного обмена. Такая структуризация получила название кластеризации. Однако существующие алгоритмы кластеризации достаточно сложны. Это говорит о необходимости поиска более

приемлемых алгоритмов, в частности, использующих принцип

распараллеливания.

На рисунке В.2 представлена схема обслуживания вычислительных запросов центром бЛЯ>-технологий. Выделена обработка таких задач (ярким представлением которых является задача решении «большой» системы линейного уравнения), которые предъявляют особо высокие требования к желательно одновременному или близкому к одновременному обмену данными с главным процессором.

Поток запросов —........V

(начало обслуживания запроса требующего сборки результатов)

Г

Главный процессор

т

Выделение ресурса

Кластеризация

7

Рис. В.2. Попарная сборка результатов вычислений (двоичное дерево)

Здесь для иллюстрации рассмотрен простой пример, отображающий выделение вычислительного ресурса в составе восьми процессоров. Кластеризация, на самом деле отражающая многоуровневую структуру обмена, показана направлениями передачи результатов счета для объединения их на головном процессоре. Следует предварительно отметить, что при кластеризации активно используется взаимная географическая близость процессоров, что также служит уменьшению

времени передачи данных. Аналогичные возможности «близкой» передачи с учётом особенностей структуры используются в суперкомпьютере кластерного типа.

Действительной особенностью сетевых технологий является то, что географически близкие компьютеры быстрее обмениваются данными, чем удалённые. Их трафик проще и реализуется быстрее. Это означает, что один кластер должен составлять «близкие» процессоры. Процессоры, собирающие информацию от других процессоров кластера (хедеры), добавляя свою, группируются с другими хедерами в кластеры также на основе близости и т.д.

(Становится понятным, почему Бернерс Ли- идеолог первой СЯЮ-системы для обработки экспериментов ЦЕРН, группировал данные на региональных серверах).

Актуальность темы исследования.

Тема исследований является актуальной. Решение поставленных в соответствии с ней задач позволяет на практике оптимально реализовать принцип распределённых вычислений с учётом высоких требований к структуре обмена, обусловленных алгоритмом решения задач. Это тем более важно, что идеи ОиИ-вычислений рассматриваются как ждущие воплощения в ближайшее будущее, как выполнение распределённой обработки данных на основе сетевых технологий.

Используемые методы исследования.

Методы кластеризации сетевого ресурса, методы маршрутизации в вычислительной сети, параллельное программирование, имитационное моделирование.

Объект исследования.

Общим объектом исследования являются распределенные вычислительные процессы на основе сетевых технологий и на суперкомпьютере кластерной архитектуры, время выполнения которых существенно зависит от плана и структуры внутрисистемного обмена данными. Частной исследуемой иллюстраций такого процесса является решение «больших» систем линейных уравнений методом Крамера.

Цель работы.

Целью настоящей диссертации является разработка рекомендаций и средств для организации распределённого вычислительного процесса, включающего этап распределения работ между ресурсными процессорами, этап решения и этап сборки результатов вычислений на головном процессоре, для минимизации времени решения задачи. В качестве вычислительных средств рассматриваются вычислительные сети и суперкомпьютер кластерного типа.

Научная новизна.

1. Обоснована разработка модели реализации метода Крамера для решения системы линейных уравнений с регулируемыми параметрами на основе многопоточных вычислений, модель успешно минимизирует время вычисления и позволяет решать задачи большой размерности. Например, один процессор не способен решить систему 10 уравнений, т.к. время ожидания вычисления превышает допустимое время ожидания пользователя, но несколько потоков решают эту систему уравнения гораздо быстрее.

2. Разработан новый параллельный алгоритм кластеризации ресурсных процессоров вычислительной сети. Применение этого алгоритма кластеризации позволило получить дальнейшее снижение времени распределённых вычислений с количества процессоров порядка 15 до привлечения гораздо большего количества процессоров (порядка 90).

3. Обоснована модель реализации метода Крамера решение системы линейных уравнений с применением разработанного нового параллельного алгоритма кластеризации в вычислительной сети. Такая модель увеличивает границу эффективности распределённых вычисленной. Например система уравнений порядка п = 10 при распределённых вычислениях становится эквивалентной (по времени решения) порядки 24 переменных.

4. Разработаны рекомендации по структуре организации

распределенных вычислений, включая структуру обмена, для

задач, предполагающих схему вычислений типа «распределенных

работ - счёт - сборка результатов», позволившие значительно

12

удалить «точку насыщения» благодаря параллельному алгоритму кластеризации. Ключевая идея алгоритма заключается в том, что вычисляется минимальное покрывающее дерево для каждого подграфа и каждых вспомогательных двудольных графов, которые формируется на каждой паре подграфов, параллельно. Тогда основной граф создаётся путем слияния построенных минимальных покрывающих деревьев. Математически доказано, что для получения оптимальной (максимальной) скорости обмена, нужно, чтобы число процессоров во всех подграфах было одинаковым (если число подграфов больше двух).

Практическая ценность и реализация результатов работы.

1. Сформулированы рекомендации по оптимизации обмена при распределённых вычислениях на этапе сборки результатов вычислений.

2. Предложен новый параллельный алгоритм кластеризации

вычислительных ресурсов.

3. Показана возможность значительного увеличения числа процессоров, с вводом в использование которых время решения задачи убывает. Так, для размерности задачи п = это количество используемых процессоров возросло с 15 (кластеризация не производилось) до порядка 90. Общее время решения задачи сокращается в 2000 раз.

4. Получены зависимости времени решения задачи от числа процессоров с учётом их кластеризации позволяют создать методику оптимального назначения вычислительных ресурсов.

Публикации.

Статьи в изданиях из перечня ВАК

1. Кластеризация GRID-Ресурсов для оптимизации информационного обмена при совместной обработке результатов распределённых вычислений. // Информационные технологии, 2011, No 2.

2. GRID- технологии решения больших систем линейных уравнений на вычислительной сети и на суперкомпьютера кластерного типа. // Информационные технологии, 2011, No 6.

Статьи в международных изданиях

3. Optimization of Data Aggregation in a Distributed Grid-System using Supercomputer Technology. // Journal of Supercomputing, Springer, 2012, No 6.

Доклады на международных конференциях:

4. NGN & adHoc networks, // III международная научно-студенческая конференция в неделю науки Ирана, Керман Государственный университет, Иран, 2009.

5. Параллельные методы кластеризации GRID-ресурсов при совместной обработке результатов распределённых вычислений. // Международная научная конференция «Актуальные вопросы

современной технически и технологии», г. Липецк, Российская Федерация, 2010.

6. Parallel Algorithms for Hierarchical Clustering in computer Networks // VII международная научно-практическая конференция студентов и молодых ученых «Trans-Mech-Art-Chem», МИИТ, Moscow, Russia, 2010.

7. Parallel Cluster Algorithm for Solving Large Linear Equation Systems, Using GRID-Technology and Cramer's Rule, on a Supercomputer.// 26th IEEE International Parallel & Distributed Processing Symposium, Shanghai, China, May,2011.

8. Оптимизация обмена в GRID- системах- труды научно-практической конференции Неделя науки «Наука МИИТа - транспорту»,2011.

9. Локально-сетевая модель параллельного решения задачи линейного программирования, Ш-ой межрегиональной научно-методической конференции «АКТУАЛЬНЫЕ ПРОБЛЕМЫ СОВРЕМЕННОГО ОБРАЗОВАНИЯ», Воронежский институт экономики и социального управления, 15 февраля 2011 г.

10.Новый алгоритм кластеризации GRID-ресурсов для оптимизации информационного обмена в распределённых вычислений, International Conference «Mathematical and Informational Technologies, М1Т-2011» IX Conference «Computational and Informational Technologies for Science, Engineering and Education», Vrnjacka Banja, Serbia, August, 27-31, 2011

В первой главе на основе базовых понятий о проблеме распараллеливания вычислений, SPMD-технологии программирования и идей С.КД)-вычислений производится обоснование тестовой задачи,

предъявляющей наиболее высокие требования к межресурсному обмену данными для минимизации времени решения задачи.

Для распараллеливания обмена предлагается его структуризация на основе применения кластеризации ресурсных процессоров.

Во второй главе проведён метод построения Параллельного Алгоритма Кластеризации ПАК и его реализация.

Сначала обоснована необходимость применения кластеризации, особенно, во время объединения результатов распределённых вычислений для совместной обработки головным процессором. Далее рассматриваются недостатки известных алгоритмов кластеризации, не допускающих распараллеливание, и необходимость использования структуры минимального покрывающего дерева для кластеризации. На основе анализа достоинств и недостатков известного, распространённого алгоритма Прим предлагается и реализуется метод построения Параллельного Алгоритма Кластеризации (ПАК). Производится оценка сложности алгоритма ПАК. Приводятся результаты моделирования и даются рекомендации по применению параллельного алгоритма кластеризации ПАК.

В третьей главе в связи с достоинствами БРМй- технологии и низкими возможностями распараллеливания по схеме Гаусса, предлагается в качестве тестовой задачи использовать метод Крамера для «больших» систем линейных уравнений на вычислительной сети и на суперкомпьютере кластерного типа МИИТ Т- 4700 (СКИФ). Обсуждаются аппаратные особенности и особенности программного обеспечения суперкомпьютера МИИТ Т-4700.

Предлагаются блок-схема и описание алгоритма распределенного решения системы линейных уравнений методом «Крамера».

Рассматриваются возможности параметризации предложенного теста по размерности и количеству процессоров.

В четвертой главе обсуждаются, результаты моделирования сетевой реализации метода Крамера, как тестовой задачи, в вычислительной сети и на кластерном суперкомпьютере МИИТ СКИФ Т-4700 с учётом решения задачи в три этапа:

этап 1 -кластеризация ресурсов и раздача заданий этап 2- параллельные вычисления, этап 3- сбор результатов.

Объём работы. Диссертационная работа состоит из введения, четырех глав, выводов и списка использованной литературы. Работа изложена на 117 страницах текста, включает 22 рисунка, 7 таблиц и 1 приложение на 2 страницах.

Заключение диссертации по теме «Вычислительные машины и системы», Амиршахи Бита

4.3. Выводы

1- Продемонстрированы результаты моделирования сетевой реализации метода Крамера в вычислительной сети с помощью принципа многопоточных вычислений.

В результате моделирования показано, что распараллеливание увеличивает границу эффективности распределённых вычисленной от порядка п=12 где п- размерность задачи, до порядка 24 процессоров.

2- Моделирование сетевой реализации метода Крамера на кластерном суперкомпьютере МИИТ СКИФ Т-4700, в трех этапах кластеризация и раздача заданий, параллельные вычисления, и сбор результатов, показало:

• Распараллеливание обмена с головным процессором увеличивает границу эффективности распределённых вычислений. Если сравнивать одинаковые значения ординат, как примерное время решения задач, можно видеть, что например, время 8000 (сек) достигается при отсутствии кластеризации (слева) при п=12, а при присутствии кластеризации (справа) при п=90. В этом и заключается смысл кластеризации.

Заключение

В результате всей проделанной работы оказалось:

1. Распределённые вычисления в основе GRID- систем требует представления алгоритмов решенных задач в виде, предполагающем эффективную реализацию SPMD- технологий «одна программа - много потоков данных».

2. Для выполнения главного критерия распределённых вычислений - достижения минимума времени решения задачи - необходимо произвести структуризацию операций обмена между процессорами, составляющими ресурс, выделенный для решения задачи (для удовлетворения запроса). Эта структуризация в действительности определяет распараллеливание самых трудоёмких операций обмена.

3. Наиболее напряжённый режим обмена связан с задачами, решаемыми по схеме «раздача заданий решение - сбор результатов вычислений». Этап сбора результатов оказывает особое негативное влияние на возможности использования большого количества процессоров, т.к. время решения задачи с ростом числа процессоров не только не убывает, но, начиная с некоторой точки насыщения, начинает резко расти. Причиной тому является последовательный обмен ресурсных процессоров с головным.

4. Решена задача такой структуризации обмена, при которой «точка насыщения» отодвигается на большое число процессоров, при совместной работе которых время решения задачи продолжает уменьшаться с ростом их количества.

5. Типичным примером задач, предъявляющих высокие требование к обмену, является задача решения систем линейных уравнений. Её распределённое решение по БРМО- технологи возможно лишь в случае применения метода Крамера. Эта задача может служить тестом для проводимых исследований.

6. Структуризация обмена для его максимального распараллеливания в задачах указанного типа производится на основе кластеризации ресурсных процессоров. Такая кластеризация производится на этапе назначении вычислительных ресурсов для решения задачи.

7. Основными новыми научными и практическими результатами исследований являются:

1. Разработана тестовая задача на основе решения системы линейных уравнений методом Крамера для исследования схемы распределённых вычислений типа «раздача заданий -решение - сбор результатов вычислений».

2. Разработан параллельный алгоритм оптимальной кластеризации вычислительных ресурсов для распараллеливания обмена при сборке данных по древовидной структуре и минимизации как времени работы самого алгоритма кластеризации, так и времени сборки данных.

3. Построена зависимость времени построения минимального покрывающего дерева (трафика обмена) от числа подграфов, на которые первоначально разбиваются ресурсные процессоры для инициализации параллельного процесса построения этого графа.

4. Выполнены необходимые оценки сложности алгоритма оптимальных параметров для кластеризации ресурса. Даны рекомендации по выбору оптимального количества процессоров на основе характеристик дерева и оптимального покрытия числа подграфов. В частности, на основе моделирования показано, что разбиение ресурса следует проводить приблизительно на 14 кластеров, при этом оптимальное количество ресурсных процессоров составляет почти 105.

5. Предложенный алгоритм ПАК почти в 100 раз быстрее (по сравнению с известными) формирует трафик для сборки данных при реализации распределённых GRID- вычисленный по изучаемой схеме.

6. Разработана схема распределенного решения теста системы линейных уравнений в вычислительной сети и произведено моделирование решения этой системы с использованием предложенного алгоритма кластеризация ПАК. Сравнительная оценка показала, например, что без применения этого алгоритма «точка насыщения», где введение новых процессоров приводит к уменьшению времени решения задачи (фиксированной размерности), наступает при числе процессоров равном 12. Применение алгоритма ПАК позволяет значительно отдалить «точку насыщения» до значения ~ 24. Общее время решения задачи при этом сокращается в 16 раз.

7. Построены зависимости времени решения тестовой задачи для общего случая применения суперкомпьютера «СКИФ».

Графики позволяют выявить недопустимый рост времени решения.

8. Разработана схема распределенного решения теста - системы линейных уравнений методом Крамера на кластерном суперкомпьютере МИИТ СКИФ Т-4700 и произведено моделирование с использованием предложенного алгоритма кластеризация ПАК. Без применения этого алгоритма «точка насыщения», где введение новых процессоров приводит к уменьшению времени решения задачи (фиксированной размерности), наступает при числе процессоров, равном 15. Применение алгоритма ПАК позволяет значительно отдалить «точку насыщения» до значения ~ 96. Общее время решения задачи сокращается в 2000 раз. 9. Количество выбранных процессоров полностью соответствует

8РМБ-технологии.

Литературы:

1. Барский А.Б., "Параллельные информационные технологии"// Учебное пособие. - М.: ИНТУИТ; БИНОМ. Лаборатория знаний, 2007. chapter 16

2. Барский А.Б., "Параллельные информационные технологии в основе GÄ/D-систем" //Информационные технологии. 2006. № 12.

3. Барский А.Б., "Параллельные процессы в вычислительных системах: планирование и организация" - М.: Радио и связь, 1990.

4. Барский А.Б., "Параллельные информационные технологии в основе GRID-системы" //Информационные технологии. 2006. № 12.

5. Посыпкин М.А., Сигал И.Х., Галимьянова H.H., "Параллельные алгоритмы в задачах дискретной оптимизации: Вычислительные модели, библиотека, результаты экспериментов." - М.: РАН, ВЦ им. A.A. Дородницына, 2006.]

6. Абрамов А. В. "Исследование применимости аппарата нейронных сетей для решения систем линейных уравнений задач планирования в составе библиотеки прикладных программ центра GRID-технологий" //Информационные технологии. 2007. № 9.]

7. Olson C.F. "Parallel Algorithms for Hierarchical Clustering" // Parallel Computing, 1995 , Vol. V21, P. 1313-1325.

8. Минимальное остовое дерево, URL: http://ru.wikipedia.org/wiki/ Минимальное остовое дерево

9. Day W. Н. Е. , Edelsbrunner Н. "Efficient algorithms for agglomerative hierarchical clustering methods" // Journal of Classification, 1984, 1(1).7(24).

10. Driscoll J. R., Gabow H. N., Shrairman R., and Tarjan R. E. "Relaxed An alternative to Fibonacci heaps with applications to parallel Communications" // ACM, November 1988,

31(11).1343(1354).

11. Blue Gene, URL: http://ruлvikipedja,отgMMZШм^LJ^

12. Murtagh F. "A survey of recent advances in hierarchical clustering algorithms'V/Computer Journal, 1983, 26.354(359).

13.Алгоритм Прим, URL: http://m.wikipedia.om/wiklMjiropHTM Прима

14.Bezdek J.C. "Pattern Recognition with Fuzzy Objective Function Algorithms": New York, Plenum Press, 1981.

15.Bishop C.M. "Neural Networks for Pattern Recognition": Oxford

Oxford Univ.Press, 1995.

16.Hierarchical clustering, URL:http://en.wikipedia.org/wiki/ Hierarchicalclustering

17.Enright A.J., Van Dongenl S., Ouzounis S.A. "An Efficient Algorithm for Large-Scale Detection of Protein Families"// Nucleic Acids Research, 2002, Vol. 30, no. 7, P. 1575-1584.

18.Вlue Gene, URL: http://m.wikipedia.org/wikL/Blue Gene

19. Т-Платформы Суперкомпьютер МИИТ T - 4700, URL:

Ьttp://wwwЛ-platforms■ш/ru/clusters/clusters/unique/шiiM-4700.html

20.Т-Платформы Система пакетной обработки заданий torque, Руководство пользователя. 2008.

21.Метод Крамера, URL:http:// ги^к1реШа.ощ^кШетодКрамера

22.Амиршахи Бита, "Кластеризация GRID-Ресурсов для оптимизации информационного обмена при совместной обработке результатов распределённых вычислений" // Информационные технологии, в печати.

23.Минимальное остовное дерево, , URL: http://ru.wikipedja^/wM Минимальное остовное дерево

24.Антонов A.C. "Параллельное программирование с использованием технологии MPI" , Москва, МГУ, 2004.

25. Кристиан Гросс, "Самоучитель С# 2008", БХВ-Петербург, 2009.

26.F. Murtagh, "Clustering in Massive Data Sets", Handbook of Massive

Data Sets, 2002.

27.Thomas Rauber, Gudula Rünger, "Parallel Programming: for Multicore and Cluster Systems" // Springer, 2010

28. Смирнова E.B., Пролетарский A.B., Баскаков И.В., Федотов P.A., "управление коммутируемой средой" // М.: РУСАКИ,2011-335с., Москва, 2011.

29. Сигал И.Х., Иванова А.П., "введение в прикладное дискретное програмирование" // учеб. пособ. - 2-е изд., испр. и доп. - М.: ФИЗМАТ ЛИТ,2007.- 304 е., Москва, 2007.

30.Е.В. Смирнова, A.B. Пролетарский, И.В. Баскаков, P.A. Федотов. «Построение коммутируемых компьютерных сетей», Учебное пособие - М.: ИНТУИТ; БИНОМ. Лаборатория знаний, 2011.

31. Elena Smirnova. «Switching Technologies in modern Ethernet Networks», // D-Link Press, 2012.

32.Доенин B.B., «Модели параллельных процессоров в распределенных системах», Монография - М: СПУТНИК ПЛУС, 2007.

33.Доенин В.В., «Логика транспортных процессоров». Монография

М: ПУТНИК ПЛУС, 2009.

34. Доенин В .В., «Основы абстрактный теории транспортных процессоров», Монография -М: СПУТНИК ПЛУС, 2011.

Список литературы диссертационного исследования кандидат технических наук Амиршахи Бита, 2012 год

Литературы:

1. Барский А.Б., "Параллельные информационные технологии"// Учебное пособие. - М.: ИНТУИТ; БИНОМ. Лаборатория знаний, 2007. chapter 16

2. Барский А.Б., "Параллельные информационные технологии в основе GÄ/D-систем" //Информационные технологии. 2006. № 12.

3. Барский А.Б., "Параллельные процессы в вычислительных системах: планирование и организация" - М.: Радио и связь, 1990.

4. Барский А.Б., "Параллельные информационные технологии в основе GRID-системы" //Информационные технологии. 2006. № 12.

5. Посыпкин М.А., Сигал И.Х., Галимьянова H.H., "Параллельные алгоритмы в задачах дискретной оптимизации: Вычислительные модели, библиотека, результаты экспериментов." - М.: РАН, ВЦ им. A.A. Дородницына, 2006.]

6. Абрамов А. В. "Исследование применимости аппарата нейронных сетей для решения систем линейных уравнений задач планирования в составе библиотеки прикладных программ центра GRID-технологий" //Информационные технологии. 2007. № 9.]

7. Olson C.F. "Parallel Algorithms for Hierarchical Clustering" // Parallel Computing, 1995 , Vol. V21, P. 1313-1325.

8. Минимальное остовое дерево, URL: http://ru.wikipedia.org/wiki/ Минимальное_ остовое_ дерево

9. Day W. Н. Е. , Edelsbrunner Н. "Efficient algorithms for agglomerative hierarchical clustering methods" // Journal of Classification, 1984, 1(1).7(24).

10. Driscoll J. R., Gabow H. N., Shrairman R., and Tarjan R. E. "Relaxed An alternative to Fibonacci heaps with applications to parallel Communications" // ACM, November 1988,

31(11).1343(1354).

11. Blue Gene, URL: http://ruлvikipedja,отgMMZШм^LJ^

12. Murtagh F. "A survey of recent advances in hierarchical clustering

algorithms'V/Computer Journal, 1983, 26.354(359).

13.Алгоритм Прим, URL:

http://m.wikipedia.om/wiklMjiropHTM Прима

14.Bezdek J.C. "Pattern Recognition with Fuzzy Objective Function Algorithms": New York, Plenum Press, 1981.

15.Bishop C.M. "Neural Networks for Pattern Recognition": Oxford

,Oxford Univ.Press, 1995.

16.Hierarchical clustering, URL:http://en.wikipedia.org/wiki/ Hierarchical_clustering

17.Enright A.J., Van Dongenl S., Ouzounis S.A. "An Efficient Algorithm for Large-Scale Detection of Protein Families"// Nucleic Acids Research, 2002, Vol. 30, no. 7, P. 1575-1584.

18.Вlue Gene, URL: http://m.wikipedia.org/wikL/Blue Gene

19. Т-Платформы Суперкомпьютер МИИТ T - 4700, URL:

Ьttp://wwwЛ-platforms■ш/ru/clusters/clusters/unique/шiiM-4700.html

20.Т-Платформы Система пакетной обработки заданий torque, Руководство пользователя. 2008.

21.Метод Крамера, URL:http:// ги^к1реШа.ощ^кШетод_Крамера

22.Амиршахи Бита, "Кластеризация GRID-Ресурсов для оптимизации информационного обмена при совместной обработке результатов распределённых вычислений" // Информационные технологии, в печати.

23.Минимальное остовное дерево, , URL: http://ru.wikipedja^/wM Минимальное остовное дерево

24.Антонов A.C. "Параллельное программирование с использованием технологии MPI" , Москва, МГУ, 2004.

25. Кристиан Гросс, "Самоучитель С# 2008", БХВ-Петербург, 2009.

26.F. Murtagh, "Clustering in Massive Data Sets", Handbook of Massive

Data Sets, 2002.

27.Thomas Rauber, Gudula Rünger, "Parallel Programming: for Multicore and Cluster Systems" // Springer, 2010

28. Смирнова E.B., Пролетарский A.B., Баскаков И.В., Федотов P.A., "управление коммутируемой средой" // М.: РУСАКИ,2011-335с., Москва, 2011.

29. Сигал И.Х., Иванова А.П., "введение в прикладное дискретное програмирование" // учеб. пособ. - 2-е изд., испр. и доп. - М.: ФИЗМАТ ЛИТ,2007.- 304 е., Москва, 2007.

30.Е.В. Смирнова, A.B. Пролетарский, И.В. Баскаков, P.A. Федотов. «Построение коммутируемых компьютерных сетей», Учебное пособие - М.: ИНТУИТ; БИНОМ. Лаборатория знаний, 2011.

31. Elena Smirnova. «Switching Technologies in modern Ethernet Networks», // D-Link Press, 2012.

32.Доенин B.B., «Модели параллельных процессоров в распределенных системах», Монография - М: СПУТНИК ПЛУС, 2007.

33.Доенин В.В., «Логика транспортных процессоров». Монография -

М: ПУТНИК ПЛУС, 2009.

34. Доенин В .В., «Основы абстрактный теории транспортных процессоров», Монография -М: СПУТНИК ПЛУС, 2011.