Разработка методов и средств анализа и обеспечения качества программных систем учебного назначения тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Гуров, Валерий Валентинович

• Гуров, Валерий Валентинович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Гуров, Валерий Валентинович

Введение.

1. Анализ методов и средств обеспечения качества программных систем учебного назначения

1.1. Анализ нормативных требований к программным системам учебного назначения.

1.2. Выбор показателей качества программных систем учебного назначения.

1.3. Анализ методов и средств оценки надежности программных систем учебного назначения

1.4. Анализ атак на программные системы и программных методов защиты программных систем.

1.5. Анализ методов и средств компьютерного тестирования.

Выводы к главе 1.

2. Разработка структуры программных систем учебного назначения по техническим дисциплинам

2.1. Оценка безопасности программных систем учебного назначения.

2.2. Разработка структуры комплекса компьютерных обучающих программ по техническим дисциплинам.

2.3. Разработка структуры системы компьютерного тестирования.

Выводы к главе 2.

3. Разработка моделей и методов оценки и обеспечения надежности программных систем учебного назначения.

3.1. Разработка аналитической модели надёжности программных систем учебного назначения

3.2. Разработка имитационной модели надежности компьютерной обучающей программы

3.3. Разработка методики оценки надежности программных систем учебного назначения

Выводы к главе 3.

4. Практическое использование разработанных методов и средств анализа и обеспечения качества программных систем.

4.1. Реализация программных обучающих комплексов по техническим дисципли

4.2. Система тестирования "ИСТОК".

4.3. Электронные средства поддержки учебного процесса.

4.4. Использование имитационной модели для расчёта показателей надёжности программного обеспечения вычислительных средств системы передачи данных Кризисного центра концерна "РОСЭНЕРГОАТОМ".

Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Разработка методов и средств анализа и обеспечения качества программных систем учебного назначения»

Федеральная целевая программа "Развитие единой образовательной информационной среды" (ФЦП РЕОС) [8,9], принятая в рамках реализации Федеральной целевой программы развития образования [11] и Национальной доктрины образования [12], отмечает, что в условиях динамично меняющегося мира, глобальной взаимозависимости и конкуренции, необходимости широкого использования и постоянного развития и усложнения технологий фундаментальное значение имеет информатизация сферы образования. Содержание и качество образования, его доступность, соответствие потребностям конкретной личности в решающей степени определяют состояние интеллектуального потенциала современного общества. Интенсивное развитие сферы образования на основе использования информационных и телекоммуникационных технологий становится важнейшим национальным приоритетом.

Тенденции развития общества требуют безотлагательного решения проблемы опережающего развития системы образования на основе информационных технологий. Информатизация предполагает изменение содержания, методов и организационных форм образования. Включение современных информационных технологий в образовательный процесс создает возможности повышения качества образования.

Одной из главных задач, поставленных в ФЦП РЕОС, является применение новых информационных и телекоммуникационных технологий в учебном процессе, включая создание и использование в учебном процессе современных электронных учебных материалов, а также разработку электронных средств информационно-технологической поддержки и развития учебного процесса. Учитывая новизну и сложность проблемы развития информационно-образовательной среды, ее решение требует экспериментального поиска на основе имеющегося в системе образования опыта работы с информационными технологиями. Необходимо выработать механизм, предполагающий обязательную экспериментальную проверку рекомендуемых для использования в учебных заведениях электронных учебных материалов.

О том, что программные системы учебного назначения (ПСУН) представляют собой особое направление в сфере информационных технологий, свидетельствует выделение их в отдельный класс программной продукции согласно Общероссийскому классификатору продукции [7].

При разработке ПСУН должен рассматриваться широкий круг вопросов. Это методологические и педагогические аспекты, вопросы структурной организации таких систем, функциональной совместимости отдельных частей программных комплексов, совместимости комплексов, разработанных разными производителями, организации структуры данных, качества программных систем и многие другие моменты.

В ФЦП "Развитие единой образовательной информационной среды" особо подчеркивается необходимость обеспечения качества электронных средств поддержки и развития учебного процесса. Так как данные программные средства составляют отдельный класс, то при их разработке, внедрении и эксплуатации следует учитывать ряд обстоятельств.

Во-первых, это область применения ПСУН. Очевидно, что в зависимости от области применения (среднее, среднее специальное учебное заведение или вуз, гуманитарное или техническое направление в образовании) будут меняться требования к структуре, наполнению и форме представления материала в ПСУН. В то же время отдельные модули таких программных систем будут инварианты по отношению к области применения. Наибольшие проблемы возникают при разработке обучающих программ по техническим дисциплинам. Особенностями таких программ является их основная ориентация не только на информационное обеспечение процесса обучения, но и на получение практических умений и навыков в данном направлении.

Во-вторых, существенное влияние на обеспечение качества программных систем учебного назначения оказывает их структура, которая должна учитывать особенности ПСУН, ориентированных на обучение по техническим дисциплинам. Разработка структуры таких ПСУН с учетом требования обеспечения качества является актуальной научной задачей.

В-третьих, большую роль играет коллектив разработчиков. ПСУН могут разрабатываться специализированными научно-производственными предприятиями. В то же время в ФЦП РЕОС особо подчёркивается, что "с учетом специфики отдельных вузов и большого числа специальностей значительное количество учебных электронных материалов для обучающихся должно готовиться силами самих высших учебных заведений" [8]. Это соответствует сложившемуся к настоящему моменту положению, когда ряд программных систем этого типа, особенно в технических вузах, разрабатывается сравнительно небольшим коллективом, в состав которого, как правило, входят студенты старших, а иногда и младших, курсов, под руководством аспиранта или преподавателя [31, 32, 36, 52, 54, 155, 160, 161, 163, 165, 167, 169, 196, 207, 219, 241, 252, 272, 284, 296].

Такие творческие группы в силу естественных причин подвержены частому обновлению. В то же время они представляют собой большую творческую силу, которая в состоянии при грамотной организации рабочего процесса, решить большой комплекс практических задач. Это предъявляет повышенные требования к качеству и, особенно, надежности и безопасности разрабатываемого в таких условиях программного обеспечения.

В-четвертых, следует учитывать область использования программных средств. Среди факторов, требующих внимания, здесь следует отметить

- направление использования (домашняя самоподготовка, выработка умений и навыков по тому или иному вопросу во время проведения занятия в аудитории, контрольная оценка полученных навыков во время аудиторного занятия, тренировочное или контрольное тестирование знаний по тому или иному разделу курса);

- вид проведения занятий с использованием ПСУН: локальный или сетевой режим работы, режим обслуживания (отдельным обслуживающим персоналом или самими разработчиками), что требует анализа защищённости таких средств от несанкционированного доступа при различных режимах их использования и разработки методов противодействия таким угрозам. На это же нацеливает и Доктрина информационной безопасности Российской Федерации [10].

В зависимости от учета этих обстоятельств требуется выбрать те или иные показатели качества, на которые должно быть обращено особое внимание в процессе разработки, внедрения и эксплуатации программных систем учебного назначения. Качество программного средства - это совокупность свойств программного средства, которые обусловливают его пригодность удовлетворять заданные или подразумеваемые потребности в соответствии с его назначением [2]. Показатели качества весьма разнообразны. Так стандарт [3] предусматривает 6 характеристик качества, включающих 20 подхарак-теристик. Но, в то же время, здесь же отмечается, что общие уровни ранжирования показателей качества невозможны. Они должны определяться для каждого конкретного оценивания. Программные системы учебного назначения представляют собой большой самостоятельный класс программ. Таким образом, выбор и обоснование показателей качества для них является также весьма актуальным.

Большую работу, связанную с исследованием и разработкой программных систем учебного назначения, проводят различные организации, в основном, связанные с образовательным процессом. Среди них следует выделить Московский государственный университет экономики, статистики и информатики (МЭСИ) [246], Московский Государственный Технологический Университет "Станкин" [247] (проректор по информатизации этого университета профессор Позднеев Б.М. возглавляет Комитет "Информационно-коммуникационные технологии в образовании" при Федеральном агентстве по техническому регулированию и метрологии), Московский государственный университет приборостроения и информатики [248], Томский государственный университет [58], Нижегородский государственный технический университет [252], Балтийский государственный технический университет г. Санкт-Петербург [207], Петербургский государственный университет путей сообщения. [268], Всероссийский заочный финансово-экономический институт [51].

Вопросы, касающиеся тех или иных сторон разработки и функционирования ПСУН, решаются рядом научных коллективов и отдельных ученых. Так проблемы, связанные со стандартизацией в сфере ИТ-технологий, широко и глубоко разбираются в работах ЗиндераЕ.З. [42, 175, 176] - президента Фонда поддержки системного проектирования, стандартизации и управления проектами (Фонд ФОСТАС). Общеметодические вопросы построения таких комплексов программ и их соответствия нормативным требованиям рассматриваются в работах Кочетуровой Н.А. [212, 213], Сысоева Л.А. [317], Курниковой М.П. и Нештата Е.П. [218]. Общим подходам к обеспечению надежности и безопасности программного обеспечения, а также качества программных средств посвящены работы Липаева В.В. [228-237], Лазарева Д.В. [222], Казарина О.В. [190, 191], Ханджяна А.О. [326-328], Полаженко С. [273]. Ряд конкретных подходов к вопросам качества программных средств отражены в работах [25, 33, 34, 171, 291, 307, 308].

Ключевую роль среди программных систем учебного назначения, особенно для технических специальностей, играют компьютерные обучающие программы. Вопросам их разработки посвящены многие работы [52, 56, 150, 152, 155]. Однако они описывают конкретные подходы к их построению без научного обоснования выбора структуры. Но вопросы, касающиеся качества этого класса систем как программного средства, рассматриваются очень ограниченно и не учитывают всего комплекса имеющихся здесь проблем. В то же время данный вопрос ввиду широкого распространения этого вида обучающих программ является весьма актуальным.

Отдельное место среди компьютерных средств учебного назначения занимает тестирование с применением ИТ-технологий. Контрольно-тестирующие средства рекомендуется включать в состав электронных обучающих комплексов, а разработка средств сетевого тестирования и контроля знаний рассматривается как одно из основных направлений развития единой образовательной информационной среды [8, 9]. Различными аспектами этой проблемы занимаются АванесовВ.С. [14-16], Гусева А.И. [130, 132-135, 137-141], Леонова Н.М. [225, 226], Жуков Д.О. [20, 150, 155-159, 168, 227] и другие авторы. Несмотря на большое количество разработанных к настоящему времени систем тестирования, постоянно появляются всё новые системы. Это свидетельствует о том, что в данном направлении отсутствует общепризнанные подходы к организации и принципам построения таких систем. Обоснование принципов их построения также является актуальной научной задачей.

Таким образом, разработка методов и средств анализа и обеспечения качества программных систем учебного назначения является актуальной научной задачей.

Целью представленной работы является повышение качества программных систем учебного назначения путем разработки соответствующих методов, моделей и программных средств.

Основные направления работ. Для достижения данной цели необходимо решение следующих задач:

- анализ особенностей ПСУН как отдельного класса программных систем, предъявляемых к ним требований по качеству и определение характеристик качества, наиболее существенных для систем этого класса;

- исследование программных методов защиты ПСУН. разработка структуры ПСУН, обеспечивающей повышение их защищенности;

- разработка методов и средств анализа и обеспечения надежности ПСУН;

- разработка комплекса ПСУН для практического подтверждения эффективности разработанных методов и средств.

Методы исследования. При решении поставленных задач использовались теория марковских процессов, теория вероятностей, методы математической статистики, методы имитационного моделирования, теория графов.

Научная новизна результатов работы заключается в следующем:

- определены показатели качества ПСУН;

- выбран и обоснован критерий защищенности системы, учитывающий вероятность достижения цели злоумышленником на каждом шаге проникновения и вероятность обнаружения его действий;

- разработана модель уязвимостей ПСУН;

- разработаны аналитическая и имитационная модели надежности компьютерных обучающих программ, позволяющие получить основные показатели надёжности с учетом вероятности безотказной работы программного комплекса при случайной длительности выполнения задачи;

- впервые создана единая методика анализа и обеспечения качества ПСУН;

- предложена и обоснована концепция обучения студентов использованию программных методов защиты программных систем.

На защиту выносятся:

- показатели качества ПСУН;

- критерий защищенности ПСУН;

- модель уязвимостей ПСУН, позволяющая определить пути наиболее вероятного несанкционированного проникновения в систему и пути наименее вероятного обнаружения нападения, что позволит предпринять меры либо для эффективного выявления атаки, либо для максимального затруднения действий злоумышленников на этих путях;

- аналитическая и имитационная модели оценки работы ПСУН, обеспечивающие анализ полноты отладки принимаемого к использованию в учебном процессе ПО;

- методика обеспечения качества разрабатываемых ПСУН,

- концепция обучения студентов использованию программных методов защиты программных систем.

Практическая значимость результатов работы заключается в следующем:

- разработаны набор алгоритмов и комплекс программных средств, поддерживающие все этапы использования методики анализа и обеспечения качества ПСУН;

- разработаны и внедрены комплексы компьютерных обучающих программ по 4-м техническим дисциплинам общим объёмом 47 электронных уроков;

- разработана система компьютерного тестирования, обеспечивающая повышение (до 20 %) дискриминативности тестов при сохранении валидности;

- разработано около 1500 тестовых заданий по различным техническим дисциплинам; политомические задания с множественными вариантами ответов разработаны с учетом определенного в работе соотношения количества правильных ответов и дистрак-торов, обеспечивающего максимальную дискриминативность задания.

Первая глава диссертации посвящена анализу методов и средств обеспечения качества программных систем учебного назначения. В ней проанализированы нормативные документы по обеспечению качества программных систем. Проведен выбор показателей качества программных систем учебного назначения. Проанализированы методы и средства оценки надежности программных систем этого класса. Проведен анализ атак на программные системы и программных методов защиты программных систем. Приведён анализ методов и средств компьютерного тестирования.

Во второй главе проводится оценка защищенности ПСУН на основе предлагаемого дерева атак и предлагаемого критерия защищенности системы. На основании полученных оценок разработана структура программных систем учебного назначения, ориентированных на использование при обучении по техническим дисциплинам и учитывающих требование повышения их защищенности от несанкционированного доступа. Для системы тестирования предлагается форма оценки результатов выполнения тестового задания, обеспечивающая более высокие характеристики качества тестов, по сравнению с традиционными.

Третья глава посвящена разработке моделей, методов и средств анализа и обеспечения надежности программных систем учебного назначения. В ней представлены аналитическая и имитационная модели оценки надёжности ПСУН на примере компьютерной обучающей программы. Исходя из особенностей процесса разработки программных систем учебного назначения, предлагается методика обеспечения их надежности на этапах разработки и внедрения.

Четвёртая глава содержит описание комплексов программных систем учебного назначения, созданных на основе предложенных в предыдущих главах методов и средств: комплексов компьютерных обучающих программ по дисциплинам "Организация ЭВМ", "Микропроцессорные системы", "Программные методы защиты программных систем", "Общая физика", а также системы компьютерного тестирования "ИСТОК". В ней также представлены разработанные электронные средства поддержки учебного процесса. Один из разделов данной главы содержит описание применения разработанных в диссертации моделей надежности программного обеспечения для оценки надежности вычислительных средств системы передачи данных Концерна "РОСЭНЕРГОАТОМ".

Работа проводилась в рамках выполнения научно-исследовательских работ с организациями НИЦЭВТ, ЗАО "КОНСИСТ-ОПЕРАТОР СВЯЗИ" Концерна "РОСЭНЕРГОАТОМ" по темам 89-3-242, 64-88М2, 86-3-012-576, 87-3-012-209, Договоров о научно-техническом сотрудничестве с Северо-Кавказским государственным университетом, Брянской государственной инженерно-технологической академией, ГОУ СПО Строительный колледж №1 (г. Москва), а также по гранту № 06-07-89100 Российского фонда фундаментальных исследований.

Апробация работы.

Основные результаты работы докладывались и обсуждались на 23-х международных, всероссийских и региональных конференциях, семинарах и научных сессиях: Научных сессиях МИФИ в период 1998-2008 г.г. (11 сессий), Восьмой международной конференции "Открытое образование в России XXI века" (Москва, 2000 г.), 5-й Всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании (НИТ-2000)" (Рязань, 2000 г.), IX Международном научно-техническом семинаре, посвященном 70-летию МАИ и 70-летию МЭИ "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2000 г.), IV Международной научно-технической конференции. "Новые информационные технологии и системы" (Пенза, 2000 г.), Региональных научно-методических конференциях "Дистанционное обучение и новые технологии в образовании" (Владимир, 2001, 2002 г.г.), 3-й и 4-й Международных научно-технических конференциях "Компьютерное моделирование-2002, -2003" (Санкт-Петербург, 2002, 2003 г.г.), У1-й Международной научно-технической конференции "Новые информационные технологии и системы" (Пенза, 2004 г), Международном симпозиуме "Образование через науку", посвященном 175-летию МГТУ им. Н.Э.Баумана. (Москва, 2005 г.), Первой Международной научно-практической конференции "Современные информационные технологии и ИТ-образоваиие" (Москва, 2005 г.), XVI Международном научно-техническом семинаре "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2007 г.).

Результаты работы отражены в 63 печатных трудах, из которых 3 опубликованы в журналах, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук, а также в 7-и отчетах по НИР и 3-х материалах региональных конференций.

На разработанные в соответствии с моделями н методами, изложенными в диссертации программами в РОСПАТЕНТЕе получены 3 свидетельства об официальной регистрации пакетов компьютерных обучающих программ по дисциплинам "Организация ЭВМ", "Защита информации", "Общая физика", а также свидетельство о регистрации системы компьютерного тестирования "ИСТОК".

Достоверность основных положений диссертации подтверждается корректностью математического аппарата и теоретических выкладок, а также совпадением теоретических результатов с экспериментальными.

Разработанные комплексы компьютерных обучающих программ внедрены в учебный процесс Института финансовой и экономической безопасности, Института Инновационного менеджмента и Экономико-аналитического института, факультетов Кибернетики и Очно-заочного (вечернего) обучения Московского инженерно-физического института (государственного университета), в Северо-Кавказском государственном техническом университете, в Брянской государственной инженерно-технологической академии, в ГОУ СПО Строительный колледж №1 (г. Москва).

Разработанная система компьютерного тестирования внедрена в Институте финансовой и экономической безопасности, в Институте Инновационного менеджмента, на факультетах Кибернетики и Очно-заочного (вечернего) обучения Московского инженерно-физического института (государственного университета), а также в ОАО "Мобильные ТелеСистемы" (в офисе "Садовая-Каретная 20").

Разработанные автором тестовые задания внедрены в учебный процесс на различных факультетах и в институтах Московского инженерно-физического института (государственного университета), а также в Интернет-университете информационных технологий.

Разработанные автором аналитическая и имитационная модели надежности программных средств использовались при создании комплексной модели надежности программно-аппаратных средств системы передачи данных Кризисного центра концерна "РОСЭНЕРГОАТОМ".

1. АНАЛИЗ МЕТОВ И СРЕДСТВ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ

СИСТЕМ УЧЕБНОГО НАЗНАЧЕНИЯ

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Гуров, Валерий Валентинович

Основные результаты работы докладывались и обсуждались на 23-х международных, всероссийских и региональных конференциях, симпозиумах и семинарах.

Методики, модели и программные средства, разработанные в диссертации, внедрены и используются в следующих организациях: на факультетах Кибернетики и Очно-заочного (вечернего) обучения, в Экономико-аналитическом институте, в Институте финансовой и экономической безопасности и в Институте Инновационного менеджмента Московского инженерно-физического института (государственного университета), в Северо-Кавказском государственном техническом университете, в Брянской государственной инженерно-технологической академии, в ГОУ СПО Строительный колледж №1 (г. Москва), в ОАО "Мобильные ТелеСистемы" (офис "Садовая-Каретная 20"), в Интернет-университете информационных технологий, в Кризисном центре концерна "РОСЭНЕРГОАТОМ". Это подтверждено 10 актами о внедрении и использовании результатов диссертационной работы.

Полученные в диссертации результаты позволили создать методику проектирования программных средств учебного назначения, которая обеспечивает требуемый уровень качества разрабатываемого программного обеспечения данного класса. Разработанная методика поддержана комплексом алгоритмических и программных средств. Цель работы достигнута. Все поставленные в диссертации задачи решены в полном объеме.

ЗАКЛЮЧЕНИЕ

В результате проведенных исследований решены важные задачи, связанные с разработкой методов и средств обеспечения качества программных систем учебного назначения (ПСУН).

Список литературы диссертационного исследования кандидат технических наук Гуров, Валерий Валентинович, 2008 год

1. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. -Госстандарт России, г.Москва, 1989.

2. ГОСТ 28806-90. Качество программных средств. Термины и определения. Госстандарт России, г.Москва, 1990.

3. ГОСТ Р ИСО/МЭК 9126-93 Оценка программной продукции. Характеристики качества и руководства по их применению Госстандарт России, г.Москва, 1993.

4. ГОСТ Р ИСО/МЭК 12207—99 (ГОСТ Р 1999). Информационные технологии. Процессы жизненного цикла программных средств. — Госстандарт России, г.Москва, 1999.

5. ГОСТ Р ИСО/МЭК ТО 12182-2002 Информационная технология. Классификация программных средств. Госстандарт России, г.Москва, 2002.

6. ГОСТ Р 51188-98. Испытания программных средств на наличие компьютерных вирусов. Типовое руководство. Электронный ресурс. Режим доступа: http://www.micc.ru/download/gost/GOSTR51188-98.doc

7. Общероссийский классификатор продукции ОК 005-93 ОКП, утвержденный Постановлением Госстандарта России от 30 декабря 1993 г. N 301. Издание официальное, тома 1-2, Госстандарт России, М., 1995.

8. Федеральная целевая программа "Развитие единой образовательной информационной среды на 2002-2006 годы (проект). Электронный ресурс. Режим доступа: http://www.nasledie.ru/politvnt/1923/агйс1е.рЬр?аЛ=3

9. Доктрина информационной безопасности Российской Федерации. Электронный ресурс. Режим доступа: Ыф://www.rg.ru/oficial/doc/minandvedom/mimbezop/doctr.б 1йт

10. Федеральная целевая программа развития образования (2006-2010). Электронный ресурс. Режим доступа: http://www.fcpro.ru/

11. Национальная доктрина образования в Российской Федерации. Электронный ресурс. — Режим доступа: http://vvлw.mosedu.ru/ru/manager/documents/principal/laws/doctпne.php

12. Педагогические тесты. Термины и определения. Отраслевой стандарт Министерства образования РФ. М., 2001г.

13. Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: диссертация на соискание ученой степени докт. пед. наук/ С-Пб. гос. ун-т. 1994, 339с. Электронный ресурс. Режим доступа: http://testolog.narod.ru

14. Аванесов B.C. Теория и методика педагогических измерений. Электронный ресурс. - Режим доступа: http://testolog.narod.ru

15. Аванесов B.C. Композиция тестовых заданий. Учебное пособие. — М.: Ассоциация инженеров-педагогов, 1996.

16. Агентство труда и занятости населения администрации Красноярского края. Электронный ресурс. Режим доступа: http://www.rabota-enisey.ru/tests/

17. Агеев В.Н., Древе Ю.Г. Электронные издания учебного назначения: концепции, создание, использование: учебное пособие для вузов. М. : МГУП, 2003. - 236 с.

18. Адаптивное тестирование в образовании (теория, методология, технология) / Че-лышкова М. Б. М.: ИЦПКПС, 2001.- 165 с.

19. Аскосков A.B., Гуров В.В., Иванов М.А. и др. Лабораторный практикум по курсу "Защита информации". //Научная сессия МИФИ-2003. VII выставка-конференция "Телекоммуникации и новые информационные технологии в образовании". Каталог. М.: МИФИ, 2003. - С.23.

20. Ащепкова Л.Я. Конструирование тестовых заданий и обработка результатов тестирования. Владивосток, 2003. Электронный ресурс. Режим доступа: http://kpmit.wl.dvgu.ru/library/aschepkova/tests.php

21. Баутов А. Оценка факторов, влияющих на качество программных продуктов. Текст. //Директор ИС, №№11-12, 2001, [Электронный ресурс] - Режим доступа: http://www.osp.ni/text/3 02/171992/р 1 .html

22. Безруков H.H. Классификация компьютерных вирусов MS-DOS и методы защиты от них. -М.: СП "ICE", 1990 г.

23. Безруков H.H. Компьютерная вирусология. Киев.: УРЕ, 1991 г.

24. Бобров JI.K., Сунгатулин Р.Т. Адаптивная система компьютерного тестирования. Электронный ресурс. Режим доступа: http://www.gpntb.ru/win/inter-cvents/crimea2000/doc/tom 1 /3 33/Doc 10.HTML

25. Бобровский С. Ошибкам бой! Электронный ресурс. - Режим доступа: http://www.pmprofy.ru/content/rus/43/431 -article.asp

26. Богуля Н.С., Терешкин A.A., Рогожинский A.B. Методика оценки валидности содержания компьютерного теста в условиях учебно-сертификационного центра гражданской авиации. Электронный ресурс. Режим доступа: http://ln.com.ua/~uscga/public3 .pdf

27. Бондаренко Е.В., Крежевский Ю.С. Компьютерные программы-тренажеры для студснтов-электриков. Электронный ресурс. — Режим доступа: http://old.ulstu.ru/conf/NMK99/l-22.htm

28. Борисенков С. В., Воропаев А. П., Лукашкин А. Н. Модель надежности программного обеспечения на базе геометрического закона распределения случайной величины. -//Двойные технологии, 1999, №3.

29. Борисенков С. В., Воропаев А. П., Лукашкин А. Н. О точностных характеристиках некоторых моделей надежности программного обеспечения. //Двойные технологии, 1999, №3.

30. Бузун Д.В., Балыкина Е.Н. Вариативность в расчете валидности и надежности дидактических тестов. //Информационные системы в образовании ИТО-2003. Секция VI. Электронный ресурс. - Режим доступа: http://vmw.bitpro.ru/ito/2003/VI/VI-0-1826.html

31. Буинцев Д.Н., Шевцова О.О. Лабораторный практикум по программным средствам защиты информации на основе запутывающих преобразований. Электронный ресурс. -Режим доступа: http://conference.kemsu^Wconf/nitae2006/sect/index.dhtm.en?secid=645

32. Букин М. В доступе отказать. PC WEEK , 09.01.2008. Электронный ресурс. -Режим доступа: http://www.pcweek.ru/themes/detailjprint.php?ID=105619&print= Yс

33. Вавренюк А.Б.,. Гуров В.В., Гуров Д.В. и др. Система компьютерного тестирования. -//Научная сессия МИФИ-2006. 10-я выставка-конференция "Телекоммуникации и новые информационные технологии в образовании". Каталог. М.: МИФИ, 2006. С.9.

34. Ван Тассел Д. Стиль, разработка, эффективность, отладка и испытание программ: Пер. с англ. М.: Мир, 1981, 320 с.

35. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Всемирный технологический университет, 2000 г., 64 с.

36. Васильченко Л.М. Обзор систем компьютерного тестирования. -//Педагогическое обозрение, № 56, 2006.

37. Вахлаков В.Р. Обеспечение защиты информации от непреднамеренного воздействия техническими средствами. Электронный ресурс. Режим доступа: http://kiev-security.org.Ua/box/8/139.shtml

38. Введение в криптографию. Перевод статьи Tatu Ylonen "Introduction to Cryptography". Электронный ресурс. Режим доступа: http://security.tsu.ru/indcx.php?ncwsid=9

39. Вершиннн M. Современные молодежные субкультуры: хакеры. Электронный ресурс. Режим доступа: http://psyfact0r.0rg/lib/vershinin4.htm#8

40. Волковицкий A.C. Система дистанционного тестирования "Сертификат"/ Научи, рук. Гусева А.И. // Научная сессия МИФИ - 2003. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии. - М., 2003. - С. 101.

41. Всероссийский заочный финансово-экономический институт (ВЗФЭИ). Электронный ресурс. Режим доступа: http://www.vzfei.ru/rus/about.htm

42. Вымятнин В.М., Демкин В.П., Можаева Г.В., Руденко Т.В. Мультимедиа-курсы: методология и технология разработки. Томский государственный университет, 2003. Электронный ресурс. Режим доступа: hüp.V/www.ido.tsu.m/ss/?unit=223&page=:650

43. Герасименко В.А., Малюк A.A. Основы защиты информации: учебник для вузов. М.: МИФИ, 1997. 537 с.

44. Геращенко М.М. Формирование практико-ориентированных знаний, умений и навыков у студентов экономического профиля па основе компьютерных технологий: Дис. на соискание уч. степени канд. пед. паук: по спец.13.00.08: Новосибирск, 2005, 195 с.

45. Гречихин A.A., Древе Ю.Г. Вузовская учебная книга: Типология, стандартизация, компьютеризация: Учеб.-метод. пособие в помощь авт. и ред. — М.: Логос: Московский государственный университет печати, 2000, 255с.

46. Государственное образовательное учреждение высшего профессионального образования "Томский государственный университет". Электронный ресурс. - Режим доступа: http://www.tsu.ru/

47. Гуров В.В. Анализ надежности вычислительной системы с учетом программного обеспечения,- Отчет по теме 89-3-242.

48. Гуров В.В. Анализ нормативных требований к качеству программной продукции. //Научная сессия МИФИ-2007. Сборник научных трудов. В 17 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2006. - С.146-147.

49. Гуров В.В. Влияние программной составляющей на модель надежности вычислительной системы. Отчет по теме 64-88/к12.

50. Гуров В.В. Выбор показателей качества программных средств учебного назначения. //Научная сессия МИФИ-2008. Сборник научных трудов. В 15 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2008. - С.159-160.

51. Гуров В.В. Методика оценки качества отладки программ малой и средней сложности. //Информационные технологии моделирования и управления. Научно-технический журнал. Выпуск 1(19) Воронеж. Изд.: Научная книга, 2005. - С.107-111.

52. Гуров В.В. Моделирование учебного процесса с учетом аппаратно-программной надежностн используемых вычислительных средств. //Компьютерное моделирование-2003: Труды Междунар. научн.-техн. конф. СПб.: Изд."Нестор", 2003. - С.408-409.

53. Гуров В.В. Организация лабораторного практикума при использовании компьютерных обучающих программ. //Компьютерное моделирование 2002: Труды Междунар. научн.-техн. конф. СПб.: Изд-во СПбГПУ, 2002 - С.197-198.

54. Гуров В.В. Организация учебного процесса при использовании компьютерных обучающих программ. //Научная сессия МИФИ-2002. Сборник научных трудов. В 14 томах. Т.12. Информатика. Компьютерные системы и технологии. - М.: МИФИ, 2002. -С.156-157

55. Гуров В.В. Основы организации вычислительных машин. М.: Изд. МИФИ, 2004, 164 с.

56. Гуров В.В. Оценка безопасности программных средств учебного назначения. -//Дистанционное и виртуальное обучение, №10, 2007 г. С.35-46.

57. Гуров В.В. Оценка надежности программ учебного назначения методом имнтационного моделирования. -//Открытое образование, №5, 2007г. С.36-39.

58. Гуров В.В. Практический опыт компьютерного тестирования потока студентов. //Научная сессия МИФИ-2006. Сборник научных трудов. В 16 томах. Т. 12. Информатика. Компьютерные системы и технологии. - М.: МИФИ, 2006.-С. 127-128.

59. Гуров В.В. Принципы и особенности моделирования микропроцессорных систем на секционированных микропроцессорах. //Математическое обеспечение вычислительных и управляющих систем. Межвузовский сборник научных трудов.- Рязань, Изд. РРТИ, 1982.

60. Гуров В.В. Синтез комбинационных схем в примерах и решениях. М.: МИФИ, 2001, 56 с.

61. Гуров В.В., Андрианова Е.С. Оценка надежности отказоустойчивых вычислительных систем как программно-аппаратного комплекса. Отчет 02.88.0077353.

62. Гуров В.В., Гуров Д.В., Криводаев А.В., Матюшенков Н.В. Пакет компьютерных обучающих программ по курсу "Организация ЭВМ". Свидетельство об официальной регистрации программы для ЭВМ №2007611495. Зарегистрировано в реестре программ для ЭВМ 10.04.2007.

63. Гуров В.В., Гуськов A.B. Практические занятия по изучению архитектуры компьютера. //Научная сессия МИФИ-2000. Сборник научных трудов. В 13 томах. Т. I ().-М.: Изд. МИФИ, 2000. - С.47-48.

64. Гуров В.В. Гуськов A.B., Воробьева Н.Ю. и др. Изучение архитектуры компьютеров в курсе "Основы теории компьютеров". //Научная сессия МИФИ-2000. Сборник научных трудов. В 13 томах. Т. 10.- М.: Изд. МИФИ,2000. - С.39-40.

65. Гуров В.В., Иванов М.А., Миков Д.В. и др. Защита информации в компьютерных системах и сетях. Компьютерные системы и технологии: Лабораторный практикум / Под ред. Л.Д.Забродина. -М.: Диалог-МИФИ, 2001.- С.173-187.

66. Гуров В.В., Иванов М.А., Саргин В.В. Электронный учебник по курсу "Защита информации". //Новые информационные технологии и системы: Материалы IV Международной научно-технической конференции. - Пенза, ПГУ, 2000г.

67. Гуров В.В., Касаткина Л.В. Разработка средств автоматизации микропрограммирования высоконадежных микропроцессорных устройств. Отчет по теме 89-3-242.

68. Гуров В.В., Козлов Л.Ф. Устройство управления. Лабораторный практикум "Устройства ЭВМ". - М.: Изд. МИФИ, 1980.

69. Гуров В.В., Кузнецова П.В., Михайлов Д.М. Методы и средства изучения программных методов защиты программных систем. //Инженерная физика , 2007, №3, с.63-67.

70. Гуров В.В., Ленский О.Д., Соловьев Г.Н., Чуканов В.О. Структура и организация вычислительного процесса в ЭВМ / Под ред. Соловьева Г.Н. М.: Изд. МИФИ, 2003, 108 с.

71. Ш.Гуров В.В., Соловьев Г.Н. Лабораторный практикум по проектированию микропроцессорных устройств. Проспект ВДНХ СССР. - М.: Изд. МИФИ, 1985.

72. Гуров В.В., Чернышев Ю.А. Кросс-система автоматизации микропрограммирования устройств на разрядно-модульных микропроцессорах. Применение микропроцессоров в системах управления. Материалы семинара. - М.: Изд. МДНТП, 1982.

73. Гуров В.В., Чернышев Ю.А., Чуканов В.О. Методы и средства дистанционного обучения по курсу "Основы теории компьютеров". //Научная сессия МИФИ-99. Сборник научных трудов. В 13 томах. Т.8.- М.: Изд.МИФИ, 1999. С.37-38.

74. Гуров В.В., Чуканов В.О. Электронный учебник по курсу "Основы теории компьютеров". //Научная сессия МИФИ-98. Сборник научных трудов. В 11 частях. Часть 5.-М.:Изд.МИФИ, 1998.-С. 185-186.

75. Гуров В.В., Чуканов В.О. Основы теории и организации ЭВМ. М.: Интернет-уииверситет информационных технологий; БИНОМ. Лаборатория знаний, 2006.- 272 с.

76. Гуров В.В., Чуканов В.О. Оценка качества программных средств учебного назначения. //Качество. Инновации. Образование. №5(27), август 2007. С.27-32.

77. Гусев П.В. Среда дистанционного обучения LEARNING SPACE 5.0 готовое решение для учебных заведений. - //Материалы XVII Международной конференции-выставки ("ИТО-2007") 9-11 ноября 2007 года, г. Москва.

78. Гусева А.И. Адаптивные методики тестирования. М.: МИФИ. Препринт 2002-007, 32 с.

79. Гусева А.И. Информационная поддержка учебного процесса в ЭАИ МИФИ (система МИФИСТО). //Научная сессия МИФИ - 2005. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии.- М.: МИФИ, 2005.-С. 126-127.

80. Гусева А.И. Методика адаптивного контроля знаний. // Информатика и образование, №7, 2003.

81. Гусева А.И. Оценка качества методического, математического и программного обеспечения распределенных обучающих систем: диссертация на соискание ученой степени доктора технических наук по специальности 05.13.11/ МИФИ, 2003 г.

82. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и адаптивного тестирования ВИОТ-2. // Научная сессия МИФИ - 2003. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии. - М., 2003. -С. 102-103

83. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и тестирования. // Труды IX международного научно-технического семинара "Современные технологии в задачах управления, автоматики и обработки информации". Алушта, 2003, С.303-306.

84. Гусева А.И., Шпурик А.П. Математические методы построения адаптивных методик тестирования. // Научная сессия МИФИ - 2003. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии.- М., МИФИ, 2003,- С. 104-105.

85. Деб Перелман. Как обеспечить безопасность баз данных. Электронный ресурс. -Режим доступа: http://www.pcweek.ru/themes/detail.php?ID= 106691

86. Дистанционное образование. Системы. Электронный ресурс. Режим доступа: http://www.scherbakov.biz/main/distant/systemsdo.htm

87. Дистанционное образование. Электронный ресурс. Режим доступа: http://www.bestreferat.ru/referat-30270.html

88. Дистанционный обучающий центр УНИАР. Автоматизированная система дистанционного обучения "ДОЦЕНТ" Электронный ресурс. Режим доступа:http://www.uniar.ru/dt-docent.html.

89. Дорошенко Н. Современная карьера.- //Власть денег, Июль 2006, (№92) Электронный ресурс. Режим доступа: (http://wmv.vd.net.ua/journals/articles-1321).

90. Древе Ю.Г. Теория и практика создания электронных учебников: Учебно-методическое пособие в помощь автору Электронный ресурс. -CD-ROM. Год: 2004

91. Домарев В.В. Моделирование процессов создания и оценки эффективности систем защиты информации. Электронный ресурс. Режим доступа: http://salnikov.m/security/articles/modelproc/

92. Домннн JT.H. Элементы теории графов. Пенза: Изд. Пензенского гос. университета, 2004, 139 с.

93. Елтаренко Е.А., Крупинова Е.К. Обработка экспертных оценок. /Уч. пособие -М.: МИФИ, 1982, 96 с.

94. Жуков Д.О. Использование информационных технологий для создания систем дистанционного обучения и тестирования //Информационные ресурсы России, 2004, №1(77). - С.26-29.

95. Жуков Д.О. Математические модели управления знаниями в информационныхобучающих системах: автореферат дис. на соиск. учен. степ. д. т. н. по спец. 05.13.10 "Управление в социальных и экономических системах (по техническим наукам)"/ МГУПиИ, 2006.

96. Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний. М.: Радио и связь, 2003, 432 с.

97. Жуков Д.О. Разработка Internet-систем диагностики знаний и психологического тестирования для профессиональной ориентации и подготовки к ЕГЭ. //Вопросы тестирования в образовании, 2003, №8 - С.92-101.

98. Жуков Д.О., Арутюнов И.С., Давидович Д.Б. Разработка систем дистанционного обучения // Научная сессия МИФИ - 2004. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии.- М., МИФИ, 2004. -С.212-213.

99. Жуков Д.О. Пугачёв С.В. Интегрированная Интернет-система обучения программированию. М.: Изд. МГУПИ, 2008, 16 с.

100. Журавлев Ю.П., Котелюк Л.А., Циклинский Н.И. Надежность и контроль ЭВМ. -М.: Сов. радио, 1978, 416 с.

101. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля знаний.-//Educational Technology & Society, 7(4), 2004, ISSN 1436-4522. pp 265-277.

102. Защита программного обеспечения./Под ред. Гроувера Д. М.: Мир, 1992.

103. Звонников В. И., Челышкова М. Б. Шкалирование результатов единого государственного экзамена: проблемы и перспективы. Единый государственный экзамен: сб. ст. - М.: Логос, 2004. - С.89-113.

104. Зиндер Е.З. Фундамент новых компьютерных систем стандарты. - Электронный ресурс. - Режим доступа: http://www.fostas.ru/confs/showinfo.php?id=l 1 &с=1

105. Зиндер Е.З. Соотнесение и использование стандартов организации жизненных циклов систем. СУБД, № 3, 1997.

106. Институт инженеров по электротехнике и электронике (Institute of Electrical and Electronic Engineers IEEE) Электронный ресурс. Режим доступа: http:// ieee. org/p ortal/site/iportals

107. Интернет-безопасность Электронный ресурс. Режим доступа: http://www.viruslist.com

108. Интернет-портал информационного пространства развития человеческих ресурсов в электроэнергетике. Электронный ресурс. Режим доступа: - http://www.rao-ees.edu.ni/files/docent-descr.htm

109. Интернет-Университет информационных технологий. Электронный ресурс. -Режим доступа: www.intuit.ru

110. Информационная безопасность во главе угла. Новости ИТ-бизнеса для профессионалов. - Электронный ресурс. - Режим доступа: http://www.astera.ru/ 09.10.2007

111. Инциденты, связанные с нарушением безопасности, становятся все серьезнее. Электронный ресурс. -Режим доступа: http://algonet.ru/?ID=635273. 04.10.07.

112. Иркутский областной центр образования. Электронный ресурс. Режим доступа: http://www.oco.baikal.rn/vesta.

113. Использование информационных технологий в высшем образовании Электронный ресурс. Режим доступа:http://www.microsoft.corn/Rus/Government/whitepapers/edu/HighEd.rnspx

114. Исследован человеческий фактор в защите информации. Электронный ресурс. -Режим доступа: http://www.dialog-21.ru/news/digest.asp?id=141571

115. К 2008 году число персональных компьютеров в мире достигнет миллиарда: Лента.ги. 12 июня 2007. Электронный ресурс. Режим доступа: http://www.lenta.ru/

116. Казарин О.В. Безопасность программного обеспечения компьютерных систем. -М.: Изд. МГУЛ, 2003, 212 с. ISBN 5-283-01667 УДК 621.382.26 Электронный ресурс. -Режим доступа: http://www.compdoc.ru/secur/protect/safesoftware/

117. Казарин О.В. Теория и практика защиты программ. Электронный ресурс. Режим доступа: www.kiev-security.org.ua BEST rus DOC FOR FULL SECURITY

118. Какими бывают компьютерные атаки. Электронный ресурс. Режим доступа: http ://argon .com.ru/internet/attack

119. Калинина Л.Ю. Оценка качества программных продуктов. //Качество. Инновации. Образование, 2006, №4. - С.52-55.

120. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. Диссертация на соиск. уч. степени K.T.H. по спец. 05.13.13/ МИЭМ, 2002

121. Карпухина С. В.Интеллектуальный анализ результатов тестирования в ИС. -Самарский государственный архитектурно-строительный университет. Электронный ресурс. Режим доступа: http://sveta72656.narod.ru/TestGold.htm)

122. Классификация компьютерных обучающих программ. Электронный ресурс. -Режим доступа: http://de.ifmo.ru/~books/0055/glaval3.htm

123. Клейнрок JI. Вычислительные системы с очередями. -М.: Мир, 1979, 600 с.

124. Клейнрок JI. Теория массового обслуживания. Пер. с англ. М.: Машиностроение, 1979. - 432 с.

125. Кожемяченко В.И., Климов В.Ю., Мочалов С.П. Корпоративная система компьютерного тестирования. Электронный ресурс. Режим доступа: http://conference.kemsu.ru/conf/nitue2006/sect/index.dhtm.en?secid=:645

126. Козлов Б.А., Ушаков И.А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики. М.: Изд. Сов. радио, 1975, 472 с.

127. Колемаев В.А., Калинина В.Н. Теория вероятностей и математическая статистика. М.: ЮНИТИ-ДАНА, 2003, 352 с.

128. Комитет №461 "Информационно-коммуникационные технологии в образовании (ИКТО)" при Федеральном агентстве по техническому регулированию и метрологии Электронный ресурс. Режим доступа: http://www.gost.ru/wps/portal/pages.TechCom.

129. Компания ГиперМетод Электронный ресурс. Режим доступа: http://www.hypennethod.ru/

130. Компания "Виртуальные технологии в образовании" Электронный ресурс. -Режим доступа: http://www.prometeus.ru/products/sdo/

131. Компьютерные обучающие программы. Балтийского государственного технического университета, г. Санкт-Петербург. Электронный ресурс. Режим доступа: http://kedrbgtu.chat.ru/kop.html

132. Компьютерные обучающие программы Российского государственного гуманитарного университета. Электронный ресурс. Режим доступа: http://www.rsuh.ru/ncws.html?id=41375

133. Конструктор тестов. Электронный ресурс. Режим доступа: http://tests.pp.ru/constructor/index.phtml

134. Корячко В.П. Теоретические основы САПР. Электронный ресурс. Режим доступа: http://www.info.oglib.ru/bgl/495.html

135. Корпоративный сайт компании ToolBook. Электронный ресурс. Режим доступа: http://www.toolbook.com/Learn.php

136. Кочетурова Н. А. Стандарты в электронном обучении. //Информационные технологии в образовании. Ежеквартальный бюллетень НГТУ и Ассоциации "Сибирский открытый университет", октябрь 2004г №3, с.8-10, декабрь 2004г №4, с.15.

137. Крис Преймесбергер. Пять шагов к непрерывной защите данных. Электронный ресурс. Режим доступа: http://vvww.pc\veek.ru/themes/detail.php?ID=i06743

138. Кто такой хакер. Электронный ресурс. Режим доступа: http://determion.narod.ru/hacker.html

139. Лабораторные работы по курсу "Локомотивные энергетические установки" Петербургский Государственный Университет Путей Сообщения. Электронный ресурс. — Режим доступа: http://locsoft.tripod.com/Diesel.htm

140. Лабораторный практикум по курсу физики: Механика: уч. пособие / Под ред. Нерсесова Э.А. М.: МИФИ, 1980, 84 с.

141. Лабораторный практикум "Электромагнитные колебания и волны. Переменныйток" / Под ред. Безуса В.А. М.: МИФИ, 1979, 40 с.

142. Леннон Э. Бюллетень лаборатории информационных технологий NIST за май 1999 г. Компьютерные атаки: что это такое и как защититься от них. Электронный ресурс. -Режим доступа: http://www.citfomm.ru/internet/securities/secatt.shtml.

143. Леонова Н.М. Методы адаптивного структурно-параметрического управления и идентификации многосвязных социальных объектов на примере образовательной деятельности: автореферат диссертации на соискание ученой степени д.т.н. по спец. 05.13.11/ МИФИ, 2006.

144. Лесько С.А. Жуков Д.О. Динамическая модель адаптивного тестирования. // Научная сессия МИФИ - 2007. Сборник научных трудов. Т. 12: Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2007. - С.119-121.

145. Лнпаев В.В. Надежность программных средств. -М.: СИНТЕГ. 1998, 232с.

146. Липаев В.В. Выбор и оценивание характеристик качества программных средств: Методы и стандарты. Серия "Информационные технологии". М.:СИНТЕГ, 2001, 228 с.

147. Липаев В.В. Экономика производства сложных программных продуктов. М.: СИНТЕГ, 2008,419 с.

148. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. М.: СИНТЕГ, 2002, 268 с.

149. Липаев В.В. Технико-экономическое обоснование проектов сложных программных средств. М.: СИНТЕГ. 2004, 284 с.

150. Липаев В.В. Функциональная безопасность программных средств. М.: СИНТЕГ, 2004, 348 с.

151. Липаев В.В. Анализ и сокращение рисков проектов сложных программных средств. М.: СИНТЕГ. 2005, 224 с. Электронный ресурс. - Режим доступа: http://www.bizbook.ru/listing.php ?bookid=23705&pagenum=209&reset

152. Липаев В.В. Функциональная безопасность программных средств Информационный бюллетень "Jet Info 08(135)/2004".

153. Липаев В.В. Технологические процессы и стандарты обеспечения функциональной безопасности в жизненном цикле программных средств. Информационный бюллетень "Jet Info 03(130)/2004".

154. Липаев В.В. Проектирование программных средств: Учебн. пособие для вузов для спец. "Автом. сист. обр. информ. и упр". М.: Высш. шк., 1990, 303 с.

155. Майерс Г. Надежность программного обеспечения: М.: Мир, 1980, 360с.

156. Междисциплинарный центр дополнительного профессионального образования СПбГУ. Электронный ресурс. Режим доступа: http://dl.nw.ru

157. Международный союз по телекоммуникации (International Telecommunication Union ITU) Электронный ресурс. Режим доступа: http://www.itu.int/

158. Международная электротехническая комиссия (International Electrotechnical Commission IEC). Электронный ресурс. Режим доступа: http://www.iec.ch/

159. Моисеенков И. Безопасность компьютерных систем. // Компьютер Пресс, 1991, №10-12.

160. Московский государственный университет экономики, статистики и информатики (МЭСИ). Электронный ресурс. Режим доступа: http://mesi.ru

161. Московский Государственный Технологический Университет "Станкин". -Электронный ресурс. Режим доступа: http://wvvw.stankin.rn/

162. Московский государственный университет приборостроения и информатики Электронный ресурс. Режим доступа: http://net.rngapi.ru/

163. Московский инженерно-физический институт (государственный университет) -Электронный ресурс. — Режим доступа: http://www.mephi.ru

164. Надежность технических систем: справочник / Под ред. Ушакова И.А. М.: Ра-дно и связь, 1985, 608 с.

165. Нежданский К. Upgrade для персонала и бизнеса. Электронный ресурс. Режим доступа: http://www.belgazeta.by/20041213.49/4702928 82

166. Нижегородский государственный технический университет. Инженерный центр. Программно-обучающие системы. Электронный ресурс. Режим доступа: http://www.ecn gtu.nnov.ru/index.php ?url=posmain

167. Нохрина H.H. Тест как общенаучный диагностический метод. //Социологические исследования. 2005. № 1. - С. 118-126.

168. Нупур Д, Хамфри У., Редвайн С., Цибульски Г., Макгро Г. Процессы разработки безопасного программного обеспечения. //Открытые системы, №8, 2004.

169. Обзор программных продуктов для тестирования знаний. Электронный ресурс. — Режим доступа: http://xpt.narod.ru/files/htinl/xpt/material.htm

170. Обзор специальных инструментальных средств и оболочек для создания курсов ДО. Электронный ресурс. Режим доступа: http://dl.nw.ru/software/review/

171. Обеспечение информационной безопасности организаций банковской системы Российской Федерации. Стандарт Банка России. Общие положения. 2004-12-01. Электронный ресурс. Режим доступа: http://www.cbr.ru/credit/gubzidocs/IBBS-l .0-2004.pdf

172. Образовательная среда "Шопен" Электронный ресурс. Режим доступа: http://altnet.ru/%7Emcsmall/chop.htm

173. Окольнишников В.В. Представление времени в имитационном моделировании. -//Вычислительные технологии, т.10, №5, 2005 г. С.57-80.

174. Осипова Е.М. Стандарты информационных технологий в обучающих системах (Learning technology systems standards): Учебно-методическое пособие / МЦ СПбГУ. -СПб, 2001, 34 с. Электронный ресурс. Режим доступа: http://dl.nw.ru/standarts

175. Панков А.Р., Платонов Е.Н. Практикум по математической статистике: Учебное пособие. -М.: Изд. МАИ, 2006, 44 с.

176. Пальчун Б.П. Дефектология интеллектуальных компьютерных программ. Информационное противодействие угрозам терроризма. 2005, №4. - С.118-123 Электронный ресурс. - Режим доступа: http://www.contrterror.tsure.ru/site/magazine4/03-18-Palchun.htm

177. Парамонов В. Пятая часть ИТ-расходов приходится на обеспечение безопасности. 11 октября 2007 года. Электронный ресурс. Режим доступа: http://security.compulenta.m//335567/?phraseid=3319772

178. Парамонов В. В Сети зафиксирована массированная хакерская атака. -КОМПЬЮЛЕНТА 09.01.08. Электронный ресурс. Режим доступа: http://security.compulenta.ru//344362/?phrascid=6300399

179. Персональный сайт Жукова А. Электронный ресурс. Режим доступа: http://xpt.narod.ru/

180. Петров А.Б. Концептуалы нового образования в эпоху ИТ . Educational Technology & Society 8(1) 2005 С. 198-200. Электронный ресурс. - Режим доступа: http://ifets.icee.org/russian/depository/v8il/pdf77.pdf

181. Петербургский Государственный Университет Путей Сообщения. Электронный ресурс. Режим доступа: http:/Avww.pgups.edu/portoI/page/portaI/groupfor^gups/indexpgups

182. Подсевалов В.В. Статистическая обработка результатов тестирования. Электронный ресурс. - Режим доступа: http://tiei.ru/ppage/pages/57/HTML/Podsevalov.htm

183. Полаженко С. Актуальность вопросов тестирования безопасности и защищённости программных продуктов Электронный ресурс. Режим доступа: http://software-testing.ru/lib/polazhenko/print-security-testing-actuaIity.htm

184. Половко A.M. Основы теории надежности. -М.:Наука, 1964, 448с.

185. Попков В.К., Соколова О.Д., Зыков М. JI. Обучающая система для задач анализа и синтеза проектных решений систем сетевой структуры. Электронный ресурс. Режим доступа: http://conference.kemsu.ru/conf/nitue2006/sect/index.dhtm.en?secid=645

186. Попов А. Метрики качества программного обеспечения. Электронный ресурс. -Режим доступа: http://www.pmprofy.ru/content/rus/67/672-article.asp

187. Портал информационной поддержки единого государственного экзамена. Электронный ресурс. Режим доступа: http://ege.edu.ru/PortalWeb/index.jsp

188. Портал Камина Андрея Александровича Электронный ресурс. Режим доступа: http://www.people.nnov.ru/kamin/pt.htm

189. Портал поддержки тестирования и образования в Российской Федерации. Электронный ресурс. Режим доступа: http://testor.ru

190. Правила Хольцмана для надежного ПО. Электронный ресурс. Режим доступа: http://www.dialog-21.ru/news/digest.asp?id=141584

191. Программный пакет УСАТИК Электронный ресурс. Режим доступа: http://www.usatic.narod.ru/

192. Программный комплекс "Батисфера". Электронный ресурс. Режим доступа:http ://wwvv.baty. ru/

193. Полонников Р.И., Никандров A.B. Методы оцен1ш надежности программного обеспечения. СПб: Политехника, 1992, 80 с.

194. Программы для образования и бизнеса. Фирма SunRav Software. Электронный ресурс. Режим доступа: http://www.sunrav.ru/

195. Пугачёв C.B., Савостьянов A.B., Чёрный А.И., Автоматизация идентификации исходного кода программ на основе методов искусственного интеллекта. //Научная сессия МИФИ-2007, т. 10. - М., МИФИ, 2007. - С.78-79.

196. Роберт Т. Фатрелл, Дональд Ф. Шафер, Линда И. Шафер. Управление программными проектами: достижение оптимального качества при минимуме затрат/ Пер. с англ. Изд. дом "Вильяме", 2004, 1136 с.

197. Ромашок С.Г. Оценка надежности программного обеспечения. //Открытые Системы, № 4/94. - С.68-71.

198. Российский государственный институт открытого образования. Электронный ресурс. Режим доступа: http://openet.ru

199. Рыбанов А.А. Количественные оценки эффективности процесса формирования ответов на тестовые задания при дистанционном тестировании знаний. //Качество. Инновации. Образование, 2006, №5. - С.44-53.

200. Саати Т.Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

201. Саати Т. Л. Элементы теории массового обслуживания и ее приложения. М.: Сов. радио. 1971, 520с.

202. Самсонова С.А. Информатизация курса стохастики в вузе. /ЛТовые информационные технологии и системы: Труды VI Международной научно-технической конференции 4.2. - Пенза, ПГУ, 2004 г. - С. 180-184.

203. Семьянов П. Красная волна. // НОВИНТЕХ, 1991, N 2.

204. Середа С.А. Этапы преодоления систем защиты программного обеспечения, "ИНФОРМОСТ" //"Радиоэлектроника и телекоммуникации", № 6 (30) 2003. Электронный ресурс. - Режим доступа: http://www.informost.rU/ss/30/4.shtml

205. Система дифференцированного Интернет-обучения ГЕКАДЕМ. Электронный ресурс. Режим доступа: http://www.hecadem.irk.ru:8101/

206. Система проверки знаний. Версия 2.5. Электронный ресурс. Режим доступа: http://maup.chat.ru

207. Система тестирования кафедры ЛМИС МИЭМ. Электронный ресурс. Режим доступа: http://dist.xenum.biz

208. Скрипт-вирусы. Электронный ресурс. Режим доступа: http://www.viruslist.com/ш/viшses/encyclopedia?chapter=:156771411

209. Скрипт-вирусы. Электронный ресурс. Режим доступа: http://www.help-апНупгиэ .ги/ drwebviшsscript.php

210. Скрипт-вирусы Электронный ресурс. Режим доступа: http://www.ki-yptocrew.de/board

211. Смагин В.А. Метод оценивания и обеспечения надежности сложных программных комплексов. Электронный ресурс. Режим доступа: http://sir35.narod.ru/Cmagin/Metod15032.htm

212. Смагин В.А. Модель надежности живого организма (оператора). Электронный ресурс. Режим доступа: http://sir35.narod.rU/Cmagin/index.htm#Beg

213. Смагин В.А. О моменте наступления будущего события в случайном потоке событий. Электронный ресурс. Режим доступа:http://sir35.narod.ru/Cmagin/K10073/Pred.htm

214. Смагин В.А. Форсированные быстродействием испытания программного обеспечения на надежность. Электронный ресурс. Режим доступа: http://sir35.narod.rU/Cmagin/P08092/TEST08092.htm#Beg

215. Смирнов В. Н. Системное исследование показателей качества изделий. Д.: Машиностроение, 1981.

216. Смирнов В.Е., Смирнов Е.В., Монахов К.В., Шабанов А.К. Математическая модель оценки надежности аппаратно программного комплекса //60-я Научная сессия, посвященная Дню радио, 17-19 мая 2005г. С.-Пб., ЗАО АВТЭКС. - С.91-93.

217. Создание тестов и проведение тестирования на компьютере пакет программ UniTest System. Электронный ресурс. - Режим доступа: http://sight2k.com/rus/

218. Соловов A.B. Дидактический анализ проблематики электронного обучения. -//Труды Международной конференции "IEEE International Conference on Advanced Learning Technologies". Казань: КГТУ, 2002. - С. 212-216.

219. Соловьев Г.Н., Козлов Л.Ф., Гуров В.В. О постановке проблемного обучения основам микропроцессорной техники. //Микропроцессоры и их применение. Материалы семинара. - Пенза, Изд. ПДНТП, 1983.

220. Соловьев Г.Н., Чернышев Ю.А., Козлов Л.Ф., Гуров В.В. О постановке практического изучения основ микропроцессорной техники. Автоматизация проектирования средств вычислительной техники и перспективы применения микропроцессоров. - Л.: Изд. ЛЭТИ, 1978.

221. Стенг Д., Мун С. Секреты безопасности сетей. К.: "Диалектика", 1995.

222. Сырков Б. Компьютерная преступность в России. Современное состояние. -//Системы безопасности связи и телекоммуникаций, 1998, №21. С.70-72.

223. Сысоева Л. А. Международные стандарты на архитектуру систем, реализующих технологии обучения (LTSА). -//Открытое образование. № 3, 2002. С. 13-19.

224. Тестирование. Электронный ресурс. Режим доступа: http://2balla.ru/index.php?option=comewriting&Itemid=l 17&func=chapterinfo&chapter=29 629&story=21154

225. Тестландия Электронный ресурс. Режим доступа: http://www.testland.ru.

226. Томашевский A.B. Оценка надежности защиты компьютерной информации.

227. Электронный ресурс. Режим доступа: http://www.cnmeresearch.ru/library/Tomashev.doc

228. Управление рисками: обзор употребительных подходов. Информационный бюллетень "Jet Info 11-12/2006". Электронный ресурс. Режим доступа: http : //ww w.j etinfo. ru/

229. Файтс Ф., Джонстон П., Кратц М. Компьютерный вирус: проблемы и прогноз. -М.: Изд. Мир, 1993 г.

230. Федеральное агентство по техническому регулированию и метрологии. Электронный ресурс. Режим доступа: http://www.gost.ru.

231. Филиппов С.А. Архитектура подсистемы адаптивного обучения МИФИСТО. -//Научная сессия МИФИ 2006. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии. - М.: МИФИ, 2006. - С. 32-33.

232. Ханджян А.О. Моделирование надежности программного обеспечения Электронный ресурс. Режим доступа:http://software-testing.m/lib/handzhyan/softwarequalitymodeling.htm

233. Центр компьютерного обучения "Специалист" при МГТУ им. Баумана. Электронный ресурс. Режим доступа: http://www.specialist.ru

234. Центр по развитию системы централизованного тестирования и единого государственного экзамена. Электронный ресурс. — Режим доступа: http://neogen.biomash.net/about/about.php

235. Центр тестирования развития при МГУ. Электронный ресурс. Режим доступа: http://www.ht.ru/prof/tests/

236. Центр тестирования и развития "Гуманитарные технологии". Электронный ресурс. — Режим доступа: http://www.proforientator.ru/about/company.html

237. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей/ Учебное пособие. М.: И. Ц, 1995.

238. Челышкова М. Б. Теория и практика конструирования педагогических тестов. -М.: ИЦПКС. 2000, 409 с.

239. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос. 2002, 432 с.

240. Шнанер Брюс Секреты и ложь. Безопасность данных в цифровом мире. СПб.: Питер, 2003, 368 с.

241. Шрайбер, Т. Дж. Моделирование на GPSS. Л.: Машиностроение, 1980, 592 с.

242. Adobe eLearning solutions. Электронный ресурс. Режим доступа: http://www.macromedia.eom/sofitware/eleamingsuite/productinfo/overview/index.h

243. Advanced Distributed Learning Электронный ресурс. Режим доступа: http://www.adlnet.gov/index.cfm

244. AICC Aviation Industry СВТ (Computer Based Training) Committee. Электронный ресурс. - Режим доступа: http://www.aicc.org

245. A Lightweight Method for Building Reliable Operating Systems Despite Unreliable Device Drivers. Technical Report IR-CS-018, January 2006. Электронный ресурс. - Режим доступа: (http://www.minix3.org/doc/reliable-os.pdf)

246. Alliance for Remote Instructional Authoring and Distribution Networks for Europe. Электронный ресурс. Режим доступа: http://www.ariadne-eu.org

247. Claude Crepeau, Alain Slakmon . Simple BackDoors for RSA Key Generation. School of Computer Science, McGill University. Электронный ресурс. Режим доступа: http://eprint.iacr.Org/2002/l 83 .pdf

248. Cohen F. Computer viruses. Theory and experiments // Adv.Comput. Syst. Secur. Vol.3 Norwood (Mass), 1988.

249. Cryptovirology Labs Электронный ресурс. Режим доступа: http://www.cryptovirology.com/

250. Defining Strategies to Protect against TCP SYN Denial of Service Attacks, Cisco Systems, tech. memo, Aug. 2001.

251. Desmedt Y. Abuses in Cryptography and How to Fight Them. Advances in Cryptol-ogy CRYPTO'88, pp. 375-389. Электронный ресурс. - Режим доступа: http://dsns.csie.nctu.edu.tw/research/crypto/HTML/PDF/C88/375.PDF

252. GPSS имитационное моделирование систем. Электронный ресурс. - Режим доступа: http://www.gpss.ru/

253. IEEE Learning Technology Standards Committee. Электронный ресурс. Режим доступа: http://ieeeltsc.org/

254. IEEE P14S4.1/D8, 2001-04-06 -рабочий стандарт для технологий обучения (Draft

255. Standard for Learning Technology),

256. IEEE 1484.1 LTSA System, Компоненты системы

257. IEEE P1484.1/D8, 2001-04-06. Draft Standard for Learning Technology Learning Technology Systems Architecture (LTSA)

258. IMS Global Learning Consortium, Inc. Электронный ресурс. Режим доступа: http://www.imsglobal.org

259. Information Security Spending on the Rise, CompTIA Survey Revealshttp Электронный ресурс. -Режим доступа: http://www.comptia.org/pressroom/getpr.aspx?prid=1286

260. ISO International Organization for Standardization. Электронный ресурс. Режим доступа: http://www.iso.org/iso/en/ISOOnline.frontpage

261. JTC 1/SC 36 Information technology for learning, education and training Электронный ресурс. Режим доступа:http://www.iso.org/iso/en/stdsdevelopment/tc/tclist/TechnicalCommitteeDetailPage. Techni-calCommitteeDetail?COMMID=4997

262. Lotus Learning Management System. Электронный ресурс. Режим доступа: http://www-306.ibm.com/software/lotus/products/lcarning-management-system/

263. Michael J. Wiener CryptoAnalysis of Short RSA Secret Exponent. Canada. 1989. Электронный ресурс. Режим доступа: http://www3.sympatico.ca/wienerfamily/Michael/MichaelPapers/ShortSecretExponents.pdf

264. Oracle Universal Content Management Downloads Электронный ресурс. — Режим доступа: http://www.oracle.com/technology/software/products/content-management/index.htm^rssid^ss^tnsoft

265. Paul С. Kocher. Timing Atacks on Implementations of Diffie-Hellman, RSA, DSS, and Other Systems. Cryptogaphy Research, USA. Электронный ресурс. Режим доступа: http://www.cryptography.com/resources/whitepapers/TimingAttacks.pdf

266. Softportal Электронный ресурс. — Режим доступа: http ://www. softportal. с om/freesoftwarc/2174

267. SunRav TestOfficePro программы для создания тестов и проведения тестирования. Электронный ресурс. Режим доступа: http://www.sunrav.ru/srtop/index.php

268. Symantec: тенденции и прогнозы эволюции сетевых угроз. Электронный журнал "Спамтест". Декабрь, 2007. Электронный ресурс. - Режим доступа: http://www.spamtest.ru/news.html?id=207509046

269. The LRN Tookit: Giving Customers a Head Start on Online Learning Solutions Электронный ресурс. — Режим доступа: http://www.microsoft.com/presspass/features/2000/02-081rn.mspx

270. Toolbook II Assistant Version 6.0. Электронный ресурс. Режим доступа: http://www.bestreferat.ru/referat-31078 .html

271. Young A., Yung M. The Dark Side of Black-Box Cryptography. Advances in Cryp-tology CRYPTO'96, pp. 89-103. Электронный ресурс. - Режим доступа: http://dsns.csie.nctu.edu.tw/research/crypto/HTML/PDF/C96/89.PDF

272. Young A., Yung М. Kleptography: Using Cryptography Against Cryptography. Eurocrypt '97, pp. 62-74.

273. Young A., Yung M. The Prevalence of Kleptographic Attacks on Discrete-Log Based Cryptosystems. CRYPTO '97, pp. 264-276.

274. UniTest System программное обеспечение для автоматизации компьютерного тестирования. Электронный ресурс. - Режим доступа http://www.sight2k.com/rus/unitest/