Разработка и анализ стохастической и аппроксимационной моделей адаптивного тестирования для информационно-управляющих систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Фоминова, Наталья Сергеевна

• Фоминова, Наталья Сергеевна
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Фоминова, Наталья Сергеевна

Введение.

Глава 1 Анализ подходов к тестированию и контролю в различных предметных областях.

1.1 Адаптивные системы управления и адаптивные системы тестирования.

1.2 Тестирование технических устройств.

1.3 Тестирование программного обеспечения.

1.4 Тестовые технологии в образовательной деятельности.

1.5 Постановка задачи тестирования.

Выводы по главе 1.

Глава 2 Формализация процесса тестирования. Стохастическая модель.

2.1. Задача наискорейшего поиска ошибки. Дискретный случай.

2.1.1 Одно критериальная модель тестирования.

2.1.2 Анализ однокритериальной модели тестирования при отклонении от оптимального выбора тестовых запросов.

2.1.3 Результаты численных экспериментов на случайных деревьях для однокритериальной модели.

2.1.4 Многокритериальная модель тестирования.

2.1.5 Численное моделирование тестирования на основе многокритериальной модели.

2.2 Обоснование независимости метода выбора тестовых запросов от дискретности или непрерывности входных / выходных параметров.

2.3 Задача наискорейшего поиска ошибки. Непрерывный случай.

2.4 Анализ задачи наискорейшего поиска ошибки в дискретном случае для систем с памятью.

Выводы по главе 2.

Глава 3 Формализация процесса тестирования. Аппроксимационная модель.

3.1 Задача определения наилучшего приближения. Дискретный случай.

3.1.1 Постановка задачи наилучшего приближения.

3.1.2 Численный эксперимент по приближению на графах.

3.2 Задача определения наилучшего приближения. Непрерывный случай.

3.2.1 Интерполяция функции вероятности ошибки по Лагранжу и Эрмиту.

3.2.2 Результаты сравнения остатков интерполяции.

Выводы по главе 3.

Глава 4 Практическая реализация и анализ результатов.

4.1 Программно-аналитический комплекс интеллектуального тестирования (ПАК ИТ «Logos»).

4.1.1 Структура и основные функциональные возможности.

4.1.2 Требования к программно-аппаратным средствам.

4.2 Внедрение и апробация ПАК ИТ «Logos».

4.5 Анализ результатов тестирования с использованием ПАК ИТ «Logos».

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Разработка и анализ стохастической и аппроксимационной моделей адаптивного тестирования для информационно-управляющих систем»

Актуальность

В настоящее время одним из основных требований, предъявляемых к создаваемым информационным системам, программному обеспечению, техническим объектам, является надежность (отказоустойчивость), т.е. способность объекта сохранять свою функциональность под влиянием широкого спектра воздействий. Тестирование является одним из основных этапов проектирования и разработки. С ростом сложности систем растут расходы на их тестирование, которые в результате могут превышать прочие производственные затраты. [38] Тестирование в таком понимании является важной частью современной науки и техники и используется, к примеру, для проверки технических устройств на корректность функционирования при проектировании и изготовлении; проверки параметров любых конструкций, устройств и программ на соответствие нормам при сдаче проектов; тестирования способностей, знаний, состояния человека.

Тестом назовем конечную систему измерений, проводимых с заданной точностью, позволяющую определить некоторый параметр исследуемого объекта с заданной степенью точности. Тогда тестирование - это процесс, позволяющий за конечное число шагов проверить эквивалентность заданной системы эталонной по некоторому ряду показателей.

Проблема разработки методов и алгоритмов тестирования заключается в том, что разрабатываемые и исследуемые системы могут динамически изменяться, поэтому статический тест, состоящий из случайно-выбранных измерений и не имеющий динамически изменяемой структуры, не учитывает в полной мере динамику изменения системы. Таким образом, необходимо проектирование адаптивных тестов. Адаптивным тестированием назовем процесс проведения измерений, связанный с выполнением теста, одновременно с его изменением и дополнением на основе результатов измерений.

Научной проработки этой проблемы касались специалисты в области тестирования технических устройств (Яблонский С.В., Тоценко В.Г., Малышенко Ю.В., Чипулис В.П., Шаршунов С.Г., Кудрявцев В.Б., Чжен Г., Мэннинг Е., Метц Г.); тестирования программного обеспечения (Майерс Г.,

Тамре JI., Бейзер Б., Дастии Э., Рэшка Д., Пол Д., Калбертсон Р., Браун К., Кобб Г., ФолкД., НгуенЕ.К., Канер С. Винниченко И.В., ЛипаевВ.В., Коликова Т.В., Котляров В.П., Кларк Э.М.); контроля знаний, разработки педагогических тестов и автоматизированных систем контроля знаний (Майоров А.Н., Аванесов B.C., Нейман Ю.М., Хлебников В.А., Рудинский И.Д., Симанков B.C., Луценко Е.В., Лаптев В.Н., Соловов А.В.). Существуют публикации в периодической печати, материалы научно-практических конференций и семинаров, посвященные проблеме тестирвоания в отдельных предметных областях, однако единой концепции тестирования не существует.

Таким образом, проблема разработки моделей и алгоритмов адаптивного тестирования в настоящее время является актуальной.

Объект и предмет исследования

Объектом исследования являются системы тестирования. Предмет исследования и разработки - модели и алгоритмы адаптивного тестирования систем в заданных условиях.

Проблемная ситуация, сложившаяся в области объекта исследования: существующие информационно-управляющие системы используют случайные и статические стратегии тестирования, при динамически изменяющихся тестируемых объектах или представлениях тестирующего об этих объектах это приводит к неадекватным результатам или необходимости увеличения длительности тестирования. Проблема состоит в формализации процесса тестирования и создании моделей и алгоритмов адаптивного тестирования систем.

Цель и задачи исследования

Целью работы является разработка моделей и алгоритмов адаптивного тестирования и программная реализация системы интеллектуального тестирования на основе разработанных алгоритмов.

Для достижения поставленной цели в работе решены следующие задачи:

- анализ современных подходов к тестированию в различных предметных областях;

- разработка стохастической и аппроксимационной моделей адаптивного тестирования;

- создание алгоритмов адаптивного тестирования согласно стохастической и аппроксимационной моделям для решения задач наискорейшего поиска ошибки и определения наилучшего приближения соответственно;

- верификация алгоритмов в инструментальных средах математического моделирования;

- разработка и опытная эксплуатация программно-аналитического комплекса интеллектуального тестирования (ПАК ИТ) на основе предложенных алгоритмов.

Методы исследования

Для решения задач использована теория адаптивного управления, теоретико-графовые и теоретико-вероятностные методы, аппроксимационные методы вычислительной математики, методы матричного анализа и математической статистики. Теоретические положения подтверждены результатами моделирования в инструментальных средах математического моделирования.

При создании ПАК ИТ использованы методы модульного программирования. г

Научная новизна

Диссертация содержит научно-обоснованные модели адаптивного тестирования, алгоритмы, основанные на разработанных моделях, а также пример программной реализации алгоритмов. В процессе исследований получены следующие новые научные результаты:

1. На основе проведенного анализа подходов к тестированию определены критерии адаптивного тестирования и требования к математической модели.

2. Предложена стохастическая модель адаптивного тестирования для решения задачи наискорейшего поиска ошибки.

3. Предложена аппроксимационная модель адаптивного тестирования для определения наилучшего приближения.

4. Доказано, что метод выбора последовательности запросов при тестировании не зависит от непрерывности или дискретности входных/выходных параметров.

5. Разработаны алгоритмы адаптивного тестирования на основе стохастической и аппроксимационной моделей тестирования для задачи наискорейшего поиска ошибки и определения наилучшего приближения.

6. Осуществлена программная реализация алгоритмов адаптивного тестирования в виде программно-аналитического комплекса интеллектуального тестирования. Получено свидетельство об официальной регистрации программы для ЭВМ №2007611826 «Программно-аналитический комплекс интеллектуального тестирования «Logos» (ПАК ИТ «Logos»)».

Практическая значимость работы заключается в том, что основные положения, выводы и рекомендации диссертации ориентированы на широкое применение разработанных моделей и алгоритмов адаптивного тестирования. Проведенные исследования и полученные результаты составляют теоретическую основу моделирования и создания программно-аналитических комплексов интеллектуального тестирования в следующих предметных областях: разработка программного обеспечения, тестирование технического обеспечения, педагогическое тестирование. Результаты исследования доведены до конкретных моделей, алгоритмов, и программных средств.

Самостоятельное практическое значение имеют:

- стохастическая и аппроксимационная модели адаптивного тестирования для решения задач наискорейшего поиска ошибки и определения наилучшего приближения соответственно;

- алгоритмы адаптивного тестирования на основе разработанных моделей;

- программная реализация алгоритмов адаптивного тестирования в учебном процессе.

Разработанное программное обеспечение обеспечивает увеличение точности оценки уровня знаний при фиксированном количестве запросов, а также уменьшение количества тестовых запросов без потери точности тестирования.

Достоверность полученных результатов

Достоверность разработанных моделей и алгоритмов адаптивного тестирования подтверждена использованием общепринятых математических методов, результатами численных экспериментов, практической реализацией, подтвержденной актами.

Личный вклад автора

Основные результаты диссертационной работы получены автором лично.

1. Исследованы современные подходы к тестированию, определены критерии адаптивного тестирования и требования к математической модели.

2. Разработаны стохастическая и аппроксимационная модели и алгоритмы адаптивного тестирования для задач наискорейшего поиска ошибки и определения наилучшего приближения соответственно.

3. Проведена верификация алгоритмов в существующих инструментальных средах математического моделирования.

4. Осуществлена программная реализация разработанных алгоритмов, разработка и внедрение программно-аналитического комплекса интеллектуального тестирования.

Реализация и внедрение результатов работы

Диссертационная работа выполнялась в соответствии с планом научно-технических исследований кафедры ИПОВС МИЭТ и является составной частью следующих научно-исследовательских работ, проводимых в рамках Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы:

- «Разработка моделей и алгоритмов тестирования знаний с динамической логической структурой»;

- «Исследование интеллектуальных алгоритмов определения уровня усвоения учебного материала и разработка концептуальных теоретических основ построения интегрированных систем адаптивного тестирования».

Разработанный в рамках исследования ПАК ИТ «Logos» отмечен медалью на Всероссийской выставке научно-технического творчества молодежи «НТТМ-2007» (г. Москва, ВВЦ, 27.06.07) и внедрен в ФГОУ ВПО «Калининградский государственный технический университет» для автоматизированного контроля знаний. Разработанные модели и алгоритмы внедрены в ОАО «ПроРескСервис» для тестирования программного обеспечения интегрированной информационной системы «Mercury-GT». Результаты диссертационной работы используются также в учебном процессе кафедры ИПОВС МИЭТ в курсах «Интеллектуальные информационные системы», «Компьютерные технологии в науке и образовании», «Системный анализ и моделирование процессов и систем». Внедрение подтверждено актами.

На защиту выносятся следующие положения:

1. Использование стохастической модели адаптивного тестирования позволяет сформировать обоснованный критерий выбора тестовых запросов для задачи наискорейшего поиска ошибки.

2. Применение аппроксимационной модели адаптивного тестирования позволяет сформировать обоснованный критерий выбора тестовых запросов для задачи определения наилучшего приближения.

3. Разработанные алгоритмы на основе предложенных моделей адаптивного тестирования позволяют реализовать выбор запросов по сформированным критериям, что позволяет учитывать динамические свойства тестируемой системы. s

4. Применение алгоритмов позволяет увеличить быстродействие поиска ошибки более чем в 2 раза; увеличить точность приближения при фиксированном количестве запросов на 3 - 58 % в зависимости от их количества; уменьшить количество тестовых запросов при фиксированной точности тестирования в среднем на 20%.

5. Программная реализация разработанных алгоритмов может быть использована в интеллектуальных системах контроля знаний.

Апробация работы

Основные положения, выводы и предложения, сформулированные в диссертации, были представлены на 15 научных конференциях:

1. Всероссийский молодежный научно-инновационный конкурс-конференция «Электроника-2006», Москва, МИЭТ, 2006.

2. Всероссийская научно-техническая конференция «Приоритетные направления развития науки и технологий», Тула, ТулГУ, 2006.

3. Международная научно-методическая конференция «Современное образование: инновационный потенциал «умной экономики России», Томск, ТУСУР, 2007.

4. 14-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2007», Москва, МИЭТ, 2007.

5. XI Международная студенческая школа-семинар «Новые информационные технологии», Украина, АР Крым, Судак, 2007.

6. Всероссийская межвузовская научно-практическая конференция «Актуальные проблемы информатизации. Развитие информационной инфраструктуры, технологий и систем», Москва, МИЭТ, 2007.

7. Международная научно-практическая конференция по современным проблемам прикладной информатике (СППИ-3) на базе Санкт-Петербургского государственного инженерно-экономического университета «ИНЖЭКОН» (СПбГИЭУ), Санкт-Петербург, 2007.

8. Международная научно-методическая конференция «Современное образование: вызовам времени - новые подходы», Томск, ТУСУР, 2008.

9. XXV Всероссийская научно-техническая конференция «Информационные технологии в науке, проектировании и производстве», Нижний Новгород: Нижегородский научный и информационно-методический центр «Диалог» (ННИМЦ «Диалог»), 2008.

10. XIV Международная открытая научная конференция «Современные проблемы информатизации в моделировании и социальных технологиях», Воронеж, 2009.

11. Научно-методическая конференция «Современные информационные технологии в образовании: Южный федеральный округ», Ростов-на-Дону, Южный федеральный университет, 2009.

12. Всероссийская научно-практическая конференция с международным участием «Информационные технологии в профессиональной деятельности и научной работе», Йошкар-Ола, Марийский государственный технический университет, 2009.

13. II Всероссийская научно-практическая конференция с международным участием «Тестирование в сфере образования: проблемы и перспективы развития», Красноярск, СибГТУ, 2009.

14. Международная научно-практическая конференция «Гибридный интеллект», Воронеж, ВорГТУ, 2009.

15. VII Международная научная конференция «Инновации в науке и образовании - 2009», Калининград, КТГУ, 2009 г.

Публикации

По теме диссертации опубликовано 20 печатных работ, в том числе 5 статей (одна в журнале, рекомендованном ВАК), 15 тезисов и докладов. Без соавторов опубликовано 7 работ.

Структура и объем работы

Диссертация состоит из введения, четырех глав, заключения, списка литературы из 110 наименований и четырех приложений. Работа включает 119 страниц основного текста, 59 рисунков, 3 таблицы, 69 страниц приложений. Приложения содержат акты о внедрении и использовании результатов, копию свидетельства о регистрации, листинги программ.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Фоминова, Наталья Сергеевна

Выводы по главе 4

В четвертой главе описаны:

1. Функционал и структура ПАК ИТ «Logos», разработанного с применением алгоритмов, полученных в результате исследования.

2. Минимальные и рекомендуемые характеристики программно-аппаратных средств для установки ПАК ИТ «Logos».

3. Внедрение, апробация, а также результаты тестирования с использованием ПАК ИТ «Logos».

Заключение

В ходе выполнения диссертационной работы разработаны модели и алгоритмы адаптивного тестирования, на основе которых создан программно-аналитический комплекс интеллектуального тестирования, при этом получены следующие научные результаты.

1. Предложена стохастическая модель адаптивного тестирования для задачи наискорейшего поиска ошибки.

2. Разработана аппроксимационная модель адаптивного тестирования для определения наилучшего приближения.

3. Получен алгоритм адаптивного тестирования на основе стохастической модели для задачи наискорейшего поиска ошибки.

4. Получен алгоритм адаптивного тестирования на основе аппроксимационной модели для определения наилучшего приближения.

5. Корректность разработанных моделей и алгоритмов подтверждена результатами численных экспериментов в инструментальных средах математического моделирования.

6. Обоснована связь между дискретным и непрерывным случаями, т.е. доказано, что метод выбора последовательности запросов при тестировании не зависит от непрерывности или дискретности входных/выходных параметров.

7. Разработанные алгоритмы адаптивного тестирования обеспечивают:

- увеличение быстродействия поиска ошибки (задача наискорейшего поиска ошибки) более чем в 2 раза;

- увеличение точности приближения при фиксированном количестве запросов (задача определения наилучшего приближения) на 3 - 58 % в зависимости от количества тестовых запросов;

- уменьшение количества тестовых запросов в среднем на 20% при фиксированной точности тестирования (задача определения наилучшего приближения).

8. Разработан и внедрен программно-аналитический комплекс интеллектуального тестирования (ПАК ИТ «Logos»), опытная эксплуатация которого доказывает повышение эффективности тестирования обучаемых в среднем на 12%.

Использование разработанных моделей и алгоритмов позволяет значительно упростить тестирование и диагностику систем в ходе их разработки и эксплуатации. Кроме этого, тестирование эффективно с экономической точки зрения, т.к. основные затраты приходятся на составление качественного инструментария, т.е. носят разовый характер.

Список литературы диссертационного исследования кандидат технических наук Фоминова, Наталья Сергеевна, 2010 год

1. Абдеев, Р.Ф. Философия информационной цивилизации / Р.Ф. Абдеев. -М.: ВЛАДОС, 1994.- 336 с

2. Аванесов, B.C. Композиция тестовых заданий / B.C. Аванесов. М.: Центр тестирования, 2002. - 237 с.

3. Аванесов, B.C. Теория и методика педагогических измерений Электронный ресурс. / В.С.Аванесов. Режим доступа: http://testolog.narod.ru/Theory.html. -Загл. с экрана.

4. Аванесов, B.C. Тесты в социологическом исследовании / B.C. Аванесов. — М.:Наука, 1982,- 199с.

5. Андреев, В.И. Педагогика: учебный курс для творческого саморазвития / В.И. Андреев. 2-е изд. - КазаныЦентр инновационных технологий, 2000. -608 с.

6. Бахвалов, Н.С. Численные методы / Н.С. Бахвалов, Н.П. Жидков, Г.М. Кобельков. М.: БИНОМ. Лаб.знаний, 2003. - 632 с.

7. Бейзер, Б. Тестирование черного ящика. Технологии функционального тестирования программного обеспечения и систем / Б. Бейзер. СПб.: Издательский дом "ПИТЕР", 2004. 320 с.

8. Бесекерский, В.А. Теория систем автоматического управления / В.А. Бесекерский, Е.П. Попов. СПб: Профессия, 2003. - 751с.

9. Беспалько, В.П. Педагогический анализ некоторых популярных тестовых систем / В.П. Беспалько// Школьные технологии. 2006. - №3.-С.126-140.

10. Бурдонов, И.Б. Теория конформности для функционального тестирования программных систем на основе формальных моделей : дис. док.физ.-мат.наук: 05.13.11 / Бурдонов Игорь Борисович; Место защиты: Ин-т систем, программирования.- Москва, 2008.- 596 с.

11. Бусленко, Н.П. Моделирование сложных систем / Н.П. Бусленко. -М.: Наука, 1968. 356 с.

12. Вендровская, Р.Б. Тесты в американской системе образования / Р.Б.Вендровская // Педагогика. 2001. - №2.-С. 96-102.

13. Винниченко, И.В. Автоматизация процессов тестирования / И.В. Винниченко. СПб.: Питер, 2005. - 203 с.

14. Гагарина, Л.Г. Применение сетевых технологий в обучении дисциплине «Информатика» / Л.Г. Гагарина, Е.Б. Кемарская, Н.С. Фоминова // Профессиональный учебник. М.: ЮНИТИ-ДАНА, 2006. - №4(10). - С.32-33.

15. Гагарина, Л.Г. Теоретические основы и принципы реализации интеллектуального тестирования / Л.Г. Гагарина, И.С. Калинников, Н.С. Фоминова // Информационные технологии. М.: Новые технологии, 2008. - №8(144). - С.64-70.

16. Глова, В.И. Модели педагогического тестирования обучаемых / В.И. Глова, С.В. Дуплик // Вестник КТГУ им.А.Н.Туполева. 2003. - №2. - С.74-79.

17. Гмурман, В.Е. Теория вероятностей и математическая статистика / В.Е. Гмурман. М.: Высш.шк., 2003. - 479 с.

18. Городецкий, А.Я. Информационные системы. Вероятностные модели и статистические решения. Учеб. пособие / А.Я. Городецкий. СПб.: Изд-во СПбГПУ, 2003. - 326 с.

19. Горюшкин, Е.И. Использование нейросетевых технологий в адаптивном тестировании по информатике в вузе: автореф. дис. . канд. пед. наук. -Москва, 2009. 23 с.

20. Гостомыслов, JI. Тестирование:плюсы и минусы / Л.Гостомыслов // Высшее образование в России. 2001. - №3. - С. 152-154.

21. Грубер, Е. Словарь иностранных слов в русском языке для школьников и студентов: более 9 тыс. слов / Е.Грубер. М.: Локид-Пресс, 2005. - 654 с.

22. Гусак, А.А. Теория вероятностей. Справочное пособие к решению задач / А.А. Гусак, Е.А. Бричкова. Мн.: ТетраСистемс. - 2002. - 288 с.

23. Гутник, Г.В. Качество образования как системообразующий фактор региональной образовательной политики / Г.В.Гутник // Стандарты и мониторинг в образовании. — 1999. №3. - С.28-34.

24. Давыдов, Д.А. Проектирование систем адаптивного тестового контроля • / Д.А. Давыдов, Р.Г. Шарафиев // Педагогический журнал Башкортостана. -2006.-№2.-С. 39-59.

25. Дастин, Э. Автоматизированное тестирование программного обеспечения. Внедрение управление и эксплуатация / Э. Дастин, Д.Рэшка, Д. Пол; пер. Е. Молодцовой, М. Павлова. М.: ЛОРИ, 2003. - 567 с.

26. Деревицкий, Д.П. Прикладная теория дискретных адаптивных систем управления / Д.П. Деревицкий, А.Л. Фрадков. М.: Наука, 1981. - 216 с.

27. Долинер, Л.И. Адаптивные методические системы как основа обучения в условиях использования информационных коммуникапционных технологий

28. Электронный ресурс. / Л.И. Долинер // Конф. ИТО-2002. Режим доступа: http://ito.edu.ru/2002fl/l/I-l-405.html. - Загл. с экрана.

29. Дружинин, В.Н. Экспериментальная психология / В.Н. Дружинин. -СПб. Литер, 2000. 320 с.

30. Ельцын, А.В. TestGen система формирования испытательных материалов /

31. A.В. Ельцын, В.Ж. Куклин, А.С.Масленников. Йошкар-Ола, 1995. - 75 с.

32. Зельнер, А. Байесовские методы в эконометрии / А. Зельнер; пер. с англ. Г.Г. Пирогова и Ю.П. Федоровского. М.: Статистика, 1980. - 438 с.

33. Зыбин, Р.С. Автоматизация массового создания тестов работоспособности / Р.С. Зыбин, В.В, Кулямин, А.В. Пономаренко, В.В. Рубанов, Е.С. Чернов // Программирование. 2008.-№ 34(6). - С. 64-80.

34. Иванников, В.П. Применение технологии UniTesK для функционального тестирования моделей аппататного обеспечения Электронный ресурс. /

35. B.П. Иванников, А.С. Камкин, В.В, Кулямин, А.К. Петренко // Препринт ИСП РАН. Москва, 2005. - Режим доступа: http://www.citforum.ru/SE/testing/uniteskhard/ . - Загл. с экрана.

36. Испытания радиоэлектронной, электронно-вычислительной аппаратуры и испытательное оборудование: учеб. пособие для вузов/ А. И. Коробов и др..- М.: Радио и связь, 1987. — 272 с.

37. Ительсон, Л.Б. Математические методы в педагогике и педагогической психологии: автореф. дис. . докт. псих. наук. Электронный ресурс. 1965.- Режим доступа: http://www.childpsy.ru/dissertations/id/18618.php. Загл. с экрана.

38. Калбертсон, Р. Быстрое тестирование / Р. Калбертсон, К. Браун, Г. Кобб. -М.:Издательский дом «Вильяме», 2002.- 384 с.

39. Карнер, С. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений / С. Карнер, Д. Фолк, Е.К. Нгуен; пер. с англ. Киев: "ДиаСофт", 2001. -544 с.

40. Клайн, П. Справочное руководство по конструированию тестов / П. Клайн. -Киев: ПАН Лтд, 1994. 288 с.

41. Кларк, Э.М. Верификация моделей программ: Model Checking / Э.М. Кларк, О.Грамберг, Д. Пелед; пер. с англ. / под ред. Р.Смелянского. М.: МЦНМО, 2002.-416 с.

42. Климов, В.Г. Методика контроля знаний обучаемых с использованием электронных тестирующих систем Электронный ресурс. / В.Г. Климов // Конф. ИТО-Троицк 2005. - Режим доступа: http://ito.edu.ru/2005/Troitsk/4/4-0-4.html. - Загл. с экрана.

43. Колмогоров, А.Н. Введение в теорию вероятностей / А.Н. Колмогоров, И.Г. Журбенко, А.В. Прохоров. М.: Наука. - 1982. - 160 с.

44. Крайтор, Д.В. Инструментальный комплекс программ для создания обучающих систем на основе интеграции адаптивных технологий Электронный ресурс. / Д.В. Крайтор // Конф. ИТО-2002. Режим доступа: http://ito.edu.ru/2002AI/4/II-4-220.html. - Загл. с экрана.

45. Красильникова, В.А. Подготовка заданий для компьютерного тестирования: Методические рекомендации / В.А. Красильникова. Оренбург: ИПК ГОУ ОГУ, 2004.-31 с.

46. Ксмензова, Г.Ю. Оценочная деятельность педагога / Г.Ю. Ксензова. -М.: Педагогическое общество России, 1999. 121 с.

47. Кудрявцев, В.Б. Теория тестирования логических устройств /

48. B.Б. Кудрявцев, Э.Э. Гасанов, О.А. Долотова, Г.Р. Погосян; под.ред. В .А. Садовничего. М.: ФИЗМАТЛИТ, 2006. - 160 с.

49. Курейчик, В.М. Поисковая адаптация: теория и практика / В.М. Курейчик, Б .К. Лебедев, О.Б. Лебедев. М.:ФИЗМАТЛИТ, 2006. - 272 с.

50. Липаев, В.В. Тестирование программ / В.В. Липаев. М.: Радио и связь, 1986. - 296 с.

51. Липаев, В.В. Надежность программных средств / В.В. Липаев. М.: СИНТЕГ, 1998. - 232 с.

52. Литвак, Б.Г. Экспертная информация: Методы получения и анализа / Б .Г. Литвак. М.: Радио и связь, 1982. - 184 с.

53. Лукашин, Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов: Учеб. пособие / Ю.П. Лукашин. М.: Финансы и статистика, 2003. - 416 с.

54. Майерс, Г. Искусство тестирования программ / Г. Майерс; пер. с англ. под ред. Б.А. Позина. М.: Финансы и статистика, 1982. - 176 с.

55. Майерс, Г. Надежность программного обеспечения / Г. Майерс; пер. с англ. Ю.Ю. Галимов под ред. В.Ш. Кауфмана. -М.:МИР, 1980. 360 с.

56. Майоров, А.Н. Теория и практика создания тестов для системы образования / А.Н. Майоров. М.: Интеллект-центр, 2002. - 300с.

57. Макаренко, А.С. Педагогическая поэма / А.С. Макаренко. СПб.:Азбука. -2009.-416 с.

58. Малышенко, Ю.В. Автоматизация диагностирования электронных устройств / Ю.В. Малышенко, В.П. Чипулис, С.Г. Шаршунов. М.: Энергоатомиздат, 1986.-216 с.

59. Матросов, А.Ю. Алгоритмические методы синтеза тестов / А.Ю. Матросов. — Томск:Изд-во Томского университета, 1990. 270 с.

60. Моррис, У.Т. Наука об управлении. Байесовский подход /У.Т. Моррис; пер. с англ. О.В. Редькиной; под. ред. И.Ф. Шахнова. М.: МИР, 1971. - 304 с.

61. Огарков, С.Ю. Диагностика электромеханических систем: текст лекций /

62. C.Ю. Огарков, А.В. Соколов. Челябинск: Изд-во ЮУрГУ, 2003. - 55 с.

63. Прокофьева, Н.О. Модели и методы адаптивного контроля знаний / Н.О. Прокофьева, JI.B. Зайцева // Educational Technology & Society. 2004. -№7(4). - С. 265 - 277.

64. Протасов, А.С. Создание интеллектуальных средств адаптивного тестирования Электронный ресурс. / А.С. Протасов // Конф. ИТО 2003. -Режим доступа: http://ito.edu.ru/2003/VII/VII-0-2057.html. - Загл. с экрана.

65. Разработка моделей и алгоритмов тестирования знаний с динамической логической структурой Текст. : отчет о НИР (промежуточн.) : МИЭТ; рук. Фоминова Н.С. — М., 2009. 81 с. -Библиогр.: с.62-65. - № ГР 01200960485.

66. Растригин, JI.A. Адаптивное обучение с моделью обучаемого / JI.A. Растригин, М.Х. Эренштейн. Рига: Зинатне, 1988. - 160 с.

67. Резников, А.П. Предсказание естественных процессов обучающейся системой (физические, информационные, методологические аспекты) / А.П. Резников. Новосибирск: Наука, 1982. - 287 с.

68. Рудинский, И.Д. Принципы интеллектуального автоматизированного тестирования знаний Электронный ресурс. / И.Д. Рудинский // Конф. ИТО-2001. Режим доступа: http://www.ito.su/2001/ito/VI/VI-0-16.html. - Загл. с экрана.

69. Семенов, В.А. Управление познавательными поступками учеников на их персональных маршрутах в пространстве дидактических событий (из опыта работы) / В.А. Семенов // Школьные технологии. 1996. - №6. - С.69-70.

70. Сербии, В.В. Информационно-обучающая система на основе многокритериальной модели принятия решений: автореф. дис. . канд. тех. наук. Республика Казахстан, Усть-Каменогорск, 2009. - 23 с.

71. Сербии, В.В. Реализация адаптивных тестовых систем (адаптивные обучающие интеллектуальные и контролирующие системы объективной оценки знаний): Учебно-методическое пособие / В.В. Сербии. Алматы: РУМЦДО, 2006.

72. Симанков, B.C. Системный анализ в адаптивном управлении: Монография (научное издание) / B.C. Симанков, Е.В. Луценко, В.Н. Лаптев. Краснодар:

73. Ин-т совр. технол. и экон., 2001. 258 с.

74. Соммервил, И. Инженерия программного обеспечения / И. Соммервил; пер. с англ. М.: Издательский дом "Вильяме", 2002. - 624 с.

75. Стефанюк, В.Л. Локальная организация интеллектуальных систем / В.Л. Стефанюк. М.: ФИЗМАТЛИТ, 2004. - 328 с.

76. Тамре, Л. Введение в тестирование программного обеспечения / Л. Тамре; пер. с англ. М.:Издательский дом «Вильяме», 2003. - 368с.

77. Тоценко, В.Г. Алгоритмы технического диагностирования дискретных устройств / В.Г. Тоценко. М.: Радио и связь, 1985. - 240 с.

78. Турчак, Л.И. Основы численных методов: Учеб. Пособие / Л.И. Турчак, П.В. Плотников. М.: ФИЗМАТЛИТ, 2003. - 304 с.

79. Уткин, Л.В. Анализ риска и принятие решений при неполной информации / Л.В. Уткин. СПб.: Наука. - 2007. - 404 с.

80. Фихтенгольц, Г.М. Курс дифференциального и интегрального исчисления / Г.М. Фихтенгольц. М.: Наука, 1962. - Т.1. - 608 с.

81. Фоминова, Н.С. Адаптивное тестирование. Вероятностная и интерполяционная модели / Н.С. Фоминова // Гибридный интеллект. Международная научно-практическая конференция: Материалы конференции. Воронеж: Изд-во ВИЭСУ, 2009. - С. 205-208.

82. Фоминова, Н.С. Адаптивные системы. Задача наискорейшего поиска ошибки / Н.С. Фоминова // Актуальные проблемы современной науки. М.: Спутник+, 2009. - №6 (50). - С. 191-192.

83. Харари, Ф. Теория графов / Ф. Харари; пер. с англ. и предисл. В.П. Козырева; под ред. Г.П. Гаврилова. М.:Едиториал УРСС, 2003. - 296 с.

84. Хей, Дж. Введение в методы байесовского статистического вывода / Дж. Хей; пер. с англ. А.А. Рывкина. М.: Финансы и статистика, 1987. - 335 с.

85. Цыпкин, Я.З. Адаптация и обучение в автоматических системах / Я.З. Цыпкин. М.: Наука, 1968. -400с.

86. Цыпкин, Я.З. Информационная теория идентификации / Я.З. Цыпкин. М.: Наука, Физматлит, 1995. - 336с.

87. Челышкова, М.Б. Разработка педагогических тестов на основе современных математических моделей: Учеб.пособие / М.Б. Челышкова. М.: Исследовательский центр проблем качества подготовки специалистов, 1995. -33 с.

88. Чжен, Г. Диагностика отказов цифровых вычислительных систем / Г. Чжен, Е. Мэннинг, Г. Метц; пер. с англ. под ред. канд. техн. наук И.Б. Михайлова. -М.: МИР, 1972.-232 с.

89. Эйкхов, П. Основы идентификации систем управления. Оценивание параметров и состояния / П. Эйкхов; пер. с англ. В.А. Потоцкого и А.С. Манделя; под ред. Н.С. Райбмана. М.: МИР, 1975. - 680 с.

90. Яблонский, С.В. Элементы математической кибернетики / С.В. Яблонский. -М.: Высшая школа, 2007. 188 с.

91. Beizer, В. Software Testing Techniques / В. Beizer. Van Nostrand Reinholds, NY, 1990. - 549 pp.

92. Farchi, E. Using a model-based test generator to test for standard conformance / E. Farchi, A. Hartman, S. S. Pinter // IBM Systems Journal. 2002. - volume 41. -pp. 89-110.

93. Frederiksen, N. Test theory for a new generations of tests / N. Frederiksen, R.J. Mislevy, I. J. Bejar (Eds). Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404 pp.

94. Leintz, B.P. Software maintenance management / B.P. Leintz, E.B. Swanson/ -Addison-Wesley, 1980. 160 pp.

95. Myers, GJ. The art of software testing / G.J. Myers. Publ. 2004, John Wiley & Sons, Inc., Hoboken, New Jersey. - 234 pp.

96. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests / G. Rasch; with a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press, Chicago & London, 1980. - 199 pp.

97. Schach, S. Software engineering with Java / S. Schach. McGraw-Hill, 1996. -640pp.

98. Weinberg, G. Kill that code! / G. Weinberg // Infosystems. 1983. - pp.48-49.