Управление качеством электронных обучающих систем тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Воробкалов, Павел Николаевич

• Воробкалов, Павел Николаевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Воробкалов, Павел Николаевич

Введение.

ГЛАВА 1 Анализ подходов и методов управления качеством электронных обучающих систем.

1.1 Понятие качества электронных обучающих систем.

1.2 Модели жизненного цикла электронных обучающих систем.

1.3 Процесс управления качеством электронных обучающих систем.

1.4 Подход к оценке качества электронной обучающей системы «в целом».

1.4.1 Основные принципы подхода к оценке качества электронных обучающих систем «в целом».

1.4.2 Методы оценки и управления качеством автоматизированных систем.

1.4.3 Стандарты качества электронных обучающих систем.

1.4.4 Методы оценки качества электронных обучающих систем «в целом».

1.4.5 Автоматизированные системы оценки качества электронных обучающих систем.

1.5 Многослойный подход к оценке качества электронных обучающих систем

1.5.1 Основные принципы многослойного подхода к оценке качества электронных обучающих систем.

1.5.2 Методы оценки качества интерфейса.

1.5.3 Методы оценки качества информационных моделей обучающих систем.

1.5.4 Методы оценки качества материалов обучения и структуры предметной области.

1.5.5 Методы оценки качества механизмов представления обучающих материалов.

1.6 Моделирование процесса обучения в электронных обучающих системах.

1.7 Выводы.

ГЛАВА 2 Метод оценки качества электронных обучающих систем.

2.1 Основные положения метода оценки качества электронных обучающих систем.

2.2 Критерий адекватности модели обучаемого.

2.3 Критерий чувствительности модели обучаемого.

2.4 Имитационная модель процесса обучения.

2.5 Идентификация недостатков концептов предметной области.

2.5.1 Идентификация недостатков концептов по уровню знания.

2.5.2 Идентификация недостатков концептов по соотношению уровня знания к затраченному времени на изучение.

2.5.3 Идентификация недостатков концептов по вероятности повторного прохождения концептов.

2.6 Анализ качества процесса обучения.

2.6.1 Анализ степени интегрированности концептов в обучающий курс.

2.6.2 Анализ взаимосвязей концептов обучающего курса.

2.6.3 Анализ степени востребованности концептов обучающего курса.

2.6.4 Анализ распределения стратегий изучения обучающего курса.

2.7 Сравнительный анализ версий предметного курса.

2.8 Выводы.

ГЛАВА 3 Автоматизированная система анализа качества электронных обучающих систем.

3.1 Процесс управления качеством электронных обучающих систем с использование автоматизированной системы оценки качества.

3.2 Архитектура автоматизированной системы оценки качества.

3.3 Функциональная структура автоматизированной системы оценки качества

3.4 Подсистемы автоматизированной системы оценки качества.

3.4.1 Подсистема сбора данных.

3.4.2 Подсистема предобработки данных.

3.4.3 Подсистема построения модели процесса обучения.

3.4.4 Подсистема моделирования процесса обучения.

3.4.5 Подсистема определения критериев качества.

3.4.6 Подсистема интерфейса пользователя.

3.4.7 Подсистема безопасности.

3.5 Выводы.

ГЛАВА 4 Применение метода оценки качества электронных обучающих систем

4.1 Применение критерия адекватности модели обучаемого.

4.2 Применение критерия чувствительности модели обучаемого.

4.3 Оценка качества обучающей системы «САЬМАТ».

4.4 Управление качеством адаптивной обучающей системы «АНА!».

4.5 Управление качеством адаптивных обучающих игр.

4.6 Выводы.

Введение диссертации (часть автореферата) на тему «Управление качеством электронных обучающих систем»

В настоящее время происходит активное развитие электронных форм обучения. Это обуславливает появление большого количества электронных обучающих систем и других инструментальных средств. Электронная обучающая система представляет пользователю обучающие материалы и затем производит контроль его знаний с использованием тестовых заданий. С учетом современных требований, предъявляемых к специалистам, процесс обучения все более усложняется, требования к используемым средствам обучения повышаются. Технологии электронного обучения развиваются, в электронных обучающих системах появляется возможность построения стратегии обучения и отображения обучающих материалов индивидуально для каждого обучаемого (т.н. адаптивные обучающие системы). Ввиду постоянного повышения требований и увеличения затрат на разработку и внедрение электронных обучающих систем становятся необходимыми оценка и управление их качеством. Существующие на настоящий момент методы оценки качества автоматизированных систем не позволяют оценивать обучающие системы с точки зрения результатов процесса обучения. Кроме того, данные методы являются частными и не позволяют управлять качеством на различных этапах жизненного цикла электронных обучающих систем.

Таким образом, актуальной является задача разработки метода и критериев оценки качества электронных обучающих систем, которые бы позволили осуществлять управление качеством с точки зрения результата процесса обучения на стадиях их разработки, внедрения и эксплуатации.

Исследования в области оценки и управления качеством электронных обучающих систем находятся на начальном этапе. Наиболее развиты подходы и методы на основе уже существующих методов оценки качества автоматизированных систем. Разработку специализированных методов оценки качества электронных обучающих систем начали известные исследователи в области адаптивных систем X. Караганнидис и Д. Сампсон [1], П.

Брусиловский [2], а также С. Вайбельзаль [3], А. Парамизис, К. Стефанидис [4], Д. Чин [5] и Е. Гер дер [6]. Проблемой оценки качества обучающих систем занимаются такие российские ученые как Н.А. Селезнева, A.M. Новиков, А.Г. Гриценко, М.И. Нежурина, А.И. Гусева и др. Основным направлением в последние годы стала многослойная оценка качества электронных обучающих систем. Начинается переход от теоретических к практическим исследованиям в области оценки качества электронных обучающих систем. Ежегодно совместно с международной конференцией User Modeling (UM) проводится научный симпозиум, посвященный оценке качества адаптивных систем. С. Вайбельзалем разработана база данных результатов эмпирических исследований адаптивных систем EASy-D [7], группой компаний eLIG (e-Learning Industry Group) ведется разработка проекта SEEQUEL (Sustainable Environment for the Evaluation of Quality in E-Learning), направленного на создание подхода к обеспечению качества. Международной организацией IEEE ведутся работы в области стандартизации адаптивных обучающих систем, создан технический комитет по технологиям обучения (TCLT). Однако на практике оценка качества обучающих систем производится разработчиками самостоятельно, используются собственные, имеющие узкую направленность, неформализованные и неавтоматизированные методы оценки качества, результаты исследований обрабатываются вручную и не публикуются. Это приводит к разобщенности результатов и трудности из анализа. В некоторых системах управления процессами образования [8] предприняты попытки реализации подобной системы в качестве подсистемы, однако, методы оценки качества обучающих систем в них тривиальны [9]. Поэтому актуальной задачей в данный момент является разработка универсального автоматизированного метода оценки качества электронных обучающих систем.

Цель и задачи работы. Целью работы является повышение эффективности обучения с использованием электронных обучающих систем за счет управления качеством на стадиях их разработки, внедрения и эксплуатации.

Для достижения поставленной цели были выделены следующие задачи: а) Провести анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, современных подходов и методов оценки качества электронных обучающих систем. б) Разработать метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством на различных стадиях их жизненного цикла. в) Разработать критерии для оценки качества обучающих систем на стадиях их разработки, внедрения и эксплуатации, и алгоритмы их расчета. г) Реализовать предложенный метод и алгоритмы расчета критериев качества в автоматизированной системе оценки качества обучающих систем.

Объектом исследования являются электронные обучающие системы.

Предметом исследования являются способы повышения эффективности обучения с использованием электронных обучающих систем.

Гипотеза исследования. Если процесс жизненного цикла электронной обучающей системы является управляемым процессом с обратной связью, то формируемые на основе адекватной оценки качества управляющие воздействия позволят повысить качество электронной обучающей системы.

Методы исследования. Для решения поставленных задач были использованы методы системного анализа, теории управления, математического моделирования, искусственного интеллекта.

Научная новизна заключается в разработке нового метода, позволяющего управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации, а именно: а) разработаны критерии, позволяющие производить оценку качества как на ранних этапах разработки системы (априорные критерии), так и на стадиях внедрения и эксплуатации (апостериорные критерии); б) разработана имитационная модель процесса обучения, учитывающая значимые с точки зрения результатов обучения характеристики процесса обучения и позволяющая моделировать процесс обучения в различных электронных обучающих системах; в) разработана концептуальная модель автоматизированной системы оценки качества, поддерживающей процесс управления качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Положения, выносимые на защиту:

1) априорные и апостериорные критерии оценки качества электронных обучающих систем;

2) имитационная модель процесса обучения, учитывающая значимые для оценки качества обучения характеристики процесса обучения, и позволяющая моделировать процесс обучения в различных электронных обучающих системах;

3) метод оценки качества электронных обучающих систем, позволяющий управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Практическая ценность работы состоит в разработке автоматизированной системы оценки качества электронных обучающих систем, реализующей предложенный метод оценки качества и алгоритмы расчета априорных и апостериорных критериев качества.

Реализация результатов работы. Разработанный метод оценки качества, априорные и апостериорные критерии качества и автоматизированная система оценки качества были внедрены в ВолгГТУ, университете Глазго-Калидония г. Глазго, ООО «КСИ» (компания, специализирующаяся на разработке обучающих игр). Априорные критерии использованы для оценки качества адаптивной обучающей системы в процессе ее разработки, что позволило внести изменения в модель обучаемого системы и повысить ее качество. С помощью апостериорных критериев произведена оценка качества обучающей системы «CALMAT», используемой в университете Глазго-Калидония, и адаптивной обучающей системы «АНА!», в результате были идентифицированы недостатки данных систем и сформулированы рекомендации по их исправлению. После внесения изменений тестирование показало увеличение среднего уровня знаний студентов после обучения в соответствующих системах. Применение метода оценки качества для управления качеством адаптивных обучающих игр позволило выявить и устранить недопустимые последовательности игровых обучающих заданий, приводящие к снижению результатов обучения.

Апробация работы. Основные положения и материалы диссертационной работы докладывались на Международной научно-технической конференции ИННОВАТИКА-2008 (1-12 октября 2008 г.), Международной научно-технической конференции AIS'08 (3-10 сентября 2008 г.), Международной научно-технической конференции ИННОВАТИКА-2007 (1-12 октября 2007 г.), XI Региональной конференции молодых исследователей Волгоградской области (8-10 ноября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г.Москва, 2-3 марта 2006 г.), Международной конференции «Информационные технологии в образовании, технике и медицине» (г. Волгоград, 23-26 октября 2006 г.), смотре-конкурсе научных, конструкторских и технологических работ студентов ВолгГТУ (г. Волгоград, 11-13 мая 2005 г.), VI Всероссийской конференции Прогрессивные технологии в обучении и производстве (г. Камышин, 18-20 октября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г. Москва, 1718 февраля 2005 г.) и других научно-технических и научно-практических конференциях.

Работа «Модель процесса адаптивного обучения» удостоена 1-го места на XI Региональной конференции молодых исследователей Волгоградской области, работа «Автоматизация оценки качества адаптивных обучающих систем» удостоена 1-го места на Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» 2006 г., «Анализ и синтез адаптивных обучающих систем» удостоена второй премии на смотре-конкурсе НИРС ВолгГТУ 2005 г.

Публикации. По теме диссертации опубликовано 16 печатных работ общим объемом 3,5 п. л., в том числе 3 публикации в журналах, рекомендованных ВАК РФ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 153 страниц основного текста, 53 рисунка, 14 таблиц и список литературы из 122 наименований. Общий объем работы 207 страниц.

Заключение диссертации по теме «Управление в социальных и экономических системах», Воробкалов, Павел Николаевич

4.6 Выводы

Разработанные априорные критерии были применены для оценки адаптивной обучающей системы на основе сетей Бейеса на этапе ее разработки [122]. Результаты оценки позволили выбрать технологии адаптации и модель обучаемого для системы, позволяющие достичь наибольшего эффекта от адаптации системы.

С помощью апостериорных критериев и автоматизированной системы оценки качества была проведена оценка двух действующих обучающих систем.

Оценено качество обучающей системы «CALMAT», применяемой в Университете Глазго-Калидония. В результате оценки были выделены недостатки обучающего курса по математике для специальности «Биология и медицина» и сформулированы рекомендации по их устранению.

Проведена оценка качества адаптивной обучающей системы «АНА!» на примере обучающего курса «Теоретические основы автоматизированного управления». В результате была скорректирована семантическая структура предметной области, исключившая ситуации, в которых обучаемые показывали низкий уровень знаний в результате неправильных адаптационных решений АОС.

Разработанная автоматизированная система оценки качества обучающих систем была также использована для управления качеством адаптивных обучающих игр (разработки компании ООО «КСИ», специализирующейся на создании обучающих игр). Применение метода оценки качества позволило выявить и устранить недопустимые последовательности заданий, приводящие к снижению результатов обучения. В Роспатенте получено свидетельство о регистрации программы для ЭВМ «Автоматизированная система оценки качества электронных обучающих систем QuAdS» (см. приложение J1).

Акты о внедрении результатов работы приведены в приложении М.

На основании результатов применения сделано заключение, что разработанный метод позволяет управлять качеством электронных обучающих систем, в том числе адаптивных, идентифицировать недостатки электронных обучающих курсов и предоставляет данные для дальнейшего принятия решения по исправлению недостатков.

Заключение

В проведенном исследовании показано, что оценка и управление качеством электронных обучающих систем должны проводиться для достижения требуемых результатов обучения, что в свою очередь требует улучшения внутренних механизмов электронных обучающих систем и дальнейшего развития разработок в данной области. В ходе исследования были получены следующие результаты: а) Проведен анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки современных подходов и методов оценки качества электронных обучающих систем, произведена систематизация существующих критериев оценки качества обучающих систем. б) Разработан метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством как на ранних этапах разработки системы, так и на стадиях внедрения и эксплуатации. в) Разработаны априорные критерии для оценки качества обучающих систем на стадии разработки и апостериорные критерии для оценки качества на этапах внедрения и эксплуатации, и алгоритмы их расчета. г) Предложенный метод оценки качества и алгоритмы расчета критериев качества реализованы в автоматизированной системе оценки качества электронных обучающих систем на языке Java в среде разработки Eclipse. д) Произведена апробация разработанного метода, критериев и автоматизированной системы оценки качества на этапах разработки, внедрения и эксплуатации обучающих систем, что позволило выявить их недостатки и устранить их, за счет чего повысить уровень знаний обучаемых.

В целом разработанные метод оценки качества и автоматизированная система оценки качества позволяют повышать эффективность электронных обучающих систем за счет управления их качеством на всех этапах жизненного цикла.

Список литературы диссертационного исследования кандидат технических наук Воробкалов, Павел Николаевич, 2008 год

1. Karagiannidis, С. Layered evaluation of adaptive applications and services / C. Karagiannidis, D.G. Sampson // Proceedings of International Conference on Adaptive Hypermedia and Adaptive Web-Based Systems 2000 - C. 343-346.

2. Weibelzahl, S. Evaluation of adaptive systems / S. Weiblezahl // User Modeling: Proceedings of the Eighth International Conference.- 2001— C. 292-294.

3. Chin, D.N. Empirical evaluation of user models and user-adapted systems / D.N. Chin // User Modeling and User-Adapted Interaction 2001.- 11(1-2), C. 181194.

4. Weibelzahl, S. A database of empirical evaluations of adaptive systems. / S. Weibelzahl, G. Weber // Proceedings of the Workshop «Adaptivitat und Benutzermodellierung in interaktiven Softwaresystemen».—C. 1-6.

5. Баяндина, З.В. Инструментальный портал разработки электронных средств обучения. / З.В. Баяндина, В.Г. Казаков // Труды X Всероссийскойнаучно-методической конференции Телематика'2003.- С-Пб., 2003.- Т. 1. С. 197-198.

6. Brusilovsky, P. Methods and techniques of adaptive hypermedia / P. Brusilovsky // User Modeling and User-Adapted Interaction: Special Issue on Adaptive Hypertext and Hypermedia 1996,- 6 (2-3).- C. 87-129.

7. Униар. Обучающие курсы Электронный ресурс.- 2006.-www.postman.ru/~uniar/course.htm.

8. Parker, N.K. The quality dilemma in online education. N.K. Parker // Theory and practice of online learning: T. Anderson & F. Elloumi (Eds.).- Athabasca, Canada: Athabasca University, 2004.- 117 c.

9. Гличев, A.B. Основы управлением качества продукции : 2-е изд., перераб. и доп. / А.В. Гличев.- М.: Стандарты и качество РИА, 2001.- 423 с.

10. Показатели качества ПО в ГОСТ 28195 и ГОСТ Р ИСО/МЭК 9126 Электронный ресурс.- 2008.- Режим доступа: http://guap.ru/dept04/caf46/textbooks/stdpro/indexl3.htm.

11. Селезнева, Н.А. Качество высшего образования как объект системного исследования: Лекция-доклад / Н.А. Селезнева; Изд. 2-е, дополненное — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — 95 с.

12. Зимняя, И. А. Воспитательная деятельность образовательного учреждения как объект комплексной критериальной оценки (к постановке проблемы исследования) / И.А. Зимняя.- М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — 34 с.

13. Дочкин, С.А. Методы квалиметрии — для оценки качества образования / С.А. Дочкин // Образование и общество.- 2006.- №1.- С. 41-43.

14. Андреев, А.Б. Мониторинг качества обучения студентов на основе рейтинговой оценки знаний / А.Б. Андреев, А.А. Федосеев // Образование и общество.- 2007.- №4.- С. 28-31.

15. Louca, S. Quality Assurance and Control Model for E-Learning / S. Louca, C. Constantinides, A. Ioannou // Computers and Advanced Technology in Education, CATE 2004: V. Uskov Editor(s).- Kauai, Hawaii, 2004.- 589 c.

16. Fresen, J.W. Quality management of e-learning: Towards an integrated approach / J.W. Fresen, L.G. Boyd // Proceedings of the 2nd FOTIM Quality Assurance Conference, 20-22 June 2006.- Pretoria, 2006.- C. 211-214.

17. Singh, R. International standard ISO/IEC 12207 Software life-cycle processes Электронный ресурс. / R. Singh.- 2007.- Режим доступа: http://www.abelia.com/docs/12207cpt.pdf.

18. Goethert, W. Experiences in Implementing Measurement Programs / W. Goethert, W. Hayes.- CMU/SEI.- 2001.- TN026.- 49 c.

19. Субетто, А.И. Квалитология образования / А.И. Субетто.— М.: Исследоват. Центр кач-ва подг. спец-ов, 2000. 220 с.

20. Управление социально-экономическими процессами в регионах: роль университетов/ Под общ. Ред. В. В. Чекмарева. Кострома: КГУ им. Н. А. Некрасова, 2002. - 425 с.

21. Ingraham, B.D. eQuality: a dialogue between quality and academia /

22. B.D. Ingraham, S.M. Ingraham // E-Learning Journal.- 2006.- Vol. 3, Num. 1,1. C. 111-121.

23. Human-Computer Interaction / A.J. Dix, J.E. Finlay, G.D. Abowd, R. Beale.- Harlow England: Prentice Hall, 1998.- 656 c.

24. Usoro, A. Conceptualising Quality E-learning in Higher Education / A. Usoro, A. Abid. // E-Learning.- Vol. 5, Num. 1.- 2008.- C. 75-88.

25. Кирилов, С.Г. Один из подходов к комплексной оценке качества подготовки выпускника ВУЗа Электронный ресурс. / С.Г. Кирилов,144

26. A.JI. Куляница.- 2006.- Режим доступа: http://vmw.nsu.ru/archive/conf/nit/96/notasect/index.html.

27. Schulmeyer, G.G. The Handbook of Software Quality Assurance: 3rd Edition / G.G. Schulmeyer, J.I. Mcmanus.- Prentice Hall PTR, 1999.- 712 c.

28. Показатели качества ПО в ГОСТ 28195 и ГОСТ Р ИСО/МЭК 9126 Электронный ресурс.- 2008.- http://www.nspru.ru/index.php?id=8.

29. Chua, В.В. Applying the IS09126 model to the evaluation of an e-learning system / B.B. Chua, L.E. Dyson // Beyond the comfort zone: Proceedings of the 21st ASCILITE Conference.- 2004.- C. 184-190.

30. Кулаков, А.Ф. Стандартизация в области программной инженерии Электронный ресурс. / А.Ф. Кулаков, А.Н. Пьявченко.- 2008.- Режим доступа: http://wwvv.interface.ru/qad/mfg/proging3.htm.

31. Humphrey, W.S. The Software Quality Profile Электронный ресурс. / W.S. Humphrey.- 2007.- Режим доступа: http://www.sei.cmu.edu/publications/articles/quality-profile/index.html.

32. Костогрызов, А.И. Математические модели для сертификации информационных систем / А.И. Кострогрызов // Автоматизация и управление в машиностроении: учебно-научно-производственный журнал.- №4.- 1998.-С. 12-14.

33. Guide to the BAOL Quality Mark (British Association for Open Learning) Электронный ресурс.- 2007.- Режим доступа: http://www.baol.co.uk.

34. Викторов, В.Г. Внедрение международных стандартов качества и влияние их на подготовку высококвалифицированных специалистов /

35. B.Г. Викторов // Образование и общество.- 2007.- №1.- С. 33-35.

36. IEEE P1484.1/D6. Draft Standard for Learning Technology Learning Technology Systems Architecture (LTSA) Электронный ресурс.- 2000 - Режим доступа: http://edutool.com/ltsa.

37. Ghali, F. Augmenting e-Learning Standards with Adaptation / F. Ghali,

38. A.I. Cristea, M. Hendrix // Computers and Advanced Technology in Education, CATE 2008.- Crete, Greece, 2008.- C. 200-205.

39. Riddy, P. Evaluating e-Learning Resources Электронный ресурс. / P. Riddy, K. Fill- 2004.- Режим доступа: http://\vvv^v.shef.ac.ukynlc2004/Proceedings/IndividualPapers/RiddyFill.htm.

40. Salmon, D. Higher education staff experiences of using web-based learning technologies / D. Salmon, M. Jones // Educational Technology & Society, 7(1).- 2004.- C. 107-114.

41. Калабин, C.M. Проблемы контроля качества реализации образовательных программ с использованием дистанционных образовательных технологий / С.М. Калабин, С.П. Крекотень // Открытое и дистанционное образование.- 2006.- Выпуск 4(24).- С. 21-25.

42. Hildebrandt, B.U. Localization and adaptation of quality approaches /

43. B.U. Hildebrandt, SJ. Teschler // Proceedings of the 4th IEEE International146

44. Conference on Advanced Learning Technologies.- Joensuu, Finland, 2004.- C. 10781079.

45. Quality guide to the non-formal and informal learning processes Электронный ресурс.- 2004— Режим доступа: http://www.educationobservatories.net/seequel.

46. Deepwell, F. Embedding Quality in e-Learning Implementation through Evaluation / F. Deepwell // Educational Technology & Society.- 2007.- 10 (2).-C. 34-43.

47. Kirakowski, J. Questionnaires in Usability Engineering Электронный ресурс. / J. Kirakowski— 2000- Режим доступа: http://www.ucc.ie/hfrg/resources/qfaql.html.

48. Eoyang, G.H. Evaluating Performance in a CAS Электронный ресурс. / G.H. Eoyang, E.E. Olson.- 2005.- Режим доступа: http://www.hsdinstitute.org/e-clarity/aspdocuments0001/DocumentsPublish/104.pdf.

49. Gullett, E. Quality assessment of e-facilitators / E. Gullet // Advances in e-learning: Experiences and methodologies: ed. Francisco J. Garcia Penalvo.-Hershey, PA: Information Science Reference. Igi Global.- 2008.- C. 318-328.

50. Бебешко, B.H. Система оценки качества программных комплексов для дистанционного обучения / В.Н. Бебешко, М.И. Нежурина.- М.: ЦДО МИЭМ; Европейский центр по качеству.- 2004.- 178 с.

51. Елисеев, О.Н. Применение статистических методов для оценки успеваемости Электронный ресурс. / О.Н. Елисеев // Проблемы качества в сфере образования.- МГТУ «СТАНКИН»,- Москва, 2001.- №2.- Режим доступа: http ://tqm. stankin.ru/arch/n02/articles/10 .htm.

52. Joab, M. Modeling and documenting quality e-learning processes with eLup Электронный ресурс. / M. Joab, О. Auzende, R. Legrand.- 2008.- Режим доступа: http://hal-lirmm.ccsd.cnrs.fr/lirTnm-00138492/en/.

53. Pawlowski, J.M. Adopting quality standards for education and e-learning / J.M. Pawlowski // Handbook in Quality and Standardisation in E-learning: Ulf-Daniel Ehlers and Jan Martin Pawlowski, Ed.- Springer, 2006.- C. 67-76.

54. Eoyang, G.H. Evaluating Performance in a CAS Электронный ресурс. / G.H. Eoyang, E.E. Olson.- 2005.- Режим доступа: http://www.hsdinstitute.org/e-clarity/aspdocuments0001/DocumentsPublish/104.pdf.

55. Brusilovsky, P. Layered evaluation of adaptive learning systems / P. Brusilovsky, C. Karagiaraiidis, D.G. Sampson // Int. J. of Continuing Engineering Education and Lifelong Learning.- 2004.-Vol. 14, № 4/5,- C. 402-421.

56. Research-Based Web-Design & Usability Guidelines Электронный ресурс.— 2001.—Режим доступа: http://www.usability.gov/guidelines/intro.html.

57. Devedz, V. The Pragmatics of Current E-Learning Standards / V. Devedz, J. Jovanovic, D Gasevic // IEEE INTERNET COMPUTING, May-June, 2007.- C.16-24.

58. IMS Learner Information Packaging Information Model Specification Электронный ресурс.- 2008,- Режим доступа: http://www.imsglobal.org/profiles/lipinfoO 1 .html.

59. Manouselis, N. Agent-based e-learning course recommendation: matching learner characteristics with content attributes / N. Manouselis, D.G. Sampson, // International Journal of Computers and Applications 2003— Vol. 25, № 1- C. 1015.

60. Avellis, G. Enhancing Quality of Learning Contents with Quality Function Deployment / G. Avelis // iLearning Forum 2008, 4-5 February.- Paris, 2008.- C. 258-264.

61. Рудинский, И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования / И.Д. Рудинский // Информационные технологии.- 2003.- № 9.- С. 46-51.

62. Paramythis, A. Adaptive Learning Environments and e-Learning Standards / A. Paramythis, S. Loidl-Reisinger // Electronic Journal on e-Learning-2004.-Vol. 2., № l.-C. 181-194.

63. Tanimoto, S.L. Improving the Prospects for Educational Data Mining / S.L. Tanimoto // 11th international conference on user modeling Corfu, Greece, 2529 June, 2007. Section: Data Mining for User Modelling.- C. 40-45.

64. Земцова, E.B. Интегративная (комплексная) оценка сформированности единой социально-профессиональной компетентности / Е.В. Земцова // Вестник университета. №8 (34) — М.: Государственный университет управления, 2007. — С. 77-81.

65. Rahkila, М. Evaluatoin of learning in computer based education using log systems / M. Rahkila, M. Karjalainen // Proceedings of the 29th ASEE/1EEE Frontiers in Education Conference, November 10 13, 1999, San Juan, Puerto Rico.-1999.- C. 16-21.

66. Manouselis, N. Recommendation of quality approaches for the European Quality Observatory / Manouselis, N., Sampson, D. // Proceedings of the 4th IEEE International Conference on Advanced Learning Technologies.- Joensuu, Finland, 2004.- C. 1082-1083.

67. Нуриев, Н.К. Проектирование структуры информационного обеспечения для обучения проектировщиков информационных систем / Н.К. Нуриев // Educational Technology & Society.- №6(1).- 2003.- С. 149-155.

68. Koper, R. Modeling units of study from a pedagogical perspective: the pedagogical meta-model behind EML Электронный ресурс. / R. Koper.- 2007.-Режим доступа: http://dspace.ou.n1/bitstream/l 820/64/2/metamodel.pdf

69. Теория дифференцированного Интернет-обучения Электронный ресурс.- 2006 Режим доступа: http://hecadem.irk.ru:8100/theory/blank.htm.

70. Giles C.L. Learning a Class of Large Finite State Machines with a Recurrent Neural Network Электронный ресурс. / C.L. Giles, B.G. Home, T. Lin-2005 — Режим доступа: ftp://ftp.cs.umd.edu/pub/papers/TRs/3328.ps.Z.

71. Котов, B.E. Сети Петри / B.E. Котов.- M.: Наука. Главная редакция физико-математической литературы, 1984.- 160 с.

72. German, R. Cascaded deterministic and stochastic petri nets / R. German // Proc. 3rd Int. Meeting on the Numerical Solution of Markov Chains.- Zaragoza, Sept. 1999.- C. 111-130.

73. Norris J.R. Markov Chains / J.R. Norris.- Cambridge University Press, 1998.- 256 c.

74. Model checking continuous-time Markov chains / A. Aziz, K. Sanwal, V. Singhal, R. Brayton // ACM Transactions on Computational Logic.- №1(1).-2000.- C. 162-170.

75. Питерсон, Дж. Теория сетей Петри и моделирование систем: Пер. с англ. / Дж. Питерсон.- М.: Мир, 1984.- 264 с.150

76. Vazquez, С. Virtual Learning Process Modeled with Petri Nets / C. Vazquez , L. Chirinos , O. Portillo, K.-H. Kayser // Proceeding of Computers and Advanced Technology in Education-2003.- 2003.- C.l 12-115.

77. Jennings, R. An agent-based approach for building complex software systems / R. Jennings // Communications of the ACM.- Vol. 44.- 2001.- C. 35-41.

78. Saaty, T.L. The analytic hierarchy process: planning, priority setting, resource allocation / T.L. Saaty.- London: McGraw-Hill International Book Co, 1980.-287 c.

79. Андрейчиков, A.B. Анализ, синтез, планирование решений в экономике / А.В. Андрейчиков, О.Н. Андрейчикова— Москва: Финансы и статистика, 2000 — 368 с.

80. Di Febbraro, A. Special Issue on Hybrid Petri Nets / A. Di Febbraro, A. Giua, G. Menga // Discrete Event Dynamic Systems.- Vol. 11(1/2).- January, 2001.- C. 5-8.

81. Haas, P.J. Stochastic petri nets for modeling and simulation / P.J. Haas // Proceedings of the 2004 Winter Simulation Conference.- Piscataway, NJ: IEEE, Inc., 2004.-C. 101-112.

82. Kavicka, A. Petri net with decision transitions applied within ABAsim architecture of simulation models. In MOSIS'03 / A. Kavicka / Proceedings of the 37th conference Modelling and simulation of systems, MARQ.- Ostrava,2006.1. C. 373-380.

83. Кнут, Д.Э. Искусство программирования, том 2. Получисленные алгоритмы, 3-е изд.: Пер. с англ.: Уч. пос. / Д.Э. Кнут.- М.: Издательский дом «Вильяме», 2001.- 832 с.

84. Kieras, D. Е. An approach to the formal analysis of user complexity /

85. D.E. Kieras, P.G. Poison, // International Journal of Human-Computer Studies— 1999.-51(2).- C. 405-434.

86. Gosling, J. Java Language Specification: 2nd Edition / J. Gosling, B. Joy, G. Steele, G. Bracha.- Prentice Hall PTR, 2000.- 544 c.

87. Eclipse IDE Pocket Guide.- UK: O'Reilly Media, 2005.- 118 c.

88. W3C XML Schema Электронный ресурс.— 2008 — Режим доступа: http://www.w3 .org/XML/Schema.

89. High-level Petri Nets Concepts, Definitions and Graphical Notation Электронный ресурс.- 2008.- Режим доступа: www.petrinets.info/docs/pnstd-4.7.1.pdf.

90. Шабалина, О.А. Проблемы разработки обучающих систем для системы дополнительного профессионального образования /О.А. Шабалина // Дополнительное профессиональное образование.- 2004.-№1.- С.35-37.

91. Normak, P. A Comparative Evaluation Framework for e-Learning Systems and Tools / P. Normak, M. Laanpere // New Learning 2.0? — Emerging digital territories. Developing continuities — New divides: Book of Abstracts and

92. Electronic Proceedings of the EDEN 2007 Annual Conference — Naples, Italy, 2007.- C. 84-85.

93. CALMAT Электронный ресурс.- 2008.- Режим доступа: www.calmat.gcal.ac.uk/courseware.html.

94. De Bra, P. The Design of AHA! / P. De Bra, D. Smits, N. Stash // Proceedings of the ACM Hypertext Conference, Odense, Denmark, August 23-25, 2006.- 2006.- C. 133.

95. Воробкалов, П.Н. Метод управления качеством электронных обучающих систем / П.Н. Воробкалов // Системы управления и информационные технологии.- Воронеж, 2008.- 3.2(33).- С. 238-243.

96. Шабалина, О.А. Модель пользователя для изучения языков программирования в адаптивной обучающей системе / О.А. Шабалина // Вестник компьютерных и информационных технологий. Ежемесячный науч.-техн. и производ. журнал.-2005.-№2.- С.36-39.