Модели и алгоритмы интеллектуального анализа образовательных данных для поддержки принятия решений тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат наук Хлопотов, Максим Валерьевич

• Хлопотов, Максим Валерьевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Хлопотов, Максим Валерьевич

Оглавление

ВВЕДЕНИЕ

1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ

1.1 Определение интеллектуального анализа образовательных данных

1.2 Цели, задачи и методы интеллектуального анализа образовательных данных

1.3 Процесс применения интеллектуального анализа образовательных данных

1.4 Образовательные данные

1.5 Предобработка образовательных данных

1.6 Формально-структурная модель процесса обучения

1.7 Выводы

2 МОДЕЛИ И АЛГОРИТМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ

2.1 Построение моделей обучающихся

2.2 Байесовская сеть для построения моделей обучающихся

2.3 Оценка уровня сформированности компетенции

2.4 Прогнозирование академической успеваемости студентов

2.5 Выводы

3 ЭКСПЕРИМЕНТАЛЬНОЕ ОПРОБОВАНИЕ

3.1 Построение компетентностной модели направления подготовки

3.2 Диагностика уровня сформированности компетенций

3.3 Выводы

ЗАКЛЮЧЕНИЕ

Список литературы

Введение диссертации (часть автореферата) на тему «Модели и алгоритмы интеллектуального анализа образовательных данных для поддержки принятия решений»

ВВЕДЕНИЕ

Актуальность исследования

Принятие решений в сфере образования - сложный, многоаспектный процесс, в который вовлечен большой круг заинтересованных лиц. Немаловажное значение для принятия эффективного решения имеет анализ информации, поступающей от участников образовательного процесса на его различных этапах. В течение длительного периода в информационных системах учебных заведений накапливается информация о различных аспектах образовательного процесса: о студентах и их успеваемости, о преподавателях и их научно-образовательной работе. Создаются дистанционные курсы обучения, образовательные форумы, системы тестирования и анкетирования студентов, и многое другое. Таким образом, за последние годы была накоплена и продолжает накапливаться масса данных в той или иной степени, имеющих отношение к образовательному процессу.

В связи с ростом применения информационных технологий в образовании возник интерес к новым методикам и подходам, к автоматизированному выявлению новых, порою скрытых, взаимосвязей в данных и их интерпретации в интересах лица, принимающего решение. Существует множество задач, в которых методы статистики, машинного обучения и извлечения знаний полезны для всех участников образовательного процесса: обучающихся, преподавателей, разработчиков учебных курсов, методистов, административных работников сферы образования. Однако в настоящее время недостаточно разработана теоретическая основа применения этих методов в практической деятельности.

Для целей нашего исследования ключевым является понятие интеллектуальный анализ образовательных данных. Дадим ему авторское определение. Интеллектуальный анализ образовательных данных (от англ. Educational data mining, далее - EDM) - это совокупность методов обнаружения в данных ранее неизвестных, практически полезных и интерпретируемых знаний об образовательном процессе и его участниках с целью поддержки принятия решений. Целью EDM является обработка и анализ данных, полученных в рамках

образовательного процесса для нахождения скрытых закономерностей. В рамках EDM разрабатываются методы, алгоритмы и средства интеллектуализации решения прикладных задач в сфере образования.

Источниками образовательных данных становятся такие информационные системы, как компьютерные образовательные программы (в том числе интеллектуальные), информационная система вуза, социальные сети, работы обучающихся, логи, результаты тестирования и анкетирования, тексты студенческих работ, учебные планы, рабочие программы дисциплин и т.д. Для масштабной аудитории курсов, применение алгоритмов интеллектуального анализа образовательных данных становится особо важным.

В связи с активным ростом информационных потоков и интенсивным накоплением информации актуальной задачей становится задача обработки и анализа информации с целью получения новых практически полезных знаний, которые будут доступны интерпретации для принятия рационального решения. В частности, накопленные данные о разных аспектах работы образовательного учреждения могут быть проанализированы и использованы для поддержки принятия эффективных решений по управлению образовательным процессом.

К числу наиболее важных задач, необходимых для поддержки принятия решений, относится, прежде всего, оценка сформированности уровня компетенций, которая предваряется построением компетентностной модели обучающегося. Решение этих задач средствами интеллектуального анализа образовательных данных - это актуальная теоретическая и практическая задача, с которой столкнулась высшая школа в связи с введением стандартов нового поколения.

Цель исследования

Разработать модели процессов, в которых применение алгоритмов интеллектуального анализа образовательных данных позволит всем участникам образовательного процесса принимать решения. Для достижения этой цели были поставлены и решены следующие задачи:

1. Построить и проанализировать формально-структурную модель процесса обучения.

2. На основе анализа модели выделить задачи интеллектуального анализа образовательных данных для поддержки принятия решений. К этим задачам относятся:

- оценка сформированности профессиональных компетенций;

- прогнозирование успеваемости студентов.

3. Разработать под каждую из перечисленных выше задач алгоритмы интеллектуального анализа данных.

4. Экспериментально опробовать разработанные алгоритмы.

Объектом исследования являются регламентирующие образовательный

процесс документы и данные, получаемые в образовательном процессе для поддержки принятия решений.

Предметом исследования являются математическое и алгоритмическое обеспечение, предназначенное для автоматизации обработки оценок, прогнозирования успеваемости и интеллектуальной поддержки процессов принятия решений в образовании.

Методологическая и теоретическая основа исследования

Для решения поставленных задач в работе использованы: методы теории вероятностей, математической статистики, машинного обучения, системного анализа, экспертных оценок, математического моделирования, теории принятия решений. Эти методы применялись в различных комбинациях на разных этапах исследования в зависимости от поставленных целей и решаемых задач.

Теоретическую основу исследований составили научные труды отечественных и зарубежных ученых в области моделирования обучающихся (Д. Рей, Г. А. Атанов, В. А. Петрушин, М. Десмаре, Р. Алмонд, Е. Миллан, К. ВанЛен), байесовских сетей (Д. Перл, Р. Неаполитан, Д. Хеккерман, Ф. Йенсен, А. Л. Тулупьев, С. И. Николенко, А. В. Сироткин), интеллектуального анализа образовательных данных (П. Л. Брусиловский, Р. Бейкер, X. Ромеро,

С. Вентура), формирования и оценивания результатов обучения (Н. Ф. Ефремова, И. Д. Рудинский, Л. С. Лисицына).

Научная новизна

1. Разработан алгоритм построения компетентностной модели обучающегося. Для представления модели используется аппарат байесовских сетей. Сеть содержит три основных типа вершин: компетенции (простые и составные), задания (компетентностно-ориентированные), изучаемые дисциплины. Алгоритм может быть применен при разработке компетентностных моделей направлений подготовки.

2. Предложен метод оценки простых и составных компетенций. В основу метода положены обратный вывод (абдукция) в байесовской сети и эмпирическое правило интерпретации вероятностного вывода.

3. Разработан алгоритм прогнозирования академической успеваемости студентов. Основу алгоритма составляет смешанный вывод (трансдукция) в байесовской сети. Разработана модификация алгоритма, предусматривающая сравнение эталонных и текущих компетентностных моделей в контрольных точках.

4. Разработана методика построения и применения компетентностной модели направления подготовки. Методика основана на применении разработанных алгоритмов для построения комптетентностных моделей. За счет применения байесовской сети оценка сформированности уровня компетенции возможна даже при пропусках данных, т.е. при неизвестных результатах выполнения компетентностно-ориентированных заданий.

Практическая значимость и внедрение результатов

1. Результаты исследования используются в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики (Университет ИТМО) на кафедре интеллектуальный технологий в гуманитарной сфере при формировании основной образовательной программ высшего профессионального образования. Компетентностные модели направлений подготовки и дисциплин, созданные на основе разработанных

методов и алгоритмов, используются для оценки и прогноза уровня сформированное™ компетенций студентов кафедры.

2. Результаты исследования были использованы Саморегулируемой организацией «Некоммерческое партнерство по содействию развитию изыскательской деятельности «Изыскатели Санкт-Петербурга и Северо-Запада» при создании системы непрерывного дополнительного профессионального образования в сфере инженерных изысканий.

3. Результаты исследования могут быть рекомендованы к использованию образовательными учреждениями и организациями, осуществляющими образовательную деятельность, при формировании образовательных программ высшего, среднего и дополнительного профессионального образования в области техники и технологий.

Положения, выносимые на защиту

1. Метод оценки простых и составных компетенций по результатам выполнения компетентностно-ориентированных заданий.

2. Методика построения и применения компетентностной модели направления подготовки с учетом дескрипторов компетенций, связей между компетенциями и связей между компетентностно-ориентированными заданиями.

3. Алгоритм прогноза академической успеваемости студентов на основе вероятностного вывода в байесовской сети, предусматривающий сравнение эталонных и текущих компетентностных моделей в контрольных точках.

Апробация результатов

Материалы диссертации докладывались и обсуждались на IV международной научно-методической конференции «Новые образовательные технологии в вузе» (Екатеринбург, 2007), XII, XIII, XIV, XV и XVI всероссийских научно-методических конференциях «Телематика'2005», «Телематика'2006», «Телематика'2007», «Телематика'2008», «Телематика'2009» и «Телематика'2010» (Санкт-Петербург, 2005-2010 гг.), конференциях профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2006-2014 гг.), III,

IV и V межвузовских конференциях молодых ученых (Санкт-Петербург, 20062008 гг.).

Публикации

Результаты исследования опубликованы в 18 печатных работах, из которых 5 статьи в журналах, входящих в Перечень ВАК РФ. Структура и объем диссертации

Диссертация состоит из введения, трех глав с выводами, заключения и списка литературы (из 108 источников, из которых 74 - на иностранном языке). Объем диссертации составляет 128 м.п.с. Диссертация содержит 13 таблиц и 26 рисунков.

1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ

Интеллектуальный анализ образовательных данных (далее - ИАОД) это развивающаяся дисциплина, в рамках которой применяются вычислительные и педагогические методы и подходы для понимания того, как обучающиеся учатся и в каких условиях они это делают [37]. При этом к образовательным данным относятся не только различные виды взаимодействий обучающихся с педагогическими программными системами, но также и административные данные, демографические данные, данные о личностных качествах и данные о взаимодействии обучающихся между собой [87].

Интеллектуальный анализ образовательных данных - сравнительно новое направление исследований. В 2008 году группа ученых впервые провела конференцию по EDM в канадском Монреале. С тех пор конференция стала ежегодной. Конференции проводились в США, Испании, Греции. В 2014 году состоялась уже седьмая конференция, на этот раз в Institute of Education (Лондон,

1 9

Великобритания) . С 2010 года издается журнал «Educational data mining» . С октября по декабрь 2013 года на сайте Coursera Райан Бейкер (Ryan Baker), профессор Колумбийского университета, являющийся одним из ведущих ученых в области EDM, провел курс под названием «Big Data in Eduation»3. Основное содержание этого курса посвящено вопросам использования методов математической статистики, машинного обучения и интеллектуального анализа данных в образовании.

Актуальным становится вопрос активизации изучения EDM и применения результатов научных исследований в этом направлении для решения проблем принятия решений в сфере образования России.

ИАОД может быть применен для оценки успеваемости, для индивидуализации образовательного маршрута студентов, для обеспечения

1 EDM2014. URL: http://www.educationaldatamining.org/EDM2014/

2 JEDM - Journal of Educational Data Mining. URL: http://www.educationaldatamining.org/JEDM/index.php/JEDM

3 Big Data in Education | Coursera. URL: https://www.coursera.org/course/bigdata-edu

обратной связи и формирования рекомендаций, для оценки учебных материалов и учебных курсов, для обнаружения проблем и отклонений в поведении обучающихся, для более глубокого понимания сути образовательного процесса [60].

Приведем несколько типичных примеров применения ИАОД. В статье [36] описано применение алгоритма кластеризации k-means для предсказания учебной деятельности обучающихся. Автор статьи [83] применяет алгоритмы машинного обучения для поиска студентов, которые с наибольшей вероятностью будут отчислены в течение первого года обучения. Авторы статьи [84] используют алгоритмы интеллектуального анализа данных для профилирования и группировки студентов, основываясь на их академической успеваемости.

Первая глава посвящена теоретическим основам интеллектуального анализа образовательных данных. В параграфе 1.1 дано определение ИАОД и описаны области, относящиеся к ИАОД. В параграфе 1.2 описаны задачи, которые могут быть решены с помощью ИАОД и методы, с помощью которых эти задачи решаются. В параграфе 1.3 описываются процесс применения ИАОД (а также сами данные). Параграф 1.4 посвящен образовательным данным, их типам и источникам. Параграф 1.5 важнейшему этапу в процессе ИАОД: предобработке образовательных данных. В параграфе 1.6 описывается модель учебного процесса, как основа интеллектуального анализа образовательных данных. В выводах по главе формулируются задачи, которые будут решаться при помощи ИАОД в настоящем исследовании.

1.1 Определение интеллектуального анализа образовательных данных

Термин educational data mining на русский язык может быть переведен как интеллектуальный анализ образовательных данных. В англоязычной литературе известны несколько определений EDM. В частности, один из ведущих исследователей в этой области дал следующее определение EDM - это научная дисциплина, связанная с разработкой методов для исследования уникальных видов данных, которые поступают из образовательного окружения, и

использование этих методов для улучшения понимания студентов и окружения, в котором они обучаются [37].

Однако, в этом определении не находит отражение собственно data mining, т.е. интеллектуальный анализ данных. Авторы статьи [44] уточняют определение: «EDM - это и педагогическая наука, и обширная сфера применения для интеллектуального анализа данных, за счет растущей доступности образовательных данных. EDM дает возможность осуществлять основанное на данных принятие решений для улучшения текущей образовательной практики и обучающих материалов».

Подобным же образом определяют EDM авторы статей [92, 93]. По их мнению, EDM - это применение методик интеллектуального анализа данных для специфических наборов данных, которые получают из образовательных сред и применяют для решения важных образовательных вопросов.

Различаясь в некоторых деталях, все эти определения сходятся в одном: EDM - это извлечение знаний из данных образовательного процесса с целью его улучшения.

Вообще термин data mining (интеллектуальный анализ данных) подразумевает выявление новых, нетривиальных и практически полезных знаний, необходимых для принятия решений в различных областях деятельности [10]. EDM - это направление в рамках интеллектуального анализа данных.

Учитывая сказанное выше, дадим определение. Интеллектуальный анализ образовательных данных - это совокупность методов обнаружения в данных ранее неизвестных, практически полезных и интерпретируемых знаний об образовательном процессе и его участниках с целью поддержки принятия решений.

В основе ИАОД лежат компьютерные технологии, дидактика и математическая статистика. Как междисциплинарная область, ИАОД использует методики из статистики, машинного обучения, анализа данных, информационного поиска, рекомендательных систем, когнитивной психологии. Выбор того, какой метод применить, зависит от решаемого вопроса [93].

1.2 Цели, задачи и методы интеллектуального анализа образовательных данных

Как было показано в параграфе 1.1, в самом общем виде ИАОД применяется для улучшения образовательного процесса. В последние годы появилось большое число исследований, в которых конкретизируются назначение применения ИАОД [37, 44, 93, 41, 98].

Авторы статьи [93] предложили рассматривать назначение применения ИАОД в зависимости от точки зрения конечного пользователя. Авторы выделяют четыре вида конечных пользователей: обучающиеся, преподаватели, административные работники и исследователи. Для каждой из этих групп характерны свои задачи, которые могут решаться с помощью ИАОД. В таблице 1.1 рассмотрены эти задачи с точки зрения групп конечных пользователей.

Таблица 1.1- Назначение ЕБМ с точки зрения групп пользователей

Группа пользователей Назначение

Обучающиеся Улучшать успеваемость, получать адаптивную обратную связь и рекомендации по индивидуализации образовательной траектории

Преподаватели Понимать социальные, поведенческие и когнитивные аспекты учебного процесса и применять адекватные методы и приемы обучения

Исследователи Оценивать эффективность и результативность учебного процесса, развивать и сравнивать между собой методики интеллектуального анализа данных для различных задач

Администрация Находить наилучшие способы организации ресурсов на уровне учебного заведения

В соответствии с этим, могут быть сформулированы следующие наиболее характерные задачи, решаемые с помощью методов интеллектуального анализа образовательных данных.

Для обучающихся. Личностно-ориентированное обучение, в том числе рациональное формирование индивидуальных учебных планов, включая прохождение практик и выполнение курсовых работ, а также с учетом дисциплин по выбору и факультативных занятий; профессиональная ориентация и более узкий выбор сферы профессиональной деятельности.

В частности, с помощью методов машинного обучения возможно деление студентов, осваивающих дисциплину, на группы по восприятию информации (например, с учетом типологии Майерс-Бриггс [26]. Это позволяет адаптировать содержание обучения к когнитивным возможностям учеников каждой группы [3], в том числе, настраивать образовательный процесс под конкретного обучающегося. Адаптация включает в себя отбор соответствующих типов учебных материалов и их организацию (при дистанционном обучении).

Также методы интеллектуального анализа данных позволяют обеспечить отбор и доставку индивидуализированного учебного контента, а также оказание адаптированной помощи. Например, рекомендательная система предлагает группам студентов определенные учебные курсы, которые наиболее важны для их будущей карьеры [68].

Для преподавателей. Методы интеллектуального анализа данных позволяют преподавателям лучше понять студентов и их мотивацию. При создании учебного курса, основываясь на анализе результатов по уже прошедшим курсам, преподаватель, основываясь на интеллектуальном анализе образовательных данных, может заранее предсказывать поведение студентов и адаптировать материал под их нужды.

Методы интеллектуального анализа данных позволяют собирать ответную реакцию о процессе обучения в автоматизированном режиме - это может быть интегральная оценка или динамика работы студентов в рамках учебной дисциплины (выполненных контрольных работ, домашних заданий, пройденных тестов, активности на внутригрупповом форуме и пр.). Также у преподавателя появляется возможность классифицировать обучающихся по группам, например, по таким признакам, как успеваемость, активность, пол, возраст и другие показатели.

Применение методов интеллектуального анализа данных в системах дистанционного обучения, а также в системах управления учебным контентом (Learning Content Management Systems, LMS/LCMS) предоставляет преподавателю инструменты для анализа частоты и распределения ошибок,

которые совершают студенты. С помощью дополнительных параметров, таких как просмотренные темы, время выполнения задания, предыдущие оценки, преподаватель в состоянии понять причины ошибок, возникающих у студентов.

Для разработчиков образовательных программ и учебных планов. Анализ данных позволит оценить эффективность использования курса в процессе обучения и, как следствие, лучше построить учебный план, в том числе, его вариативную часть в условиях тенденции к индивидуализации обучения. Использование методов интеллектуального анализа образовательных данных позволяет создавать компетентностные модели студента и выпускника.

Основанный на методах интеллектуального анализа данных компонент ЬМ8, позволяет собирать детализированную информацию о том, к каким учебным материалам студент обращается чаще всего, частоту и длительность просмотра. Вся эта информация сохраняется и в дальнейшем обрабатывается с целью адаптации курса под конкретного студента. Например, если студент очень быстро справляется с домашними заданиями и контрольными работами, то ему предлагаются сокращенные пути прохождения курса, а также более сложные задания (факультативно). В том случае, когда студент слишком много времени тратит на прохождение тестовых заданий, компонент системы генерирует адаптированную подсказку. Если у студента возникают трудности с какой-либо частью курса, это можно понять на основе ошибок в тестах, контрольных работах, домашних заданиях и по вопросам на форуме. В таком случае могут быть сгенерированы рекомендации для изучения дополнительного материала.

Таким образом, могут быть выделены следующие основные цели применения ИАОД: построение моделей обучающихся, предсказание успеваемости обучающихся, индивидуализация образовательной траектории, взаимодействие между заинтересованными лицами, улучшения учебных курсов. Рассмотрим подробнее эти цели.

Построение моделей обучающихся. Моделирование пользователя в сфере образования включает в себя детализированное описание таких характеристик как знания, умения, мотивация, удовлетворение, опыт, учебный прогресс. Также в

процессе моделирования могут быть описаны различные проблемы, которые негативно влияют на учебный процесс, а также предпочтения и стили обучения. Построение моделей обучающихся - это ключевая задача интеллектуального анализа образовательных данных. Практически ни одно исследование в этой области не обходится без предварительного построения модели обучающегося.

Другая важнейшая задача EDM - это предсказание успеваемости обучающихся, целью которого является прогнозирование результатов обучения на основе деятельности студентов. В частности, работа [66] посвящена прогнозированию успеваемости с использованием методов классификации. В статье [90] прогнозирование успеваемости осуществляется на основе логов из LMS Moodle. В статье [76] решается частная задача предсказания успеваемости -предсказание неудовлетворительной оценки по учебной дисциплине с помощью генетических алгоритмов.

Еще одной важнейшей задачей EDM является индивидуализация образовательной траектории. Например, в статье [73] рассматриваются методы интеллектуального анализа образовательных данных для обеспечения персонализированной образовательной траектории при обучении творческим специальностям. Отметим, что для решения этой задачи применяется алгоритм классификации, основанный на деревьях решений. Авторы исследования [52] показывают связь рекомендательных систем и индивидуализированных образовательных траекторий, и предлагают модель, основанную на теории графов для построения такой траектории.

Взаимодействие между заинтересованными лицами с целью помочь администраторам и преподавателям в анализе и использовании информации об учебном курсе. Авторы статьи [75] провели исследование, которое подтверждает, что педагогически важная информация может быть извлечена из систем электронного обучения. В статье [94] описана система обратной связи, которая помогает в принятии решений для улучшения учебного процесса.

С предыдущей целью тесно связана задача улучшения учебных курсов. Для этого используется информация о том, как студенты взаимодействуют с

электронной версией курса. Вообще задача конструирования учебного курса является одной из перспективных направлений интеллектуального анализа образовательных данных. К другим важным задачам относятся: анализ и визуализация данных, моделирование поведения студентов, выявление нежелательного поведения студентов (прогулы, плагиат), группировка студентов, анализ социальных связей студентов.

На основании рассмотренных задач EDM выделим актуальные для университетов России проблемы, которые можно решить с его помощью:

- прогнозирование успеваемости обучающихся;

- оценка сформированности компетенций;

- проектирование учебных планов, индивидуальных учебных планов, программ учебных дисциплин;

- анализ и прогнозирование повышения конкурентоспособности студентов на рынке труда;

- прогнозирование и проектирование тех качеств выпускника, которые предполагается получить «на выходе».

В настоящем исследовании подробно рассмотрены проблемы оценки уровня сформированности компетенций и прогнозирования успеваемости обучающихся.

Отметим, что разные цели в значительной степени зависят от модели обучающихся. Фактически, построение такой модели является основой для проведения интеллектуального анализа образовательных данных. Более подробно задачи построения моделей обучающихся рассматриваются в параграфе 2.1.

Список литературы диссертационного исследования кандидат наук Хлопотов, Максим Валерьевич, 2014 год

Список литературы

1. Атанов Г.А. Моделирование учебной предметной области, или предметная модель обучаемого // Educational Technology & Society. - 2000. - № 3 (3) - С. 111124.

2. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или Основы современной дидактики высшей школы. - Донецк: Изд-во ДОУ, 2002. - 504 с.

3. Бершадский М.Е. Введение в когнитивную технологию обучения. // Школьные технологии, № 4. - 2011. - С. 34-40.

4. Бидюк П.И., Терентьев А.Н. Построение и методы обучения байесовских сетей // Тавршський вюник шформатики i математики, №2. - 2004. - С. 139-154.

5. Брусиловский П.Л. Интеллектуальные обучающие системы // Информатика. Информационные технологии. Средства и системы. №2. - 1990. - с. 3-22.

6. Буль Е.Е. Обзор моделей студента для компьютерных систем обучения // Образовательные технологии и общество (Educational Technology & Society). Том.

6. № 4. - 2003. - с. 245-250. Режим доступа: http://ifets.ieee.Org/russian/depository/v6_i4/html/G.html (дата обращения 01.07.2014)

7. Васильев В.Н., Лисицына Л.С. Планирование и оценивание ожидаемых результатов освоения компетенций ФГОС ВПО// Научно-технический вестник информационных технологий, механики и оптики. Вып. 2 (84). - СПб: НИУ ИТМО, 2013.-С. 142-148.

8. Ветров Д. Машинное обучение - состояние и перспективы // Электронные библиотеки: перспективные методы и технологии, электронные коллекции. XV Всероссийская конференция RCDL'2013. - Т. 1. - Ярославль: Издательство ЯрГУ, 2013.-С. 21-28.

9. Готская И. Б. Маркетинговое проектирование методической системы обучения информатике студентов педвузов: Монография. - СПб., 1999. - 114 с.

10. Дюк В., Самойленко A. Data Mining: учебный курс. — СПб.: Питер, 2001. — 368 с.

11. Ефремова Н.Ф. Компетенции в образовании. Формирование и оценивание. -М.: Национальное образование, 2012. - 416 с.

12. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. -Новосибирск: ИМ СО РАН, 1999. - 270 с.

13. Коляда М.Г. Виды моделей, обучаемых в автоматизированных обучающих системах // Искусственный интеллект. - № 2. - 2008. - С. 28-33.

14. Лисицына JI.C. Методология проектирования модульных комптентностно-ориентированных образовательных программ. - СПб: СПбГУ ИТМО, 2009. - 50 с.

15. Лисицына Л.С., Лямин A.B., Шехонин A.A. Разработка рабочих программ дисциплин (модулей) в составе основных образовательных программ, реализующих ФГОС ВПО. Методическое пособие. - СПб: СПбГУ ИТМО, 2011. — 63 с.

16. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. - Едиториал УРСС, 2011. - 256 с.

17. Найханова Л. В., Дамбаева С. В. Методы и алгоритмы принятия решений в управлении учебным процессом в условиях неопределенности: Монография. -Улан-Удэ: Изд-во ВСГТУ, 2004. - 164 с.

18. Петрушин В.А. Экспертно-обучающие системы. - К.: Наукова думка, 1992. - 196 с.

19. Рассел С., Норвиг П. Искусственный интеллект. Современный подход. - М.: Вильяме, 2007. - 1408 с.

20. Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. - Рига: Зинатне, 1988. - 160 с.

21. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации педагогического тестирования знаний. - М.: Горячая линия - Телеком, 2004. - 204 с.

22. Рыбина Г.В. Обучающие интегрированные экспертные системы: некоторые итоги и перспективы // Искусственный интеллект и принятие решений, 1/2008. -с. 22-56.

23. Сологуб Г.Б. Разработка математических методов и комплекса программных средств имитационного тестирования знаний на основе семантических моделей: Дис. канд. ф.-м. наук: 05.13.18, 05.13.11 / Г.Б.Сологуб. -Москва, 2013.- 134 с.

24. Тулупьев А.Л., Николенко С.И., Сироткин A.B. Байесовские сети: логико-вероятностный подход / А. Л. Тулупьев,. - СПб.: Наука, 2006. - 607 с.

25. Тулупьев А.Л., Николенко С.И., Сироткин A.B. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах. - СПб.: Изд-во С.-Петерб. ун-та, 2009. - 400 с.

26. Хеджес П. Анализ характера, или типология по Майерс-Бриггс. - М: Эксмо, 2003.-320 с.

27. Хлопотов М.В. Компетентностный подход к проектно-конструкторской подготовке будущих инженеров (на примере специальности «Информационные технологии в образовании») // Вестник Архангельского государственного технического университета. - Архангельск, 2006. - С. 32-36.

28. Хлопотов М.В. Информационная профессионально-ориентированная обучающая среда для мониторинга и диагностики результатов обучения // Труды XVII Всероссийской научно-методической конференции «Телематика-2010». -СПб, 2010.-С. 184-185.

29. Хлопотов М.В. Применение байесовской сети при построении моделей обучающихся для оценки уровня сформированности компетенций // Интернет-журнал «Науковедение», 2014 №5 (25) [Электронный ресурс] - М.: Науковедение, 2014 - 28 стр.- Режим доступа: http://naukovedenie.ru/PDF/20TVN514.pdf, свободный. - Загл. с экрана. - Яз. рус., англ.

30. Хлопотов М.В., Горлушкина H.H., Петров И.В. Студенческий информационно-консультационный центр как средство формирования профессиональных компетенций студентов направления «Информационные системы и технологии» // Дистанционное и виртуальное обучение. - Москва, 2013.-№ 10.-С. 64-71.

31. Хлопотов М.В., Коцюба И.Ю. Методы интеллектуального анализа данных для мониторинга и диагностики качества образования // Дистанционное и виртуальное образование. - Москва, 2014. - № 5. - С. 18-25.

32. Хлопотов М.В., Сорокин Д.С. Использование методов анализа данных и поиска схожих фрагментов в исходном коде для оценивания студенческих работ по программированию // Компьютерные инструменты в образовании. - Санкт-Петербург, 2014. - №2 - С. 31-37.

33. Хлопотов М.В., Шишкин А.Р. Система диагностики сформированное™ профессиональных компетенций студентов специальности «Информационные технологии в образовании» // Дистанционное и виртуальное обучение. - Москва, 2010.-№2.-С. 59-69.

34. Хридина Н.Н. Методы прикладной статистики как инструмент решения задач управления образованием. Вестник УрФУ. Серия: Экономика и управление. - 2003. - № 1.-С. 40-48.

35. Almond, R. G. Modeling diagnostic assessments with Bayesian networks / R. G. Almond, L. V. DiBello, B. Moulder, J. D. Zapata-Rivera // Journal of Educational Measurement. - 2007. - N. 44. - P. 341-359.

36. Ayesha S., Mustafa Т., Sattar A., Khan I. Data mining model for higher education system. // European Journal of Scientific Research, 43(1). - 2010. - pp. 24-29

37. Baker R.S.J.d.: Data mining for education. // International Encyclopedia of Education, vol. 7, 3rd edn. / McGaw В., Peterson P., Baker E. (eds.) - Amsterdam: Elsevier, 2010.-pp. 112-118.

38. Baradwaj В., Pal S. Mining educational data to analyze student's performance. // International Journal of Advanced Computer Science. - 2(6) - 2011- pp. 63-69.

39. Barahate. S.R. Educational data mining as a trend of data mining in educational system. // Proceedings of IJCA International Conference and Workshop on Emerging Trends in Technology. - 2012. - pp. 11-16.

40. Baruah D., Mahanta A. K. A new Similarity Measure with Length Factor for Plagiarism Detection // International Journal of Computer Applications, Vol. 72, No. 14. - 2013 - pp.14-17.

41. Bienkowski M., Feng M., Means B. Enhancing teaching and learning through educational data mining and learning analytics: an issue brief. - US Department of Education, Office of Educational Technology, 2012 - pp. 1-57.

42. Bishop C.M. Pattern Recognition and Machine Learning // Information Science and Statistics series. - Springer, 2006. - 738 p.

43. Bousbia N., Rebaï I., Labat J.-M., Balla A. Learners' navigation behavior identification based on traces analysis. / User Modeling and User-Adapted Interaction, 20(5)-2010.-pp. 455^94.

44. Calders T., Pechenizkiy M. Introduction to the special section on educational data mining. / ACM SIGKDD Explorations, 13(2). - 2011. - pp. 3-6.

45. Conati C., Gertner A., VanLehn K. Using Bayesian networks to manage uncertainty in student modeling. // User Modeling and User-Adapted Interaction, 12(4). -2002.-pp. 371-417.

46. Corbett A., Anderson J. Knowledge tracing: Modeling the acquisition of procedural knowledge // User Modeling and User-Adapted Interaction, 4 (4) - 1995. -pp. 253-278.

47. Darwiche A. Modeling and Reasoning with Bayesian Networks. - Cambridge University Press, 2009. - 526 p.

48. Desmarais M.C. Mapping question items to skills with non-negative matrix factorization. // ACM SIGKDD Explorations, 13(2). - 2011 - pp. 30-36.

49. Desmarais M. C., Baker, R. S. A review of recent advances in learner and skill modeling in intelligent learning environments. // User Modeling and User-Adapted Interaction, 22(1-2). - 2012 - pp. 9-38.

50. Desmarais M.C., Gagnon M. Bayesian student models based on item to item knowledge structures. // Innovative approaches for learning and knowledge sharing. -Springer, 2006 - pp. 111-124.

51. Desmarais M.C., Lemieux, F. Clustering and visualizing study state sequences. // Proceedings of 6th International Conference on Educational Data Mining / D'Mello, S.K., Calvo, R.A., Olney, A. (eds.) - Memphis: International Educational Data Mining Society, 2013 - pp. 224-227.

52. Durand G., Belacel N., Laplante F. Graph theory based model for learning path recommendation. // Information Sciences, 251. - 2013 - pp. 10-21.

53. Dyckhoff A.L., Zielke D., Bultmann, M., Chatti, M.A., Schroeder, U.: Design and implementation of a learning analytics toolkit for teachers. Educational Technology & Society, 15(3). -2012 - pp. 58-76.

54. Educational Data Mining: Applications and Trends / Pena-Ayala, Alejandro (Ed.) // Studies in Computational Intelligence, Vol. 524. - Springer, 2014. -468 p.

55. Galeev I., Ivanov V., Akhmadullin M. A Learning Model in MONAP // HumanComputer Interaction. The 6th International Conference. EWHCI'96. - Moscow, 1996. -pp. 320-323.

56. Garcia E., Romero C., Ventura S., Castro C. An architecture for making recommendations to courseware authors using association rule mining and collaborative filtering. // User Modeling and User-Adapted Interaction, 19(1-2) - 2009 - pp. 99-132.

57. Graf S., Ives C., Rahman N., Ferri A. AAT: a tool for accessing and analysing students' behaviour data in learning systems. // Proceedings of 1st International Conference on Learning Analytics and Knowledge. - New York , ACM, 2011. - pp. 174-179.

58. Hamalainen W., Vinni M. Classifiers for educational data mining. // Handbook of Educational Data Mining. Data Mining and Knowledge Discovery Series / Romero C., Ventura S., Pechenizkiy M., Baker R.S.J.d. (eds.). - Chapman & Hall/CRC, 2010. - pp. 57-71.

59. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Data Mining, Inference, and Prediction. // Springer Series in Statistics. - Springer, 2009. -745 p.

60. He W. Examining students' online interaction in a live video streaming environment using data mining and text mining. // Computers in Human Behavior, 29(1).-2013.-pp. 90-102.

61. Heckerman D. A tutorial on learning with Bayesian networks / M.I. Jordan (ed.). - Dordrecht: Kluwer Academic, 1998. - 57 p.

62. Hojsgaard S., Edwards D., Lauritzen S. Graphical Models with R. - NY: Springer-Verlag, 2012. - 182 p.

63. Hojsgaard S. Bayesian networks in R with the gRain package. - 2014. - 17 p. URL: http://cran.r-project.org/web/packages/gRain/vignettes/gRain-intro.pdf

64. Jensen F. V. Bayesian Networks and Decision Graphs. - NY: Springer-Verlag, 2001.-268 p.

65. Johnson M., Barnes T. EDM visualization tool: watching students learn. // Proceedings of 3rd International Conference on Educational Data Mining. / Baker R.S.J.D., Merceron A., Pavlik Jr. P.I. (eds.) - Pittsburgh: International EDM Society, 2010.-pp. 297-298.

66. Kabakchieva D. Predicting student performance by using data mining methods for classification // Cybernetics and Information Technologies, 13 (1). - 2013 - pp. 6172.

67. Koedinger K.R., Baker R.S.J.d., Cunningham K., Skogsholm A., Leber B., Stamper J. A data repository for the EDM community: the PSLC datashop. // Handbook of Educational Data Mining. Data Mining and Knowledge Discovery Series / Romero C., Ventura S., Pechenizkiy M., Baker R.S.J.d. (eds.). - Chapman & Hall/CRC, 2011. -pp. 43-55.

68. Koedinger K.R., Stamper, J.C., McLaughlin, E.A., Nixon, T. Using data-driven discovery of better student models to improve student learning // Lecture Notes in Computer Science, 7926, LNAI. - 2013 - pp. 421-430.

69. Koller D., Friedman N. Probabilistic Graphical Models. - Massachusetts: MIT Press, 2009.-1208 p.

70. Korb K.B., Nicholson A.E. Bayesian Artificial Intelligence, 2nd. Edition. // Chapman & Hall/CRC Computer Science & Data Analysis - CRC Press, 2010. - 491 p.

71. Kucecka T. Plagiarism Detection in Obfuscated Documents Using an N-gram Technique // Information Sciences and Technologies Bulletin of the ACM Slovakia, Special Section on Student Research in Informatics and Information Technologies, Vol. 3, No. 2.-2011 -pp.67-71.

72. Lauritzen S.L. Graphical Models. - Oxford: Oxford University Press, 1996. - 289 P-

73. Lin C.F., Yeh Y.-C., Hung Y.H., Chang R.I. Data mining for providing a personalized learning path in creativity: An application of decision trees. // Computers and Education, 68. - 2013 - pp. 199-210.

74. Liu, C. A simulation-based experience in learning structures of Bayesian networks to represent how students learn composite concepts // International Journal of Artificial Intelligence in Education, V. 8, N. 3. - 2008. - pp. 237-285.

75. Macfayden L.P., Dawson S. Mining LMS data to develop an «early warning» system for educators: a proof of concept. // Computers and Education, 54(2), - 2010 -pp. 588-599.

76. Márquez-Vera C., Cano A., Romero C., Ventura S. Predicting student failure at school using genetic programming and different data mining approaches with high dimensional and imbalanced data // Applied Intelligence, 38 (3). - 2013 - pp. 315-330.

77. Mayo M., Mitrovic A. Optimising ITS behavior with Bayesian networks and decision theory. // International Journal of Artificial Intelligence in Education, 12. -2001 - pp. 124-153.

78. Millán E., Loboda, T., Pérez-de-la-Cruz J. L. Bayesian networks for student model engineering. // Computers & Education, 55(4) - 2010. - pp. 1663-1683.

79. Millán E. A, Pérez-de-la-Cruz J. L. Bayesian Diagnostic Algorithm for Student Modeling and its Evaluation. // User Modeling and User-Adapted Interaction, N. 12. -2002.—pp. 281-330.

80. Murphy K. Machine Learning: A Probabilistic Perspective. - MIT Press, 2012. -1014 p.

81. Neapolitan R.E. Learning Bayesian Networks. - NJ: Prentice Hall, 2004. - 704 P-

82. Niwattanakul S., Singthongchai J., Naenudorn E., Wanapu S. Using of Jaccard Coefficient for Keywords Similarity // Proceedings of The International MultiConference of Engineers and Computer Scientists. -2013 -pp.380-384.

83. Pal S. Mining educational data to reduce dropout rates of engineering students. // International journal of information engineering and electronic business, 2(1). - 2012 -pp. 1-7.

84. Parack S., Zahid Z., Merchant F. Application of data mining in educational databases for predicting academic trends and patterns. // Proceedings of IEEE International Conference on Technology Enhanced Education. - IEEE Press, 2012 - pp. 1-4.

85. Pardos Z.A., Gowda S.M., Baker R.SJ.d., Heffernan N.T. The sum is greater than the parts: ensembling models of student knowledge in educational software. // ACM SIGKDD Explorations, 13(2). - 2011 - pp. 37^4.

86. Pearl J. Probabilistic Reasoning in Expert Systems: Networks of Plausible Inference. - San Francisco: Morgan Kaufmann, 1988. - 552 p.

87. Pedraza-Perez R., Romero C., Ventura S. A java desktop tool for mining Moodle data. // Proceedings of 4th International Conference on Educational Data Mining / Pechenizkiy M., Calders T., Conati C., Ventura S., Romero C., Stamper J. (eds.). -Eindhoven: International Educational Data Mining Society, 2011 - pp. 319-320.

88. Rabbany R., Takaffoli M., Zai'ane O. Analyzing participation of students in online courses using social network analysis technique. // Proceedings of 4th International Conference on Educational Data Mining / Pechenizkiy M., Calders T., Conati C., Ventura S., Romero C., Stamper J. (eds.). - Eindhoven: International Educational Data Mining Society, 2011. - pp. 21-30.

89. Reye, J. Student Modelling based on Belief Networks // International Journal of Artificial Intelligence in Education, N. 14. - 2004. - pp. 1-33.

90. Romero C., Espejo P.G., Zafra A., Romero J.R., Ventura S. Web usage mining for predicting final marks of students that use Moodle courses // Computer Applications in Engineering Education, 21 (1).-2013.-pp. 135-146.

91. Romero C., Romero J.R., Luna J.M., Ventura S. Mining rare association rules from e-learning data. // Proceedings of 3rd International Conference on Educational Data Mining / Baker R.S.J.D., Merceron A., Pavlik Jr. P.I. (eds.) - Pittsburgh: International Educational Data Mining Society, 2010. - pp. 171-180.

92. Romero C., Ventura S. Educational data mining: a review of the state of the art. // IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 40(6). - 2010. - pp. 601-618

93. Romero C., Ventura S. Data mining in education. // Wiley interdisciplinary reviews. Data mining and knowledge discovery, 3(1). - 2013. - pp. 12-27.

94. Romero C., Zafra A., Luna J.M., Ventura S. Association rule mining using genetic programming to provide feedback to instructors from multiple-choice quiz data. // Expert Systems, 30(2). - 2013. - pp. 162-172.

95. Roy C. K., Cordy J.R., Koschke R. Comparison and Evaluation of Code Clone Detection Techniques and Tools: A Qualitative Approach // Science of Computer Programming, Volume 74, Issue 7. - 2009 - pp. 470-495.

96. Sachin B.R., Vijay S.M. A survey and future vision of data mining in educational field. // Proceedings of IEEE 2nd International Conference on Advanced Computing and Communication Technologies. - New York: ACM, 2012 - pp. 96-100.

97. Sael N., Abdelaziz A., Behja H. Investigating and advanced approach to data preprocessing in Moodle platform. Int. Rev. Comput. Softw. 7(3), - pp. 977-982 (2012)

98. Scheuer O., McLaren B.M. Educational data mining. // Encyclopedia of the Sciences of Learning / Seel N.M. (eds.). - Springer, 2012. - pp. 1075-1079.

99. Simon J. Data preprocessing using a priori knowledge. // Proceedings of 6th International Conference on Educational Data Mining / D'Mello, S.K., Calvo, R.A., Olney, A. (eds.) - Memphis: International Educational Data Mining Society, 2013 - pp. 352-353.

100. Thai D., Wu H., Li P. A hybrid system: neural network with data mining in an e-learning environment. // Knowledge-Based Intelligent Information and Engineering Systems, 11th International Conference, KES 2007, XVII Italian Workshop on Neural Networks. LNCS, vol. 4693. / Jain L., Howlett R.J., Apolloni B. (eds.) - Heidelberg: Springer, 2007. - pp. 42-49.

101. Torabi R., Moradi P., Khantaimoori A.R. Predict student scores using bayesian networks.// Procedia- Social and Behavioral Sciences, 46. - 2012. - pp. 4476-4480.

102. Trcka N., Pechenizkiy M., Aalst W.v.d. Process mining from educational data. // Handbook of Educational Data Mining. Data Mining and Knowledge Discovery Series / Romero C., Ventura S., Pechenizkiy M., Baker R.S.J.d. (eds.). - Chapman & Hall/CRC, 2011.-pp. 123-142.

103. VanLehn K., Niu Z., Siler S., Gertner A. Student modeling from conventional test data: a Bayesian approach without priors // Intelligent Tutoring Systems, Proceedings of 4th International Conference ITS'96. - 1996. - pp. 29^17.

104. Villano M. (1992) Probabilistic student models: Bayesian belief networks and knowledge space theory. // Intelligent Tutoring Systems, Proceeding of the Second International Conference, ITS'92. / C.Frasson, C. Gauthier, G. McCalla (Eds.) - Berlin: Springer-Verlag, 1992. - pp. 491-498.

105. Vranic M., Pintar D., Skocir Z. The use of data mining in education environment.

tii

// 9 International Conference on Telecommunications. - Zagreb: IEEE, 2007. - pp. 243-250.

106. Wettschereck D. Educational data pre-processing. // ECML'02 Discovery Challenge Workshop. - University of Helsinki, 2002. - pp. 1-6.

107. Zafra A., Romero C., Ventura S. DRAL: a tool for discovering relevant e-activities for learners. // Knowledge and Information Systems, 36(1). - 2013 - pp. 211250.

108. Zorrilla M., Garcia-Saiz D. A service oriented architecture to provide data mining services for non-expert data miners. // Decision Support Systems Journal, 55(1). - 2013 -pp. 399—411.