Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Ульянов, Дмитрий Александрович

• Ульянов, Дмитрий Александрович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Ульянов, Дмитрий Александрович

ВВЕДЕНИЕ.

ГЛАВА I. МЕТОДЫ И СТАНДАРТЫ ПРИ КОМПЬЮТЕРНОМ ОБУЧЕНИИ И КОНТРОЛЕ ЗНАНИЙ.

1.1. Методы оценки знаний при компьютерном обучении.

1.1.1. Метод линейно-кусочной аппроксимации оценки знаний.

1.1.2. Метод, основанный на вычислении оценок совокупности признаков обучаемых.

1.1.3. Метод, основанный на алгоритме автоматизированного анализа и обработки структуры макромодели учебного материала

1.1.4. Методы, основанные на теории ответа на вопрос (IRT).

1.1.5. Метод дифференцированного тестирования.

1.2. Системы создания тестов и проведения тестирования.

1.3. Стандарты в области образовательных технологий.

1.4. Выбор и обоснование модели и структуры программного комплекса.

1.5. Выводы.

ГЛАВА II. МОДЕЛЬ ТЕСТИРОВАНИЯ И МЕХАНИЗМ АДАПТАЦИИ

2.1. Корреляционный анализ ответов на вопросы при адаптивном тестировании.

2.2. Марковская модель оценки способности при адаптивном тестировании.

2.3. Метод максимального правдоподобия для оценки способности тестируемого.

2.4. Использование метода Хука-Дживса для оценки параметров вопросов.

2.5. Выводы.

ГЛАВА III. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ КОМПЛЕКСА ДЛЯ АДАПТИВНОГО ТЕСТИРОВАНИЯ.

3.1. Функционирование системы дистанционного обучения с использованием стандарта SCORM.

3.2. Алгоритм адаптивного тестирования в условиях системы дистанционного обучения.

3.3. Состав комплекса и алгоритм его функционирования при адаптивном контроле знаний.

3.3.1. Программная реализация редактора курсов.

3.3.2. Программная реализация модуля проведения тестирования

3.3.3. Реализация программы подготовки, сбора и обработки статистической информации при тестировании.

3.4. Выводы.

ГЛАВА IV. РЕЗУЛЬТАТЫ ОПЫТНОЙ ЭКСПЛУАТАЦИИ

ПРОГРАММНОГО КОМПЛЕКСА АДАПТИВНОГО ТЕСТИРОВАНИЯ

4.1. Методика применения программного комплекса для адаптивного тестирования.

4.2. Адаптивное тестирование студентов технического вуза по дисциплине «ООП».

4.3. Адаптивное тестирование учащихся медицинского училища по •> дисциплине «Сестринское дело при инфекционных заболеваниях» '(

4.4. Выводы.

Введение диссертации (часть автореферата) на тему «Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения»

Актуальность темы. Ограниченность по времени и большие объемы информации затрудняют освоение учебного материала, регламентируемого программами и образовательными стандартами подготовки специалистов различных отраслей. Такая технология поддержки учебного процесса, как дистанционное обучение позволяет студентам изучать материал, строя процесс обучения и задавая темп получения знаний самостоятельно. Она дает возможность формировать обучающую среду исходя из различий в уровне подготовке и способностей к обучению.

Важной составляющей дистанционного обучения является контроль знаний. Несмотря на то, что к настоящему времени разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, многие из них строятся на субъективных оценках тестовых заданий. Наиболее адекватными являются методы адаптивного тестирования, при использовании которых, оценка сложности каждого задания получается путем обработки статистической информации, что исключает субъективность конечной оценки знаний испытуемых. Сам процесс такого тестирования позволяет адаптировать тестовый контроль к уровню знаний тестируемого, что снижает время, затрачиваемое испытуемым на прохождение контрольных испытаний. Но и эти методы имеют недостатки, связанные с тем фактом, что они не учитывают зависимость между последовательностью ответов тестируемых. В связи с этим актуальной является проблема создания адекватных моделей адаптивного тестирования и их использование в условиях дистанционного обучения.

Целью данной работы является создание адекватной модели адаптивного тестирования для эффективного контроля знаний при дистанционном обучении.

В соответствии с этой целью были поставлены следующие задачи:

1. усовершенствовать модель адаптивного тестирования для учета зависимости между последовательностью ответов;

2. предложить метод определения параметров математической модели по экспериментальным данным;

3. разработать алгоритм адаптивного тестирования на основе усовершенствованной модели;

4. создать комплекс программ, реализующий разработанный алгоритм в условиях дистанционного обучения;

5. провести испытания по использованию разработанного алгоритма и программного комплекса.

Методы исследования. В работе использованы методы теории вероятностей и математической статистики, в частности, методы теории марковских цепей, численные методы и методы объектно-ориентированного проектирования и программирования.

Научная новизна. 1. Выполнено усовершенствование математической модели адаптивного тестирования, предложена модель последовательности ответов в виде марковской цепи.

2. Предложен способ использования аппарата марковских цепей для оценки уровня знаний при адаптивном тестировании.

3. Разработан алгоритм адаптивного тестирования для систем дистанционного обучения, основанных на стандарте SCORM, и выполнена его программная реализация.

4. Предложена методика проведения адаптивного тестирования с использованием разработанной модели в условиях дистанционного обучения.

5. Выполнена апробация предложенной методики.

Практическая значимость работы состоит в программной реализации предложенного алгоритма адаптивного тестирования. Разработанный программный комплекс позволяет создавать модули тестирования, которые могут быть использованы в курсах дистанционного обучения, разработанных в соответствии со стандартом SCORM, а также позволяет подготавливать тестирование, производить сбор и обработку статистической информации при тестировании.

Апробация работы. Основные результаты работы были представлены на всероссийской конференции с международным участием на тему: "Информационные и телекоммуникационные технологии в науке и образовании Восточной Сибири", Иркутск, 2001; всероссийской конференции с международным участием на тему: "Информационные технологии в энергетике, экономике, экологии", Иркутск, 2002; на международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права» в г. Сочи, 2002; межрегиональном семинаре «Дистанционное обучение в высшей школе: модели и технологии»,

Санкт-Петербург, 2004; на семинарах в Иркутском государственном техническом университете и Байкальском государственном университете экономике и права в 2002 - 2004 гг. Выполненные в рамках данной работы программные продукты отмечены дипломом выставки научных работ ИрГТУ в 2004 году.

Результаты внедрения. Результаты работы внедрены в учебный процесс Иркутского государственного технического университета и Селенгинского медицинского училища. Имеются акты о внедрении.

Публикации. По результатам исследования опубликовано 7 работ, в том числе одна в зарубежной литературе.

1. Ульянов Д.А., Кирий В.Г., Использование компьютерных сетей в образовании. Повышение эффективности познавательной деятельности обучающихся // Материалы 2-ой международной научно-методической конференции. -1999. - Вып. 3. - С. 57-59.

2. Кокоуров В.И., Ульянов Д.А., Лебедев К.С. Применение новых информационных технологий при реализации платформы дистанционного обучения. Пример реализации с использованием стандарта SCORM // Научные труды V Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - 2002. - Книга «Информатика». - С. 74-77.

3. Кирий В.Г., Ульянов ДА. Корреляционный анализ ответов на вопросы при адаптивном тестировании // Вестник ИрГТУ. - 2003. - № 3-4 (15-16). - С. 125-128.

4. Ульянов Д.А. Методика адаптивного тестирования в системах дистанционного обучения. // Современные информационные технологии в науке и образовании. Сборник докладов и тезисов молодежной научно-практической конференции / Под общ. Ред. Горленко A.M. - Изд-во ИрГТУ. - Иркутск. - 2004. - С. 91-92. Ульянов Д.А. Элементы адаптивного тестирования в системе дистанционного обучения, основанного на стандарте SCORM // Вестник ИрГТУ. - 2004. - №1 (17) - С. 154-156.

Кирий В.Г., Ульянов Д.А., Применение марковской модели для оценки уровня знаний при адаптивном тестировании // Вестник ИрГТУ. - 2004. - №3 (19) - С. 21-26.

Ulyanov, Dmitriy A., Implementation of Computer Adaptive Testing in SCORM-Based Distance Education Environment. Proceedings of the 3rd International Conference on Education and Information Systems: Technologies and Applications. EISTA '04. - 2004. - vol. 4 -pages 94-96.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Ульянов, Дмитрий Александрович

4.4. ВЫВОДЫ

Предложенная программная реализация модели адаптивного тестирования апробирована при контроле знаний как в средних, так и высших учебных заведениях. Использование методов обработки статистических данных о результатах тестирования, предложенных в данной главе, может быть распространено и на другие области. В частности, подобная методика проведения тестирования может быть использована при проведении ежегодных аттестаций рабочих по вопросам безопасности жизнедеятельности, аттестации и переаттестации персонала в медицинских учреждениях.

ЗАКЛЮЧЕНИЕ

В рамках данной работы сделан обзор литературы по методам и , моделям тестирования, выбрана и обоснована вероятностная модель тестирования Бирнбаума, проведен корреляционный анализ, результаты которого показали необходимость учета связи между последовательностью ответов, в следствие чего была предложена модернизация модели Бирнбаума математическим аппаратом марковских цепей.

На основе проведенного анализа стандартов, используемых в системах дистанционного обучения, выполнена программная реализация предложенной модели, являющаяся частью комплекса подготовки и проведения тестирования. Разработанный комплекс позволяет проводить тестирование в различных системах обучения.

Для решения задачи оценки параметров вопросов, как для выбранной модели Бирнбаума, так и предложенной марковской модели, был использован численный метод Хука-Дживса. Этот метод используется в программе сбора и обработки статистической информации о результатах тестирования, разработанной в рамках данной работы.

Использованные при разработке программного комплекса средства позволили создать удобную пользовательскую среду для разработки информационного и тестового наполнения курсов дистанционного обучения, а также позволили реализовать проведение тестирования, как в условиях локального компьютера, так и в условиях компьютерной сети.

Разработанная в рамках данной работы марковская модель тестирования позволит более адекватно проводить оценку знаний при тестировании, а разработанный программный комплекс создавать курсы с тестовыми модулями, позволяющими проводить адаптивное тестирование по этой модели в SCORM-совместимых системах.

Использование предложенных механизмов адаптивного контроля знаний в системах дистанционного обучения повысит привлекательность этих систем за счет использования более эффективных методик тестирования.

Полученные научные и практические результаты нашли применение при тестировании студентов факультета кибернетики ИрГТУ и учащихся Селенгинского медицинского училища. Эти результаты также могут быть использованы при проведении тестового контроля знаний и аттестаций в различных областях, таких как медицина, автотранспорт, авиация, и др.

Список литературы диссертационного исследования кандидат технических наук Ульянов, Дмитрий Александрович, 2005 год

1. Бендова Л.В., Карпов В.Н., Шмелев А.С. Менеджмент в дистанционном образовании. Маркетинг образовательных услуг. Под ред. Бендо-вой Л.В. МИМ ЛИНК, 2000.

2. Ульянов Д.А., Кирий В.Г., Использование компьютерных сетей в образовании. Повышение эффективности познавательной деятельности обучающихся // Материалы 2-ой международной научно-методической конференции. 1999. - Вып. 3. - С. 57-59.

3. Прокофьева Н.О., Зайцева Л.В., Куплис У.Г. Компьютерные системы в дистанционном обучении // Телематика 2001 - Санкт-Петербург, 2001.-с. 109 -111.

4. Зайцева Л.В. Оценка знаний обучаемых в АОС// Методы и средства кибернетики в управлении учебным процессом высшей школы. Рига: Рижский политехнический институт, 1987. - с. 86-92.

5. Зайцева Л.В., Ницецкий Л.В., Новицкий Л.П. Автоматизированная обучающая система Контакт/ОС: Учебное пособие. М., 1982. -108 с.

6. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок.// Кибернетика. 1971. - №3 - с. 1-11.

7. Львович Я.Е., Рындин А.А., Долгих Д.Б. Автоматизация проектирования компонентов дистанционного обучения и диагностики качества знаний специалистов для сети ИНТЕРНЕТ. http://www.e-joe.ru/sod/98/398/stl09.html Извлечено 10.10.04

8. Дружинин В.Н. Экспериментальная психология. СПб: Издательство «Питер», 2000.

9. Rudner, L.M. Item Response Theory, http://edres.org/irt/ Извлечено 03.08.04

10. Birnbaum, A. Some latent trait models and their use in inferring an examinee's ability. Part 5 in F.M. Lord and M.R. Novick. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 1968.

11. Hambelton, R.K., and Swaminathan, H. Item Response Theory: Principles and Applications. Hingham, MA: Kluwer, Nijhoff, 1984.

12. Lord, F.M. Application of Item Response Theory to Practical Testing Problems. Hillside, NJ: Erlbaum, 1980.

13. Wright, B.D., and Mead, R.J. BICAL: Calibrating Items with the Rash Model. Research Memorandum No. 23. Statistical Laboratory, Department of Education, University of Chicago, 1976.

14. Wright, B.D., and Stone, M.A. Best Test Design. Chicago: MESA Press, 1979.

15. Baker, F.B. The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, 2001.

16. Петрик Ю.С. и др. Возможности дифференцированной оценки качества знаний студентов в процессе их адаптивного тестирования

17. Грушецкий С.В., Рудинский И .Д. Построение модели адаптивного тестирования с использованием элементов теории графов. http://sputnik.mto.ru/Docs41/Mateduconf/doc/4617.html Извлечено: 01.03.2005.

18. Дуплик С. В. Модель адаптивного тестирования на нечеткой математике. // «Информатика и образование» №11/2004.

19. Печенежский Н.А., Маслов А.А, Модель системы компьютеризированного адаптивного тестирования. // Труды конференции ВИРТ-202

20. Кривуля Г ., Пиженко И ., Шкиль А . Проверка знаний при дистанционном обучении // Образование и виртуальность -2001. Харьков -: УАДО, 2001. - С .212-219.

21. Мельникова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. - 410 с.

22. Баранов В. Ю. Леоненко Л. Л. «Свободный» ответ на компьютерный тест // КП диск. — №5,2004.

23. Аршинский Л.В., Христюк И.М., Ширяева Н.К. Контроль знаний по математике с использованием тестов на ЭВМ. // Труды Восточно

24. Сибирской зональной межвузовской конференции по математике и проблемам ее преподавания в вузе. ИГЛУ, Иркутск. -1999.

25. Аршинский Л.В., Баранов С.А. Векторное оценивание в системах автоматизированного контроля знаний. // Бизнес-образование в условиях глобализации мировых процессов: Тез. докл. Иркутск: БИБММ ИГУ. -1999.

26. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

27. Гудков П.Г. Рынок учебных компьютерных программ в 1997 году: итоги и перспективы // Сборник тезисов VII конференции ИТО-98, секция 2,1998. С. 18-19.

28. Гудков П.Г. Рынок учебных компьютерных программ в 1998 году: взлет и падение // Сборник тезисов VIII конференции ИТО-98/99, направление К, 1999. С. 73-74.

29. Гудков П., Калмыков Ю. Обзор российского рынка учебных компьютерных программ // F1. -1998. №5. - С. 30-33.

30. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. — Рига. Зинатне, 1989. -174 с.

31. Беспалько В. П. Основы теории педагогических систем. Воронеж: Издательство Воронежского университета, 1977.

32. Пугачев А. А. Адаптивные компьютерные обучающие системы // Материалы международной научно-практической конференции

33. Информационные технологии в науке и образовании». Шахты, 2001. С. 29-31.

34. Пугачев А.А., Проектирование и разработка АКОС// Информационные системы в энергетике: Сб. мат. научного семинара — Иркутск, 2001. С. 160-172.

35. Леоненко Л. Л., Поддубный Г. В. Теория подобия конечных последовательностей и ее приложение к распознаванию образов // Автоматика и телемеханика. М., 1996. - №8. - С. 119 -131.

36. Норенков И.П. Отчет о научно-исследовательской работе «Система критериев качества учебного процесса для дистанционного образования», 2002.http://www.engineer.bmstu.ru/resources/science/0201002.htm Извлечено: 05.08.2004

37. Draft Standard for Learnjng Object Metadata. IEEE 1484.12.1-2002/ -http://ltsc.ieee.org/ Извлечено 05.08.2004

38. Shareable Content Object Reference Model. Version 1.2. ADL Initiative, 2001. http://www.adlnet.org/ Извлечено 10.10.2003

39. Евсеев B.B., Алехина C.B., Евсеева И.В. Выбор релевантного алгоритма оценивания знаний обучаемых в системе дистанционного обучения. // Сб. научных трудов конференции ВИРТ-2003, 2003.- с.311-315.

40. Панченко А.А. Методические указания для преподавателей ДВГУПС по конструированию и статистической обработке тестов. 2000. http://www.dvgups.ru/MetDoc/test/Test2.htm Дата извлечения: 15.12.2003

41. Евсеев В.В., Безуглая А.Е., Алехина С.В. Методы формирования оценки знаний в системах дистанционного обучения // Сб. научных трудов 6-й Международной конференции Украинской ассоциации дистанционного обучения. Харьков - Ялта: 2002. - С. 372-376

42. Кирий В.Г., Ульянов Д.А. Корреляционный анализ ответов на вопросы при адаптивном тестировании // Вестник ИрГТУ. Иркутск. -2003. - № 3-4 (15-16). - С. 125-128

43. Белоус И.В., Пархоменко С.А. Методы математической статистики для анализа тестовых результатов // Вестник ХГТУ №1 (14), 2002. С. 544 - 545

44. Вентцель Е.С. Теория вероятностей // М.: Наука, 1964

45. Вентцель А .Д. Курс теории случайных процессов. М.: Наука, 1996. -320 с.

46. Комени Дж., Снелл Дж. Конечные цепи Маркова. М.: Наука, 1982. -320 с.

47. Романовский В.И. Дискретные цепи Маркова. Гостехиздат. 1949.

48. Крамер Г., Лидбеттер М. Стационарные случайные процессы. М.: Мир. 1969. - 400 с.

49. Натан А.А. Случайные процессы: Учебное пособие. М.: изд. МФТИ, 1978. -118 с.

50. Розанов Ю.А. Введение в теорию случайных процессов. М.: Наука, 1979. -1984 с.

51. Миллер Б.М., Панков А.Р. Теория случайных процессов в примерах и задачах. М.: ФИЗМАТЛИТ, 2002. - 320 с.

52. Кирий В.Г., Ульянов Д.А., Применение марковской модели для оценки уровня знаний при адаптивном тестировании // Вестник Ир-ГТУ. Иркутск. - 2004. - №3 (19) - С. 21-26.

53. Крамер Г., Математические методы статистики, перевод с английского, М., 1948

54. Рао С. Р., Линейные статистические методы и их применения, перевод с английского, М., 1968.

55. Летова Т.А., Пантелеев А.В. Экстремум функций в примерах и задачах. М.: Изд-во МАИ, 1998.

56. Небольшая коллекция методов оптимизаций. Серия "Математика в техническом университете" под редакцией Зарубина, Крищенко. http://nsft.narod.ru/Programming/colmetopt.html Извлечено: 20.01.2005

57. HyperText Markup Language (HTML) Home Page. http://www.w3.org/MarkUp/ Извлечено: 12.12.2004.

58. M. Холл, Л. Браун. Программирование для WEB. Библиотека профессионала. : Пер. с англ. М. : Издательский дом «Вильяме», 2002. -1264 с.

59. Матросов А., Сергеев А., Чаунин М. HTML 4.0 в подлиннике. -BHV-СПб, 2002. 672 с.

60. Штайнер Г. HTML/XML/CSS. Лаборатория Базовых Знаний, 2001. -512 с.

61. Флэнаган Д. JavaScript. Подробное руководство, 4-е издание. Символ-Плюс, 2004. - 960 с.

62. Уилтон П. JavaScript. Основы. Символ-Плюс, 2002. -1056 с.

63. Гудман Д. JavaScript. Библия пользователя (4-е издание). Вильяме, 2002. -960 с.

64. Вайк A. JavaScript: Полное руководство. 4-е издание. Вильяме, 2004.-720 с.

65. Н.М. Deitel, P.J.Deitel. Java. How to program. Third edition. 1999

66. Понамарев В. COM и ActiveX в Delphi. BHV-СПб, 2001. - 320 с.

67. Лалани С., Чандэк Р. Библиотека программиста ActiveX. -Попурри, 1999. 624 с.

68. Ульянов Д.А. Элементы адаптивного тестирования в системе дистанционного обучения, основанного на стандарте SCORM // Вестник ИрГТУ. Иркутск. - 2004. - №1 (17) - С. 154-156

69. Розенберг Д., Скотт К. Применение объектного моделирования с использованием UML и анализ прецедентов. ДМК, 2002. -160 с.

70. Боггс У., Боггс М.- UML и Rational Rose. Лори, 2001. - 582 с.

71. Мацяшек Л. Анализ требований и проектирование систем. Разработка информационных систем с использованием UML. Вильяме, 2002.-432 с.

72. Г. Буч, Дж. Рамбо, А. Джекобсон. Язык UML. Руководство пользователя. Питер, 2001. - 430 с.

73. Ларман К. Применение UML и шаблонов проектирования (2-е издание). Вильяме, 2002. - 624 с.

74. Фаулер М., Скотг К. UML. Основы (2-е издание). Символ-Плюс, 2001. -192 с.

75. Амриш К., Ахмед X. Разработка корпоративных Java-приложений с использованием J2EE и UML. Вильяме, 2002. -272 с.

76. Лишнер P. Delphi. Справочник. Символ-Плюс, 2001. - 640 с.

77. Фленов М.Е. Библия Delphi. BHV-СПб, 2004. - 880 с.

78. Хомоненко A. Delphi 7 в подлиннике. BHV-СПб, 2003. -1216 с.