Программно-инструментальный комплекс для автоматизированного контроля знаний тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Стась, Андрей Николаевич

• Стась, Андрей Николаевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Стась, Андрей Николаевич

Введение

Глава 1. О проблемах объективного контроля знаний

1.1. Понятие педагогического теста

1.2. Виды тестовых заданий 18 т 1.3. Основные статистические параметры педагогических тестов

1.3.1. Матрица тестовых заданий

1.3.2. Сложность или трудность тестового задания

1.3.3. Различительная способность и коэффициент дискриминации

1.3.4. Надежность теста

1.3.5. Значимость (валидность)

1.3.6. Оптимальная длина теста

1.4. Требования к средствам тестирования

1.5. Классификация и состояние работ по автоматизированным средствам контроля знаний

1.5.1. Общий обзор автоматизированных средств контроля знаний

1.5.2. Обзор средств оперативного контроля знаний

1.5.3. Обзор средств итогового контроля знаний

• 1.5.4. Основные проблемы проведения вступительных экзаменов

1.5.5. Основные принципы организации работы приемной комиссии при использовании системы «Экзамены»

Выводы к главе

Глава 2. Системы оперативного и итогового контроля знаний

2.1. Система оперативного контроля знаний t 2.1.1. Основная концепция системы

2.1.2. Формат тестовых файлов (*.tst)

2.1.3. Совместимость

2.1.4. Безопасность

2.1.5. Область применения

2.1.6. Использование системы

2.1.7. Требования, предъявляемые к разработке тестовых заданий

2.1.8. Расчет статистических параметров

2.1.9. Испытание оболочки на примере курса «Теоретические основы информатики», как пример использования системы

2.1.10. Основные преимущества системы «Express» 63 2.2. Система итогового контроля знаний (СИКЗ)

2.2.1. Основные принципы педагогической технологии

В. М. Монахова

2.2.2. Формат тестового задания и структура банка тестовых заданий

2.2.3. Структура оболочки

2.2.4. Использование системы

2.2.5. Расчет статистических параметров

2.2.6. Испытание СИКЗ на примере курса «Теоретические основы информатики», как пример использования системы

2.2.7. Основные преимущества СИКЗ 75 Выводы к главе

Глава 3. Разработка автоматизированной системы проведения вступительных экзаменов

3.1. Разработки, направленные на решение проблемы автоматизированного проведения вступительных экзаменов

3.2. Проведение вступительных испытаний с помощью системы «Экзамены»

3.2.1. Заполнение баз данных тестов

3.2.2. Печать экзаменационных билетов

3.2.3. Подготовка средств кодирования работ 80 3.2.3. Сканирование билетов

3.2.5. Ручной ввод ответов

3.2.6. Подготовка списка экзаменуемых лиц

3.2.7. Кодирование работ

3.2.8. Проверка работ

3.2.9. Распознавание ответов абитуриента

3.2.10. Декодирование работ

3.2.11. Печать экзаменационных ведомостей

3.3. Обеспечение безопасности данных в процессе функционирования системы

3.4. Решение технической проблемы распознавания штрих кодов и ответов абитуриентов

3.4.1. Постановка задачи

3.4.2. Основные подходы к решению задачи

3.4.3. Основные этапы решения задачи

3.4.4. Поиск блока индексов 95 « 3.4.5. Обработка блока индексов с последующей сегментацией

3.4.6. Методы распознавания индексов внутри блока

3.4.7. Используемый подход к распознаванию индексов

3.5. Подсистема удаленного тестирования

3.5.1. Общее назначение подсистемы

3.5.2. Тест-сервер 100 « 3.5.3. Клиентская часть

3.5.4. Веб-сайт подсистемы

3.6. Система контроля остаточных знаний через Интернет

3.7. Основные результаты апробирования системы в процессе работы приемной комиссии ТГПУ

3.8. Основные преимущества системы «Экзамены» 111 Выводы к главе

Введение диссертации (часть автореферата) на тему «Программно-инструментальный комплекс для автоматизированного контроля знаний»

Актуальность исследования

Одной из фундаментальных проблем как в сфере общего, так и профессионального образования является необходимость объективного контроля знаний студентов [1, 2]. В связи с этим встает вопрос об использовании тестов как научно-обоснованного метода контроля знаний [2, 65, 80, 109].

В свою очередь, тестовая форма контроля предоставляет ряд возможностей для автоматизации некоторых этапов контроля [69]. Автоматизированный контроль знаний находит широкое применение как в рамках традиционного, так и дистанционного образования. Он является также неотъемлемой составной частью обучающих систем и комплексов [57, 95]. Постоянный контроль знаний должен стать частью системы обучения, он должен взаимодействовать с ней и с задачами обучения [85, 97].

Существует множество параметров, по которым можно оценить качество того или иного метода контроля или характеристики той или иной тестовой системы. Задача контроля знаний может существовать в нескольких различных вариациях. Поэтому следует, в частности, различать оперативный и итоговый контроль.

Оперативный контроль знаний предполагает быстрый способ оценивания знаний по ходу учебного процесса с целью выявления пробелов знаний отдельных обучаемых и групп в целом, что позволит вовремя в нужном направлении скорректировать траекторию обучения. В этом случае на первое место при оценке качества автоматизированного средства выходят:

• минимизация времени, затрачиваемого на тестирование,

• простой и удобный интерфейс пользователя для преподавателя — разработчика тестов,

• возможность быстрого редактирования тестов (на случай внесения изменения в рабочую программу или государственный образовательный стандарт).

В тоже время сохраняет актуальность задача получения объективной оценки знаний, поэтому средство должно содержать блок расчета статистических параметров тестов и отдельных тестовых заданий, на основе которых можно сделать вывод о пригодности тестового задания или теста в целом.

Кроме того, непростая ситуация, сложившееся в данное время в сфере образования в Российской Федерации, в частности, выражается в том, что образовательные учреждения оснащены далеко не самой новой и лучшей вычислительной техникой. В тоже время сама идея оперативного контроля имеет педагогическую значимость только в случае, если тестирование проводить регулярно. Таким образом, можно выделить еще одно существенное требование - эффективность системы, как программного средства, т. е. как можно более скромные требования:

• к объему дискового пространства,

• к объему памяти, требуемому для нормальной работы системы,

• к техническим параметрам ЭВМ.

Существует достаточно много тестовых оболочек, удовлетворяющих первой группе требований, но они, как правило, не совсем удовлетворяют требованиям программной эффективности.

Итоговый контроль знаний предполагает более жесткие требования к качеству оценивания тестового балла, при этом требования, обусловленные необходимостью высокой скорости разработки тестовых материалов, несколько снижаются. Для достижения высокого качества диагностики знаний необходимо поддержка как можно большего числа разновидностей тестовых заданий [2]:

• заданий с однозначным выбором,

• заданий с множественным выбором,

• заданий с открытой формой ответа (ответ формулируется тестируемым),

• заданий на установление порядка следования,

• заданий на установление соответствия.

Отдельно следует рассмотреть задачу определения уровня знаний абитуриентов или, иначе говоря, приема вступительных испытаний в ВУЗы. Эта задача имеет несколько особенностей.

Во-первых, сохраняются все требования, предъявляемые к итоговому контролю знаний. Действительно, цена ошибки здесь еще выше, так как, с одной стороны, в ходе вступительных испытаний во многом определяется дальнейшая судьба человека, а с другой стороны, обеспечение бесплатным высшим образованием действительно самых достойных — задача государственной важности.

Во-вторых, в настоящий момент актуальна проблема коррупции в ходе приема вступительных испытаний. В случае автоматизированной диагностики знаний необходимо обеспечение безопасности данных как от операторов автоматизированной системы, так и от иных лиц.

В третьих, в настоящее время в рамках образовательной реформы продолжается эксперимент по введению единого государственного экзамена (ЕГЭ) [84]. В 2002 г. в эксперименте было задействовано 16 регионов России, в том числе и Томская область [84], а в 2003 году уже 45 регионов. Так проявляется еще ряд требований к автоматизированной системе:

• совместимость оценочной шкалы со 100-бальной шкалой, принятой для системы ЕГЭ [84],

• возможность применения метода оценки знаний в рамках ЕГЭ,

• возможность развития автоматизированной системы в сторону автоматизированной системы проведения ЕГЭ.

В четвертых, следует учесть, что прием вступительных экзаменов -это только один из этапов в работе приемной комиссии. Отсюда вытекает требование открытости системы, т. е. возможности совместимости с системами, автоматизирующими иные этапы работы приемной комиссии.

В пятых, в отличие от двух предыдущих задач, здесь непригоден метод электронного тестирования, поскольку:

• образовательные учреждения РФ часто не располагают необходимыми вычислительными ресурсами для проведения электронного тестирования достаточно большого потока абитуриентов за достаточно короткое время;

• несмотря на то, что технически и юридически решены проблемы генерации электронной документации, необходимой при апелляциях и при комплексных проверках деятельности приемных комиссий, на данный момент, традиционная документация пользуется большей степенью доверия со стороны абитуриентов и их родителей.

Поэтому здесь необходимо использовать бланочную форму тестирования, что порождает еще одну нетривиальную техническую задачу - распознавание ответов абитуриента после сканирования бланков билетов в автоматическом режиме. Такая задача относится к области искусственного интеллекта (распознавание образов) [36, 104]. Затрудняют решение этой задачи высокие требования, предъявляемые к точности ее решения.

В настоящее время не существует автоматизированных систем, соответствующих всем вышеперечисленным требованиям.

Таким образом, актуальность исследования определяется потребностью разработки автоматизированных систем, обеспечивающих эффективное использование тестовых технологий контроля знаний для решения различных задач в процессе обучения.

Проблема исследования определяется противоречием между общественной потребностью перехода к объективным методам контроля знаний в процессе обучения в высшей и средней школе и использующимися в настоящее время методами контроля.

Объектом исследования является процесс контроля знаний абитуриентов, поступающих в ВУЗ, а также процесс оперативного и итогового контроля знаний в ходе обучения в школе и ВУЗе.

Предметом исследования являются вопросы автоматизации тестового контроля знаний различных типов.

Целью исследования является разработка программно-инструментального комплекса и методического обеспечения для автоматизации оперативного и итогового контроля знания и проведения вступительных испытаний в ВУЗах, включающего:

• тестовую оболочку, предназначенную для создания автоматизированных средств оперативного контроля знаний;

• комплект тестов по курсу «Теоретические основы информатики»; как пример использования системы;

• систему итогового контроля знаний, основанную на использовании авторской педагогической технологии В. М. Монахова;

• набор тестовых заданий для итогового контроля знаний по курсу «Теоретические основы информатики»;

• систему автоматизированного приема вступительных испытаний, включающую себя набор заготовок тестовых заданий по иностранным языкам (немецкому, английскому, французскому), русскому языку, истории, литературе, подсистему формирования банка данных тестовых заданий, подсистему подготовки индивидуальных экзаменационных билетов по всем дисциплинам, подсистему подготовки базы данных абитуриентов, подсистему автоматической проверки экзаменационных работ, а также подсистему удаленного тестирования через Интернет, предназначенную для подготовки к вступительным испытаниям.

Задачи исследования

1. Выявить общий подход, принципы и методы создания автоматизированных систем контроля знаний, ориентированных на контроль различных типов.

2. Разработать автоматизированные системы, предназначенные для различных типов контроля знаний.

3. Разработать методику применения автоматизированных средств оперативного и итогового контроля знаний (на примере курса «Теоретические основы информатики»).

4. Экспериментально проверить эффективность применения разработанных систем оперативного и итогового контроля знаний в процессе обучения курсу «Теоретические основы информатики».

5. Экспериментально проверить автоматизированную систему приема вступительных испытаний в процессе работы приемной комиссии.

Методы исследования

Реализация сформулированных целей и задач осуществлялась с использованием основных теоретических положений объектно-ориентированного проектирования и программирования, математической статистики, основных положений тестологии и педагогической квалиметрии.

Научная новизна и теоретическая значимость

• Разработана и реализована в программном комплексе технология, обеспечивающая полную автоматизацию всех этапов проведения вступительных испытаний по комплексу дисциплин.

• Разработаны удобные форматы определения тестовых заданий в системе «Экзамены», исходя из предметных особенностей каждой дисциплины.

Практическая значимость и внедрение результатов работы

• Разработано программно-инструментальное обеспечение для автоматизации и объективизации различных видов контроля знаний.

• Создана методика применения систем Express и СИКЗ в процессе обучения (на примере курса «Теоретические основы информатики»), которая способствует объективизации контроля знаний, активизации учебно-познавательной деятельности студентов и повышению эффективности образовательного процесса в целом.

• Системы Express и СИКЗ внедрены и используются в средних школах № 15 и № 51 г. Томска, а также на кафедре информационных технологий

ТГПУ. СИКЗ применяется в процессе итогового контроля знаний, система Express используется для оперативного контроля знаний на аудиторных занятиях и для самоконтроля в процессе самостоятельной работы обучаемых.

• Разработанная система «Экзамены» внедрена в приемной комиссии ТГПУ и апробирована в 2002 и 2003 годах.

Основные защищаемые положения

1. Технология проведения вступительных экзаменов, следствием которой явилась полная автоматизация всех этапов проведения вступительных испытаний по комплексу дисциплин.

2. Структуры баз тестовых заданий, используемых при проведении вступительных испытаний.

3. Система тренинга и самоконтроля в процессе подготовки к вступительным экзаменам с помощью удаленного доступа к базе тестов.

Апробация работы

Результаты диссертационной работы докладывались на следующих конференциях:

1) II Сибирской школе молодого ученого, Томск, ТГПУ, 1999 г.

2) IV конференции студентов, аспирантов и молодых ученых «Наука, образование и общество», Томск, ТГПУ, 2000 г.

3) Всероссийской конференции «Открытое и дистанционное образование», Томск, ТГУ, 2001 г.

4) XI Международной конференции по вычислительной механике и прикладным программным средствам, Москва-Истра, МАИ, 2001 г.

5) Всероссийской научно-практической конференции - выставке «Единая образовательная информационная среда: проблемы и пути развития», Томск, ТГУ, 2002 г.

6) XII Международной конференции по вычислительной механике и прикладным программным средствам, Москва-Владимир, МАИ, 2003 г.

7) Региональной научно-практическая конференции «Информационные недра Кузбасса», Кемерово, 2003 г.

8) II Всероссийской научно-практической конференции - выставке «Единая образовательная информационная среда: проблемы и пути развития», Томск, ТГУ, 2003 г.

9) X Международной научно-методической конференции «Новые информационные технологии в университетском образовании», Новосибирск, СибГУТИ, 2003 г.

Основные результаты диссертационной работы отражены в следующих публикациях:

Статьи

1. Клишин А.П., Стась А.Н. Оболочка для создания и использования компьютерных тестов // Математическое моделирование, 2002, № 9, с. 24-26.

2. Клишин А.П., Стась А.Н., Чуков А.Н. Тестирующая система Express-2 // Открытое и дистанционное образование, 2001, № 1(3), с. 44-45.

3. Стась А.Н., Стахин Н.А., Чуков А.Н., Горчаков JI.B. Автоматизированная система приема вступительных экзаменов // Открытое и дистанционное образование, 2002, № 4(8), с. 132-133.

4. Стась Н. Ф., Стась А. Н. Авторский пакет обучающих программ по химии // Открытое и дистанционное образование, 2002, № 4(8), с. 86-88.

Материалы конференций и тезисы докладов

5. Горчаков JI.B., Стахин Н.А., Стась А.Н., Горюнов В.А. Подсистема удаленного тестирования на основе системы «Экзамены» // Информационные недра Кузбасса: Труды региональной научно-практической конференции. - Кемерово: изд-во Кем. гос. ун-та, 2003, с. 138-139.

6. Стась А.Н., Парфенов А.Г., Стахин Н.А., Горюнов В.А. Подсистема удаленного тестирования на основе системы «Экзамены» //Единая образовательная информационная среда: Материалы второй Всероссийской научнопрактической конференции-выставки. - Томск: изд. Том. ун-та, 2003, с. 9798.

7. Клишин А.П., Стась А.Н. Оболочка для создания и использования компьютерных тестов // Тезисы докладов XI международной конференции по вычислительной механике и современным прикладным программным средствам - ВМСППС'2001. - М.-Истра, 2001, с . 218-220.

8. Стась А. Н., Стахин Н. А., Горюнов В. А., Бачурин М. В. Автоматизированная система приема вступительных испытаний // Тезисы докладов XII международной конференции по вычислительной механике и современным прикладным программным средствам - ВМСППС'2003. - М.-Владимир, 2003, с. 582-583.

9. Стась А.Н. Основные принципы проектирования СУБД для управления учебным процессом на основе модели данных "сущность-связь" // II Сибирская школа молодого ученого. - Томск: изд-во Том. гос. пед. ун-та, 2000, с. 61-64.

10. Стась А.Н. Механизмы хранения структуры и данных в ER-модели // Материалы IV межвузовской конференции студентов, аспирантов и молодых ученых. Т. 1. - Томск: изд-во Том. гос. пед. ун-та, 2000, с. 117-119.

Свидетельства о регистрации, приравненные к опубликованным работам

11. Стахин Н.А., Стась А.Н., Чуков А.Н., Бачурин М.В., Соколовский А.Н. Автоматизированная система приема вступительных испытаний «Экзамены» // Зарегистрирована в Отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий. Свидетельство о регистрации № 2472 от 28 марта 2003 года.

12. Клишин А.П, Стась А.Н. Тестовая оболочка Express 2.0 // Зарегистрирована в Отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий. Свидетельство о регистрации № 2474 от 28 марта 2003 года.

Диссертация состоит из введения, трех глав и заключения. Основная часть содержит 129 страниц текста, 7 таблиц, 45 рисунков, 14 формул, 122 литературных источника, 4 приложения.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Стась, Андрей Николаевич

Выводы к главе 2

В соответствии с ранее сформулированными требованиями разработаны оболочка Express и система итогового контроля знаний (СИКЗ). Отдельный анализ и решение данных проблем позволило снять многие противоречия, выявленные в первой главе. Описаны результаты педагогических экспериментов по применению этих средств в курсе «Теоретические основы информатики». Применение автоматизированной системы при оперативном контроле знаний позволяет выявить пробелы в знаниях обучаемых по ходу учебного процесса и обеспечить преподавателя необходимой информацией для корректирования учебного процесса. Использование СИКЗ позволяет получать объективную оценку учебных достижений обучаемых, подтвержденную путем сравнения с традиционными методами контроля.

Глава 3. РАЗРАБОТКА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ПРОВЕДЕНИЯ ВСТУПИТЕЛЬНЫХ ЭКЗАМЕНОВ

3.1. Основные принципы организации работы приемной комиссии при использовании системы «Экзамены»

С целью решения задачи автоматизации проведения вступительных экзаменов необходимо прежде всего построить формальную модель этого процесса на основе требований, предъявляемых к информационной системе. Для построения формальной модели требований к информационной системе был использован пакет Rational Rose. Этапы процесса можно представить в виде последовательности следующих прецедентов: прием заявлений от абитуриентов, занесение информации в БД абитуриентов, составление списков на экзамен, распределение абитуриентов по аудиториям, печать наклеек со штрих-кодами, подготовка тестовых заданий, заполнение БД тестов, генерация уникальных экзаменационных билетов, проведение экзамена, сканирование работ абитуриентов, распознавание ответов, анонимная проверка работ, дешифровка работ, генерация экзаменационных ведомостей.

Диаграммы вариантов использования и диаграмма действий системы «Экзамены» приведены на рис. 3.1. (а и б)

О <3 о> о-£ им win Bflww IVw*b Смите* Пм»мпм Пвдгегач» mimwi тд«|* Cecrmta, о-я а) б)

Рис. 3.1. Диаграмма вариантов использования (а) и диаграмма действий (б) системы «Экзамены»

На основе модели вариантов использования можно построить объектно-ориентированную модель системы.

Приведем краткое описание применяемой технологии. Процесс приема вступительных экзаменов в данной технологии организован следующим образом. Используя базу данных тестовых заданий, случайным образом генерируется нужное количество уникальных экзаменационных билетов и база правильных ответов к билетам. На каждом билете обозначен его номер с помощью штрих-кода. В целях обеспечения безопасности штрих-код, идентифицирующий абитуриента, наклеивается работниками технической комиссии непосредственно перед экзаменом или во время экзамена. Тесты составлены таким образом, что ответ на него представляет собой последовательность цифр, и абитуриент вводит эту последовательность в трафарет согласно правилам заполнения почтовых индексов. Проверка осуществляется в автоматическом режиме путем сканирования штрих-кодов номеров билетов и ответов абитуриентов. Затем путем сравнения правильных ответов и ответов абитуриентов выставляется оценка, привязываемая к каждому билету. И на последнем этапе, на отдельном компьютере производится расшифровка путем сканирования уже штрих-кодов абитуриентов, и печатаются экзаменационные ведомости, по которым производится зачисление.

Упрощенно процесс схематически можно изобразить следующим образом (рис 3.2.)

Рис. 3.2. Схема работы приемной комиссии

3.2. Проведение вступительных испытаний с помощью системы «Экзамены»

3.2.1. Заполнение баз данных тестов

Преподаватели - предметники предоставляют задания в файлах формата *.rtf, так как в этот формат легко экспортировать документы, изготовленные с помощью текстового процессора Microsoft Word.

Подробно требования к форматам материалов, предоставляемых предметниками, приведены в приложении 4.1. С целью обеспечения лучшего качества тестовых материалов, данные требования разработаны совместно с предметниками с учетом особенностей той или иной дисциплины. В результате фактически созданы форматы тестовых заданий для каждой дисциплины. Данные форматы могут быть описаны с помощью контекстно-свободных грамматик.

Затем, подготовленные тестовые задания, разработанные специалистами-предметниками, вносятся в базу данных тестовых зданий специального формата. Подробная инструкция, описывающая данный процесс, в приложении 4.2.

3.2.2. Печать экзаменационных билетов

Непосредственно перед экзаменом происходит печать экзаменационных билетов с помощью специальной программы. Внешний вид главного окна программы приведен на рисунке 3.3. Окно номера Окно установки текущего билета / требуемого кол-ва Кнопка "Бланк" у/ билетов

6>/яета8 Крп-80 бипетое:

3 Р 5 Бланк [

Рис. 3.3. Внешний вид верхней части формы

Подробно процесс работы с подсистемой описан в приложении 4.3.

Экзаменационные билеты, как правило, готовятся непосредственно перед экзаменом в количестве, незначительно превышающем количество сдающих данный экзамен. Особое внимание следует обратить на анонимность билетов, то есть на то, что при печати не известно, кто именно получит тот или иной билет, и то, что билет помечен только штрих-кодом номера варианта. Наглядная информация, позволяющая идентифицировать билет, отсутствует.

3.2.3. Подготовка средств кодирования работ

С целью повышения защищенности, работы абитуриентов кодируются, а после проверки декодируются.

Для кодирования работ генерируются личные штрих-коды, которые печатаются на специальной липкой бумаге Raflacut формата А4. На одном листе могут быть напечатаны 16 строк по 4 наклейки в одной строке. Штрих-коды для кодирования генерируются в модуле Базы экзаменуемых лиц. Вид одной строки наклеек приведен на рисунке 3.4.

При кодировании на работу наклеивается или вторая, или третья па-клейка со штрих-кодом, а две крайние наклейки используются при декодировании. Штрих-коды правильно считываются ручным сканером, даже если их наклеить «наоборот». Однако:

• в любом случае штрих-код не должен быть размазан;

• при работе ручным сканером допустим любой перекос при наклеивании штрих-кодов. Однако, при использовании автоматического сканирования желательно соблюдать ряд требований.

Л Microsoft Access - (Студенты) |

Ц Файл Правке 0иц Сервис £кно 1

К • ё Р О Ш Ш . Закрыть р • о Я • 9

1 - - ■ wd-|H'lQ'[

Жэмойтук Ольга Кг шипит о iiiiiiiiiii 24 07.02Ay*. 229.9 аде Ж а мой тук Ольга Г Витальевна История 24.07.02 Ауд. 229.9 чк

Рис. 3.4. Подготовка наклеек

3.2.4. Сканирование билетов

Если работы будут подвергаться автоматическому сканированию, то: а) штрих-код не должен выступать за край листа, иначе он будет цеплять другие листы, это приведет к перекосу и замятию листа; выступающую часть наклейки нужно отрезать; б) одновременная загрузка в сканер не должна превышать 10 листов, так как автоподача страниц в сканер осуществляется сверху, а за счет наклеивания штрих-кодов в одной и той же части страницы плоскость верхнего листа нарушается, что в итоге приводит к перекосу листа при его втягивании, замятию и потере данных; в) для обеспечения правильного считывания наклеивать штрих-код нужно весьма точно, чтобы его линии были параллельны линиям штрих кода варианта билета, напечатанного на билете, иначе один из штрих-кодов не прочитается; г) не следует штрих-код варианта билета заклеивать штрих-кодом фамилии, или закрывать им хотя бы одну из линий штрих-кода варианта билета.

Экзаменуемого перед выполнением работы необходимо инструктировать. Краткая инструкция должна содержать следующее.

1. Никаких посторонних пометок на заданиях оставлять нельзя.

2. Ваши ответы будут проверяться объективно, анонимно, компьютером.

3. И Ваши ответы, и Ваша фамилия кодируются.

4. Компьютер понимает только коды ответов, которые записываются специальным образом (также как почтовые индексы на конверте).

5. Если, например, Вы прочитали в задании «С бака лаяла на про-хожш», решили, что пропущена буква о, и увидели рядом с заданием (см. рисунок 3.5), что буква в алфавите расположена на 16-ом месте, то в ответ Вам нужно написать 16 стилизованными цифрами. Зачеркивания и исправления не допускаются. В местах написания ответов отпечатки пальцев не оставлять (они мешают сканированию ответов).

Н* Буква I Не Буква I Н* Буква

01 а | 12 К 23 X

02 б 13 Л 24 Ц

03 в 14 М 25 ч

04 г 15 н 26 ш

05 д 16 о 27 Щ

06 е 17 п 23 ъ

07 ё 18 р 29 ы

0В ж 19 С | 30 ь

09 3 ' 20 Т I 31 э

10 и 21 У 32 ю

11 й 22 Ф I 33 я

Рис. 3.5. Таблица ответов для первого задания по русскому языку

3.2.5. Ручной ввод ответов

При ручном вводе ответы вводятся операторами в файлы формата *.xls (рис. 3.6), которые затем объединяются в один файл *.xls. Последний импортируется в Access как таблица «Ответы».

Операторы учитывают имеющиеся исправления, не обращая внимание на нечёткое или ненадлежащее написание цифр. В столбец «Вариант» оператор вводит порядковый номер обрабатываемой работы и следит, чтобы работы после обработки лежали в указанном порядке.

X Microsoft Excel - ISI21 XLS

J Файл Правка Дна Вставка Формат Сервис Ценные фкно Т а в а & у jt ъ % <? «- t * г г. и si ■ а в ^ w* - ® liiicyr. 10 .ixx з Eii| 9 % , fl ! $ £ ■ А - А • уц -' О

А Б С D Е F lG Н I J К L М N 0 | Р 0 Р Sit и V W 1 Экзамен Вариант 01 02 03 04 05 06 07 08 09 010 011015 013014015 016 017 018 019 020 021

2 История 1 1 4 3 2 4 1 2 3 3 4 2 1 14 2 3 3026 988 5071 5024 5065 г Историй 2 2 1 4 3 2 4 1 3 4 1 3 2 I 2 3 4 3053 345 4076 3091 4109

4 История з з 2 4 1 1 2 3 4 2 3 4 1 3 4 2 1 907 5075 5028 4132 3036

5 История 4 з 2 1 4 1 4 2 3 3 4 2 1 3 4 2 1 4132 965 972 4128 4101

Рис. 3.6. Ручной ввод ответов оператором

Кроме того, оператор постоянно контролирует себя тем, что вводит ответы не поодиночке, а группами. С этой целью в файл с ответами он заранее между столбцами устанавливает границы в виде сплошных чётких линий так, чтобы каждая группа цифр между двумя соседними линиями соответствовала строке ответов вводимой формы.

При объединении файлов, подготовленных разными операторами, в один файл, папки с работами нумеруются по мере наращивания файла с ответами в соответствии с порядком добавления.

Численные значения номера варианта в столбец «Вариант» таблицы «Ответы» будут вводиться ручным сканером. Для этого папки с работами последовательно, начиная с первой, снова вскрываются и сканером считыва-ется штрих-код варианта, напечатанный на каждой работе. Оператору, осуществляющему ввод номера варианта работы, нужно тщательно следить за тем, чтобы номер варианта работы не ввёлся дважды, и чтобы он соответствовал тем ответам, которые даны далее в последующих столбцах.

3.2.6. Подготовка списка экзаменуемых лиц

Список сдающих экзамен может быть подготовлен в Word'e, программой Excel или непосредственно при работе с базой данных в Access'e.

При вводе данных в Access'e для изменения, уточнения и исправления данных предусмотрена форма (рис. 3.7), которая позволяет исправить неточности, удалить или внести запись в базу данных.

Г V Microsoft Access

ФРЙЛ Правка Вид Вставка Формат Записи Сервис QKHO ? м - в аау <г *й) **

1 ЁЗ С гумен г ы l-lnlxl

Ф (УМИЛИЛ (Жлмойтук Ольга Витальевна 1

Э|СЭ4М«Н [История 1

Д«т«Эк>амина 2Й07 ГГ2 щ\ ^ |

Запись: И | < | | 1333 >■ | М и> 133Э ^

Рис. 3.7. Редактирование базы данных экзаменуемых лиц

Подготовка данных на Word'e и в программе Excel может производиться независимо несколькими операторами. Необходимо лишь соблюдать единую форму и непосредственно перед началом работы объединить списки в один файл с расширением .xls, который надлежит импортировать в базу данных в таблицу «Студенты» (табл. 3.1, рис. 3.8).

Список литературы диссертационного исследования кандидат технических наук Стась, Андрей Николаевич, 2004 год

1. Рис. 3.10. Формат файла «answershistcls»

2. ЦИстория 734 3 4 2 1 41 233421 3421 3025 1113 5010 4084 41'

3. История 735 1 4 3 2 3 1 4 2 4 3 1 2 3 1 4 2 12 4121 6011 4166 30:

4. История 736 2 1 4 3 4 2 1 3 3 4 2 1 1 3 4 2 4058 4061 94Б 6011 14:

5. История 737 4123241 334213142 5010 6028 3090 901 14.

6. История 738 2 1 4 3 2 3 4 1 3 4 2 1 4 2 1 3 5024 3144 3026 1147 30

7. История 739 3 4 2 1 2 4 3 1 3 4 1 2 2 4 3 1 4067 3111 862 6040 31

8. История 740 3241314234213421 3111 862 5040 4057 12

9. Рис. 3.11. Таблица «Правильные» в базе данных.

10. Подготовку файла с ответами сдавших экзамен можно проводить либо автоматически, либо вручную.32.9. Распознавание ответов абитуриента

11. Рис. 3.12. Таблица «Ответы» в базе данных

12. Если программа распознавания по какой-либо причине не сможет прочитать один из ответов полностью, она в качестве ответа записывает нуль, ставит точку с запятой и переходит к распознаванию очередного ответа.

13. Если в подготовленном файле ответов какие-либо из ответов оказались нулевыми, то соответствующие строки могут подвергаться дополнительной ручной правке.

14. В базе данных создан отчет «Баллы для конкретного студента», позволяющий напечатать оценки за каждый ответ непосредственно на работе (см. рис. 3.13).

15. М 747 1 2 3 4 S t 7 I » II 11 12 1Э И 15 1< 17 II 1» 20 21 22 23 24 Ошпе 2431143223414123 3090 882 5052 5070 4068 4081 4051 1382 Бшы: 15 0 0 1,5 0 15 1,5 □ 15 15 15 15 15 0 □ 15 25 25 □ 0 25 25 25 0

16. Рис. 3.13. Отчет «Баллы для конкретного студента»

17. Рис. 3.14. Отчет «Баллы» 3.2.10. Декодирование работ

18. При больших потоках сдающих экзамен эту работу можно распараллелить и проводить на нескольких компьютерах. В декодировании участвуют одновременно два оператора: один из них открывает форму «Опознание

19. Абитуриентов по штрих кодам» и сканером считывает штрих-код фамилии, наклеенный на работе .

20. Опознание Абитуриентов по штрихкоаом : фпрмя1 I 1иИ|и»1 /А

21. Рис. 3.15. Опознание абитуриентов по штрих-кодам

22. Второй экземпляр наклейки с фамилией можно использовать по-другому. Его можно наклеивать на лист, чтобы формировать списочный состав, явившихся на экзамен.

23. Форма, приведенная на рисунке 3.15, содержит также поле «Оценка», которое используется в тех случаях, когда работы проверяются вручную, необходимо лишь распознать авторов, внести оценки и напечатать ведомость.

24. Система печатает ведомости двух видов, для этого используются отчеты: «Экзаменационная ведомость» и «Ведомостьбаллы».

25. При открытии отчетов программа попросит ввести дату экзамена, экзамен и аудиторию, это же самое предусмотрено формой «Ведомости» (см. рис. 3.16).1. Ведомости форма1. ГШ*!1. Догеэкзамен124 0? .021. Йс торне1. Класс1. Нйклейьпг?9 з1. Ведомость^ баллы

26. Э кэаме нлшон нач ведомости!1. Злгисъ И |1 > I И 11.

27. После просмотра ведомости и наклейки могут быть распечатаны на принтере.

28. Обеспечение безопасности данныхв процессе функционирования системы

29. В этом случае обеспечивается безопасность обработки в целом, поскольку для несанкционированного вмешательства в систему требуется участие всех операторов системы, что практически невозможно.

30. Решение технической проблемы распознавания штрих-кодов и ответов абитуриентов34.1. Постановка задачи

31. Рис. 3.24. Пример блока индексов

32. На предыдущем шаге мы выделяем блок, т. е. область графического изображения, содержащую индекс. Уточним некоторые требования к блоку, которые будет использоваться в процессе распознавания.

33. Внутри блока у каждой из сторон прямоугольника есть хотя бы один черный пиксель.

34. Блок не содержит черных пикселей, соседствующих с черными пикселями, не принадлежащими данной области.

35. Блок нельзя разбить на меньшие непересекающиеся блоки.

36. Область может не являться блоком только тогда, когда не удовлетворено второе требование блока или она пересекается с другой областью. В таком случае объединяем две области в одну, и так до тех пор, пока все области не станут блоками.

37. Стоящая перед нами задача распознавание почтовых индексов — более проста для решения, нежели такие общие задачи, как задача распознавания рукописного текста (37.) или общая задача распознавания образов. Здесь выработано несколько подходов.

38. Рис. 3.25. Сетчатка 9x7 Рис. 3.26. Сетчатка 5x3

39. Рис. 3.27. Два типа считывающих головок

40. Головка движется вдоль знакоместа слева направо. В результате получаем некоторую функцию зависимости интенсивности от положения голоски, заданную определенным шагом (рис 3.28).

41. Рис. 3.28. Функция интенсивности для стилизованной цифры «1»

42. Таким образом, проблему распознавания в данной системе можно считать успешно решенной.w

43. Рис. 3.29. Точки пересечения

44. Подсистема удаленного тестирования35.1. Общее назначение подсистемы

45. Подсистема состоит из тест-сервера и нескольких клиентов, предназначенных для удаленного тестирования по русскому языку и истории, в дальнейшем планируется поддержка и других предметов.

46. Общая схема подсистемы представлена на рисунке 3.17.

47. Рис. 3.17. Общая схема подсистемы35.2. Тест-сервер

48. Тест-сервер предназначен для организации удаленного тестирования с использованием специальных клиентов. Обмен данными между тест-сервером и клиентами осуществляется по протоколу TCP/IP.

49. Рис. 3.18. Главное окно тест-сервера

50. Таким образом, на тест-сервере необходима поддержка базы данных тестируемых лиц и базы данных, содержащей результаты тестирования. Во второй базе данных возможна статистическая обработка результатов тестирования.

51. Тестирование по истории происходит аналогичным образом.- ШИШ" ^ISJ "I•Т Русский я тык

52. Найдите № пропущенной буквы в алфавите и запишите ответ этот № .lp сквсрный, он поёр<т. It ИКЛЛИПК. бсч iik;i

53. Переход к предыдущему заданию1. Вы*од из системы

54. Переход н спадующаму заданию

55. Рис. 3.19. Внешний вид клиента по русскому языку3.5-4. Веб-сайт подсистемы

56. Система контроля остаточных знаний через Интернет

57. На основе системы «Экзамены» в настоящее время в ТГ11У создается система контроля остаточных знаний по всем предметным направлениям.

58. В связи с тем, что конечные цели диагностики знаний абитуриентов и контроля остаточных знаний несколько расходятся, было принято решение о некотором упрощении технологии путем отказа от шифрования работ.

59. Объем банка данных тестовых заданий по каждому предметному направлению 400 или 200 в зависимости от объема курсов, входящих в это направление.

60. Структура банка тестовых заданий представлена на рис. 3.20.

61. Группа (Тип) 1 Группа (Тип) 2 Группа (Тип) 3 Группа (Тип) 4 Группа (Тип) 5

62. Блок 1 Уровень (сложность) 1 Задание 1 Задание 1 Задание 1 Задание 1 Задание 1

63. Задание 2 Задание 2 Задание 2 Задание 2 Задание 2

64. Задание 3 Задание 3 Задание 3 Задание 3 Задание 3

65. Задание 4 Задание 4 Задание 4 Задание 4 Задание 4

66. Блок 1 Уровень (сложность) 2 Задание 1 Задание 1 Задание 1 Задание 1 Задание 1

67. Задание 2 Задание 2 Задание 2 Задание 2 Задание 2

68. Задание 3 Задание 3 Задание 3 Задание 3 Задание 3

69. Задание 4 Задание 4 Задание 4 Задание 4 Задание 41. Блок 2

70. Рис. 3.20. Структура банка тестовых заданий

71. Таким образом, правильный ответ к каждому заданию выполняет роль дистрактора для соседних 7 (3) заданий в ячейке.

72. В настоящее время реализована и апробирована на 58 предметных направлениях система бланочного тестирования, а также на 9 предметах подсистема компьютерного тестирования.

73. Подсистема компьютерного тестирования рассматривается, как неотъемлемый компонент создаваемого в настоящее время образовательного сервера ТГ11У. Внешний вид системы представлен на рис. 3.21, 3.22, 3.23.

74. Q бразд мтльмыи cppmfp ТГПУ Micrnsnfl Intermit txptorirf BUM

75. Eto E* фт Ffiyoloote ЦвЬ trj Z\ , у S«rth Favor Ah Meda ty ■ a1 V ^ Go Ч л 141. ОБРАЗОВАТЕЛЬНЫЙ СЕРВЕР

76. Томского Государств*?много Педагогическою Университета

77. Honor тн || Мныю II Мсшо~|| Мент | МенмГ.| Миши Ц Memo ||1. Тег гировашге

78. Чшхальноя воэмоодаггь тег тир и виши? OttLtm»1. Фору« II Гостевая I1. Блок генерации билетов

79. Кы^ерш* н> ы*т предмет Отклмчш*'ненужный Блик1. Исторг *12345 €739 100000000000j Генерация4JDone

80. Siripts by Gorunov V,A. Biuakov A^N,ф lr*e«r№t

81. Рис. 3.21. Выбор тестового задания.г 'Л Oftpjiowt н.'1ин<<й ceptup ТТПУ Microsoft Internet Explorer ran

82. Не ЕЛ ** M f 4V><« Tools Help 914 ф s- -i о и a1 1. Вопросы по тесту № 2."Окчсишсшшй nt!ip:tn. киф.ичсч. ucsopiEi н кулы.: В^йкмвскы М.Л, 01 вн. 146, 5Л7М.

83. Политика шоковой терапии О Политика разрядки1. У**ф Irternet

84. Рис. 3.22. Ответы на вопросы теста.

85. Э ООракныюлиыы'и.'ерп! Я ТТЛ У Mir.rusglr liiltrnwl ГярЬгег

86. File EJ* Virrt fjvoritei Tools Help

87. QlW ■ Vj г. I у 5««Л fMlB ^Medi