Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена тема диссертации и автореферата по ВАК РФ 13.00.01, кандидат педагогических наук Никитин, Алексей Валерьевич

  • Никитин, Алексей Валерьевич
  • кандидат педагогических науккандидат педагогических наук
  • 2005, Брянск
  • Специальность ВАК РФ13.00.01
  • Количество страниц 211
Никитин, Алексей Валерьевич. Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена: дис. кандидат педагогических наук: 13.00.01 - Общая педагогика, история педагогики и образования. Брянск. 2005. 211 с.

Оглавление диссертации кандидат педагогических наук Никитин, Алексей Валерьевич

ВВЕДЕНИЕ.

ГЛАВА 1. ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЕ ОСНОВЫ ЭКСПЕРИМЕНТАЛЬНО-СТАТИСТИЧЕСКОЙ РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ ДЛЯ ПРОВЕДЕНИЯ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА

1.1. Метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях.

1.2. Обобщенная модель психолого-педагогического теста.

1.3. Модель выявления сходств.

1.4. Модель дихотомической классификации и латентного континуума.

Выводы по первой главе.

ГЛАВА 2. ПРОБЛЕМЫ КОНСТРУИРОВАНИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ С ВАРЬИРУЮЩЕЙСЯ СЛОЖНОСТЬЮ ЗАДАНИЙ ДЛЯ ДИСЦПЛИН ЕСТЕСТВЕННО-МАТЕМАТИЧЕСКОГО И ГУМАНИТАРНОГО ЦИКЛОВ

2.1. Обоснование конструкционных процедур разработки тестовых заданий единого государственного экзамена.

2.2. Верификация разработанных процедур для тестов с варьирующейся сложностью заданий.

2.3. Эмпирико-статистическая теория тестирования.

Выводы по второй главе.

ГЛАВА 3. ПЛАНИРОВАНИЕ И ЭКСПЕРИМЕНТАЛЬНАЯ АПРОБАЦИЯ ДИДАКТИЧЕСКОГО КОНТРОЛЯ КАЧЕСТВА ЗНАНИЙ СТУДЕНТОВ, ЗАЧИСЛЕННЫХ ПО РЕЗУЛЬТАТАМ ЕГЭ, С ИСПОЛЬЗОВАНИЕМ НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

3.1. Особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов.

3.2. Обоснование методов учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых.

3.3. Педагогическое планирование порядка применения контрольных тестов и определение оптимальных периодов программированного контроля знаний обучаемых.

3.4. Оценка качества дидактических тестов по итогам эксперимента по введению единого государственного экзамена.

Выводы по третьей главе.

Рекомендованный список диссертаций по специальности «Общая педагогика, история педагогики и образования», 13.00.01 шифр ВАК

Введение диссертации (часть автореферата) на тему «Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена»

Актуальность исследования. Современный этап строительства и реформирования высшей школы в Российской Федерации предъявляет качественно новые требования к отбору действительно высокоинтеллектуальных, способных и знающих выпускников общеобразовательных школ для обучения в высших учебных заведениях. Методика проверки качества знаний как школьников, так и студентов должна использовать не традиционный субъективный четырехбалльный контроль, а прогностически валидные тестовые задания в форме и по материалам ЕГЭ в системе непрерывной подготовки школа - вуз с использованием педагогических измерений, базирующихся на конструировании и оценке качества дидактических тестов как методов научной организации самоконтроля и педагогического контроля знаний. Необходимость методик оценки качества дидактических тестов и корректирующего контроля знаний в учебном процессе актуализируется возникающими задачами сертификации тестовых технологий как по предметам гуманитарного, так и естественно-математического циклов.

В отечественных и зарубежных психолого-педагогических исследованиях, изложенных в трудах В. С. Аванесова, П. П. Блонского, А. П. Болтунова, В. К. Гайда, В. Н. Дружинина, В. П. Захарова, Б. В. Кулагина, А. Н. Майорова, В. В. Спасенникова, В. Д. Шадрикова, А. Бине, Ф. Гальтона, Дж. Кеттелла, П. Клайна, Д. Кэмпбелла, К. Ингекампа, Т. Симона, JL Терстоуна, Э. Торн-дайка и других показано, что как в дидактических тестах (Educational Test), так и в психодиагностических (Intelligence Test) итоговая оценка знаний (способностей) является решением сложной научной задачи, связанной с выполнением ряда взаимосвязанных и взаимозависимых условий, среди которых выделяют:

1. Анализ и систематизацию основных компонентов знания и подтверждение достаточности заданий для измерения каждого из них (обеспечение валидности по содержанию).

2. Проверка надежности тестовых заданий.

3. Установление стандартов качества (уровня) знания.

4. Оценка качества тестов на основе выявления их прогностической ва-лидности для успешного обучения.

Выполнение перечисленных выше условий связано с целым рядом теоретических и технических проблем, которые определяют несовершенство как психодиагностических, так и дидактических тестов, поэтому конструирование и методика оценки качества тестов контроля знаний выпускников школ в условиях эксперимента по введению единого государственного экзамена (ЕГЭ) является своевременным решением актуальной научной задачи.

Кроме психолого-педагогических причин невысокого качества оценки знаний выпускников школ, которые вытекают из принципиальной сложности измерений в психологии и педагогике, существуют искажения, вносимые социальными установками. Считается, что школьные оценки чаще всего завышены, и причиной тому - пресловутая "показуха" и "процентомания", боязнь отрицательных социальных последствий второгодничества, которые "давят" на учителя и побуждают его завышать оценки; вступительные испытания в вузы связаны с такими сложившимися стереотипами и установками как наличие протекционизма, субъективизма и предвзятости, возможности подкупа экзаменационных комиссий.

В этих условиях не исключены случаи поступления в вузы абитуриентов, которые имеют низкие знания даже с точки зрения самых минимальных требований, неспособных усваивать элементарные материалы по тем или иным дисциплинам, в то время как абитуриенты с высокой мотивацией и профессиональной направленностью и хорошими твердыми знаниями, зачастую выходящими за рамки школьной программы и учебников набирают полупроходные баллы и не поступают в высшие учебные заведения. ЕГЭ призван устранить негативные социальные установки и повысить качество отбора абитуриентов в вузы, однако это может произойти только при наличии качественных дидактических тестов контроля знаний по дисциплинам естественно-математического и гуманитарного циклов, соответствующих таким критериям качества конструирования тестов как прогностическая валидность, надежность, репрезентативность, соответствие установленных тестовых норм критериям отбора с учетом конкретного конкурса в вуз по специальности.

Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит в перспективе решить важнейшую задачу для всех стран СНГ: позволяет нострифицировать (приравнивать) документы об образовании и сертифицировать учебные заведения по различным квалификационным категориям.

Цель исследования - выявить и научно обосновать совокупность взаимосвязанных и взаимозависимых условий оценки прогностической валидности дидактических тестов контроля знаний при проведении эксперимента по введению ЕГЭ.

Объект исследования - оценка качества знаний выпускников общеобразовательных школ с использованием дидактических тестов.

Предмет исследования - содержание, методы и приемы обоснования, верификации и объективизации тестовых заданий для оценки эффективности эксперимента по введению ЕГЭ.

Гипотеза исследования - требованиям прогностической валидности отвечают используемые в ЕГЭ дидактические тесты с варьирующейся сложностью заданий, качество которых можно оценить на основе успехов освоения студентами, зачисленными по результатам ЕГЭ, программы высшей школы.

В соответствии с целью и гипотезой были выделены следующие задачи исследования:

1. Рассмотреть теоретические основы обоснования успешности обучения студентов, зачисленных по результатам ЕГЭ, в соответствии с требованиями образовательных программ по дисциплинам естественно-математического цикла.

2. Осуществить сравнительный анализ различных моделей конструирования тестов, связанных с выявлением сходств, дихотомической классификацией и латентным континуумом.

3. Рассмотреть проблему обоснования и верификации процедуры разработки дидактических тестов с варьирующейся сложностью заданий.

4. Разработать эмпирико-статистические процедуры компьютерного тестирования с использованием новых информационных технологий.

5. Обосновать методы учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых.

6. Выявить порядок применения контрольных тестов и определить рациональные периоды контроля знаний, умений и навыков обучаемых.

7. Оценить эффективность эксперимента по введению ЕГЭ с использованием методики оценки дидактических тестов контроля знаний на основе новых информационных технологий.

Методологическую основу исследования составили:

• на общенаучном уровне: методология системного подхода (В.В. Давыдов, В.П. Кузьмин, Б.Ф. Ломов, Г.В. Суходольский, Э.Г. Юдин, М.Г. Ярошев-ский).

• на философско-психологическом уровне: принципы организации и проведения экспериментального исследования, такие как: принцип активности, принцип взаимодействия, принцип детерминизма, принцип единства внешнего и внутреннего, принцип развития, принцип субъектности, принцип единства теории и практики в структуре научного объяснения (Б.Г. Ананьев, A.B. Брушлинский, Б.С. Гершунский, В.Н. Дружинин, В.П. Зинченко, C.JI. Рубинштейн, В.Д. Симоненко, В.А. Сластенин, В.И. Слободчиков, В.Д. Шад-риков).

• на теоретико-методическом уровне: теория проектирования тестов достижений (С.М. Василейский, С.Г. Геллерштейн, Г.С. Ковалева, И.Я. Jlep-нер, М.Н. Скаткин, Н. Гронлунд, Р. ван Крикен, А. Отис, Л. Термен, Л. Тер-стоун); теория соответствия тестов стандартам качества: валидности, репрезентативности, надежности (B.C. Аванесов, Л.Ф. Бурлачук, В.К. Гайда, В.Н. Дружинин, В.П. Захаров, Б.Ф. Кулагин, А. Бине, Ф. Гальтон, Т. Симон, Э. Торндайк).

Методы исследования:

• теоретические (изучение и анализ философской, педагогической и психологической литературы);

• экспериментальные (изучение и обобщение опыта конструирования дидактических тестов, анкетирование, наблюдение, тестирование, факторный анализ, констатирующий и формирующий эксперимент);

• методы обработки эмпирических материалов; квалиметрия, методы математической статистики, методы теории нечетных оценок.

Базами исследования явились Обнинский государственный технический университет атомной энергетики и Калужский государственный педагогический университет им. К. Э. Циолковского. Общий объем выборки составил 479 студентов ОИАТЭ и КГПУ им. К. Э. Циолковского, которые составили 2 массива.

Массив 1-322 человека - студенты КГПУ им. К. Э. Циолковского. Массив II - 157 студентов ОИАТЭ, из них 60 — физико-энергетического факультета, 50 - социально-экономического и 47 - факультета естественных наук.

Этапы исследования:

1-й этап (1999-2001 гг.) - поисково-теоретический: изучение философской и психолого-педагогической литературы по теме исследования, уточнение основной проблематики, разработка цели, гипотезы, задачи и программы исследования, поиск базы для проведения исследования;

2-й этап (2001-2003 гг.) - опытно экспериментальный: разработка методики оценки прогностической валидности тестовых заданий ЕГЭ, ее экспериментальной проверки; уточнение разработанной методики оценки прогностической валидности тестовых заданий ЕГЭ;

3-й этап (2003-2004 гг.) обобщающий: анализ и систематизация результатов исследования, оценка достоверности полученных результатов, уточнение теоретических и экспериментальных данных, формулировка выводов и рекомендаций, подготовка текста диссертации.

Научная новизна исследования:

- теоретически обоснована и экспериментально подтверждена методика оценки прогностической валидности дидактических тестов ЕГЭ по естественно-математическим дисциплинам.

- выявлены метрологические особенности дидактических тестов контроля знаний, основанные на построении обобщенной модели психолого-педагогического теста, включающего дихотомические классификации, выявление сходств и латентный континуум;

- научно обоснованы процедуры разработки и верификации тестовых заданий в процессе конструирования дидактических тестов с варьирующейся сложностью заданий для дисциплин естественно-математического цикла;

- экспериментально подтверждено, что прогностическая валидность тестов по естественно-математическим дисциплинам определяется корреляцией результатов приема по ЕГЭ с успешностью обучения студентов в первых двух сессиях; при этом оценка эффективности эксперимента по введению ЕГЭ осуществлена на основе новых информационных технологий.

Теоретическая значимость исследования заключается в научном обосновании критериев оценки прогностической валидности дидактических тестов, основанных на взаимосвязи успешности выполнения тестовых заданий по ЕГЭ, и академической успеваемости студентов по дисциплинам естественно-математического цикла.

Практическая значимость исследования состоит в том, что:

-разработано учебное пособие для студентов и аспирантов, которое используется студентами, аспирантами и преподавателями в таких курсах как "Проектирование тестов достижений", "Психодиагностика" и "Экспериментальная психология";

-обоснована структура, математическое обеспечение, пакеты прикладных программ для программированного контроля знаний в высшей школе по дисциплинам естественно-математического цикла для организации и проведения текущего, рубежного и итогового контроля знаний студентов;

- разработаны практические рекомендации по формированию готовности к организации и проведению ЕГЭ, которые могут быть использованы в практике среднего, высшего и дополнительного образования при подготовке преподавателей и экзаменационных комиссий.

Апробация и внедрение результатов исследования.

Основные положения диссертации обсуждались и получили положительную оценку на заседаниях кафедр общей и профессиональной педагогики; общей и профессиональной психологии; психологии труда и консультативной психологии Брянского государственного университета имени академика И.Г. Петровского, на международных, межрегиональных и межвузовских научно-практических конференциях. По результатам обмена опытом организации и проведения ЕГЭ изданы труды международной Интернет-конференции по вопросам нострифика-ции образовательных документов и сертификации тестовых технологий (Брянск, 2004).

Результаты исследования включены в учебно-методический комплекс по курсу "Экономическая психология" и учебное пособие для студентов и аспирантов "Конструирование дидактических тестов для контроля знаний".

Эмпирические данные диссертации включены в статистические сборники по результатам проведения Единого Государственного Экзамена в Калужской области в 2003 и в 2004 гг.

Положения, выносимые на защиту:

1. Существует два способа оценивания знаний школьников, абитуриентов и студентов: первый - традиционный, ориентированный на локальную соотносительную норму; второй - оценивание по результатам единого государственного экзамена, проводимого независимыми службами контроля за качеством образования с ориентацией на стандарты широкого уровня, при этом стандарты фиксируют различия в знаниях как критериального, так и нормативного типов. Эквивалентность и равнозначность данных способов дидактического контроля знаний позволяют нострифицировать документы о среднем образовании и сертифицировать квалификационные категории учебных заведений.

2. Традиционный способ оценивания знаний и ЕГЭ позволяют осуществлять сравнительный анализ местных стандартов образования с региональными, государственными и международными стандартами. Определение и расчет показателей качества дидактических тестов базируются на дифференциально-психометрических принципах валидности, надежности и репрезентативности, для чего отдельно создаются региональные государственные и международные нормы, связанные с критерием конкурсного отбора по дисциплинам естественно-математического цикла.

3. Методика расчета прогностической валидности тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла связана с академической успеваемостью студентов, т.е. с промежуточным рубежным и итоговым дидактическим контролем знаний на основе рациональной структуры проверок по дисциплинам естественно-математического цикла.

Структура диссертационной работы определяется логикой развития теоретико-экспериментального изучения проблемы конструирования и методики оценки качества дидактических тестов в процессе психодиагностического тестирования и проведения единого государственного экзамена в системе непрерывного образования. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений.

Похожие диссертационные работы по специальности «Общая педагогика, история педагогики и образования», 13.00.01 шифр ВАК

Заключение диссертации по теме «Общая педагогика, история педагогики и образования», Никитин, Алексей Валерьевич

Основные выводы диссертационного исследования заключаются в следующем:

1. Принципы конструирования и методики оценки качества дидактических и психодиагностических тестов для определения уровня усвоения знаний и уровня интеллектуального развития испытуемых определяют не только качество отбора абитуриентов в те или иные вузы, их будущую, текущую академическую успеваемость, но и в конечном итоге качество образования в целом, а следовательно, востребованность специалистов на рынке труда. Разработка и внедрение как новых дидактических тестов знаний, связанных с единым государственным экзаменом (ЕГЭ), так и психодиагностических тестов и их компьютерных версий требуют понимания того, что любые оценки — это сравнение с каким-либо эталоном, критерием или нормой.

2. Отбор в вузы на основе ЕГЭ, профориентационное и интеллектуальное тестирование абитуриентов тесно связаны с последующей академической успеваемостью студентов. Данное направление работы должно занимать значительную часть времени преподавателей, кураторов, работников деканатов и учебных отделов, поскольку академическая успеваемость была и остается одним из главных критериев успешности процесса вузовской подготовки специалистов.

3. Динамика средних значений успеваемости и тестовых показателей свидетельствуют об эффективности изменения учебных программ, методики или стиля преподавания. Адекватная интерпретация этих изменений возможна только с психолого-педагогических позиций.

4. Теоретический анализ возможных направлений автоматизации тестового контроля знаний как абитуриентов, так и студентов, в процессе создания компьютерных версий обучающе-контролирующих систем, позволил сделать целый ряд научно-практических выводов, основными из которых являются следующие:

- контроль качества знаний обучаемых является самостоятельной учебно-диагностической процедурой. Эффективность применения контролирующих процедур зависит от качества организации контроля, который должен осуществляться с наименьшими затратами стоимостных и временных ресурсов.

Организация контроля достигнутого уровня знаний обучаемых определяется составом конкретных заданий, порядком их предъявления в контролирующих процедурах и выбором периодов контроля обучаемых в процессе изучения учебного материала.

- правильный выбор основных параметров организации контроля знаний обучаемых позволяет решать учебно-диагностические задачи с наименьшими затратами.

- выбор состава средств диагностики знаний обучающегося осуществляется на основе анализа структуры изучаемого материала с учетом отпускаемых на контроль материальных и временных ресурсов.

5. Диагностические тесты должны быть построены так, чтобы имелась возможность проверки усвоения не отдельных, второстепенных элементов курса, а основных, базовых понятий той или иной темы, раздела, особенно это касается конструирования тестовых заданий по дисциплинам гуманитарных циклов, где цели составленных дидактических контрольных заданий иногда противоречат целям обучения. Одна из главных проблем создания гуманитарных дидактических тестов - отсутствие общепризнанных научной общественностью базовых учебников.

6. Прогностическая валидность тестовых заданий ЕГЭ по циклам общих гуманитарных и социально-экономических дисциплин; естественно-математических; общепрофессиональных; специальных дисциплин и дисциплин специализации определяется при наличии психологической службы высших учебных заведений, включающей работников учебного отдела, деканатов и заинтересованный профессорско-преподавательский состав.

7. Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит в перспективе решить важнейшую проблему для всех стран СНГ: даст возможность нострифицировать (приравнивать) документы об образовании и сертифицировать образовательные учреждения в системе непрерывного профессионального образования.

Одним из перспективных направлений дальнейших исследований, связанных с анализом конкурентоспособности будущих специалистов высшей квалификации на рынке труда является создание экспертных систем диагностики знаний, умений и навыков специалистов, позволяющих строить прогнозные модели профессиональной успешности освоения различных специализаций студентами в соответствии со степенью развития у них тех или иных профессионально важных качеств. Это потребует координации усилий всех кафедр и деканатов в рамках реально функционирующей психологической службы вузов.

ЗАКЛЮЧЕНИЕ

Проведенное исследование подтвердило гипотезу о том, что требованиям прогностической валидности отвечают дидактические тесты с варьирующейся сложностью заданий, качество которых можно оценить на основе тестовых проверок знаний обучаемых и специальных способностей в процессе освоения абитуриентами программы высшей школы.

В исследовании показано, что прогностическая валидность тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла определяется академической успеваемостью студентов и уровнем их интеллектуального развития в процессе освоения блоков профессиональных дисциплин и предметов специализации.

Список литературы диссертационного исследования кандидат педагогических наук Никитин, Алексей Валерьевич, 2005 год

1. Аванесов В. С. Проблемы психологических тестов. // Вопросы психологии, 1978.-№5.-с. 97-107.

2. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. М.: ГАУ им. С. Орджоникидзе, 1987. - 244 с.

3. Аванесов В. С. Композиция тестовых заданий. М.: PER SE, 2002. - 160 с.

4. Акимова М. К., Козлова В. Т. Анализ результатов диагностических методик, ориентированных на норматив // Вопросы психологии, 1985, №5, с. 145-151.

5. Аминов Н. А., Кудашев А. Р., Структура динамических показателей интеллектуальной деятельности студентов // Вопросы психологии, 1990, №6, с. 140-145

6. Ананьев Б. Г. О проблемах современного человекознания. М.: Наука, 1977.-282 с.

7. Анастази А. Психологическое тестирование: Пер. с англ. В 2 кн. / Под ред. К. М. Гуревича, В. И. Лубовского. М.: Педагогика, 1982.

8. Атутов П. Р. Технология и современное образование // Педагогика, 1996. №2. с.11-14.

9. Багрецов С. А. Дидактический контроль знаний в высшей школе с использованием автоматизированных обучающих систем. Минск: Изд-во МВИЗРУ, 1985.-440 с.

10. Балл Г. А. Нормы деятельности и творческая активность личности // Вопросы психологии, 1990, №6, с. 25-34.

11. Батыршев А. В. Тестирование: основной инструментарий практического психолога. М.: Дело, 1999, - 240 с.

12. Безрукова В. С. Педагогика. Екатеринбург: Изд-во Свердл. инж.-пед. ин-та, 1993.-с. 89-212.

13. Беспалько В. П. Слагаемые педагогической технологии. М.: Педагогика, 1989. - 120 с.

14. Беспалько В. П., Татур Ю. Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. М.: Высшая школа, 1989. - с. 78-112.16

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.