Возможности использования МООК по инженерным дисциплинам в университетском образовании тема диссертации и автореферата по ВАК РФ 13.00.01, кандидат наук Семенова Татьяна Вадимовна

  • Семенова Татьяна Вадимовна
  • кандидат науккандидат наук
  • 2022, ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»
  • Специальность ВАК РФ13.00.01
  • Количество страниц 125
Семенова Татьяна Вадимовна. Возможности использования МООК по инженерным дисциплинам в университетском образовании: дис. кандидат наук: 13.00.01 - Общая педагогика, история педагогики и образования. ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики». 2022. 125 с.

Оглавление диссертации кандидат наук Семенова Татьяна Вадимовна

ВВЕДЕНИЕ

Актуальность исследования

Разработанность темы и научная новизна диссертационного исследования

Цель и задачи исследования

ТЕОРЕТИЧЕСКИЕ ОСНОВАНИЯ ИССЛЕДОВАНИЯ

МЕТОДОЛОГИЯ ИССЛЕДОВАНИЯ: МЕТОДЫ И ЭМПИРИЧЕСКАЯ БАЗА

Ограничения исследования

КЛЮЧЕВЫЕ РЕЗУЛЬТАТЫ

1. Форматы использования МООК в учебном процессе вузов РФ

2. Эффект форматов использования МООК на результаты освоения инженерных дисциплин

3. Связь форматов использования МООК с уровнем удовлетворенности инженерными дисциплинами среди студентов

4. Реализация потребностей в автономии и связанности с другими в онлайн-формате, реализованном с помощью МООК

5. Стратегии обучения в онлайн-формате, реализованном с помощью МООК

6. Роль типов учебной мотивации студентов в успешном прохождении МООК . 34 Положения, выносимые на защиту

НАУЧНАЯ ЗНАЧИМОСТЬ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

ВЫВОДЫ ДЛЯ ОБРАЗОВАТЕЛЬНОЙ ПОЛИТИКИ

НАПРАВЛЕНИЯ ДЛЯ ДАЛЬНЕЙШИХ ИССЛЕДОВАНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ А2 Статья «Типы интеграции массовых открытых онлайн-курсов в учебный процесс университетов»

ПРИЛОЖЕНИЕ А3 Статья «Online education platforms scale college STEM instruction with equivalent learning outcomes at lower cost»

ПРИЛОЖЕНИЕ А4 Статья «Когда сидишь просто перед компьютером, он от тебя ничего не требует»: трудности и стратегии студентов STEM направлений при прохождении МООК в онлайн и смешанном форматах»

ПРИЛОЖЕНИЕ А5 Статья «The role of learners' motivation in MOOC completion»

ВВЕДЕНИЕ

Рекомендованный список диссертаций по специальности «Общая педагогика, история педагогики и образования», 13.00.01 шифр ВАК

Введение диссертации (часть автореферата) на тему «Возможности использования МООК по инженерным дисциплинам в университетском образовании»

Актуальность исследования

Одно из многообещающих направлений развития образования -использование массовых открытых онлайн-курсов (МООК). МООК отличается от других форматов онлайн-обучения тем, что он реализуется на международных или национальных онлайн-платформах и на него может записаться любой пользователь сети Интернет независимо от уровня образования, подготовки, пола, возраста, а также социального статуса1 (Baturay, 2015; Saadatdoost et al., 2015). Несмотря на то, что массовые онлайн-курсы ориентированы на предоставление широкого доступа разным группам населения к образовательным ресурсам, данный формат все чаще используется в рамках образовательного процесса в вузах (Literat, 2015). Внедрение МООК в учебный процесс позволяет расширить каталог дисциплин, индивидуализировать образовательные траектории учащихся, повысить доступность высококачественных курсов, преподаваемых в топовых университетах, распространить инновационные педагогические практики, а также оптимизировать нагрузку научно-педагогических сотрудников университета, высвобождая их время на научную работу (Sandeen, 2013; Hollands, 2014; Belenko et al., 2019). Кроме того, данный формат курсов способствует масштабированию учебных программ, уменьшая стоимость их реализации за счет использования ресурсов нескольких организаций для разработки и запуска учебных дисциплин (Graham, Woodfield & Harrison, 2013; Bruff et al., 2013; Griffiths et al., 2015; Littenberg-Tobias & Reich, 2020).

Поэтому последние 5-7 лет как зарубежные, так и российские университеты внедряют массовые открытые онлайн-курсы в свой учебный процесс, активно экспериментируя с разными моделями их интеграции: от использования в качестве дополнительного материала до полной замены очных курсов (Sandeen, 2013; Isael, 2015; Bogdan, Bicen & Holotescu, 2017;

1 В рамках данного исследования рассматривается хМООК, представляющий собой формат онлайн-обучения, в основу которого заложено взаимодействие с контентом курса (Сопо1е, 2014).

Bralic & Divjak, 2018). При этом возникает не только практика встраивания «чужих» МООК, созданных сторонними организациями, равнозначных по своему статусу с вузом-потребителем, но и использование МООК, созданных селективными университетами, в неселективных вузах (Sandeen, 2013).

В системе российского образования такая практика начала закрепляться на институциональном уровне с появления национальной платформы «Открытое образование» (НПОО) в 2015 году. К основной задаче НПОО относилось предоставление неселективным вузам РФ возможности интеграции хМООК селективных вузов в свой учебный процесс2. Наибольшего масштаба использование этой практики достигло во время пандемии COVID-19, когда традиционный формат обучения стал практически невозможным. Так, в весеннем семестре 2019-2020 учебного года на более 3500 российских образовательных программах хотя бы один курс был частично или полностью проведен с помощью открытых онлайн-курсов (Клягин и др., 2020).

Однако до сих пор нет понимания, насколько МООК может стать равнозначной заменой традиционных очных курсов в университете. Результаты предыдущих эмпирических исследований показывают, что МООК обладает рядом недостатков, которые могут этому препятствовать (Toven-Lindsey, Rhoads & Lozano, 2015; Reich & Ruipérez-Valiente, 2019). Во-первых, МООК имеет чрезвычайно высокий уровень отсева, достигающий на некоторых курсах 95% (Jordan, 2014; Pursel et al., 2016; Reich & Ruipérez-Valiente, 2019; Dai et al., 2020). Даже среди тех, кто ставил перед собой цель получения сертификата, процент выбытия с МООК высок и достигает 65-80% (Rieber, 2017; Rohloff & Meinel, 2018). Во-вторых, существующие на данный момент МООК имеют существенные ограничения. На практике многие МООК создаются путем простого переноса очного курса в онлайн-среду, в то время как традиционные форматы и педагогические практики менее эффективны в онлайн формате по сравнению с очным (Toven-Lindsey, Rhoads & Lozano,

2 https://npoed.ru/about

2015). Как правило, они недостаточно поддерживают учащихся на пути освоения курса, не предоставляют своевременную обратную связь и возможность взаимодействия с преподавателями курса (Grünewald et al., 2013; Nawrot & Doucet, 2014; Meneses et al., 2020). Поэтому в такой образовательной среде особенно важным становится наличие учебной мотивации у студентов, которая будет стимулировать их активность в рамках курса (Fryer, Bovee & Nakao, 2014; Fryer & Bovee, 2016; Vanslambrouck et al., 2018). Однако непонятно, какие типы учебной мотивации буду играть значимую роль для прохождения курсов в формате МООК.

Особенно актуальным становится изучение возможностей использования МООК в рамках программ по подготовке инженерных кадров в силу наличия высокого спроса на специалистов в этой области. Спрос на инженеров обусловлен тем, что количество и качество их подготовки выступает одним из ключевых факторов инновационного развития и глобальной конкурентоспособности страны (Carnoy et al., 2013; Xie, Fang & Shauman, 2015; Hanushek & Woessmann, 2015). В России это подтверждается контрольными цифрами приема в университеты РФ (Малошонок & Щеглова, 2020). В 2018/2019 учебном году до половины бюджетных мест бакалавриата и специалитета (47%) было выделено на инженерные группы направления подготовки (Малошонок & Щеглова, 2020); в 2021 году каждый третий абитуриент (32%) поступал на программы бакалавриата по подготовке инженеров, и более половины студентов инженеров (65%) были приняты на места с бюджетным финансированием3. При этом работодатели не всегда высоко оценивают качество подготовки инженерных кадров (Фрумин & Добрякова, 2012), что может быть связано в том числе селективностью вуза (Прахов, 2015) и возрастной структурой его профессорско-преподавательского состава (по данным на 2021 год каждый пятый

3 Расчеты выполнены автором на основе данных, представленных на сайте Министерства науки и высшего образования РФ (https://minobrnauki.gov.ru/action/stat/highed/)

преподаватель университета РФ старше 65 лет4). В этой ситуации использование МООК селективных вузов в учебном процессе может способствовать масштабированию учебных программ по подготовке специалистов в области инженерного дела за счет снижения их стоимости без потери в качестве подготовки и решения вопроса с наймом и удержанием квалифицированных преподавателей инженерных дисциплин, что особенно актуально для неселективных вузов, испытывающих дефицит финансирования (Кокшаров et al., 2021).

Учитывая широкую практику использования МООК в образовательном процессе в университетах во всем мире в целом и в связи с угрозой распространения COVID-19, а также важности масштабирования учебных программ по подготовке специалистов инженеров и снижения их стоимости, что возможно с помощью встраивания МООК в учебные планы, получение ответов на следующие вопросы имеет высокую актуальность: 1) не приведет ли распространение практики использования МООК по инженерным дисциплинам в вузах к снижению уровня подготовки студентов из-за выявленных проблем с онлайн-курсами? 2) Насколько применима модель использования МООК по инженерным дисциплинам селективных университетов в неселективных вузах, учитывая наличие институциональных условий, созданных для ее развития в РФ? 3) Какие типы учебной мотивации способствуют успеху студентов при обучении на МООК?

Данное диссертационное исследование частично отвечает на вышеперечисленные практические вопросы, позволяя оценить возможности использования МООК по инженерным дисциплинам в университетском образовании. Вслед за традицией, принятой исследователями для оценки эффекта от внедрения новых технологий, включая онлайн-курсы (Shachar & Neumann, 2003), в данной диссертации используются два показателя: объективный показатель, отражающий результаты освоения учебного курса, и

4 Расчеты выполнены автором на основе данных, представленных на сайте Министерства науки и высшего образования РФ (https://minobrnauki.gov.ru/action/stat/highed/)

субъективный показатель, отражающий уровень удовлетворенности учебным курсом. Результаты освоения учебного курса показывают уровень знаний, полученных по итогам прохождения дисциплины, а уровень удовлетворенности учебным курсом - аффективную оценку дисциплины со стороны студентов.

В данной диссертации для определения возможности использования МООК по инженерным дисциплинам в вузах используются результаты исследования со смешанным дизайном, включая результаты полевого эксперимента, проведенного со студентами трех неселективных вузов РФ.

Разработанность темы и научная новизна диссертационного исследования

Начиная с 1928 года, исследователи пытаются оценить, насколько дистанционное обучение эффективно по сравнению с традиционным и какие сочетания онлайн и офлайн учебных компонент дают наиболее качественный результат (Shachar & Neumann, 2003), используя для этого два показателя: результаты освоения дисциплин и уровень удовлетворенности обучением. Однако результаты таких исследований противоречивы. Б.В. Браун, С.Р. Хильц, В.Т. Альперт, Д. Фиглио, Э. Беттингер и другие в своих работах фиксировали отрицательный эффект дистанционного формата на результаты освоения учебных курсов из-за низкого уровня активности, которую проявляли студенты дистанционных курсов (Hiltz et al., 2000; Brown & Liedholm, 2002; Figlio, Rush & Yin, 2013; Xu & Jaggars, 2014; Alpert, Couch & Harmon, 2016; Bettinger & Loeb, 2017). Другие исследователи, среди которых П. Наварро, А.П. Роваи, В.Г. Боуэн, Дж. Коллинз и Э.Т. Паскарелла, отмечали нейтральный или положительный эффект дистанционного и смешанного форматов за счет проявления высокого уровня вовлеченности и групповой сплоченности среди студентов (Navarro & Shoemaker, 2000; Collins & Pascarella, 2003; Shachar & Neumann, 2003; Burns & Ungerleider, 2003; Rovai & Jordan, 2004; Means et al., 2009; Feeley & Parris 2012; Bowen et al., 2014).

Полученные противоречивые результаты являются зачастую следствием использования разной методологии при проведении исследований (например, обращения к квази-экспериментальному подходу, что приводило к появлению эффекта самоотбора), разных выборок и разных конфигураций дистанционных и смешанных курсов.

Помимо отсутствия определенности в ответе на вопрос о направленности влияния использования дистанционного обучения на результаты освоения учебных курсов и уровень удовлетворенности у данных исследований есть еще одно ограничение - контекстное. Эффект от дистанционного формата проверялся на курсах, разработанных преподавателями университетов для своих студентов. В свою очередь использование МООК для реализации дистанционного обучения предполагает обращение не только к курсам, разработанным в рамках своей организации, но и к «чужим» курсам, подготовленным преподавателями сторонних вузов. Поэтому некорректно опираться на полученные результаты эффективности дистанционного формата обучения при оценке возможности использования МООК селективных университетов в неселективных вузах.

В немногочисленных исследованиях, в которых оценивалась эффективность использования именно открытых онлайн-курсов в учебном процессе, прежде всего, сравнивались разные вариации смешанного формата (отличающиеся процентом интеграции МООК) или оценивался смешанный формат по сравнению с традиционным или с онлайн (Bruff et al., 2013; Caulfield, Collier & Halawa, 2013; Firmin et al., 2014; Holotescu et al., 2014; Griffiths et al., 2015; Israel, 2015; Tomkins & Getoor, 2019). Эффективность смешанного формата с использованием МООК была не ниже традиционного (Najafi, Evans & Federico, 2014; Griffiths et al., 2015), а в ряде работ результаты освоения курса среди студентов смешанного формата были значительно выше результатов очной группы, включая показатель более низкого уровня отсева с курса (Ghadiri et. al., 2013; Lee & Pak, 2018; Wang & Zhu, 2019; Tomkins & Getoor, 2019; Sidek et al., 2020; Lisitsyna et al., 2020). Однако у данных

исследований есть ограничения методологического характера из-за использования или описательного, или квази-экспериментального дизайна, что не позволяет определить характер влияния МООК на результаты освоения курса и уровень удовлетворенности обучением.

К контекстным и методологическим ограничениям результатов предыдущих работ, в которых оценивается эффективность дистанционного формата обучения, добавляется еще одно - непроработанность моделей объяснения механизма влияния форматов обучения на результаты освоения дисциплин и уровень удовлетворенности обучением. Исследователи крайне редко обращаются к теоретическим моделям, которые позволяют прояснить характер причинно-следственных связей формата обучения с результатами освоения курсов и уровнем удовлетворенности студентов. Основной подход, используемый исследователями, связан с поиском проблем, с которыми сталкиваются учащиеся в дистанционном формате в силу того, что они в меньшей степени удовлетворены своим обучением (Allen et al., 2002; Griffiths et al., 2015; Li et al., 2015; Robinson, 2016; Wang & Zhu, 2019). К основным трудностям относят: необходимость большего самоконтроля за учебным процессом и осуществления самостоятельного поиска ответов на вопросы из-за отсутствия преподавателя, а также отсутствие эффекта сообучения в онлайн-среде (Tuckman, 2005; Jaggars, 2014; O'Neill & Sai, 2014; Zheng et al., 2015; Broadbent & Poon, 2015).

Исследования по оценке эффективности дистанционного формата были проведены преимущественно на выборке студентов зарубежных университетов, и нет работ, в которых бы оценивалась возможность использования МООК по инженерным дисциплинам в вузах РФ. Большинство российских авторов прежде всего сконцентрированы на описании достоинств и рисков, связанных с внедрением МООК в учебный процесс (Тимкин, 2017; Краснощеков, 2018; Ибатова & Ильин, 2019; Шапошников & Шапошникова, 2019; Якушенко, 2019; Буханцова, 2020; Хорошилова, 2020; Доскач, 2021; Еремицкая & Ахунжанова, 2021; Патрунина, 2021), а также на представлении

своего опыта использования таких курсов или кейса с процедурой встраивания МООК в конкретном вузе (Полянкина, 2014; Бабанская, 2015; Малюга, 2016; Ваганова & Телегина, 2017; Борщева, 2017; Бабаева, 2019; Старостина, 2019; Татарская & Ганюшкина, 2020).

Данное исследование позволяет частично преодолеть все указанные контекстные, методологические и теоретические ограничения предыдущих работ и делает теоретико-методологический и эмпирический вклад в понимание механизма влияния онлайн и смешанного формата курса на результаты его освоения и уровень удовлетворенности по сравнению с традиционным очным курсом для студентов инженерных групп направлений подготовки. Преодоление контекстных ограничений осуществляется через изучение практик российских вузов по встраиванию МООК в учебный процесс и учет их в планировании экспериментального исследования. Исследование позволяет показать, как вузы встраивают в учебный процесс "чужие" МООК, и изучает возможности использования МООК по инженерным дисциплинам в университетском образовании, учитывая эту контекстную специфику. Теоретическое преимущество данной работы заключается в проработке теоретической модели, объясняющей механизмы влияния формата курса на результаты освоения учебных курсов и удовлетворенность студентов. Методологические ограничения предыдущих работ преодолеваются в данной диссертации за счет проведения полевого эксперимента с рандомизированным приписыванием студентов к формату учебного курса. Тем самым научная новизна данного исследования заключается в восполнении пробелов в научном знании о возможностях использования МООК по инженерным дисциплинам для студентов инженерных групп направлений подготовки через частичное преодоление теоретических, методологических и контекстных ограничений.

Цель и задачи исследования

Цель данного исследования заключается в изучении возможности использования МООК по инженерным дисциплинам для обучения студентов российских университетов.

Для достижения цели исследования были поставлены следующие задачи:

1. Классификация форматов использования МООК в учебном процессе вузов РФ.

Решение первой задачи позволит выявить сложившиеся типы интеграции МООК в образовательные программы российских вузов для последующей оценки их влияния на результаты освоения дисциплин и уровень удовлетворенности обучением.

2. Определение теоретической модели, объясняющей механизм влияния форматов обучения на результаты освоения дисциплин и уровень удовлетворенности обучением.

Решение второй задачи позволит описать форматы обучения и показать их связь с двумя показателями: результатами освоения дисциплин и уровнем удовлетворенности обучением.

3. Оценка влияния форматов использования МООК по инженерным дисциплинам на результаты освоения дисциплин студентами инженерных групп направлений подготовки.

Третья задача направлена на определение эффекта форматов использования МООК, выделенных в первой задаче, на результаты освоения учебных курсов, отражающие уровень знаний студентов, полученных по итогам прохождения дисциплины. Решение данной задачи позволит узнать, приведет ли интеграция МООК в учебный процесс к снижению результатов освоения инженерных дисциплин среди студентов.

4. Оценка взаимосвязи между форматами использования МООК по инженерным дисциплинам и уровнем удовлетворенности обучением среди студентов инженерных групп направлений подготовки. Четвертая задача направлена на выявление связи форматов использования МООК, выделенных в первой задаче, с уровнем удовлетворенности обучением. Решение данной задачи позволит узнать, насколько студенты удовлетворены форматами использования МООК по инженерным дисциплинам в учебном процессе.

5. Уточнение теоретической модели, описывающей механизм влияния форматов обучения на результаты освоения дисциплин и уровень удовлетворенности обучением через удовлетворение потребностей студентов.

Пятая задача направлена на уточнение теоретической модели, разработанной в рамках второй задачи. Ее решение позволит объяснить результаты, полученные при выполнении третьей и четвертой задач по оценке эффекта МООК на результаты освоения учебных курсов и уровень удовлетворенности студентов.

6. Оценка взаимосвязи между учебной мотивацией студентов и результатами прохождения МООК.

Шестая задача направлена на определение роли мотивации при прохождении МООК, которая заложена в качестве одного из показателей в теоретическую модель, предложенную в рамках второй задачи. Ее решение позволит выявить типы учебной мотивации, значимо увеличивающие шансы на успешное прохождение МООК при контролировании уровня вовлеченности студентов.

ТЕОРЕТИЧЕСКИЕ ОСНОВАНИЯ ИССЛЕДОВАНИЯ

В рамках данного исследования для объяснения механизма влияния форматов обучения на результаты освоения дисциплин и уровень удовлетворенности обучением используются положения двух теорий, в

которых признается взаимосвязь субъекта и структуры: иерархической теории самодетерминации Р.Дж. Валлеранда (Vallerand, 1997), являющейся дополнением одноименной модели Е.Л. Деси и Р.М. Райана (Deci & Ryan, 2004), и теории структурации Э. Гидденса (Гидденс, 2005).

В иерархической теории самодетерминации к типологии мотивации, выделенной Деси и Райаном в соответствии со степенью автономии при совершении действий, добавляются несколько важных компонент: (1) уровни функционирования мотивации (глобальный, контекстуальный и ситуативный), (2) социальные факторы, представляющие собой условия, в которых происходит действие, (3) медиаторы через которые социальные факторы оказывают воздействие на мотивацию (данными медиаторами выступают потребности в компетентности, автономии и связанности с другими) и (4) последствия действий, к которым Валлеранд отнес когнитивные, аффективные и поведенческие.

Формат обучения в данной рамке относится к условиям, в которых происходит освоение дисциплины. Он оказывает влияние на мотивацию учащихся и последствия их действий через удовлетворение потребностей. В данной рамке Валлеранд указывает на важность принятия во внимание условий, контекста, в котором происходит действие, однако не проводит его концептуализацию. Поэтому для того, чтобы раскрыть используемое в диссертационном исследовании понятие, воспользуемся несколькими постулатами теории структурации Гидденса.

Согласно теории структурации, актор в своей социальной практике воспроизводит структуру, которая с одной стороны, накладывает на нее определенные ограничения, а с другой - позволяет вносить изменения. Структура представляет собой набор правил и ресурсов, посредством которых поддерживается в определенной мере единство социальных практик во времени и пространстве, что Гидденс называет социальной системой. Социальная система обладает структуральными свойствами, которые

позволяют легитимировать социальную практику (через нормы), осуществлять господство (через ресурсы) и придавать значение (через знаки).

В рамках диссертационного исследования формат обучения рассматривается как социальная система, в которой воспроизводятся социальные практики в соответствии с определенными правилами и ресурсами. У каждого формата обучения есть свой набор правил и ресурсов. Правила легитимируют определенные социальные практики и ограничивают другие, а ресурсы обеспечивают господство конкретным агентам. Однако у агентов (т.е. основных стейкхолдеров университета, в частности студентов) есть возможность вносить изменения в набор правил и ресурсов, тем самым меняя социальную практику.

В традиционном (очном) формате нормы устанавливаются преподавателем курса, и студент обязан им следовать. Нормы могут быть как формализованными (прописанными в учебной программе курса), так и неформализованными. Кроме того, они могут быть слабо или жестко санкционированными (например, преподаватель может переносить сроки сдачи работ по курсу). В рамках традиционного формата у студента есть право получения знаний, навыков и обратной связи от преподавателя во время лекционных, семинарских/лабораторных занятий, а также в его консультационные часы. Также у студента есть возможность на сообучение во время учебных пар. Авторитативные ресурсы (т.е. возможность управлять поведением студентов) находятся в большей степени у преподавателя курса.

В смешанном формате нормы устанавливаются как преподавателем дисциплины, так и онлайн-курсом; и студент обязан им следовать. Нормы могут быть как формализованными (прописанными в учебной программе дисциплины), так и неформализованными. Также нормы могут быть слабо или жестко санкционированными в рамках очного курса и жестко санкционированными в рамках онлайн-курса. У студента смешанного формата обучения есть право получения знаний, навыков и обратной связи от преподавателя во время семинарских/лабораторных занятий, а также в его

консультационные часы. Также у студента есть возможность на сообучение во время учебных пар. Авторитативные ресурсы продолжают находиться в большей степени у преподавателя курса.

В онлайн-формате нормы устанавливаются онлайн-курсом, а не преподавателем очного курса. Нормы в данном случае только формализованные и жестко санкционированные. У студента онлайн формата нет возможности получать знания, навыки и обратную связь от преподавателя своего университета (он их получает от материалов онлайн-курса). Авторитативных ресурсов у преподавателя очного курса уже нет, на поведение студентов накладывает ограничение структура онлайн-курса, а также платформа, на которой он реализован.

Иерархическая теория самодетерминации позволяет показать связь между форматом обучения, когнитивными и аффективными последствиями социальной практики. В том случае, если формат обучения удовлетворяет потребностям студентов, то учащиеся успешно вовлекаются в изучение материала предмета, показывают высокий уровень знаний, а также положительные эмоции. Обратная ситуация при неудовлетворении потребностей приводит к тому, что студенты в большей степени испытывают отрицательные эмоции и могут получить низкий уровень знаний. В предлагаемой теоретической рамке используются в качестве медиаторов две потребности: в автономии и связанности с другими, т.к. они относятся к формату учебного курса в отличие от потребности в компетенции, которая относится к содержанию курса.

Традиционный формат характеризуется низким уровнем автономности, предоставляемой студентам. Офлайн обучение сильно регламентировано: за учащихся распланирован учебный процесс (например, определено время и место занятий), преподаватель курса контролирует выполнение всех требований (Stansfield, McLellan & Connolly, 2004, Elvers, Polzella & Graetz, 2003). При этом уровень предоставляемой связанности с другими в таком

формате высокий: у студентов есть возможность взаимодействия как с преподавателем курса, так и с другими учащимися.

Смешанное обучение регламентировано в меньшей степени по сравнению с традиционным: у студентов появляется больше свободы при прохождении части материала курса в онлайн формате (Singh, 2021). Поэтому смешанный формат предоставляет учащимся средний уровень автономности при среднем же уровне связанности с другими (часть взаимодействий сокращается за счет введения онлайн компоненты в курс).

Онлайн-формат характеризуется наибольшим уровнем автономности: при онлайн-обучении от студента требуется самостоятельное планирование своего учебного процесса, осуществление выбора эффективных стратегий, контролирование процесса прохождения курса и оценивание достигнутых результатов (Elvers, Polzella & Graetz, 2003; Michinov et al., 2011; Levy & Ramin, 2012; Kizilcec, Pérez-Sanagustín & Maldonado, 2017). Такая автономия предоставляется за счет гибкости системы, в соответствии с которой не менеджер или преподаватель курса определяет временные и пространственные границы обучения, а сам учащийся. Данный формат предоставляет низкий уровень связанности с другими: онлайн не предполагает интенсивного взаимодействия с преподавателем дисциплины и другими учащимися. Особенно высокий уровень автономности и низкий уровень связанности с другими предоставляет онлайн-формат с использованием исключительно МООК для изучения курса без возможности коммуникации с преподавателем вуза.

Похожие диссертационные работы по специальности «Общая педагогика, история педагогики и образования», 13.00.01 шифр ВАК

Список литературы диссертационного исследования кандидат наук Семенова Татьяна Вадимовна, 2022 год

СПИСОК ЛИТЕРАТУРЫ

1. Бабаева, М. А. (2019). Опыт использования онлайн курса (МООК) "Концепции современного естествознания" национальной платформы открытого образования в обучении студентов. Необратимые процессы в природе и технике, 127-130.

2. Бабанская, О. М. (2015). Механизмы включения МООК в образовательные программы высшего образования: опыт Томского государственного университета. Развитие единой образовательной информационной среды, 92-94.

3. Борщева, В. В. (2017). Особенности использования массовых открытых онлайн-курсов в обучении иностранному языку для специальных целей. Вестник Пермского национального исследовательского политехнического университета. Проблемы языкознания и педагогики, (1), 86-94.

4. Буханцова, А. В. (2020). Интеграция МООК в учебный процесс по дисциплине «История». Образование и педагогика: теория и практика, 24-26.

5. Ваганова, Н. В., Телегина, О. В. (2017). Интеграция массовых открытых онлайн курсов (МООК) в процесс обучения английскому языку студентов заочного отделения. Теория и методика обучения и воспитания в современном образовательном пространстве, 123-128.

6. Гидденс, Э. (2005). Устроение общества. Очерк теории структурации.

7. Доскач, Л. А. (2021). Анализ моделей и эффективности внедрения массовых онлайн-курсов в российских университетах. Комплексные исследования в рыбохозяйственной отрасли, 222-230.

8. Еремицкая, И. А., Ахунжанова, Н. А. (2021). Внедрение онлайн-курсов в образовательный процесс вуза: проблемы и возможности. Мир науки, культуры, образования, 2 (87), 198-200.

9. Ибатова, А. З., Ильин, А. Г. (2019). Изучение эффективности МООК в современном образовательном пространстве. Азимут научных исследований: педагогика и психология, 1 (26), 126-127.

10.Клягин А. В., Абалмасова Е. С., Гарев К. В., Груздев И. А., Егоров А. А., Захарова У. С., Калинин Р. Г., Камальдинова Л. Р., Карлов И. А., Корнеева И. Е., Макарьева А. Ю., Минаева Е. А., Платонова Д. П., Семенова Т. В., Скокова Ю. А., Терентьев Е. А., Фрумин И. Д., Швиндт А. Н., Шибанова Е. Ю. Шторм первых недель: как высшее образование шагнуло в реальность пандемии. Современная аналитика образования Вып. 6(36). М.: Национальный исследовательский университет "Высшая школа экономики", 2020.

11.Кокшаров, В. А., Сандлер, Д. Г., Кузнецов, П. Д., Клягин, А. В., & Лешуков, О. В. (2021). Пандемия как вызов развитию сети вузов в России: дифференциация или кооперация? Вопросы образования, (1), 52-73.

12.Краснощеков, А. В. (2018). Экономическая, техническая и педагогическая эффективность массовых открытых онлайн курсов. Неделя науки СПбПУ, 365-369.

13.Малошонок, Н. Г., & Щеглова, И. А. (2020). Роль гендерных стереотипов в отсеве студентов инженернотехнического профиля. Мониторинг общественного мнения: экономические и социальные перемены, (2 (156)), 273-292.

14.Малюга, Е. Н. (2016). Метод проектов в обучении профессиональной коммуникации на иностранном языке в рамках МООК. Вестник Московского государственного областного университета. Серия: педагогика, (4), 119-126.

15.Патрунина, К. А. (2021). Применение МООК в учебном процессе высших учебных заведений. Современные экономические процессы, 1(1), 39-53.

16.Полянкина, С. Ю. (2014). Модель работы преподавателя иностранного языка и студентов с МООК в рамках дисциплины «Деловой и профессиональный иностранный язык (английский)». Информационные технологии в науке и образовании: материалы Международной науч. -практ. Конференции, 52-55.

17.Прахов, И. А. (2015). Барьеры доступа к качественному высшему образованию в условиях ЕГЭ: семья и школа как сдерживающие факторы. Вопросы образования, (1), 88-117.

18.Старостина, К. И. (2019). Возможности применения МООК и веб-сервисов в учебном процессе на примере курса "Экономика предприятия". Вопросы педагогики, (11-2), 232-237.

19.Татарская, К. В., Ганюшкина, Е. В. (2020). МООК как средство повышения мотивации и профессиональной компетентности студентов неязыковых вузов при изучении иностранного языка. Гуманизация образования, (1), 119-128.

20.Тимкин, С. Л. (2017). Эпоха МООК: новый этап развития открытого образования в России и мире. Современные проблемы информатизации образования, 211-266.

21.Фрумин, И. Д., & Добрякова, М. С. (2012). Что заставляет меняться российские вузы: договор о невовлеченности. Вопросы образования, (2), 159-191.

22.Хорошилова, С. П. (2020). К вопросу об интеграции МООК в образовательную программу магистратуры. Актуальные проблемы филологии и методики преподавания иностранных языков, 14, 235-241.

23.Шапошников, Ю. А., Шапошникова, О. В. (2019). Эффективность реализации образовательных программ при внедрении онлайн-обучения. Гарантии качества профессионального образования, 210-213.

24.Якушенко, М. А. (2019). Модели интеграции МООК в образовательный процесс. Синергия Наук, (36), 814-820.

25.Allen, M., Bourhis, J., Burrell, N., & Mabry, E. (2002). Comparing student satisfaction with distance education to traditional classrooms in higher education: A meta-analysis. The American Journal of Distance Education, 16(2), 83-97.

26.Alpert, W. T., Couch, K. A., & Harmon, O. R. (2016). A randomized assessment of online learning. American Economic Review, 106(5), 378-82.

27.Barak, M., Watted, A., & Haick, H. (2016). Motivation to learn in massive open online courses: Examining aspects of language and social engagement. Computers & Education, 94, 49-60.

28.Baturay, M. H. (2015). An overview of the world of MOOCs. Procedia-Social and Behavioral Sciences, 174, 427-433.

29.Belenko, V., Klepikova, A., Nemtsev, S., Belenko, T., & Mezentseva, O. (2019). MOOC introduction into educational process: experience of on-line courses integration in university educational programs.

30.Bettinger, E., & Loeb, S. (2017). Promises and pitfalls of online education. Evidence Speaks Reports, 2(15), 1-4.

31.Bogdan, R., Bicen, H., & Holotescu, C. (2017). Trends in blending university courses with MOOCs. eLearning & Software for Education, 2.

32.Bowen, W. G., Chingos, M. M., Lack, K. A., & Nygren, T. I. (2014). Interactive learning online at public universities: Evidence from a six-campus randomized trial. Journal of Policy Analysis and Management, 33(1), 94-111.

33.Bralic, A., & Divjak, B. (2018). Integrating MOOCs in traditionally taught courses: achieving learning outcomes with blended learning. International Journal of Educational Technology in Higher Education, 15(1), 1-16.

34.Broadbent, J., & Poon, W. L. (2015). Self-regulated learning strategies & academic achievement in online higher education learning environments: A systematic review. The Internet and Higher Education, 27, 1-13.

35.Brown, B. W., & Liedholm, C. E. (2002). Can web courses replace the classroom in principles of microeconomics?. American Economic Review, 92(2), 444-448.

36.Bruff, D. O., Fisher, D. H., McEwen, K. E., & Smith, B. E. (2013). Wrapping a MOOC: Student perceptions of an experiment in blended learning. Journal of Online Learning and Teaching, 9(2), 187.

37.Burns, T., & Ungerleider, C. (2003). A systematic review of the effectiveness and efficiency of networked ICT in education. A state of the field report to the Council of Ministers of Education, Canada and Industry Canada.

38.Carnoy, M., Loyalka, P., Dobryakova, M., Dossani, R., Froumin, I., Kuhns, K., Tilak, J., & Wang, R. (2013). University expansion in a changing global economy: Triumph of the BRICs?. Stanford University Press.

39.Caulfield, M., Collier, A., & Halawa, S. (2013). Rethinking online community in MOOCs used for blended learning. Educause Review Online, 1-11.

40.Collins, J., & Pascarella, E. T. (2003). Learning on campus and learning at a distance: A randomized instructional experiment. Research in Higher Education, 44(3), 315-326.

41.Conole, G. (2014). A new classification schema for MOOCs. The international journal for Innovation and Quality in Learning, 2(3), 65-77.

42.Costley, J. (2017). The instructional factors that lead to cheating in a Korean cyber university context. Interactive Technology and Smart Education.

43.Crossley, S., Paquette, L., Dascalu, M., McNamara, D. S., & Baker, R. S. (2016, April). Combining click-stream data with NLP tools to better understand MOOC completion. In Proceedings of the sixth international conference on learning analytics & knowledge (pp. 6-14).

44.Dai, H. M., Teo, T., Rappa, N. A., & Huang, F. (2020). Explaining Chinese university students' continuance learning intention in the MOOC setting: A modified expectation confirmation model perspective. Computers & Education, 150, 103850.

45.Deci, E. L., & Ryan, R. M. (Eds.). (2004). Handbook of self-determination research. University Rochester Press.

46.Elvers, G. C., Polzella, D. J., & Graetz, K. (2003). Procrastination in online courses: Performance and attitudinal differences. Teaching of Psychology, 30(2), 159-162.

47.Eradze, M., Urrutia, M. L., Reda, V., & Kerr, R. (2019, May). Blended learning with MOOCs. In European MOOCs Stakeholders Summit (pp. 5358). Springer, Cham.

48.Feeley, M., & Parris, J. (2012). An Assessment of the PeerWise Student-Contributed Question System's Impact on Learning Outcomes: Evidence from a Large Enrollment Political Science Course. Available at SSRN2144375.

49.Figlio, D., Rush, M., & Yin, L. (2013). Is it live or is it internet? Experimental estimates of the effects of online instruction on student learning. Journal of Labor Economics, 31(4), 763-784.

50.Firmin, R., Schiorring, E., Whitmer, J., Willett, T., Collins, E. D., & Sujitparapitaya, S. (2014). Case study: Using MOOCs for conventional college coursework. Distance Education, 35(2), 178-201.

51.Fryer, L. K., & Bovee, H. N. (2016). Supporting students' motivation for e-learning: Teachers matter on and offline. The Internet and Higher Education, 30, 21-29.

52.Fryer, L. K., Bovee, H. N., & Nakao, K. (2014). E-learning: Reasons students in language learning courses don't want to. Computers & Education, 74, 2636.

53.Ghadiri, K., Qayoumi, M. H., Junn, E., Hsu, P., & Sujitparapitaya, S. (2013). The transformative potential of blended learning using MIT edX's 6.002 x online MOOC content combined with student team-based learning in class. Environment, 8(14), 14-29.

54.Goldberg, M. D., & Cornell, D. G. (1998). The influence of intrinsic motivation and self-concept on academic achievement in second-and third-grade students. Journal for the Education of the Gifted, 21(2), 179-205.

55.Graham, C. R., Woodfield, W., & Harrison, J. B. (2013). A framework for institutional adoption and implementation of blended learning in higher education. The internet and higher education, 18, 4-14

56.Griffiths, R., Mulhern, C., Spies, R., & Chingos, M. (2015). Adopting MOOCS on campus: A collaborative effort to test MOOCS on campuses of the university system of Maryland. Online Learning, 19(2), n2.

57.Grunewald, F., Meinel, C., Totschnig, M., & Willems, C. (2013, September). Designing MOOCs for the support of multiple learning styles. In European conference on technology enhanced learning (pp. 371-382). Springer, Berlin, Heidelberg.

58.Hanushek, E. A., & Woessmann, L. (2015). The knowledge capital of nations: Education and the economics of growth. MIT press.

59.Hart, C. (2012). Factors associated with student persistence in an online program of study: A review of the literature. Journal of Interactive Online Learning, 11(1), 19-42.

60.Hiltz, S. R., Coppola, N., Rotter, N., Turoff, M., & Benbunan-Fich, R. (2000). Measuring the importance of collaborative learning for the effectiveness of ALN: A multi-measure, multi-method approach. Journal of Asynchronous Learning Networks, 4(2), 103-125.

61.Hollands, F. M., & Tirthali, D. (2014). Why Do Institutions Offer MOOCs?. Online Learning, 18(3), n3.

62.Holotescu, C., Grosseck, G., CREJU, V., & Naaji, A. (2014). Integrating MOOCs in blended courses. Elearning & Software For Education, (1).

63.Israel, M. J. (2015). Effectiveness of integrating MOOCs in traditional classrooms for undergraduate students. International Review of Research in Open and Distributed Learning, 16(5), 102-118.

64.Jaggars, S. S. (2014). Choosing between online and face-to-face courses: Community college student voices. American Journal of Distance Education, 28(1), 27-38.

65.Johnson, R., Stewart, C., & Bachman, C. (2015). What drives students to complete online courses? What drives faculty to teach online? Validating a measure of motivation orientation in university students and faculty. Interactive Learning Environments, 23(4), 528-543.

66.Jordan, K. (2014). Initial trends in enrolment and completion of massive open online courses. International Review of Research in Open and Distributed Learning, 15(1), 133-160.

67.Khalil, M., & Ebner, M. (2017). Clustering patterns of engagement in Massive Open Online Courses (MOOCs): the use of learning analytics to reveal student categories. Journal of computing in higher education, 29(1), 114-132.

68.Kizilcec, R. F., Pérez-Sanagustin, M., & Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers & education, 104, 18-33.

69.Lee, M., & Pak, J. (2018). Application of Hybrid Teaching Method Using the MOOC and Verification of its Effectiveness. Journal of problem-based Learning, 5(2), 7-20.

70.Li, Y., Zhang, M., Bonk, C. J., & Guo, Y. (2015). Integrating MOOC and Flipped Classroom Practice in a Traditional Undergraduate Course: Students' Experience and Perceptions. International Journal of Emerging Technologies in Learning, 10(6).

71.Literat, I. (2015). Implications of massive open online courses for higher education: mitigating or reifying educational inequities? Higher Education Research & Development, 34(6), 1164-1177.

72.Littenberg-Tobias, J., & Reich, J. (2020). Evaluating access, quality, and equity in online learning: A case study of a MOOC-based blended professional degree program. The Internet and Higher Education, 47, 100759.

73.Littlejohn, A., Hood, N., Milligan, C., & Mustain, P. (2016). Learning in MOOCs: Motivations and self-regulated learning in MOOCs. The Internet and Higher Education, 29, 40-48.

74.Lisitsyna, L. S., Senchilo, M. S., & Efimchik, E. A. (2020). Blended learning technology realization using a basic online course. In Smart education and e-learning, (pp. 171-180). Springer, Singapore.

75.Magen-Nagar, N., & Cohen, L. (2017). Learning strategies as a mediator for motivation and a sense of achievement among students who study in MOOCs. Education and information technologies, 22(3), 1271-1290.

76.Marton, F., & Saljo, R. (2005). Approaches to learning. In F. Marton, D. Hounsell, & N. Entwistle (Eds.), The experience of Learning: Implications for teaching and studying in higher education (3rd (Inter, pp. 39-58). Edinburgh: University of Edinburgh, Centre for Teaching, Learning and Assessment.

77.McCabe, D. L., Butterfield, K. D., & Trevino, L. K. (2012). Cheating in college: Why students do it and what educators can do about it. JHU Press.

78.McPartlan, P., Rutherford, T., Rodriguez, F., Shaffer, J. F., & Holton, A. (2021). Modality motivation: Selection effects and motivational differences in students who choose to take courses online. The Internet and Higher Education, 49.

79.Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2009). Evaluation of evidence-based practices in online learning: A meta-analysis and review of online learning studies. U.S. Department of Education, Office of Planning, Evaluation, and Policy Development, Washington, D.C.

80.Meneses, E. L., Cano, E. V., & Mac Fadden, I. (2020). MOOC in higher education from the students' perspective. A sustainable model?. In Qualitative and Quantitative Models in Socio-Economic Systems and Social Work (pp. 207-223). Springer, Cham.

81.Michinov, N., Brunot, S., Le Bohec, O., Juhel, J., & Delaval, M. (2011). Procrastination, participation, and performance in online learning environments. Computers & Education, 56(1), 243-252.

82.Milligan, C., & Littlejohn, A. (2017). Why study on a MOOC? The motives of students and professionals. The International Review of Research in Open and Distributed Learning, 18(2), 92-102.

83.Mitchell, J. V. (1992). Interrelationships and predictive efficacy for indices of intrinsic, extrinsic, and self-assessed motivation for learning. Journal of Research & Development in Education.

84.Najafi, H., Evans, R., & Federico, C. (2014). MOOC integration into secondary school courses. International Review of Research in Open and Distributed Learning, 15(5), 306-322.

85.Navarro, P., & Shoemaker, J. (2000). Performance and perceptions of distance learners in cyberspace. American journal of distance education, 14(2), 15-35.

86.Nawrot, I., & Doucet, A. (2014, April). Building engagement for MOOC students: introducing support for time management on online learning platforms. In Proceedings of the 23rd International Conference on world wide web (pp. 1077-1082).

87.Onah, D. F., Sinclair, J. E., & Boyatt, R. (2014, November). Exploring the use of MOOC discussion forums. In Proceedings of London International Conference on Education (pp. 1-4).

88.O'Neill, D. K., & Sai, T. H. (2014). Why not? Examining college students' reasons for avoiding an online course. Higher Education, 68(1), 1-14.

89.Pursel, B. K., Zhang, L., Jablokow, K. W., Choi, G. W., & Velegol, D. (2016). Understanding MOOC students: motivations and behaviours indicative of MOOC completion. Journal of Computer Assisted Learning, 32(3), 202-217.

90. Reich, J., & Ruiperez-Valiente, J. A. (2019). The MOOC pivot. Science, 363(6423), 130-131.

91.Rieber, L. P. (2017). Participation patterns in a massive open online course (MOOC) about statistics. British Journal of Educational Technology, 48(6), 1295-1304.

92.Robinson, R. (2016). Delivering a medical school elective with massive open online course (MOOC) technology. PeerJ, 4, e2343.

93.Rohloff, T., & Meinel, C. (2018, September). Towards personalized learning objectives in MOOCs. In European Conference on Technology Enhanced Learning (pp. 202-215). Springer, Cham.

94.Rose, C., & Siemens, G. (2014, October). Shared task on prediction of dropout over time in massively open online courses. In Proceedings of the EMNLP 2014 Workshop on Analysis of Large Scale Social Interaction in MOOCs (pp. 39-41).

95.Rovai, A. P., & Jordan, H. M. (2004). Blended learning and sense of community: A comparative analysis with traditional and fully online graduate courses. International Review of Research in Open and Distributed Learning, 5(2), 1-13.

96.Sandeen, C. (2013). Integrating MOOCs into traditional higher education: The emerging "MOOC 3.0" era. Change: The magazine of higher learning, 45(6), 34-39.

97.Saadatdoost, R., Sim, A. T. H., Jafarkarimi, H., & Mei Hee, J. (2015). Exploring MOOC from education and Information Systems perspectives: a short literature review. Educational Review, 67(4), 505-518.

98.Shachar, M., & Neumann, Y. (2003). Differences between traditional and distance education academic performances: A meta-analytic approach. The International Review of Research in Open and Distributed Learning, 4(2).

99.Sidek, S. F., Yatim, M. H. M., Ariffin, S. A., & Nurzid, A. (2020). The Acceptance Factors and Effectiveness of MOOC in the Blended Learning of Computer Architecture and Organization Course. Universal Journal of Educational Research, 8(3), 909-915.

100. Singh, H. (2021). Building effective blended learning programs. In Challenges and Opportunities for the Global Implementation of E-Learning Frameworks (pp. 15-23). IGI Global.

101. Stansfield, M., McLellan, E., & Connolly, T. (2004). Enhancing student performance in online learning and traditional face-to-face class delivery. Journal of Information Technology Education: Research, 3(1), 173188.

102. Swinnerton, B. J., Morris, N. P., Hotchkiss, S., & Pickering, J. D. (2017). The integration of an anatomy massive open online course (MOOC) into a medical anatomy curriculum. Anatomical sciences education, 10(1), 53-67.

103. Tomkins, S., & Getoor, L. (2019). Understanding Hybrid-MOOC Effectiveness with a Collective Socio-Behavioral Model. Journal of Educational Data Mining, 11(3), 42-77.

104. Toven-Lindsey, B., Rhoads, R. A., & Lozano, J. B. (2015). Virtually unlimited classrooms: Pedagogical practices in massive open online courses. The internet and higher education, 24, 1-12.

105. Tuckman, B. W. (2005). Relations of academic procrastination, rationalizations, and performance in a web course with deadlines. Psychological reports, 96(3_suppl), 1015-1021.

106. Vallerand, R. J. (1997). Toward a hierarchical model of intrinsic and extrinsic motivation. Advances in experimental social psychology, 29, 271360.

107. Vallerand, R. J., & Blssonnette, R. (1992). Intrinsic, extrinsic, and amotivational styles as predictors of behavior: A prospective study. Journal of personality, 60(3), 599-620.

108. Vanslambrouck, S., Zhu, C., Lombaerts, K., Philipsen, B., & Tondeur, J. (2018). Students' motivation and subjective task value of participating in online and blended learning environments. The Internet and Higher Education, 36, 33-40.

109. Vanthournout, G., Gijbels, D., Coertjens, L., Donche, V., & Van Petegem, P. (2012). Students' persistence and academic success in a first-year professional bachelor program: The influence of students' learning strategies and academic motivation. Education Research International, 1(1), 1-10.

110. Wang, X., Hall, A. H., & Wang, Q. (2019). Investigating the implementation of accredited massive online open courses (MOOCs) in higher education: The boon and the bane. Australasian Journal of Educational Technology, 35(3).

111. Wang, K., & Zhu, C. (2019). MOOC-based flipped learning in higher education: students' participation, experience and learning performance. International Journal of Educational Technology in Higher Education, 16(1), 1-18.

112. Xu, D., & Jaggars, S. S. (2014). Performance gaps between online and face-to-face courses: Differences across types of students and academic subject areas. The Journal of Higher Education, 85(5), 633-659.

113. Yang, Q. (2014). Students motivation in asynchronous online discussions with MOOC mode. American Journal of Educational Research, 2(5), 325330.

114. You, H. (2019). Students' perception about learning using MOOC. International Journal of Emerging Technologies in Learning (iJET), 14(18), 203-208.

115. Zheng, S., Rosson, M. B., Shih, P. C., & Carroll, J. M. (2015, February). Understanding student motivation, behaviors and perceptions in MOOCs. In Proceedings of the 18th ACM conference on computer supported cooperative work & social computing (pp. 1882-1895).

ПРИЛОЖЕНИЕ

Используемые сокращения в тексте:

1. МООК - это массовый открытый онлайн курс, реализуемый на международной или национальной онлайн-платформах, на который может записаться любой пользователь сети Интернет независимо от уровня образования, подготовки, пола, возраста, а также социального статуса.

2. НПОО - это национальная онлайн-платформа «Открытое образование», на которой размещаются МООК селективных российских университетов для разных направлений подготовки.

3. ИМ - это МООК «Инженерная механика», размещенный на НПОО. Трудоемкость курса составляет 5 зачетных единиц. Его программа включает в себя такие разделы, как статика, кинематика и динамика.

4. ТКМ - это МООК «Технология конструкционных материалов», размещенный на НПОО. Трудоемкость курса составляет 4 зачетные единицы. Его программа включает в себя такие разделы, как металлургия железа, обработка металлов давлением и резанием, литейное производство, сварка.

Таблица А - Результаты регрессионного анализа с оценкой эффекта взаимодействия между форматом обучения, успеваемостью студентов и их уровня самоэффективности на результаты освоения инженерных дисциплин; набор данных <^СТ со студентами»

Модель с эффектом Модель с эффектом взаимодействия для взаимодействия для уровня уровня успеваемости_самоэффективности

Онлайн-формат*уровень успеваемости

Смешанный формат*уровень успеваемости_

-0.024 (0.022) -0.018 (0.022)

Онлайн-формат*уровень самоэффективности Смешанный формат*уровень самоэффективности_

0.007 (0.018) -0.001 (0.018)

Фиксированный эффект

университета

Константа

+

+

+

+

Примечание:

базовая группа: традиционный формат; стандартные ошибки указаны в скобках; ***р < 0.01, **р < 0.05, *р < 0.1_

ПРИЛОЖЕНИЕ А2

Семенова Т.В., Вилкова К.А. Типы интеграции массовых открытых онлайн-курсов в учебный процесс университетов // Университетское управление: практика и анализ. 2017. Том 21, № 6. С. 114-126

Цель данной работы - выделение существующих типов интеграции массовых открытых онлайн-курсов (МООК) в учебный процесс на основе оценки практик, принятых в зарубежных и российских университетах. Помимо этого определяются условия, которые необходимы для успешной интеграции онлайн-курсов такого формата в образовательные программы университетов России, и обозначаются основные преимущества и ограничения использования МООК в учебном процессе. Для анализа были использованы данные научных публикаций, нормативных документов вузов, официальных сайтов учебных заведений, а также 5 экспертных интервью, проведенных с руководителями и сотрудниками центров по онлайн-обучению ведущих университетов России, являющихся членами Ассоциации «Национальная платформа открытого образования» (НПОО). Анализ опыта интеграции МООК в учебный процесс позволил выделить три основных типа включения онлайн-курсов в образовательные программы: 1) встраивание МООК в смешанный формат обучения, 2) замена части очных курсов образовательной программы на онлайн-дисциплины, 3) создание программы онлайн-магистратуры, в которой все курсы читаются в формате МООК.

Авторский вклад: подготовка постановки и обоснования проблемы, подготовка обзора литературы по теме, подготовка части по описанию моделей интеграции МООК в учебный процесс зарубежных и российских университетов, подготовка части по условиям успешной интеграции МООК, подготовка заключения.

DOI 10.15826/итра.2017.06.080

ТИПЫ ИНТЕГРАЦИИ МАССОВЫХ ОТКРЫТЫХ ОНЛАЙН-КУРСОВ В УЧЕБНЫЙ ПРОЦЕСС УНИВЕРСИТЕТОВ*

Т. В. Семенова, К. А. Вилкова

Национальный исследовательский университет «Высшая школа экономики» Россия, 101000, г. Москва, ул. Мясницкая, 20; tsemenova@hse.ru

Ключевые слова: массовый открытый онлайн-курс, МООК, онлайн-обучение, смешанное обучение, перевернутый класс, типы интеграции МООК, учебный процесс, онлайн-платформы.

Цель данной работы - выделение существующих типов интеграции массовых открытых онлайн-кур-сов (МООК) в учебный процесс на основе оценки практик, принятых в зарубежных и российских университетах. Помимо этого нами были определены условия, которые необходимы для успешной интеграции онлайн-курсов такого формата в образовательные программы университетов России, и обозначены основные преимущества и ограничения использования МООК в учебном процессе. Для анализа были использованы данные научных публикаций, нормативных документов вузов, официальных сайтов учебных заведений, а также 5 экспертных интервью, проведенных с руководителями и сотрудниками центров по онлайн-обучению ведущих университетов России, являющихся членами Ассоциации «Национальная платформа открытого образования» (НПОО).

Анализ опыта интеграции МООК в учебный процесс позволил выделить три основных типа включения онлайн-курсов в образовательные программы: 1) встраивание МООК в смешанный формат обучения, 2) замена части очных курсов образовательной программы на онлайн-дисциплины, 3) создание программы онлайн-маги-стратуры, в которой все курсы читаются в формате МООК. В зарубежных вузах данная технология обучения становится неотъемлемой частью обучения, тем самым создаются новые условия получения образования. В то же время в российских учебных заведениях широкого распространения данная практика не получила, однако уже существует нормативная база, позволяющая интегрировать МООК в учебный процесс. Это может быть связано, прежде всего, с низкой осведомленностью как вузов, так и студентов о возможности использования онлайн-курсов в рамках учебного процесса.

Несмотря на преимущества использования онлайн-курсов, данная практика имеет и свои риски: 1) в исследованиях пока не выявлено единого стандарта по организации курса смешанного формата; 2) отсутствует единый стандарт по оценке качества МООК; 3) пока неясны экономические и образовательные эффекты от интеграции онлайн-курсов в учебный процесс, а также бизнес-модель онлайн-образования; 4) в формат онлайн-курса не могут быть переведены курсы определенной тематики, 5) наблюдается сопротивление со стороны преподавателей относительно интеграции МООК в учебный процесс и их низкая заинтересованность в использовании данных курсов в рамках учебной программы, 6) открытыми остаются вопросы, связанные с правильным подбором МООК, формированием учебного плана с удобными сроками прохождения курса, а также правильным перерасчетом результатов освоения онлайн-курсов.

Для обеспечения успешной интеграции МООК в учебный процесс вузов России предлагаются три группы условий, которые необходимы при реализации двух вариантов смешанной модели, модели замены части очных курсов на онлайн-курсы и модели онлайн-магистратуры, полностью основанной на МООК: 1) кадровый состав, 2) администрирование процесса интеграции и 3) функционал онлайн-платформы.

Полученные в результате анализа данные могут представлять интерес для руководителей вузов, поскольку являются практическими рекомендациями для реализации интеграции МООК в учебную деятельность. Предложенные условия позволят успешно применять данную образовательную технологию как в селективных, так и в неселективных университетах, открывать новые возможности для применения инновационных методов преподавания на практике.

Изначально формат массовых открытых он- среду. Помимо того, что университеты начали

лайн-курсов (МООК) появился как часть использовать свои собственные онлайн-курсы

технологии смешанного обучения для замены оч- в рамках учебного процесса, появилась практика

ных лекций на просмотр видеозаписи вне учебной покупки лицензии на право использования кон-

аудитории с прохождением тестов и квизов [1]. тента МООК, разработанного другим вузом [2].

Ведущие американские университеты стали Например, университет штата Калифорния в Сан-

создавать онлайн-курсы путем трансформации Хосе запустил пилотное исследование по ис-

и переноса своих очных дисциплин в онлайн- пользованию контента МООК, размещенных

* Статья подготовлена в рамках проекта по выполнению работ по разработке и апробации моделей включения онлайн-курсов в учебные планы студентов с целью повышения качества и экономической реализации образовательной программы.

на платформах edX и Udacity, в рамках формата перевернутого класса (flippedclass room). Со временем формат использования МООК в учебном процессе трансформировался: онлайн-курсы начали применять не только в рамках смешанного обучения, но и в качестве полноценной альтернативы традиционным курсам. Начиная с 2012 г. складывается практика признания сертификатов МООК, то есть становится возможным перезачесть результаты освоения дисциплины в он-лайн-формате. Например, первым университетом, который начал признавать сертификаты, стал Хельсинкский университет в Финляндии [2], а первой страной, где была на законодательном уровне закреплена возможность использования кредитов за МООК,- Малайзия [3]. При этом наблюдаются не только единичные случаи замены очных курсов на МООК [4], но и включение нескольких курсов данного формата в учебные планы как обязательные для прохождения. Например, в Колорадском университете в Боулдуре у студентов магистерской программы по информатике есть возможность пройти 5 курсов на он-лайн-платформе Coursera вместо аналогичных очных занятий [5]. Кроме того, создаются целые образовательные программы, состоящие только из МООК. Так, в весеннем семестре 2014 г. технологический институт Джорджии совместно с онлайн-платформой Udacity впервые открыл программу онлайн-магистратуры по компьютерным наукам, учебный план которой полностью состоит из онлайн-курсов [6].

В целом можно на схеме отобразить историю встраивания МООК в учебный процесс (схема 1). Однако стоит отметить, что выделенные этапы стоит рассматривать лишь условно, так как они часто пересекаются друг с другом.

На данный момент вопрос об эффективности как замены очных курсов на МООК, так и создания целых онлайн-программ остается открытым. Несмотря на это онлайн-курсы такого формата

продолжают активно встраиваться в образовательный процесс как в зарубежных, так и в российских вузах. Считается, что интеграция онлайн-курсов в учебный процесс позволяет применить и доработать инновационные методы в преподавании на практике, улучшить образовательные результаты студентов, привнести эффект интернационализации и сообучения от участия в курсе слушателей с разным образовательным бэкграундом, а также проводить собственные исследования в силу того, что новый формат онлайн-об-учения характеризуется гибкостью к изменениям и большими объемами данных о степени активности участников на платформе [2, 7, 8, 9].

При этом можно выделить только несколько работ, в которых делалась попытка описания моделей интеграции МООК в учебный процесс высшей школы. Так, в исследовании К. Санден было выделено 3 модели интеграции онлайн-кур-сов: 1) признание кредитов, полученных за прохождение МООК, 2) покупка лицензий на контент МООК другого вуза, 3) установление взаимного согласия относительно перезачета онлайн-кур-сов другого вуза, входящего в консорциум вузов, для решения проблемы организации экспертизы курсов [2]. В свою очередь, в работах российских авторов были выделеныследующие типы включения МООК в учебный процесс: 1) использование онлайн-курсов в рамках формата смешанного обучения, 2) использование МООК как дополнительного источника получения знаний и навыков, 3) использование онлайн-курсов для повышения квалификации преподавателей [10, 11].

Однако возникает проблема, связанная с тем, что модели в данных работах были сформулированы и описаны около 4 лет назад, поэтому они уже не охватывают новые формы встраивания МООК в образовательные программы. В данной работе выделены и описаны существующие типы интеграции МООК в учебный процесс на основе оценки практик, принятых в зарубежных

МООК как часть технологии смешанного обучения

Полный переводочных курсов в формат МООК

Использование собственных МООК в учебном процессе

Использование МООК другого вуза (покупка лицензии)

Создание программы онлайн-магистратуры

Замена части очных курсов на МООК в рамках программы

Признание сертификатов по МООК, перезачет результатов

Схема 1. Этапы встраивания МООК в учебный процесс высшей школы

и российских университетах относительно их использования. Кроме того, определяются условия, которые необходимы для успешной интеграции онлайн-курсов данного формата в образовательные программы университетов России, а также выделяются основные преимущества и ограничения использования МООК в учебном процессе. Для описания практик по встраиванию он-лайн-курсов в образовательные программы вузов России и условий, необходимых для достижения успешности такой практики, использовались данные, собранные в рамках 5 экспертных интервью, проведенных с руководителями и сотрудниками центров по онлайн-обучению ведущих университетов России (члены Ассоциации НПОО).

Модели интеграции МООК в учебный процесс в зарубежных университетах

В силу того, что массовые открытые онлайн-курсы начали активно использоваться в учебной практике зарубежных университетов, сначала представим опыт учебных заведений преимущественно Америки и Западной Европы. На данный момент можно выделить 3 основных модели интеграции МООК в учебный процесс, которые сложились в рамках зарубежных вузов:

1. Встраивание в смешанный формат обучения

2. Замена части очных курсов образовательной программы на онлайн-курсы,

3. Программа онлайн-магистратуры, в которой все курсы читаются в формате МООК.

Первый тип интеграции связан с встраиванием МООК в смешанный формат обучения. Как правило, в рамках смешанного формата на онлайн-курс приходится лекционная часть курса (то есть студенты смотрят видео-лекции, выложенные на онлайн-платформах, вместо посещения очных лекционных занятий), при этом семинары могут сохранять свой очный формат, где преподаватель отвечает на вопросы студентов, акцентирует внимание на наиболее сложных моментах курса, устраивает практические и лабораторные работы и т. д. Например, в 2014 г. в Лёвенском католическом университете был проведен эксперимент по переводу очного курса по информатике для студентов 2 курса бакалавриата в формат МООК [12]. Дисциплина была разбита на два он-лайн-курса длительностью 6 и 7 недель соответственно для увеличения вероятности прохождения студентами курса до конца. Оба МООК были размещены на платформе edX. Онлайн-часть дис-

циплины включала в себя видео-лекции и тестовые задания (квизы), очная часть - лабораторные работы по 2 часа в неделю. Кроме того, студенты должны были пройти промежуточную аттестацию и сдать итоговый экзамен по каждому из онлайн-курсов. Дисциплину, представленную двумя МООК, вел один преподаватель, у которого в помощниках были 4 ассистента на очную часть курса и 1 ассистент на часть, реализуемую онлайн. На оба онлайн-курса были зарегистрированы 7000 внешних участников и 300 студентов Лёвенского католического университета.

Можно также выделить другие варианты использования МООК в рамках смешанного формата обучения [4]. Например, в университете Вандербильта курс машинного обучения был реализован в следующем формате: сначала студенты в течение 10 недель проходили МООК Стэнфордского университета, затем после окончания онлайн-части в течение оставшихся 4 недель они занимались выполнением собственного исследовательского проекта, который потом защищали очно. В целом зарубежные университеты активно встраивают МООК в смешанный формат обучения, используя при этом не только свои онлайн-курсы, но и курсы, разработанные сотрудниками другого вуза, покупая лицензию на контент [2, 13, 14, 15].

Второй тип интеграции - замена части очных курсов образовательной программы на МООК. Сложился он как на индивидуальном, так и на институциональном уровнях. На индивидуальном уровне замещение очного курса на онлайн-курс является инициативой самого студента. Учащийся самостоятельно определяет, какую дисциплину, предлагаемую ему университетом, он бы хотел заменить на МООК. При этом студент может использовать не только курсы собственного вуза, но и онлайн-дисциплины от других вузов.

На институциональном уровне онлайн-курс включается в учебный план образовательной программы, студенты которой в обязательном порядке его проходят. Как правило, МООК, интегрируемый в учебный план программ, является аналогом очного курса. Поэтому трудности, связанные с перезачетом результатов освоения онлайн-курса, не возникают в силу того, что его содержание, количество кредитов и уровень трудоемкости соответствует очному курсу. В основном такая практика сложилась в селективных вузах, которые могут себе позволить создание МООК. Например, преподаватели вузов США переносят свои очные курсы в онлайн-среду для того, чтобы высвобо-дитьсвое время, отведенное на лекции, на другие более активные виды деятельности [1]. Кроме того,

онлайн-курсы встраиваются в образовательные программы для формирования и развития у студентов специальных навыков, необходимых для обучения в университетской среде. Например, в Лёвенском католическом университете студенты 1-го года обучения проходят МООК для того, чтобы научиться правильно структурировать свое учебное время: онлайн-курс способствует тому, что студенты проходят дисциплину постепенно, готовясь каждую неделю для выполнения теста (это позволяет избежать ситуации, когда студенты готовятся только в самом конце курса для сдачи итогового экзамена) [16].

В том случае, если МООК, заменяющий очный курс, не соответствует по своим характеристикам очному курсу (ситуация, когда вместо очного курса студенты проходят онлайн-дисци-плину другого вуза), то возникают организационные трудности, связанные с необходимостью проведения процедуры оценки, сравнения и соотнесения характеристик онлайн-курса с характеристиками очного курса. Для обеспечения проведения перезачета результатов онлайн-кур-са в вузе создается специальный отдел, сотрудники которого занимаются оцениванием соответствия характеристик МООК очному курсу и в силу необходимости производят перерасчет количества кредитов, баллов и академических часов [1]. Кроме того, существуют специальные внешние организации (например, Американский совет по тестированию кредитов, начисляемых в колледжах - The American Councilon Education's College Credit Recommendation Service [17], Национальная служба по проверке и выдаче рекомендаций по кредитам - National Credit Review and Recommendation Service) [18], которые оказывают услуги по оценке МООК, предоставляя вузу рекомендации по: 1) уровню соответствия курса направлению подготовки, 2) количеству возможных кредитов, начисляемых за курс, 3) списку формируемых при прохождении курса компетенций [2]. Такие организационные трудности, прежде всего, характерны для Американской системы образования, в которой нет единого механизма учета учебных достижений. В свою очередь, в Европе действует европейская система накопления и перевода кредитов (ECTS), которая снимает организационные вопросы перевода кредитов для Европейских университетов. Например, немецкие университеты (Оснабрюкский университет и университет Любека) разместили на платформе Inversity МООК соответствующие требованиям ECTS [19]. Студенты, успешно окончившие курс с прохождением процедуры

прокторинга1, получают сертификат с приложением, в котором указана необходимая информация по курсу, требуемая ECTS.

Помимо того, что существует практика точечной замены курсов традиционного формата на МООК как своего вуза, так и других вузов, наблюдается возможность замещения части очной программы на несколько онлайн-курсов. Можно выделить две варианта такой замены. Первый вариант связан с использованием МООК других вузов для замещения нескольких очных курсов, применяемый, прежде всего, неселективными вузами с высоким уровнем отсева. Например, в 2014 г. был запущен совместный проект «Альтернативный проект набора кредитов» (Alternative Credit Project [20]), организованный Американским советом по образованию (American Councilon Education (ACE)), в котором участвует 51 университет Америки. Основная задача этого проекта заключается в том, чтобы предоставить возможность студентам, не закончившим обучение в вузе, набрать необходимое количество кредитов и получить диплом об окончании вуза. Добор нужного количества кредитов осуществляется за счет прохождения МООК, выбранных из списка он-лайн-курсов, возможных для перезачета, который формируется коллегиально из курсов высокоселективных вузов. На данный момент в список вошли более 100 онлайн-дисциплин по разным направлениям. В целом студенту могут перезачесть от 15 до 90 кредитов (в зависимости от вуза).

Второй вариант связан с использованием МООК своего университета для замещения нескольких очных курсов. Данная практика свойственна селективным вузам, стремящимся к привлечению талантливых студентов. Примером может служить совместный проект Массачусетского технологического университета (MIT) с онлайн-платформой edX, запуск которого намечен на весну 2018 г. [21]. Эта магистерская программа по логистике (Master of Engineeringin Logistics), которая состоит из двух частей: первая часть будет проходить в онлайн формате на платформе edX в виде связки дисциплин, объединенных в «ми-кромастерс» (microMasters). Вторая часть будет организована в очной форме на базе MIT. К преимуществам программы относится, во-первых, ее невысокая стоимость (по сравнению со стоимостью очной программы), во-вторых, наличие возможности прохождения только онлайн-части про-

1 Прокторинг - процедура идентификации личности, которую студент проходит или виртуально (через веб-камеру), или очно (в прокторинг-центре) при помощи предъявления официального документа, удостоверяющего личность.

граммы и использование полученных кредитов для перезачета в других образовательных организациях [22] и, в-третьих, отсутствие требования к предоставлению результатов GRE и GMAT при поступлении на программу. Другим примером является магистерская программа по информатике университета Колорадо в Боулдуре [5]. Она включает в себя очные курсы, на которые отводится 24 кредита, и онлайн-курсы за 6 кредитов стоимостью в 355$. Студенты проходят онлайн-часть в рамках специализации «Создание хранилищ данных для бизнес-аналитики» (Data Warehousing for Business Intelligence), созданной преподавателями Колорадского университета на онлайн-плат-форме Coursera. На весну 2016 г. 1791 студентов, заплативших за специализацию, продолжают свое обучение (что составляет 61 % от всех зарегистрировавшихся на специализацию).

Третий тип интеграции - онлайн-маги-стратура, в которой все курсы читаются в формате МООК. Примером такого типа выступает магистерская программа по компьютерным наукам от университета Иллинойса и Coursera [23]. Программа включает в себя МООК, разработанные преподавателями университета Иллинойса и выложенные на платформе Coursera в виде специализации. Для получения степени магистра студенту требуется набрать 32 кредита, что соответствует 8 онлайн-курсам.Учащиеся самостоятельно выбирают дисциплины из списка предложенных МООК, сгруппированных по 4-м темам, внутри которых есть обязательный курс и курсы по выбору. Программа включает в себя просмотр онлайн-видео, выполнение заданий, групповую работу, а также общение с преподавателями в их приемные часы. В том случае, если студенты не пройдут требуемое количество курсов для получения степени магистра, они могут получить сертификат от платформы. Стоимость программы составляет 20 000$, что на 30 000$ дешевле аналогичной очной программы.

Еще одним примером является магистерская программа по компьютерным наукам от Технологического университета Джорджии и платформы Udacity [6]. Программу курса составляют МООК, разработанные преподавателями университета, при технической и денежной поддержке американского конгломерата AT&T Inc. Данная программа, запущенная в 2015 году, привлекла 3000 студентов. Обучающиеся должны набрать 30 кредитов для получения степени магистра. У каждого студента есть право свободного выбора МООК из списка предложенных курсов. Обучение предварительно рассчитано на 3 года,

однако студент имеет возможность продления срока обучения до 6 лет. Стоимость программы определяется сроком обучения: чем дольше учится студент, тем больше он платит.

В целом можно сделать следующие выводы относительно характеристик программ, включающих в себя МООК: 1) они создаются, как правило, совместно с онлайн-платформами, 2) они являются аналогами очных программ, 3) в качестве МООК используются курсы, созданные вузом, предлагающим программу, 4) как правило, нет трудностей, связанных с: а) сочетанием онлайн-курсов, б) расчетом количества кредитов, уровня трудоемкости и других характеристик МООК, 5) стоимость их существенно ниже аналогичной очной программы, 6) образовательные программы, сочетающие в себе онлайн- и очный форматы, или программы полностью онлайн-формата, предлагаются пока только на уровне магистратуры и только по направлениям подготовки, относящимся к компьютерным наукам, 7) студенты, обучающиеся по магистерской программе в рамках специализации (Coursera) или микромастерс (edX), проходят МООК совместно с другими участниками, зарегистрированными на онлайн-курс, однако для студентов магистерской программы создаются дополнительные задания, которые отображаются на платформе только для них.

Модели интеграции МООК в учебный процесс в российских университетах

Для оценки опыта российских университетов по включению МООК в образовательные программы были проанализированы положения о перезачете результатов освоения онлайн-кур-сов, принятых в нескольких российских вузах, а также проведены экспертные интервью в декабре-январе 2016-2017 гг. с представителями центров по онлайн-обучению ведущих университетов России, являющихся членами НПОО (ИТМО, МФТИ, НИУ ВШЭ, СПбПУ и УрФУ). В целом в российских вузах практика включения МООК в учебные планы пока не получила широкого распространения. Однако не было найдено правовых ограничений для интеграции МООК в учебный процесс. Так, согласно Закону об образовании, каждый студент имеет право на формирование своей образовательной траектории. На данный момент можно выделить, также как и в зарубежных университетах, три модели / типа интеграции МООК в учебный процесс, которые существуют в российских вузах:

1. Встраивание в смешанный формат обучения;

2. Замена части очных курсов образовательной программы на онлайн-курс;

3. Программы онлайн-магистратуры, в которой все курсы читаются в формате МООК.

Первый тип интеграции связан с использованием контента онлайн-курса в рамках смешанного формата обучения. Преподаватели могут вводить в свой очный курс как МООК своего вуза, так и МООК других вузов, в том числе курсы на иностранном языке2. В общем можно выделить несколько вариантов реализации смешанного формата обучения с использованием онлайн-курса, каждый из которых будет отличаться долей очного взаимодействия между студентом, преподавателем и тьютором онлайн-обучения, а также долей взаимодействия с контентом МООК. Например, студенты могут проходить МООК (с необходимостью получения сертификата по нему) наряду с посещением семинарских занятий или учащиеся могут быть освобождены от семинаров при условии получения сертификата по МООК и сдаче очного экзамена преподавателю университета.

Второй тип интеграции - замена части очных курсов на МООК (также как в американских и европейских университетах). Он реализуется как на индивидуальном, так и на институциональном уровнях. На индивидуальном уровне студенты вместо очного курса проходят МООК, который они выбирают или из списка рекомендованных онлайн-курсов, или самостоятельно. Список рекомендованных МООК может формироваться отдельным центром по развитию онлайн-обуче-ния (например, в МФТИ сотрудники Центра инновационных образовательных технологий составляют список рекомендованных курсов, который затем утверждается на Ученом совете университета), академическим руководителем образовательной программы (такая практика, например, существует в НИУ ВШЭ), руководителем программы совместно с преподавателями (СПбПУ [24] и ТГУ [25]), методической комиссией кафедр (ТПУ [26]), а также проректором по учебной работе (СФУ [27]). В список включаются курсы, размещенные как на национальной платформе открытого образования (НПОО), так и на зарубежных платформах. В некоторых вузах в рекомендованный список включают только МООК с НПОО, так как эти курсы соответствуют федеральному государственному образовательному стандарту (ФГОС). В том

2 Стоит отметить, что в некоторых российских вузах МООК может быть встроен в учебный процесс только в рамках смешанного формата обучения.

случае, если выбранный МООК не входит в список рекомендованных, комиссия экспертов оценивает характеристики курса и решает вопрос о добавлении курса в список.

Основным требованием для перезачета МООК вместо очного курса является получение студентом сертификата об успешном прохождении онлайн-курса, в котором были бы представлены основные характеристики курса, необходимые для проведения процедуры перезачета. Кроме того, в большинстве вузов от студента требуется прохождение процедуры прокторинга с идентификацией личности, чтобы исключить недобросовестное прохождение курса. Наличие сертификата об успешном завершении онлайн-курса в ряде случаев является необходимым, но недостаточным условием: от студента также требуется прохождение устной консультации / экзамена с преподавателем курса. Для возможности проведения процедуры перезачета МООК в образовательной организации должно быть принято положение о перезачете результатов освоения онлайн-кур-сов в вузе, в котором была бы описана прозрачная схема замены очного курса на онлайн. В положении, как правило, указывается следующая информация: а) принцип формирования списка рекомендованных курсов, б) срок подачи заявления на замену очного курса МООК (в большинстве случаев до старта очного курса от студента требуется предоставить не только заявление на замену очного курса, но и сертификат о прохождении МООК для того, чтобы избежать ситуации возникновения академической задолженности), в) требования к сертификату.

На институциональном уровне в учебный план образовательной программы включаются МООК, разработанные преподавателями как своего вуза, так и другого вуза. В случае включения онлайн-курсов своего университета у образовательной организации не возникают организационные вопросы, связанные, прежде всего, с оценкой соответствия характеристик МООК очному курсу, и финансовые вопросы по оплате МООК. В том случае, когда в учебный план образовательной программы включается МООК другого вуза, университет сталкивается с организационными и финансовыми вопросами. Для решения этих вопросов вуз должен, во-первых, заключить договор о реализации образовательных услуг дополнительного образования или договор о сетевом взаимодействии (сетевой договор) с образовательной организацией, МООК которого предполагается использовать в рамках учебного процесса, во-вторых, решить финансовые вопросы, связан-

ные с выделением денежных средств на оплату участия своих студентов в МООК другого вуза, в-третьих, принять положение о перезачете результатов освоения онлайн-курса, в-четвертых, встроить в свою структуру систему тьюторства для осуществления контроля за ходом обучения. К обязанностям тьютора относится: а) помощь студентам в решении технических и организационных вопросов(например, связанных с прохождением этапа регистрации на курс, прохождением процедуры прокторинга), б) мониторинг процесса обучения, в) общение с сотрудниками образовательной организации, курс которой используется в обучении. Стоит отметить, что мониторинг процесса обучения возможен в том случае, когда с онлайн-платформы, на которой размещен МООК, можно выгрузить всю необходимую информацию по динамике прохождения курса (например, по просмотрам видео-лекций, по баллам за каждое задание, по активности на форуме).

Третий тип интеграции МООК, который на данный момент существует в российской образовательной среде,- программа онлайн-магистра-туры. Первая онлайн-магистратура, посвященная вопросам современной комбинаторики, запущена осенью 2016 г. в МФТИ [28]. Структура предлагаемой программы имеет существенные отличия от описанных выше американских программ онлайн-магистратуры. Так, несмотря на то что программа реализуется онлайн, от абитуриентов требуется сдать письменные экзамены по математике и информатике. Сдача госэкзаменов и защита выпускной работы также проходят в очном формате. Кроме того, количество мест на программу ограничено (первый набор на программу составил 10 человек), а стоимость программы эквивалентна стоимости очной программы по комбинаторике. Важно подчеркнуть, что в программе используются МООК, созданные преподавателями МФТИ, поэтому не возникают организационные трудности, связанные с разработкой учебного плана и заключением сетевого договора.

Условия для успешной интеграции МООК в учебный процесс вузов России

Выделим ряд условий необходимых для обеспечения успешной интеграции МООК в учебный процесс в вузах России на основе данных, полученных в рамках экспертных интервью. Эти условия можно условно разделить на три группы: 1) кадровый состав, 2) администрирование процесса интеграции и 3) функционал онлайн-платфор-

мы. К первой группе относятся сотрудники университета, обеспечивающие поддержку онлайн-обучения студентов и отслеживающие результаты учебного процесса (тьюторы и учебные ассистенты), а также занимающиеся конструированием программ онлайн-магистратур, состоящих из он-лайн-курсов разных университетов. Обучение в рамках МООК требует от студента высокой самостоятельности в освоении материала, наличия навыков тайм-менеджмента, а также мотивации для прохождения курса [29]. В том случае, если студент не может правильно распределить свое время, если у него возникают вопросы в процессе прохождения курса (например, он не знает, каким образом можно пройти процедуру прокторинга), то он может обратиться к назначенному тьютору онлайн-обучения / учебному ассистенту, который поможет ему решить возникающие вопросы. Тьютор онлайн-обучения / учебный ассистент должен заранее владеть всей информацией о содержании и структуре МООК (например, знать о сроках тестовых заданий, о процедуре пересдачи и т. д.), чтобы вовремя отслеживать процесс обучения на курсе и оказывать поддержку студентам из группы риска.

Ко второй группе относятся условия, связанные с выстраиванием в вузе прозрачной и гибкой системы, позволяющей использовать онлайн-кур-сы в рамках учебного процесса и перезачитывать результаты их освоения. Так, в университете должен быть создан центр, который отвечает за администрирование процесса интеграции МООК в учебные программы, разрабатывая необходимые документы по онлайн-обучению и заключая договоры об использовании МООК другого вуза. В вузе должно быть принято положение о перезачете результатов освоения МООК, в котором подробно представлена схема замены очного курса на онлайн-дисциплину. Например, в положении закрепляется, какие заявления на замену очного курса на МООК студент должен предоставить и в какой срок, какой сертификат от него требуется и в какой срок. Все формы заявлений, а также пример требуемого сертификата должны быть размещены в свободном доступе на официальном сайте образовательной организации. До студента должна быть донесена информация о том, что он может заменить очный предмет на онлайн-курс. В свою очередь, до образовательной организации должна быть донесена информация, что очные курсы могут быть заменены на МООК.

К третьей группе относятся условия, связанные с функционированием платформы, курсы которой используются в рамках учебного про-

цесса. Онлайн-платформа должна обеспечивать хорошую внутреннюю визуализацию хода обучения как для самих студентов, которые могли бы отслеживать процесс своего обучения на курсе, так и для преподавателей, которые получали бы быструю сводку по динамике прохождения курса среди его участников. Кроме того, онлайн-плат-форма должна обеспечивать выгрузку всех потоковых данных, собираемых в рамках МООК для того, чтобы производить анализ данных, необходимый для усовершенствования контента курса.

В зависимости от того, какой тип интеграции МООК в учебный процесс применяется и онлайн-курсы каких университетов используются, складывается конфигурация элементов, которые необходимы для обеспечения успешного внедрения МООК в образовательные программы. В табл. 1 и 2 представлены основные условия, требующиеся при реализации двух вариантов смешанной модели, модели замены части очных курсов на МООК и модели онлайн-магистратуры, полностью основанной на онлайн-курсов, для ситуации использования собственных МООК и курсов других вузов (плюсом отмечена необходимость наличия определенного элемента в системе).

Вне зависимости от того, какой курс используется университетом (чужой или собственный)

при интеграции МООК в учебный процесс, в рамках смешанного обучения предполагается присутствие в вузе преподавателя, который исполняет или функцию семинариста, или проводит очные консультации / контрольные мероприятия. В том случае, когда в учебном процессе применяется онлайн-курс другого вуза при реализации модели полной замены очного курса на МООК, функции у преподавателя этой дисциплины в университете снимаются. Кроме того, при использовании он-лайн-курсов других вузов следует уделить особое внимание процессу заключения сетевых договоров с вузами-провайдерами. Юридические и финансовые отделы университета должны быть готовы к изменениям текущих схем распределения финансовых ресурсов и постановке «на поток» заключений договоров на покупку МООК. При включении МООК в учебные программы студентов на институциональном уровне также требуется наличие у студентов личных корпоративных адресов, которые указываются в списке участников курса, отправляемом образовательной организации в рамках сетевого договора, для составления итоговой ведомости с оценками. В этом случае на процесс поиска и соотнесения электронных адресов с инициалами студентов не тратится много времени.

Таблица 1

Условия для успешной интеграции МООК в вузах, использующих собственные онлайн-курсы в учебном процессе

Модель интеграции МООК в учебный процесс Кадровый состав Администрирование процесса интеграции Платформа

Преподаватель очного курса в вузе Тьюторы онлайн-обучения Специалисты по конструированию онлайн-про-грамм Центр онлайн-обучения Заключение сетевого договора/ договора об услугах доп. образования Электронная система поддержки обучения Корпоративные адреса у студентов Интерфейс он-лайн-платформы/ формируемые базы данных

Модель смешанного обучения: очные семинары и онлайн-лекции МООК без прохождения онлайн-тестов и получения сертификата + - - - - - - -

Модель смешанного обучения: очные семинары и МООК с получением сертификата (или МООК с получением сертификата и очная сдача экзамена в вузе) + + - + - + + +

Модель замены части очных курсов на МООК: индивидуальный уровень - - - + - + - -

Модель замены части очных курсов на МООК: институциональный уровень - + - + - + + +

Модель онлайн-магистратуры, основанной на МООК + + - + - + + +

Таблица 2

Условия для успешной интеграции МООК в вузах, использующих МООК других вузов в учебном процессе

Модель интеграции МООК в учебный процесс Кадровый состав Администрирование процесса интеграции Платформа

Преподаватель очного курса в вузе Тьюторы онлайн-обучения Специалисты по конструированию онлайн-про-грамм Центр онлайн-обучения Заключение сетевого договора/ договора об услугах доп. образования Электронная система поддержки обучения Корпоративные адреса у студентов Интерфейс он-лайн-платформы/ формируемые базы данных

Модель смешанного обучения: очные семинары и онлайн-лекции МООК без прохождения онлайн-тестов и получения сертификата + - - - - - - -

Модель смешанного обучения: очные семинары и МООК с получением сертификата (или МООК с получением сертификата и очная сдача экзамена в вузе) + + - + + + + +

Модель замены части очных курсов на МО-ОК: индивидуальный уровень - - - + - - - -

Модель замены части очных курсов на МО-ОК: институциональный уровень - + - + + + + +

Модель онлайн-магистратуры, основанной на МООК - + + + + + + +

Заключение

Начиная с 2012 г. МООК получили свое широкое распространение, подключили к созданию курсов новые университеты, расширили контингент участников и список курсов из разных областей знаний. Например, за период с 2015 по 2016 гг. число МООК, доступных пользователям, увеличилось с ~4.000 [30] до 7.000 [31]. За тот же период аудитория онлайн-курсов выросла в 1,7 раза, достигнув 58 [31] миллионов к концу 2016 г., а количество университетов, создающих собственные МООК, за тот же период увеличилось с 500 [30] до 700 [31].

Несмотря на то что на данный момент не были получены надежные данные об эффективности формата МООК, онлайн-курсы активно встраиваются в учебный процесс в высшей школе. Анализ опыта интеграции МООК в учебный процесс позволил выделить три основных типа включения МООК в образовательные программы: 1) встраивание МООК в смешанный формат обучения, 2) замена части очных курсов образовательной программы на онлайн, 3) создание программы онлайн-магистратуры, в которой все курсы читаются в формате МООК. В зарубежных вузах МООК становятся неотъемлемой частью обучения, создают новые условия получения об-

разования. В то же время в российских учебных заведениях уже существует нормативная база, позволяющая интегрировать МООК в учебный процесс, однако широкого распространения данная практика не получила. Это может быть связано, прежде всего, с низкой осведомленностью как вузов, так и студентов о возможности использования МООК в рамках учебного процесса. Например, как было показано [31], каждый 5-й студент ведущих вузов России ничего не слышал о МООК. Кроме того, в университетской среде может отсутствовать практика интеграции МООК в учебный процесс в силу недостатка необходимой информации о том, каким образом можно перезачесть результаты онлайн-курса, как организовать процесс встраивания онлайн-курса в учебный план, насколько юридически и финансово решить вопрос с использованием данной образовательной технологии.

При этом можно выделить ряд преимуществ, связанных с применением онлайн-курсов в учебном процессе. Во-первых, университеты могут использовать МООК в качестве подготовки новых студентов (прежде всего первокурсников) к специфической университетской жизни. МООК адаптационного характера позволяет обеспечить полноценное и быстрое встраивание новых сту-

дентов в университетскую среду, а также сформировать определенные знания, необходимые для освоения дисциплин [16, 32]. Во-вторых, университеты могут встраивать МООК в учебный процесс для оптимизации затрат на свою образовательную деятельность. Например, вуз может купить МООК известного профессора вместо поиска и найма квалифицированного преподавателя или вместо введения дополнительной преподавательской ставки. В-третьих, интеграция МООК в образовательные программы позволяет увеличить вариативность учебного плана и расширить возможности для построения индивидуальной образовательной траектории. И, наконец, встраивание МООК в образовательную программу может позволить усовершенствовать учебный процесс, высвободить время на более активные учебные практики, используемые на семинарских занятиях.

В то же время, несмотря на все преимущества использования МООК в учебном процессе, данная практика имеет и свои риски. Во-первых, в исследованиях пока не выявлено единого стандарта по организации курса смешанного формата. Перед каждым преподавателем встает вопрос конструирования курса, сочетающего в себе очные занятия и онлайн-курс (например, как правильно сочетать контент МООК с контентом очного курса, как правильно распределить время, какой МООК лучше подходит к очному курсу). Во-вторых, отсутствует единый стандарт по оценке качества массовых открытых онлайн-курсов. Центр по он-лайн-обучению и преподаватель, который планирует использовать МООК, должны разработать механизмы для оценки качества применяемого онлайн-курса. В-третьих, пока неясны экономические и образовательные эффекты от интеграции онлайн-курсов в учебный процесс, а также бизнес-модель онлайн-образования. В-четвертых, в формат онлайн-курса не могут быть переведены курсы определенной тематики. Кроме того, данный формат подходит не всем студентам: как показывают исследования, вероятность успешного прохождения МООК выше для тех, кто уже имеет высшее образование, опыт онлайн-обучения, опыт обучения по тематике курса [33, 34, 35]. В-пятых, наблюдается сопротивление со стороны преподавателей относительно интеграции МООК в учебный процесс и их низкая заинтересованность в использовании онлайн-курсов в рамках учебной программы. Кроме того, остаются вопросы, связанные с правильным подбором онлайн-кур-сов, формированием учебного плана с удобными сроками прохождения дисциплины, а также правильным перерасчетом результатов освоения он-

лайн-курсов. Однако большинство из указанных ограничений снимаются при проведении исследований, которые покажут, насколько МООК как формат является эффективным при его использовании в учебном процессе высшей школы, какая модель является наиболее выгодной с экономической стороны, так и со стороны максимизации образовательных результатов студентов, каким образом правильно оценивать качество курса и встраивать его в учебный процесс.

Список литературы

1. Hollands F. M., Tirthali D. MOOCs: Expectations and Reality. Columbia University: Teachers College, 2014. 210 p.

2. Sandeen C. Integrating MOOCs into Traditional Higher Education: The Emerging «MOOC 3.0» Era, Change: The Magazine of Higher Learning, 2013, vol. 45, iss. 6, pp. 34-39.

3. Malaysia to Become First Country to Develop Credit Recognition Policy for Online Courses, available at: https:// www.nst.com.my/news/2016/01/122766/malaysia-become-first-country-develop-credit-recognition-policy-online-courses (accessed 31.10.2017).

4. IsraelM. J. Effectiveness of Integrating MOOCs in Traditional Classrooms for Undergraduate Students, International Review of Research in Open and Distributed Learning, 2015, vol. 16, no. 5, pp. 102-118.

5. Data Warehouse Specialization MOOC Offers Transfer Credits Courses, available at: https://www.cu.edu/ article/data-warehouse-specialization-mooc-offers-transfer-credits (accessed 31.10.2017).

6. Online Master of Science Computer Science (OMS CS), available at: https://www.omscs.gatech.edu/ (accessed 31.10.2017).

7. Hollands F. Why Do Institutions Offer MOOCs? Journal of Asynchronous Learning Network, 2014, vol. 18, no. 3, pp. 1-20.

8. Belanger Y., Thornton J. Bioelectricity: A Quantitative Approach. Duke University's First MOOC, available at: https://dukespace.lib.duke.edu/dspace/bitstream/ handle/10161/6216/Duke_Bioelectricity_MOOC_Fall2012. pdf?sequence=1 (accessed 31.10.2017).

9. Kizilcec R. F. & Brooks C. (2017). Diverse Big Data and Randomized Field Experiments in MOOCs. In: Lang C., Siemens G., Wise A., Gasevic D. (eds.), Handbook of Learning Analytics, [s. l.], Society for Learning Analytics Research, 2017, pp. 211-222.

10. Чамчиян А. О. К вопросу о возможности сочетания МООК и традиционных форм обучения // Электронное обучение в непрерывном образовании. 2014. Т. 1. № 1 (1). С. 339-347.

11. Маковейчук К. А. Перспективы использования курсов в формате МООК в высшем образовании в России. Международный научно-исследовательский журнал. 2015. № 6-3 (37). С. 66-67.

12. Combefis S., Van Roy P. Three-Step Transformation of a Traditional University Course into a MOOC: a LouvainX Experience. In: Experience Track: Proceedings of the European MOOC Stakeholder Summit 2015, Mons, 2015, pp. 76-80.

13. Kloos D., Muñoz-Merino J., Muñoz-Organero M., Alario-Hoyos C., Perez-Sanagustin M., Ruiperez A., Sanz L. Experiences of Running MOOCs and SPOCs at UC 3M. In: Global Engineering Education Conference (EDUCON), 2014, pp. 884-891.

14. Fox A., Patterson D. A., Ilson R., Joseph S., Walcott-Justice K., Williams R. Software Engineering Curriculum Technology Transfer: Lessons Learned from MOOCs and SPOCs, available at: https://www2.eecs.berkeley.edu/Pubs/ TechRpts/2014/EECS-2014-17.pdf (accessed 31.10.2017).

15. Yu C. Challenges and Changes of MOOC to Traditional Classroom Teaching Mode, Canadian Social Science, 2015, vol. 11, no. 1, pp. 135-139.

16. Docq F., Ella H. Why make MOOCs? Effects on On-campus Teaching and Learning. In: Experience Track: Proceedings of the European MOOC Stakeholder Summit 2015, Mons, 2015, pp. 18-20.

17. American Council on Education, available at: http:// www.acenet.edu/Pages/default.aspx (accessed 31.10.2017).

18. National College Recommendation Service, available at: http://www.nationalccrs.org/ (accessed 31.10.2017).

19. ECTS Credits for MOOC on Iversity, available at: https://iversity.org/en/pages/moocs-for-credit (accessed 31.10.2017).

20. Alternative Credit Project, available at: http://www. alternativecreditproject.com/ (accessed 31.10.2017).

21. Supply Chain Management Blended Program, available at: http://scm.mit.edu/program/blended-masters-degree-supply-chain-management (accessed 31.10.2017).

22. MicroMasters Program Entry Pathways, available at: http://courses.curtin.edu.au/course_overview/curtin-online/ micro-masters-entry-pathways.cfm (accessed 31.10.2017).

23. Master of Computer Science in Data Science, available at: https://online.illinois.edu/mcs-ds (accessed 31.10.2017).

24. Федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский политехнический университет Петра Великого». Приказ об утверждении Регламента зачета результатов освоения онлайн-курсов. Регламент зачета результатов освоения онлайн-курсов [Электронный ресурс]. URL: http://open.spbstu.ru/wp-content/uploads/2016/06/ reglament.pdf (дата обращения: 31.10.2017).

25. Положение о зачете результатов освоения открытых онлайн-курсов в НИ ТГУ [Электронный ресурс]. URL: https://ido.tsu.ru/normdocs/elearning/perezachet. pdf (дата обращения: 31.10.2017).

26. Положение об учете результатов освоения открытых онлайн-курсов в Томском политехническом университете [Электронный ресурс]. URL: http://portal.tpu. ru:7777/eL/normative_base/normative%20base/using_mook. pdf (дата обращения: 31.10.2017).

27. Федеральное государственное автономное образовательное учреждение высшего образования «Сибирский федеральный университет». Регламент зачета результатов освоения массовых открытых онлайн-курсов [Электронный ресурс]. URL: http://about.sfu-kras. ru/docs/9653/pdf/557752 (дата обращения: 31.10.2017).

28. МФТИ. Современная комбинаторика. Первая в России онлайн-магистратура [Электронный ресурс]. URL: http://omscmipt.ru/ (дата обращения: 31.10.2017).

29. Onah D., Sinclair J., Boyatt R. Dropout Rates of Massive Open Online Courses: Behavioral Patterns, Proceedings of 6th International Conference on Education and New Learning Technologies, Barcelona, 2014, pp. 5828-5834.

30. By the numbers: MOOCs in 2015, available at: https:// www.class-central.com/report/moocs-2015-stats/ (accessed 31.10.2017).

31. By the numbers: MOOCs in 2016, available at: https:// www.class-central.com/report/mooc-stats-2016/ (accessed 31.10.2017).

32. Балясин М. А., Семенова Т. В. Вовлечение студентов в онлайн-обучение // Федеральный справочник. Образование в России / под ред. Д. Панкова. М.: АНО «Центр стратегических программ», 2016. Т. 11. С. 290-298.

33. Firmin R., Schiorring E., Whitmer J., Willett T., Collins E. D., Sujitparapitaya S. Case Study: Using MOOCs for Conventional College Coursework, Distance Education, 2014, vol. 35, no. 2, pp. 178-201.

34. Kizilcec R., Saltarelli A., Reich J., Cohen G. Closing Global Achievement Gaps in MOOCs, Science, 2017, vol. 355, no. 6322, pp. 251-252.

35. Semenova T., Rudakova L. Barriers to Taking Massive Open Online Courses (MOOCs), Russian Education and Society, 2016, vol. 58, no. 3, pp. 228-245.

DOI 10.15826/umpa.2017.06.080

TYPES MOOC INTEGRATION INTO UNIVERSITIES' EDUCATIONAL PROCESS

T. V. Semenova, K. A. Vilkova

National Research University Higher School of Economics 20 Myasnitskaya str., Moscow, 101000, Russian Federation; tsemenova@hse.ru

Keywords: massive open online course, MOOC, online education, blended learning, flipped classroom, MOOC's types of integration, educational process, online platforms.

The aim of this work was to identify the existing types of massive open online courses integration into the educational process with the help of assessing the practices adopted by foreign and Russian universities. Besides, the authors identified conditions necessary for successful integration of online courses into academic programs of Russian universities and marked basic advantages and limitation of using MOOC in the educational process. Analysis used the data from

academic publications, university regulatory documents, university official sites and 5 expert interviews with executives and administrators of online learning centers from leading Russian universities - members of «National open learning platform» (NOLP) Association.

The analysis of MOOC integration into educational process allowed for identifying three main types of online courses inclusion into academic programs: 1) MOOC integration into blended format of learning; 2) replacement of several full-time courses by online disciplines; 3) creating a program of an online master course with all courses taught in online format. Foreign universities have made this technology an essential part of training, therefore creating new environment for education. At the same time, Russian universities do not use this method on a wide-scale basis. Yet there is a legislative basis for MOOC integration into the educational process. This might be related first of all with low awareness of both universities and students of the opportunity of using online courses within the framework of the educational process.

Despite the advantages of using online courses, this practice has its risks: 1) researchers have not identified a single unified standard for organizing blended courses; 2) there is no standard for evaluating MOOC quality; 3) we do not know economic and educational effects of integrating online courses into the educational process as well as business - model of online education; 4) courses on certain topics cannot be transferred into online format; 5) there are lecturers' opposing MOOCs integration into the educational process, and they demonstrate low level of interest in using such courses in the academic program; 6) there are many questions concerning the choice of MOOCs, forming a curriculum with a convenient period of teaching and correct calculation of the results of passing an online course.

In order to ensure successful integration of MOOCs into the educational process within Russian universities, the article presents three groups of conditions necessary for implementing two types of mixed models, model with replacing traditional courses by online ones and online maser course model based solely on MOOCs: 1) staff; 2) integration process administration, and 3) functional characteristics of the online platform.

The results obtained can be of interest for university executives, as there are practical recommendations for implementing MOOCs into teaching activities. The conditions suggested allow for successful implementation of this teaching technology at both selective and non-selective universities, opening new opportunities for using innovational teaching methods in practice.

References

1. Hollands F. M., Tirthali D. MOOCs: Expectations and Reality. Columbia University: Teachers College, 2014. 210 p.

2. Sandeen C. Integrating MOOCs into Traditional Higher Education: The Emerging «MOOC 3.0» Era, Change: The Magazine of Higher Learning, 2013, vol. 45, iss. 6, pp. 34-39.

3. Malaysia to Become First Country to Develop Credit Recognition Policy for Online Courses, available at: https:// www.nst.com.my/news/2016/01/122766/malaysia-become-first-country-develop-credit-recognition-policy-online-cours-es (accessed 31.10.2017).

4. Israel M. J. Effectiveness of Integrating MOOCs in Traditional Classrooms for Undergraduate Students, International Review of Research in Open and Distributed Learning, 2015, vol. 16, no. 5, pp. 102-118.

5. Data Warehouse Specialization MOOC Offers Transfer Credits, available at: https://www.cu.edu/article/data-ware-house-specialization-mooc-offers-transfer-credits (accessed 31.10.2017).

6. Online Master of Science Computer Science (OMS CS), available at: https://www.omscs.gatech.edu/ (accessed 31.10.2017).

7. Hollands F. Why Do Institutions Offer MOOCs? Journal of Asynchronous Learning Network, 2014, vol. 18, no. 3, pp. 1-20.

8. Belanger Y., Thornton J. Bioelectricity: A Quantitative Approach. Duke University's First MOOC, available at: https:// dukespace.lib.duke.edu/dspace/bitstream/handle/10161/6216/ Duke_Bioelectricity _MOOC_Fall2012.pdf?se quence=1 (ac -cessed 31.10.2017).

9. Kizilcec R. F. & Brooks C. (2017). Diverse Big Data and Randomized Field Experiments in MOOCs. In: Lang C., Siemens G., Wise A., Gasevic D. (eds.), Handbook of Learning Analytics, [s. l.], Society for Learning Analytics Research, 2017, pp. 211-222.

10. Chamchiyan A. O. K voprosu o vozmozhnosti so-chetaniya MOOK i traditsionnykh form obucheniya [On the Question about Combinating MOOC with Traditional Form of Teaching], Elektronnoe obuchenie v nepreryvnom obra-zovanii [Electronic Training in Continuous Education], 2014, vol. 1, no. 1 (1), pp. 339-347.

11. Makoveichuk K. A. Perspektivy ispol'zovaniya kursov v formate MOOK v vysshem obrazovanii v Rossii [Prospects of Using MOOCs in Basic Educational Programs of Higher Education in Russia]. Mezhdunarodnyi nauchno-issledovatel'skii zhurnal [International Research Journal], 2015, no. 6-3 (37), pp. 66-67.

12. Combéfis S., Van Roy P. Three-Step Transformation of a Traditional University Course into a MOOC: a LouvainX Experience. In: Experience Track: Proceedings of the European MOOC Stakeholder Summit 2015, Mons, 2015, pp. 76-80.

13. Kloos D., Muñoz-Merino J., Muñoz-Organero M., Alario-Hoyos C., Perez-Sanagustin M., Ruiperez A., Sanz L. Experiences of Running MOOCs and SPOCs at UC 3M. In: Global Engineering Education Conference (EDUCON), 2014, pp. 884-891.

14. Fox A., Patterson D. A., Ilson R., Joseph S., Walcott-Justice K., Williams R. Software Engineering Curriculum Technology Transfer: Lessons Learned from MOOCs and

SPOCs, available at: https://www2.eecs.berkeley.edu/Pubs/ TechRpts/2014/EECS-2014-17.pdf (accessed 31.10.2017).

15. Yu C. Challenges and Changes of MOOC to Traditional Classroom Teaching Mode, Canadian Social Science, 2015, vol. 11, no. 1, pp. 135-139.

16. Docq F., Ella H. Why make MOOCs? Effects on On-campus Teaching and Learning. In: Experience Track: Proceedings of the European MOOC Stakeholder Summit 2015, Mons, 2015, pp. 18-20.

17. American Council on Education, available at: http:// www.acenet.edu/Pages/default.aspx (accessed 31.10.2017).

18. National College Recommendation Service, available at: http://www.nationalccrs.org/ (accessed 31.10.2017).

19. ECTS Credits for MOOC on Iversity, available at: https://iversity.org/en/pages/moocs-for-credit (accessed 31.10.2017).

20. Alternative Credit Project, available at: http://www.al-ternativecreditproject.com/ (accessed 31.10.2017).

21. Supply Chain Management Blended Program, available at: http://scm.mit.edu/program/blended-masters-degree-supply-chain-management (accessed 31.10.2017).

22. MicroMasters Program Entry Pathways, available at: http://courses.curtin.edu.au/course_overview/curtin-online/ micro-masters-entry-pathways.cfm (accessed 31.10.2017).

23. Master of Computer Science in Data Science, available at: https://online.illinois.edu/mcs-ds (accessed 31.10.2017).

24. Federal'noe gosudarstvennoe avtonomnoe obrazovatel'noe uchrezhdenie vysshego obrazovaniya «Sankt-Peterburgskii politekhnicheskii universitet Petra Velikogo». Prikaz ob utverzhdenii Reglamenta zacheta rezul'tatov osvoeniya onlain-kursov. Reglament zacheta rezul'tatov osvoeniya onlain-kursov [Peter the Great St. Petersburg Polytechnical University. Order on Approval of the Regulations of Credit Transfer of MOOC Completion. The Regulations of Credit Transfer of MOOC Completion], available at: http://open.spbstu.ru/wp-content/uploads/2016/06/ reglament.pdf (accessed 31.10.2017).

25. Polozhenie o zachete rezul'tatov osvoeniya otkrytykh onlain-kursov v NI TGU [Statement of Credit Transfer of MOOC Completion in Tomsk State Research University], available at: https://ido.tsu.ru/normdocs/elearning/perezachet. pdf (accessed 31.10.2017).

26. Polozhenie ob uchete rezul'tatov osvoeniya otkry-tykh onlain-kursov v Tomskom politekhnicheskom univer-sitete [Statement of Credit Transfer of MOOC Completion in Tomsk Polytechnic University], available at: http://portal.tpu. ru:7777/eL/normative_base/normative%20base/using_mook. pdf (accessed 31.10.2017).

27. Federal'noe gosudarstvennoe avtonomnoe obrazovatel'noe uchrezhdenie vysshego obrazovaniya «Sibirskii federal'nyi universitet». Reglament zacheta rezul'tatov osvoeniya massovykh otkrytykh onlain-kur-sov [Siberian Federal University. Regulations of Credit Transfer of MOOC Completion], available at: http://about. sfu-kras.ru/docs/9653/pdf/557752 (accessed 31.10.2017).

28. MFTI. Sovremennaya kombinatorika. Pervaya v Rossii onlain-magistratura [Moscow Institute of Physics and Technology. Modern Theory of Combinations. The First Online Master Degree Course in Russia], available at: http:// omscmipt.ru/ (accessed 31.10.2017).

29. Onah D., Sinclair J., Boyatt R. Dropout Rates of Massive Open Online Courses: Behavioral Patterns, Proceedings of 6th International Conference on Education and New Learning Technologies, Barcelona, 2014, pp. 5828-5834.

30. By the numbers: MOOCs in 2015, available at: https:// www.class-central.com/report/moocs-2015-stats/ (accessed 31.10.2017).

31. By the numbers: MOOCs in 2016, available at: https:// www.class-central.com/report/mooc-stats-2016/ (accessed 31.10.2017).

32. Balyasin M. A., Semenova T. V. Vovlechenie studen-tov v onlain-obuchenie [Students Engagement into Online Learning]. In: Pankov D. (ed.), Federal'nyi spravochnik. Obrazovanie v Rossii [Education in Russia], Moscow, 2016, vol. 11, pp. 290-298.

33. Firmin R., Schiorring E., Whitmer J., Willett T., Collins E. D., Sujitparapitaya S. Case Study: Using MOOCs for Conventional College Coursework, Distance Education, 2014, vol. 35, no. 2, pp. 178-201.

34. Kizilcec R., Saltarelli A., Reich J., Cohen G. Closing Global Achievement Gaps in MOOCs, Science, 2017, vol. 355, iss. 6322, pp. 251-252.

35. Semenova T., Rudakova L. Barriers to Taking Massive Open Online Courses (MOOCs), Russian Education and Society, 2016, vol. 58, no. 3, pp. 228-245.

Информация об авторах / Information about the authors:

Семенова Татьяна Вадимовна - магистр социологии, младший научный сотрудник Центра социологии высшего образования Института образования Национального исследовательского университета «Высшая школа экономики»; tsemenova@hse.ru.

Вилкова Ксения Александровна - стажер-исследователь Центра социологии высшего образования Института образования Национального исследовательского университета «Высшая школа экономики», kavilkova@edu.hse.ru.

Tatiana V. Semenova - Master in Sociology, Junior Research Fellow, the Centre of Sociology of Higher Education, National Research University Higher School of Economics; tsemenova@hse.ru.

Ksenia A. Vilkova - Intern, the Centre of Sociology of Higher Education, National Research University Higher School of Economics; kavilkova@edu.hse.ru.

ПРИЛОЖЕНИЕ А3

Igor Chirikov, Tatiana Semenova, Natalia Maloshonok, Eric Bettinger, René F. Kizilcec. Online education platforms scale college STEM instruction with equivalent learning outcomes at lower cost // Science Advances. 2020. Vol. 6. No. 15. eaay5324.

Meeting global demand for growing the science, technology, engineering, and mathematics (STEM) workforce requires solutions for the shortage of qualified instructors. We propose and evaluate a model for scaling up affordable access to effective STEM education through national online education platforms. These platforms allow resource-constrained higher education institutions to adopt online courses produced by the country's top universities and departments. A multisite randomized controlled trial tested this model with fully online and blended instruction modalities in Russia's online education platform. We find that online and blended instruction produce similar student learning outcomes as traditional inperson instruction at substantially lower costs. Adopting this model at scale reduces faculty compensation costs that can fund increases in STEM enrollment.

Авторский вклад: разработка части по методологии исследования, его координация и сбор данных, подготовка базы данных, подготовка обзора литературы по теме, подготовка части с описанием дизайна исследования и инструментария.

ECONOMICS

Online education platforms scale college STEM instruction with equivalent learning outcomes at lower cost

Igor Chirikov1,2*, Tatiana Semenova2, Natalia Maloshonok2, Eric Bettinger3, René F. Kizilcec4

Meeting global demand for growing the science, technology, engineering, and mathematics (STEM) workforce requires solutions for the shortage of qualified instructors. We propose and evaluate a model for scaling up affordable access to effective STEM education through national online education platforms. These platforms allow resource-constrained higher education institutions to adopt online courses produced by the country's top universities and departments. A multisite randomized controlled trial tested this model with fully online and blended instruction modalities in Russia's online education platform. We find that online and blended instruction produce similar student learning outcomes as traditional in-person instruction at substantially lower costs. Adopting this model at scale reduces faculty compensation costs that can fund increases in STEM enrollment.

Copyright © 2020 The Authors, some rights reserved; exclusive licensee American Association for the Advancement of Science. No claim to original U.S. Government Works. Distributed under a Creative Commons Attribution NonCommercial License 4.0 (CC BY-NC).

INTRODUCTION

A shortage of professionals in science, technology, engineering, and mathematics (STEM) fields is slowing down growth and innovation in the global knowledge economy (1-2). Developed and developing countries alike have introduced multibillion-dollar programs to increase the supply of STEM graduates (3-5). However, institutions of higher education face a need to curb the rising costs associated with attracting qualified instructors and serving more graduates as STEM degree programs cost more to run than most other majors (6). The largest global producers of STEM graduates—China, India, Russia, and the United States—are actively seeking policy alternatives to increase the cost-effectiveness of STEM education at scale (5). We present an affordable approach to addressing this global challenge and demonstrate its efficacy in a randomized field experiment.

Experts in education and economics have touted blended or fully online content delivery as a vehicle for expanding access to higher education (7). Experimental or quasi-experimental evidence indicates that online and blended approaches to content delivery can produce similar or somewhat lower academic achievement compared with in-person programs (8-12). These findings are based on comparisons between the modality of course delivery within the same university or the same course taught by one instructor. Yet, scaling up affordable access to STEM education requires a concerted effort across multiple universities and instructors at the national level.

We propose a model relying on national online education platforms that were recently established in many countries, including China (XuetangX, WEMOOC, and CNMOOC), India (Swayam), and Russia [National Platform of Open Education (OpenEdu)] to address challenges associated with the shortage of qualified instructors and growing demand for higher education. National online education platforms allow resource-constrained institutions that struggle with attracting and retaining qualified instructors to include online courses produced by the country's highest ranked departments or universities into their traditional degree programs. In addition to reducing costs, the integration of online courses into the curriculum can potentially enable resource-constrained universities to

University of California, Berkeley, CA, USA. 2National Research University Higher

School of Economics, Moscow, Russia. 3Stanford University, Stanford, CA, USA.

4Cornell University, Ithaca, NY, USA. Corresponding author. Email: chirikov@berkeley.edu

enrich student learning by leveraging the expertise of the instructors from top departments or universities.

Russia's OpenEdu is a nonprofit organization that offers full-scale online university courses to the public. It was established in 2015 by eight top Russian universities with support from the Ministry of Higher Education and Science (MHES). These universities established OpenEdu to address growing concerns about the quality of higher education (13) and to improve the cost-effectiveness of the massified higher education system during an economic recession. Russian higher education institutions can integrate any of the 350+ courses from the OpenEdu platform into their curricula by paying a small fee to the university that produced the course. Students at the purchasing institution can take the course for credit with either fully online or blended instruction— an online course augmented with in-person discussion sections.

If the country's highest ranked universities or departments can deliver online STEM courses at resource-constrained institutions without substantial declines in student learning outcomes, then the OpenEdu model could alleviate strains on hiring qualified instructors at resource-constrained institutions and become an affordable alternative to traditional STEM instruction. We conducted a multisite randomized controlled trial (RCT) to test the effectiveness of the OpenEdu model, including testing the effect of instruction modality (fully online instruction, blended instruction, and in-person instruction) on student learning and calculating cost savings that the model could bring to the higher education system.

In the 2017-2018 academic year, we selected two required semester-long STEM courses [Engineering Mechanics (EM) and Construction Materials Technology (CMT)] at three participating, resource-constrained higher education institutions in Russia. These courses were available in-person at the student's home institution and alternatively online through OpenEdu. We randomly assigned students to one of three conditions: (i) taking the course in-person with lectures and discussion groups with the instructor who usually teaches the course at the university, (ii) taking the same course in the blended format with online lectures and in-person discussion groups with the same instructor as in the in-person modality, and (iii) taking the course fully online.

The course content (learning outcomes, course topics, required literature, and assignments) was identical for all students. A feature of Russia's higher education system, also found in other countries, is that the content of required courses at all state-accredited universities must comply with Federal State Education Standards (FSES).

o

o

N>

o

N>

o

FSES sets the requirements for both student learning outcomes and the topics that should be covered within academic programs (with limited discretion for the instructor) and most online courses on OpenEdu comply with the FSES. To further minimize variation in course materials between courses, we worked with course instructors before the experiment to ensure that all students received the same assignments and required reading. We also surveyed course instructors and collected information about their sociodemographic characteristics, research, and teaching experience. As expected, the online course instructors from one of the country's top engineering school had better educational backgrounds, more research publications, and more years of teaching experience than the in-person instructors.

Before the start of the course, students under all three conditions attended an in-person meeting at their home university with the instructor and the research team, where they were informed about the experiment and given the opportunity to opt out without consequences (5 of 330 students opted out). During the meeting, students took a knowledge pretest assessing their mastery of the course content. They also completed a survey questionnaire asking about their socio-demographic characteristics and prior learning experiences. At the end of the course, all students took a standardized final exam assessing their mastery of the course content and completed a questionnaire about their course experience and satisfaction; both were administered by course instructors and the research team on-site at each university.

In total, 325 second-year college students from three universities were randomly assigned to one of three experimental conditions: 101 in-person, 100 blended, and 124 online. The distribution across conditions was uneven by design. Nearly, the entire cohort of mechanical engineering majors at University 1 (U1; n = 98) and civic engineering majors at U2 (n = 140) took the five-credit EM course. At U3, the entire cohort of mechanical engineering majors (n = 87) took the four-credit course on CMT. Random assignment successfully created three groups of students with balanced sociode-mographic characteristics (F = 1.12, P = 0.31). We verified using attendance sheets that students remained in their assigned instruction modality. At the end of the courses, 294 participants (90%; attrition was independent of condition) took the final examination, which was developed by the online course instructors and independently evaluated for alignment with FSES learning outcomes.

We consider three student outcomes: (i) students' final exam score, (ii) their average grade across all course assessments, and (iii) their self-reported satisfaction with the course. Students received the same exam and weekly assessment materials under all conditions, except that online students were permitted three attempts instead of a single attempt on the weekly assessments but not on the final exam. We analyze the data with and without covariate adjustment using ordinary least squares (OLS) regression with fixed effects for university, pooling multiple imputations to address missing values (see Materials and Methods for model details).

RESULTS

We find minimal evidence that final exam scores differ by condition (F = 0.26, P = 0.77) (Fig. 1). The average assessment score varied significantly by condition (F = 3.24, P = 0.039): Students under the in-person and blended conditions have similar average assessment scores (t = 0.26, P = 0.80), but those under the online condition scored 7.2 percentage points higher (t = 2.52, P = 0.012). This effect is likely an artifact of the more lenient assessment submission

Fig. 1. Average student outcomes under each condition from covariate-adjusted regression models for three outcome measures: final exam score, average assessment score, and self-reported student satisfaction.

policy for online students, who were permitted three attempts on the weekly assignments. Nevertheless, despite the difference in assessments scores, we find minimal evidence that student satisfaction differs by condition (F = 2.22, P = 0.109). Online students were slightly less satisfied with their course experience than in-person students (t = -1.88, P = 0.062), while blended and in-person students reported similar levels of satisfaction (t = -0.91, P = 0.36). Results with covariate adjustment, as reported and illustrated in Fig. 1, are qualitatively similar without adjustment.

National online education platforms have the potential to address the shortage of resources and qualified STEM instructors by bringing cost savings for the economically distressed higher education institutions. The existing supply of instructors is expected to decline sharply as 41% of STEM faculty in Russia today are older than 60. Given looming shortages of faculty and growing demand from students, national online platforms can mitigate budget constraints as the supply of qualified instructors puts upward pressure on faculty compensation. To demonstrate the cost efficacy, we estimate whether the introduction of blended or fully online instruction of EM and CMT scaled to all state-funded resource-constrained higher education institutions in Russia would allow these institutions to enroll more STEM students at the same or lower cost for the national system.

There are 129 state-run institutions of higher education that receive only basic funding from Russia's Ministry of Higher Education and Science and that admitted students who were required to take EM and/or CMT as part of their major. In 2018, these universities admitted 29,992 freshmen students who were required to take EM and 72,516 freshmen students who were required to take CMT. Tuition for these students is paid by the Ministry: Each university receives an annual subsidy per student that covers both instructor compensation and all other costs (e.g., staff and management salaries, buildings maintenance and utilities, and study equipment). In our model, we assume that part of the state subsidy for each resource-constrained university will go to the country's highest ranked universities for the

o o

o m

Q_ (D Q_

r o 3

(D

3

Q) o

hO

o

hO

o

production, delivery, and proctoring of an online version of EM and CMT (see Materials and Methods for model details). However, blended and online instruction will reduce instructor compensation expenses and enable resource-constrained universities to enroll more students with the same state subsidy.

On the basis of university-level data on instructor salaries and the number of enrolled students per year at these 129 universities, we calculate instructor compensation per student for each course when offered in-person, blended, or fully online. Our estimates are based on the same teaching model that was used by the universities in the experiment: All students attend a common lecture (no more than 300 students) and are then assigned to discussion sections in groups of no more than 30 students. Our estimates for blended and online modalities account for the cost of production (media production and faculty and staff compensation), support, and proctoring of online courses. Compared to the instructor compensation cost of in-person instruction, blended instruction lowers the per-student cost by 19.2% for EM and 15.4% for CMT; online instruction lowers it by 80.9% for EM and 79.1% for CMT (Fig. 2).

These cost savings can fund increases in STEM enrollment with the same state funding. Conservatively assuming that all other costs per student besides instructor compensation at each university remain constant, resource-constrained universities could teach 3.4% more students in EM and 2.5% more students in CMT if they adopted blended instruction. If universities relied on online instruction, then they could teach 18.2% more students in EM and 15.0% more students in CMT.

DISCUSSION

This study demonstrates the potential of national online education platforms for scaling up affordable access to STEM education. In the model we propose, national online education platforms license online courses created by top universities to resource-constraint universities with a shortage of qualified instructors. The platform not only provides information technology infrastructure for hosting online courses but also supports universities with the design, production, and delivery of online courses. For each course, the learning outcomes, topics, required reading, and assignments are

Fig. 2. Average instructor compensation per 1000 students with in-person, blended, and online instruction for EM and CMT courses at 129 Russian higher education institutions. USD, U.S. dollars.

standardized with iterative quality assurance from domain experts and psychometric evaluators. Resource-constrained universities can offer the licensed courses for credit either fully online or in a blended format. Blended instruction is facilitated by providing instructors at resource-constrained universities with a set of teaching materials (lecture slides, assigned reading, and problem sets).

There are challenges and limitations associated with using a national online education platform to expand STEM education. First, there are substantial start-up costs for the platform itself, for faculty professional development programs to improve online teaching and for the introduction of new models of instruction at universities. These costs can be covered by the state or by a consortium of universities that will become course providers on the platform. Second, these platforms will be more efficient in settings where academic programs are synchronized both in terms of student learning outcomes and academic calendars. State or private accreditation boards and professional associations could play a more active role in harmonizing curricula across universities. Cross-country variation in the impact of online education platforms on student learning and the cost of instruction warrants further investigation. Third, more research is needed on how combining different instruction modalities in degree programs affect learning and career outcomes for students with diverse backgrounds. Policy makers and course designers need to experiment with new approaches that can improve student outcomes relative to traditional forms of instruction.

To achieve tight control between the three instruction modalities, the online learning approach tested in this study did not include novel learning activities available in modern online learning platforms. Automated formative assessment, just-in-time learning, and interactive learning materials with immediate feedback can provide learning benefits similar to one-on-one tutoring at a lower cost (14-15). Our estimates of the online learning benefits may therefore be conservative, and models that make better use of the online affordances might show benefits for learning outcomes and efficiency that offset the higher up-front development cost (8). A centralized national model for STEM education can also provide an unprecedented opportunity for systematic research into improving learning resources and pedagogy with national student samples, fine-grained longitudinal outcome measures, and experimental control over the learning environment.

At a time when both developed and developing countries experience a shortage of resources and qualified instructors to expand STEM education, national or accredited online education platforms can provide a feasible alternative to traditional models of instruction. Our study shows that universities can use these platforms to increase enrollments without spending more resources on instructor compensation and without losses in student learning outcomes. While students' satisfaction may fall, the decline in satisfaction pales in comparison to the potential cost savings. A cost-effective expansion of STEM programs will allow countries facing instructor shortages and rising costs to be more competitive in the global knowledge economy.

MATERIALS AND METHODS Study context

The study was conducted in the 2017-2018 academic year in Russia as part of a larger feasibility study on the integration of online courses from Russia's National Platform of OpenEdu into traditional degree programs at Russian universities (16). OpenEdu is Russia's largest

o o

o m

Q_ (D Q_

r o 3

(D

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.