Валидизация количественного подхода к оценке понятийной структуры с помощью сетевого анализа тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Капуза Анастасия Васильевна

• Капуза Анастасия Васильевна
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Капуза Анастасия Васильевна

ВВЕДЕНИЕ

АКТУАЛЬНОСТЬ ИССЛЕДОВАНИЯ

СТЕПЕНЬ РАЗРАБОТАННОСТИ ПРОБЛЕМЫ

Концептуальные карты как метод оценки понятийной структуры

Первый компонент: постановка задачи для построения концептуальной карты

Второй компонент: форма ответа

Третий компонент: система оценивания концептуальных карт

Сетевой анализ как система оценки концептуальных карт

ЦЕЛЬ И ЗАДАЧИ ИССЛЕДОВАНИЯ

ИССЛЕДОВАТЕЛЬСКИЕ ВОПРОСЫ

ТЕОРЕТИЧЕСКАЯ РАМКА ИССЛЕДОВАНИЯ

Теории обучения и когнитивного развития, применимые для объяснения развития понятийно структуры

Сетевой анализ для оценки понятийной структуры

МЕТОДОЛОГИЯ И МЕТОДЫ

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Исследовательский вопрос 1: Как используются когнитивные теории для применения методов сетевого анализа к измерению и интерпретации результатов измерения понятийной структуры с использованием концептуальных карт на данный момент?

Исследовательский вопрос 2: валидны ли индикаторы из сетевого анализа для определения уровня сложности понятийной структуры с помощью концептуальных карт?

Исследовательский вопрос 3: как различаются концептуальные карты разного типа (с заданным списком понятий и без такого списка) по индикаторам из сетевого анализа?

Исследовательский вопрос 4: какие индикаторы для оценки понятийной структуры, основанные на сетевом анализе, могут быть разработаны так, чтобы они отвечали теоретическим представлениям о психологии обучения и когнитивного развития?

ТЕОРЕТИЧЕСКАЯ И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ РАБОТЫ

ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

СТЕПЕНЬ ДОСТОВЕРНОСТИ И АПРОБАЦИЯ РЕЗУЛЬТАТОВ

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ 1. Статья «Придавая смысл: психологические теории для интерпретации концептуальных карт»

ПРИЛОЖЕНИЕ 2. Статья «Различительная способность концептуальных карт для оценки уровня компетенции»

ПРИЛОЖЕНИЕ 3. Статья «How concept maps with and without a list of concepts differ: The case of statistics»

ПРИЛОЖЕНИЕ 4. Статья «The network approach to assess the structure of knowledge: Storage, distribution and retrieval as three measures in analysing concept maps»

ИНФОРМАЦИЯ О СОИСКАТЕЛЕ И ДИССЕРТАЦИОННОМ ИССЛЕДОВАНИИ

ФИО соискателя Капуза Анастасия Васильевна

Тема диссертации Валидизация количественного подхода к оценке понятийной структуры с помощью сетевого анализа

Сведения об организации, в которой выполнялась диссертация Институт образования, НИУ ВШЭ

Сведения о научном руководителе Тюменева Юлия Алексеевна, к.пс.н., старший научный сотрудник, Институт образования, НИУ ВШЭ

Список публикаций автора диссертации, в которых отражены основные научные результаты диссертации Тюменева, Ю. А., Капуза, А. В., Вергелес, К. П. (2017). Различительная способность концептуальных карт для оценки уровня компетенции. Вопросы образования, (4), 150-170. Kapuza, A. (2020). How concept maps with and without a list of concepts differ: The case of statistics. Education Sciences, 10(4), 91. Kapuza, A., Koponen, I. T., & Tyumeneva, Y. (2020). The network approach to assess the structure of knowledge: Storage, distribution and retrieval as three measures in analysing concept maps. British Journal of Educational Technology, 51(6), 2574-2591. Капуза, А. В., Тюменева, Ю. А. (2023). Придавая смысл: психологические теории для интерпретации концептуальных карт. Мир психологии, (1 (112)),

Список научных конференций, на которых были представлены результаты диссертационного исследования 1 Конференция молодых ученых Psy-Вышка "Актуальные проблемы психологической науки" (Москва, 2017). Доклад: «Исследование валидности метода концептуальных карт» The 10th Annual Embodied and Situated Language Processing Conference (Москва, 2017). Доклад: «Spontaneous retrieving vs. forced concepts in concept maps of novices and experienced students»

Networks applied in science education research (Хельсинки,

2019 г.). Доклад: «The network approach for assessing

knowledge structure changes owing to learning»

NetSciEd2020 (Онлайн, 2020). Доклад: «How concept maps

with and without a list of concepts differ: the case of

statistics»

ВВЕДЕНИЕ

Использование знаний - одна из важнейших концепций в когнитивной психологии. В самом общем виде под знанием, как правило, понимается хранение, интеграция и организация информации в памяти. Представления о том, как знания о какой-то конкретной области организованы у экспертов, являются ключевым аспектом в понимании процесса обучения.

В когнитивной психологии XX века достаточно много внимания уделялось том, как организованы и репрезентируются знания (knowledge representation, representation of knowledge). Одной из базовых теорий организации знаний, является теория семантической сети. Куинлан и Квиллиан разработали эту теорию, основываясь на идее о том, что знания могут быть представлены в виде сети, где узлы представляют понятия разного уровня абстракции (например, канарейка; птица; животное), а связи между узлами отражают отношения между понятиями (Collins & Quillian, 1969). При этом в каждом таком узле хранится информация, связанная с этим уровнем (например, канарейка - желтая, птица - имеет крылья, животное - дышит), а каждый последующий узел включает в себя информацию обо всех предыдущих.

Согласно Л. Барсалоу, знания не хранятся в виде абстрактных символов или языковых правил, а скорее представляют собой активные ментальные модели, и, поэтому, знания могут быть активированы и изменены в зависимости от контекста, в котором они используются (Barsalou, 1983). Например, представление о слове «яблоко» может быть разным в контексте кулинарии и в контексте ботаники.

Далее представление о хранении и организации приобретаемых знаний усложнялось, так как необходимо было учитывать процессуальную сторону. Так, в 70-80х гг. стали активно развиваться пропозициональные модели, которые включают в себя узлы, представляющие концепты, и связи между этими узлами, представляющие отношения или связи между концептами, а каждая связь может иметь различные атрибуты, такие как силу связи или направление (Anderson, 1996; Norman & Rumelhart, 1975).

В 90-х гг. появилась также модель, обобщающая и дополняя предыдущие идеи -ALCOVE (attention learning covering map, карта покрытия обучения вниманию) (Kruschke, 1992). ALCOVE - это «коннективистская» модель, которая предполагает, что стимулы представлены как точки в пространстве психологических стимулов, и, таким образом, представляют собой вектор. При этом она подразумевает, что для каждого обучающего стимула имеется ровно один радиально-базисный узел, то есть узел в сети,

который представляет собой некий образец. Другими словами, такой узел представляет собой шаблон или «центр» для определенной категории или образца. Когда поступает новый стимул, он сравнивается с этими центрами, и активируется тот узел, центр которого находится наиболее близко к входным данным, используя радиальную функцию для оценки сходства. Таким образом, эта теория применяется для описания обучения на основе категоризации стимулов. Однако сам Д. Крушке (Kruschke, 1992) отмечал, что главным ограничением этой модели является то, что она применима только к ситуациям, для которых стимулы могут быть соответствующим образом представлены в виде точек в многомерном пространстве психологического подобия. В когнитивной же психологии не все области стимулов в полной мере поддаются пространственному представлению.

В целом существенным ограничением использования таких когнитивных теорий для разработки процедур измерения структуры знаний, приобретаемой в процессе образования, является то, что они в большей степени описывают «натуральное», спонтанное приобретение знаний, которое может включать в себя не только понятия, но и различный сенсомоторный опыт. Как следствие, способ представления, репрезентации знаний (как и способы их использования) отличается от того, что требуется в системе формального образования, особенно - высшего, которое сосредоточено на усвоении студентами весьма абстрактного материала.

В то же время с точки зрения организации обучения и научения более важными представляются работы в области психологии развития и обучения, так как они посвящены «произвольному», «спроектированному» приобретению понятий. Безусловно, основными работами в этой области являются теории Ж. Пиаже и Л.С. Выготского. Различаясь в объяснении причин и следствий развития и обучения, они сходились в описании основных механизмов развития понятийной структуры у детей. Под понятиями Выготский понимал слова и значения, которые за ними стоят (Выготский, 1999). При этом Выготский делал особый акцент на развитие именно научных понятий в процессе обучения, противопоставляя их спонтанным, житейским понятиям, о которых в больше степени говорили исследователи из области когнитивной психологии. Он писал: «Научное понятие благодаря тому, что оно является научным по самой своей природе, предполагает какое-то место в системе понятий, определяющее его отношение к другим понятиям» (Выготский, 1999, с. 208). Настоящая работа посвящена изучению как раз такой понятийной структуры, возникающей в процессе обучения, то

есть соотношению представлений обучающегося об объектах или явлениях, представляющих содержание изучаемой области знаний.

Важно отметить, что, как отмечал Э.В. Ильенков, «...очень часто мы путаем развитие способности мыслить и процесс усвоения знаний, предусмотренных программами. А эти два процесса отнюдь не совпадают автоматически, хотя один без другого и невозможен» (Ильенков, 1964). В то же время работы таких выдающихся советских и российских ученых, как В.В. Давыдов, П.Я. Гальперин, А.Н. Леонтьев, Н.Ф. Талызина и других были в большей мере направлены на изучение того, как выстроить школьную программу, в наибольшей степени отвечающую естественному развитию у ребенка способности мыслить и решать учебные задачи и проблемы. Эта область исследования представляет собой отдельное большое направление, в настоящей же работе мы сосредоточимся на рассмотрении возможности и способа измерения результата усвоения понятий в некоторой области для того, чтобы предоставить исследователям наиболее эффективных способов усвоения знаний инструментарий для принятия доказательных решений.

В середине XX века в рамках такого направления в образовании, как конструктивизм, начали разрабатываться методы оценки понятийной структуры. Традиционные методы оценки, такие как стандартизированные тесты, неспособны отразить структуру, взаимоотношение концептов, и оценить изменения в понятийной структуре, поэтому Дж. Новак с коллегами с помощью клинических интервью разработали метод, основанный на графической репрезентации такой структуры — концептуальные карты (conceptual mapping) (Novak & Musonda, 1991). Концептуальные карты отличаются от других инструментов оценки тем, что позволяют увидеть взаимосвязи между всеми понятиями и исходит непосредственно от респондента.

Концептуальные карты прошли долгий путь развития как инструмент, доступный для оценивания формирования понятийной структуры в процессе обучения (Ruiz-Primo & Shavelson, 1996; Strautmane, 2012; Watson и др., 2016). Однако методы анализа построенных концептуальных карт все все еще являются предметом исследований, сравнений и проверки.

Исследователи и практики, использующие концептуальные карты для оценки понятийной структуры, сталкиваются с двумя большими сложностями. Во-первых, отсутствуют объективные унифицированные индикаторы, говорящие о степени сформированности или развитости такой структуры, то есть ее изменения с увеличением экспертности обучающегося в выбранной области знаний. Часто единственным

индикатором развитости понятийной структуры является количество использованных понятий и связей между ними. Однако слабо разработано обоснование того, какие именно индикаторы и почему должны характеризовать развитость понятийной структуры, и как следует интерпретировать те или иные значения этого индикатора. Например, должна ли развитая понятийная структура быть максимально широкой и включать в себя множество понятий на разных уровнях абстракции, или же она должна включать достаточно абстрактные, но сильно связанные между собой ключевые понятия в области?

Во-вторых, слабой стороной использования концептуальных карт является их индивидуализированное использование. Подавляющее большинство выводов, касающихся изменений в понятийной структуре, представляют собой индивидуальную экспертную обратную связь по каждому наблюдению (напр., Conran и др., 2017; Cook, 2017). Конечно, оценка индивидуального прогресса и выявление неправильных представлений отдельных учащихся являются неоценимым преимуществом формирующего оценивания в целом и оценки изменения понятийной структуры в частности. Тем не менее, такой подход не позволяет исследователям сосредоточиться на универсальных характеристиках концептуальных карт, которые могут быть применены для оценки прогресса обучения и мониторинга развития понятийной структуры в целом. В частности, для этого необходимо иметь такие формальные (объективные, исчисляемые) индикаторы, которые бы позволили различать уровни компетентности в различных областях и не требовали при этом интерпретации экспертов.

Таким образом, проблема настоящего исследования заключается в назревшей необходимости унифицировать и валидировать способ оценки понятийной структуры, формирующейся в процессе обучения, с помощью концептуальных карт.

Введение диссертации (часть автореферата) на тему «Валидизация количественного подхода к оценке понятийной структуры с помощью сетевого анализа»

АКТУАЛЬНОСТЬ ИССЛЕДОВАНИЯ

Существующая литература об использовании концептуальных карт для оценки понятийной структуры подчеркивает как полезность этого инструмента, так и ограниченность его применения. Прежде всего стоит отметить несистематизированное разнообразие методов интерпретации результатов построенных обучающимися концептуальных карт. Так, в целом можно выделить два подхода в интерпретации результатов: качественный и количественный. Ограничения качественного подхода понятны: показатели, такие, как точность (Ruiz-Primo и др., 2001), качество структуры (Novak & Gowin, 1999) и так далее, в значительной степени варьируют от эксперта к

эксперту (обычно, учителей и преподавателей) (Watson и др., 2016). Кроме того, обычно такие критерии применяются в отношении к конкретному предмету или даже к конкретной теме, что значительно снижает обобщаемость и сопоставимость результатов из различных предметных областей.

Количественный же подход представляется более релевантным для анализа больших массивов данных, а также для сравнительного анализа карт. С его помощью можно проследить, например, развитие понятийной структуры, то есть ее изменения с увеличением экспертности обучающегося в выбранной области знаний. Однако и он имеет ограничения, прежде всего, слабую обоснованность использования тех или иных индикаторов и отсутствие явного понимания того, как следует интерпретировать полученные результаты.

Более важно, чем просто бессистемность и разрозненность использующихся методов, является отсутствие теоретического основания для выбора или разработки критериев, по которым анализируются карты. Во многом именно дефицит психологических теорий о направлении развития понятийной структуры в ходе обучения и стал причиной отмеченной методической раздробленности. Даже говоря об объективных критериях, таких как количество понятий и связей между ними, нужно понимать, что означает та или иная характеристика карты (напр., рост количества используемых учащимся понятий) для обучения и когнитивного развития в целом. В частности, иногда авторы считают, что чем больше понятий использовано обучающимся в концептуальной карте, тем более развита и понятийная структура. Однако это утверждение не вполне очевидно: например, человек может назвать много понятий, которые он слышал из области компьютерных наук, но не иметь представления о том, как они соотносятся. Можно ли считать это хорошим пониманием предметной области?

Анализ литературы показывает, что в отсутствие психологических теорий исследователи все чаще прибегают к теориям, которые изначально не были предназначены для описания психологической действительности, но скорее использовались в области анализа сложных систем. Прежде всего, обращает на себя внимание теория графов и ее более прикладной аспект - сетевой анализ, которые позволяют оценивать отношение понятий друг к другу. Поскольку концептуальная карта также может быть представлена как сеть взаимосвязанных понятий, теория графов, хотя и техническая по природе, помогла продвинуться в анализе концептуальных карт, во многом заложив теорию психологическую.

В целом сетевой анализ обладает широким инструментарием для оценки различных свойств систем со связанными объектами (M. Newman, 2018). Один из главных вызовов, на которые отвечает сетевой анализ - это анализ сложных систем (complex systems), то есть систем, поведение которых трудно или невозможно вывести из знаний о поведении отдельных их компонентов (Estrada, 2016; Mata, 2020). Например, к таким системам можно отнести Всемирную паутину (World Wide Web) или взаимодействие нейронов в мозге. Среди прочего, важными проблемами для исследования сложных сетей (complex networks) являются определение наиболее важных узлов сети и связности сети в целом. И исследователи понятийной структуры действительно в последнее время часто обращаются к этим концепциям(С1сШ;о & Correia, 2013; I. Koponen & Nousiainen, 2013; McLinden, 2013; Siew, 2018). Но хотя сетевой анализ предлагает универсальный язык, с помощью которого можно рассуждать о свойствах сети, для исследований в области образования необходимо интерпретировать результаты и с точки зрения теорий обучения, когнитивных теорий. На данный же момент наблюдается слабая проработка синтеза аналитического аппарата из сетевого анализа и предпосылок из теорий, описывающих критерии развитой, то есть говорящей о более продвинутой экспертной позиции обучающегося в некоей области знаний, понятийной структуры.

Таким образом, актуальность настоящего исследования состоит в том, что на фоне достаточно развитого аналитического инструмента, который подходит для исследования таких сложных структур, как понятийная структура - сетевого анализа -отсутствуют доказательства валидности его использования с точки зрения теорий обучения.

СТЕПЕНЬ РАЗРАБОТАННОСТИ ПРОБЛЕМЫ

Как было обозначено выше, проблемой исследования является не удовлетворенная потребность в унификации и валидизации количественного подхода к оценке понятийной структуры с помощью концептуальных карт.

Большие возможности для этого предоставляет сетевой анализ. Рассмотрим существующие исследования оценки понятийной структуры с помощью концептуальных карт и использования сетевого анализа для этого.

Концептуальные карты как метод оценки понятийной структуры

Концептуальная карта представляет собой графическое изображение соотношения понятий и процессов, относящихся к какой-то предметной области (математике, физике, биологии). Карта состоит из узлов (понятий) и направленных отношений, или связей, соединяющих эти понятия (например, является, относится к, вытекает из и т.д.) (Рисунок 1). Концептуальные карты считаются валидным (Mcclure и др., 1999; Stoddart и др., 2000; Wallace & Mintzes, 1990) и информативным (Lavigne, 2005) методом диагностики понятийной структуры.

Рисунок 1. Пример концептуальной карты

Процедура работы с концептуальными картами включает три компонента: постановку задачи для получения карты от респондента, формат ответа и систему оценки (Ruiz-Primo, 2004).

Первый компонент: постановка задачи для построения концептуальной

карты

Первый компонент - постановка задачи для построения карты. Конструирование карты может быть в различной степени свободным, в зависимости от заданных элементов карты - понятий (концептов), структуры или связующих фраз (Ruiz-Primo, 2004). Задание, таким образом, по своему типу может варьироваться от полностью открытого до полностью закрытого (Рисунок 2) (Kinchin, 2014). Полностью открытое содержит только область знаний, относительно которой надо нарисовать карту. Показано, что этот тип задания может предоставить наибольшую информацию о том, как учащийся понимает область (Yin и др., 2005), хотя и требуют большего знания содержания (Ruiz-Primo и др., 2001). Полностью закрытое задание предполагает

заполнение карты с заданной структурой и заданным списком понятий. Кроме того, варьироваться может и объем задаваемой информации - количество понятий или связей. Такие закрытые, направленные задания полезны для активизации знаний учащихся (воиИ и др., 2003).

Свобода структуры

Рисунок 2 - степень свободы в зависимости от заданных в задании на построение карты элементов (Kinchin, 2014)

Второй компонент: форма ответа

Что касается второго компонента, учащийся может составлять карту как в бумажном варианте, рисуя от руки, так и с помощью компьютерных программ или онлайн сервисов. Выбор специализированных программ и сервисов для построения концептуальных карт достаточно большой (Cmap, FreeMind, Xmind и т.д.), также можно использовать различные сервисы для графической организации информации (например, Miro). Отдельных исследований различий этих форм не проводилось. Кроме того, возможно извлечение концептуальных карт из текстов - например, из интервью или эссе.

Третий компонент: система оценивания концептуальных карт

Система оценивания, собственно, позволяет определить степень развитости понятийной структуры, поэтому является ключевым элементом в исследованиях. Как было указано выше, можно выделить два подхода к обработке и интерпретации

результатов построения концептуальных карт - качественный и количественный. Далее рассмотрим специфику использования каждого из них.

В рамках качественного подхода выносятся некоторые экспертные суждения обо всей карте сразу или об отдельных ее элементах. Например, в ряде исследований используется так называемая целостная, или холистическая оценка. Выделяется несколько базовых типов структуры карт: «спицы» («spoke»), «цепь» («chain») и «сеть» («net»), при этом считается, что первый тип отражает менее развитую понятийную структуру, чем последний (Kinchin и др., 2000). Однако могут возникать сложности с соотнесением каждой карты с определенным «чистым» типом.

Для того, чтобы сделать качественную оценку более глубокой, многие авторы разрабатывали системы, основанные на экспертных оценках отдельных элементов карт. Например, Стоддарт и др. использовали три критерия для анализа связей между понятиями для оценки качества карты: точность (accuracy), глубина объяснений (depth of explanation) и сложность (complexity) (Stoddart и др., 2000). Каждый критерий оценивался экспертами по рубрикам, например, по критерию аккуратность каждая обозначенная учеником связь между понятиями соотносилась с одной из четырех рубрик: научно точная («давление повышается на глубине океана»), общие знания («киты живут в океане»), ошибочная («акулы являются млекопитающими») и эмоциональная («дельфины красивые»). Однако и такие сложные системы подвержены субъективности: в приведенном исследовании Стоддарта и др. согласованность экспертов была приемлемой, хотя и не высокой (Каппа Коэна составила от 0,45 до 0,63 по разным критериям) (Stoddart и др., 2000).

Некоторые авторы агрегировали качественные характеристики в количественную оценку для того, чтобы сделать возможным сравнение разных карт. Разработчики метода концептуальных карт Новак и Говин предлагали использовать протокол назначения баллов по четырем критериям: связи между концептами (propositions), иерархия (hierarchy), соединения между уровнями (crosslinks) и примеры (examples) (Novak & Gowin, 1999). Например, по критерию соединений между уровнями эксперты назначали 10 баллов за каждое валидное и осмысленное соединение, и 2 балла - за достоверное, но не иллюстративное. Так как баллы назначались в ходе экспертной оценки, эту методологию также можно отнести к качественной.

Количественная оценка, основанная на подсчете тех или иных элементов или характеристик карт, часто критиковалась за недостаточную информативность и глубину. Тем не менее, этот подход часто используется, так как основан на объективных

показателях и позволяет сравнивать разные карты. Так, часто подсчитывается количество использованных понятий и связей, количество уровней иерархии и т.д. (напр., Novak, 1990; Wallace & Mintzes, 1990; Ruiz-Primo и др., 2001; Richmond и др., 2014). При этом интерпретация обычно происходит постфактум, предварительных гипотез о том, как должна выглядеть концептуальная карта, соответствующая более развитой понятийной структуре, нет. Другими словами, ранее в исследованиях не было достаточно твердых теоретических обоснований того, что ожидать от более развитой понятийной структуры.

В своем обзоре Ян Кинчин, автор множества исследований возможностей использования концептуальных карт для оценки понятийной структуры в обучении, писал: «В большинстве методик оценки предполагается, что больше - лучше. Однако, с таким подходом можно ошибочно считать, что экспертные карты могут быть больше, чем карты новичков по тому же предмету» (Kinchin, 2014, с. 44). В качестве поясняющего примера он приводит результаты исследования (Johnstone & Otis, 2006), в котором количество понятий в концептуальной карте у учащихся, получивших низкие и высокие баллы за экзамен, было примерно одинаковым (Рисунок 3). Авторы на этих данных приходили к выводу, что количественная, формализованная оценка качества понятийной структуры невозможна и необходимо использовать качественные, индивидуализированные методы оценки. Однако развитие вычислительных теорий и методов предоставляет такие количественные индикаторы, доступные для подсчета.

Нижний квартиль 2 квартиль 3 квартиль Верхний квартиль

Результаты экзамена

Рисунок 3. Связь между результатами экзамена и качеством карт (по Kinchin, 2014)

Сетевой анализ как система оценки концептуальных карт

В течение последнего десятилетия исследователи достаточно часто начали обращаться к теории графов (Неп1М1ег, 2011; Jamieson, 2012; Stockwell и др., 2009; 2оиад и др., 2011) и прикладному ее направлению - сетевому анализу (Ргеп^ и др., 2018; I. Коропеп & Nousiainen, 2013; Siew, 2019; ^ит и др., 2020) для оценки понятийной структуры. Одним из ключевых преимуществ сетевого анализа является набор вычислительных методов, которые позволяют измерить структурные свойства сети. Но помимо методов сетевой анализ также приносит теоретически обоснованный подход к изучению того, как структура системы влияет на процессы, которые происходят внутри нее. Другими словами, используя инструменты сетевой науки, можно вычислить сетевые метрики, которые количественно оценивают такие параметры, как связность сети. Например, авторы считали такие показатели, как диаметр сети (напр., Siew, 2019) или разные индексы центральности (напр., I. Коропеп & Nousiainen, 2013), которые будут рассмотрены далее. Однако теоретические предпосылки, укорененные в научном понимании особенностей мышления человека, не были распространены в подобных работах и не использовались при интерпретации вычислительных методов, что

подтверждается выводами нашего исследования и будет более подробно раскрыто в части с описанием основных результатов исследования.

Таким образом, в настоящий момент проблема валидизации количественной оценки понятийной структуры с помощью концептуальных карт систематически не описана, а также не разработано единого понимания того, какие именно количественные индикаторы говорят о характеристиках понятийной структуры.

ЦЕЛЬ И ЗАДАЧИ ИССЛЕДОВАНИЯ

Цель исследования заключалась в унификации и валидизации количественного подхода к оценке понятийной структуры, основанного на сетевом анализе. Таким образом, настоящая работа вносит вклад в развитие инструментария оценки для дальнейшего его применения в исследованиях особенности развития понятийной структуры. Относительно валидности, мы вслед за С.Мессиком (Messick, 1995) считаем, что валидизация является сложным процессом, не имеющим единого критерия, и для достижения валидности требуется проведение множества исследований, направленных на проверку различных гипотез об особенностях работы инструмента.

Достижение поставленной цели исследования было обеспечено решением следующих задач:

1. На основе анализа теоретических подходов и эмпирических работ обобщить и проанализировать существующие методы количественной оценки концептуальных карт и возможности сетевого анализа для такой оценки.

2. Проверить валидность количественных индикаторов из сетевого анализа для оценки сложности понятийной структуры с помощью концептуальных карт.

3. С использованием валидизированных индикаторов сравнить функционирование концептуальных карт разного типа (с заданным списком понятий и без такого списка).

4. Разработать и валидизировать комплексные теоретически обоснованные количественные индикаторы для оценки сложности понятийной структуры с помощью концептуальных карт, основанные на методах сетевого анализа.

ИССЛЕДОВАТЕЛЬСКИЕ ВОПРОСЫ

Для достижения цели работы необходимо ответить на несколько исследовательских вопросов.

Исследовательский вопрос 1. Какие когнитивные теории используются для интерпретации результатов измерения понятийной структуры с использованием концептуальных карт и сетевого анализа?

Ответ на этот исследовательский вопрос позволит систематизировать поле имеющейся литературы в отношении возможностей сетевого анализа и когнитивных теорий для оценки концептуальных карт, а также отобрать индикаторы сетевого анализа для дальнейшей валидизации.

Результаты отображены в публикации: Капуза, А. В., & Тюменева, Ю. А. (2023). Придавая смысл: Психологические теории для интерпретации концептуальных карт. Мир психологии, 112(1), 132-143.

Авторский вклад: постановка проблемы, сбор, анализ, интерпретация данных

Исследовательский вопрос 2. Валидны ли индикаторы из сетевого анализа для определения уровня сложности понятийной структуры с помощью концептуальных карт?

Ответ на этот исследовательский вопрос предоставит доказательства того, что отобранные количественные индикаторы связаны с уровнем развития знаний в какой-либо области.

Результаты отображены в публикации: Тюменева, Ю. А., Капуза, А. В., Вергелес, К. П. (2017). Различительная способность концептуальных карт для оценки уровня компетенции. Вопросы образования, (4), 150-170.

Авторский вклад: постановка проблемы, обзор литературы, сбор, анализ, интерпретация данных.

Исследовательский вопрос 3. Как различаются концептуальные карты разного типа (с заданным списком понятий и без такого списка) по индикаторам из сетевого анализа?

Ответ на этот исследовательский вопрос позволит понять, следует ли учитывать тип инструкции на построение концептуальных карт при интерпретации количественных индикаторов из сетевого анализа.

Результаты отображены в публикации: Kapuza, A. (2020). How concept maps with and without a list of concepts differ: The case of statistics. Education Sciences, 10(4), 91.

Исследовательский вопрос 4. Какие индикаторы для оценки понятийной структуры, основанные на сетевом анализе, могут быть разработаны так, чтобы они отвечали теоретическим представлениям о психологии обучения и когнитивного развития?

Ответ на этот исследовательский вопрос подразумевает соотнесение аналитических методов сетевого анализа, проверенных в задачах 2-3, с теориями обучения и когнитивного развития, рассмотренными в задачах 1 -2, и предложение более целостных и фундированных индикаторов или методов для оценки понятийной структуры.

Результаты отображены в публикации: Kapuza, A., Koponen, I. T., Tyumeneva, Y. (2020). The network approach to assess the structure of knowledge: Storage, distribution and retrieval as three measures in analysing concept maps. British Journal of Educational Technology, 51(6), 2574-2591.

Авторский вклад: постановка проблемы, обзор литературы, разработка модели, сбор, анализ, интерпретация данных.

ТЕОРЕТИЧЕСКАЯ РАМКА ИССЛЕДОВАНИЯ

Для того, чтобы построить теоретическую рамку исследования, необходимо рассмотреть когнитивные теории, описывающие развитие понятийной структуры, а также теоретические предпосылки использования различных индикаторов в сетевом анализе.

Теории обучения и когнитивного развития, применимые для объяснения развития понятийно структуры

В литературе, посвященной измерению и оценке понятийной структуры, авторы достаточно часто ссылаются на теорию схем (schema theory, schemata), поэтому начнем обзор теорий с нее. Теория схем в современном её виде разработана Д. Румельхартом (Rumelhart, 1978) и Р. Андерсоном (R. C. Anderson & Pearson, 1984). В самом общем виде, схема - это абстрактная организованная структура, которая состоит из понятий, связанных друг с другом посредством предложений, и существует на более высоком уровне общности, чем непосредственный опыт (R. C. Anderson & Pearson, 1984). Эта идея сходна с идеей гештальт-психологов о том, что человек все воспринимает «кусками» (chunks) (J. R. Anderson, 2015). В этой логике также разрабатывались теории структурной организации понятий, например, гипотеза двойного кодирования А. Пайвио (Paivio, 1974) или концептуально-пропозиционная гипотеза кодирования Д. Андерсона и Г. Бауэра (J. R. Anderson & Bower, 1974). Однако основное внимание в них уделялось классификации ментальных репрезентаций (вербальные (семантические), образные (иконические) и др.) и объяснению закономерностей долговременного хранения информации и ее воспроизведения в принципе.

Рассматривая вопрос обучения с точки зрения теории схем, важно отметить, что уже существующая схема обеспечивает контекст для интерпретации новых знаний и является структурой для их сохранения. Еще до активного развития теории схем когнитивный психолог Д. Аусубел разрабатывал подход осмысленного обучения (meaningful learning) и подчеркивал, что учащиеся более активно и качественно осваивают новые концепции при условии уже существующих когнитивных структур (Ausubel и др., 1978). Учителям рекомендовалось активировать предыдущие знания перед началом изучения новой темы и уделять больше внимания преподаванию процессов понимания высшего порядка. Эти предложения были не новы, но теория схемы, как представляется, обеспечила теоретическую и эмпирическую основу для подобных практик.

Продолжил идею обучения на основе уже существующих у учеников схем Д. Новак, приложив основные идеи теории осмысленного обучения к практике в классе (Novak, 1977). Для того, чтобы понять, каким образом происходит интеграция новой информации в уже существующую систему, было необходимо ответить на вопрос, как структурируются понятия. Однако на тот момент не существовало общепринятых методов исследования, с помощью которых можно исследовать подобную интеграцию. Тем не менее, в ходе клинических интервью командой исследователей был разработан метод концептуальных карт1 (Novak, 1990).

Теоретические предположения о том, как развивается понятийная структура, прослеживаются в более широких теориях в области психологии. В когнитивной психологии можно выделить несколько подходов к описанию организации понятий и ее изменению в связи с обучением или приобретением нового опыта (Капуза & Тюменева, 2023). Здесь наиболее полезной оказывается группа теорий о формировании семантических схем и сетей (напр., теории А. Коллинза и М. Квиллиана; Э. Рош; П. Линдсея и Д. Нормана). Понятия и иерархии понятий можно представить как семантические сети, в узлах которых располагаются сами понятия, а связи между ними - это логические, ассоциативные, иерархические и любые другие отношения.

Однако вопрос об изменении структуры понятий во время систематического обучения оказался все же вне поля зрения теорий семантических сетей. Хотя, казалось бы, и сами понятия и иерархические отношения между ними формируются (во всяком случае целенаправленно) именно в обучении, вопрос формирования понятий целиком

1 От англ. concept maps (карты понятий). В русскоязычной литературе также используется термин концепт-карты. Более точный перевод - понятийные карты или карты понятий, однако для сопоставления с англоязычной литературой мы будем придерживаться термина «концептуальные карты».

лежит в сфере интересов психологии развития и обучения. В англоязычной литературе прежде всего выделяются работы, касающиеся т.н. концептуальных изменений (conceptual change (для обзора см. Özdemir & Clark, 2007)) - перестройке представлений в процессе обучения. Концептуальные изменения описываются как происходящие на нескольких уровнях, хотя разные авторы используют альтернативные термины для описания схожих изменений. Чаще всего говорится о двух типах концептуальных изменений: слабой перестройке знаний, ассимиляции или концептуальном поглощении (концептуальном приращении, захвате, conceptual capture) и сильной/радикальной перестройке знаний или концептуальной заменой (концептуальным обменом, conceptual change) (для обзора см. Harrison & Treagust, 2000).

Такое разделение очевидно вдохновляется взглядами Пиаже на развитие мышления как на постоянный процесс взаимной адаптации входящей информации и существующих когнитивных схем. Напомним, что Пиаже выделял процессы ассимиляции и аккомодации, где первые связаны с выстраиванием новой информации для встраивания ее в имеющуюся когнитивную схему, а второе - с перестройкой самой схемы, чтобы приспособить ее усвоения для новой информации (Piaget, 1964). Эти процессы, по Пиаже, действуют всегда совместно, позволяя достигать сбалансированной непротиворечивой интерпретации происходящего в окружающем мире.

Хотя теоретическое разделение этих процессов в ходе развития когнитивных структур оказалось исключительно полезно для понимания возрастных особенностей мышления, все же этого теоретического фундамента недостаточно для понимания изменений понятийной структуры в связи с обучением. Выготский, разделяя позицию Пиаже в отношении необходимости различать спонтанные (житейские) и неспонтанные (научные) понятия, предлагает для исследования генезиса научных понятий альтернативный метод, не вырывающий их из системы связей со всеми остальными понятиями (Выготский, 1999). Необходимость изучения понятий в системе других понятий Выготский усматривает в том, что научное понятие всегда существует как некоторое обобщение, и следовательно только и может быть освоено в отношении с другими понятиями: «..обобщение, в свою очередь, не означает ничего иного, кроме образования высшего понятия, в систему обобщения которого включено данное понятие как частный случай. Но если за данным понятием возникает высшее понятие, оно необходимо предполагает наличие не одного, а ряда соподчиненных понятий, к которым данное понятие стоит в отношениях, определенных системой высшего понятия, - без

этого высшее понятие не было бы высшим по отношению к данному» (Выготский, 1999, с. 206).

Гипотеза Выготского заключается в том, что ход развития структуры научных понятий противоположен житейским. При этом «житейскость» и «научность» определяются не содержанием понятий, а способом их усвоения. Житейские понятия возникают как конкретные, частные, и развиваются до абстрактных обобщенных значений. В отличие от этого, научные понятия, в процессе формального обучения вводятся как абстрактные значения, и постепенно должны быть осознаны как обобщения, подчиняющие конкретных объекты и явления, и связанные с другими научными обобщениями. Например, при изучении статистики понятие корреляции сначала может быть представлено только как формальная статистика, не связанная с другими понятиями и не плохо снабженная примерами применения. После того как человек сталкивается с различными ситуациями, в которых применяется корреляция, это понятие, во-первых, формирует устойчивую систему связей с другим абстрактными понятиями статистики (регрессия, среднее), а во-вторых, конкретизируется за счет богатого деталями содержания ситуаций своего применения (например, для прогнозирования погоды или распространения заболеваний).

Список литературы диссертационного исследования кандидат наук Капуза Анастасия Васильевна, 2024 год

Литература

1. Выготский, Л. С. Мышление и речь / Л. С. Выготский. — 5-е изд. — М. : Лабиринт, 1999.

Vy'gotskij, L. S. My'shlenie i rech' / L. S. Vy'gotskij. — 5-e izd. — M. : Labirint, 1999.

2. Жан Пиаже: теория, эксперименты, дискуссии / [под ред. Л. Ф. Обуховой и Г. В. Бурменской]. — М. : Гардарики, 2001. — 622 c.

Zhan Piazhe: teoriya, e'ksperimenty', diskussii / [pod red. L. F. Obuxovoj i G. V. Burmenskoj]. — M. : Gardariki, 2001. — 622 s.

3. Brin, S. The anatomy of a large-scale hypertextual Web search engine / S. Brin // Computer Networks and ISDN Systems. — 1998. — Vol. 30, № 1-7. — P. 107-117.

4. Gkevrou, M. Illustration of a Software-Aided Content Analysis Methodology Applied to Educational Research / M. Gkevrou, D. Stamovlasis // Education Sciences. — 2022. —

Vol. 12, № 5. — doi: 10.3390/educsci12050328

5. Goldman, A. W. Concept mapping and network analysis : An analytic approach to measure ties among constructs / A. W. Goldman, M. Kane // Evaluation and Program Planning. — 2014. — Vol. 47. — P. 9-17.

6. Harrison, A. G. A typology of school science models / A. G. Harrison, D. F. Treagust // International J. of Science Education. — 2000. — Vol. 22, № 9. — P. 1011-1026.

7. Ifenthaler, D. The mystery of cognitive structure and how we can detect it / D. Ifenthaler, Masduki, N. M. Seel // Instructional Science. — 2011. — Vol. 39, № 1. — P. 41-61.

8. Iniguez, G. Bridging the gap between graphs and networks / G. Iniguez, F. Battiston, M. Karsai // Communications Physics. — 2020. — Vol. 3, № 1. — doi: 10.1038/s42005-020-0359-6

9. Kapuza, A. The network approach to assess the structure of knowledge : Storage, distribution and retrieval as three measures in analysing concept maps / A. Kapuza, I. T. Koponen, Y. Tyumeneva // British J. of Educational Technology. — 2020. — Vol. 51, № 6. — P. 2573-2590.

10. Kinchin, I. M. How a qualitative approach to concept map analysis can be used to aid learning by illustrating patterns of conceptual development / I. M. Kinchin, D. B. Hay, A. Adams // Educational Research. — 2000. — Vol. 42, № 1. — P. 4357.

11. Kleinberg, J. M. Authoritative sources in a hyperlinked environment / J. M. Kleinberg // of the ACM (JACM). — 1999. — Vol. 46, № 5. — P. 604-632.

12. Koponen, I. T. Entropy and energy in characterizing the organization of concept maps in learning science / I. T. Koponen,M. Pehkonen // Entropy. — 2010. — Vol. 12, № 7. — P. 1653-1672.

13. Koponen, I. Pre-service physics teachers' understanding of the relational structure of physics concepts : Organising subject contents for purposes of teaching / I. Koponen, M. Nousiainen // International J. of Science and Mathematics Education.

— 2013. — Vol. 11, № 2. — P. 325-357.

14. Koponen, I. T. Concept networks of students' knowledge of relationships between physics concepts: finding key concepts and their epistemic support / I. T. Koponen, M. Nousiainen // Applied Network Science. — 2018. — Vol. 3, № 1. — doi: 10.1007/s41109-018-0072-5

15. Novak, J. D. Concept mapping : A useful tool for science education / J. D. Novak // J. of Research in Science Teaching. — 1990. — Vol. 27, № 10. — P. 937-949.

16. Özdemir, G. An Overview of Conceptual Change Theories / G. Özdemir, D. B. Clark // Conceptual Change. — 2007.

— Vol. 3, № 2. — P. 351-361.

17. Richmond, S. S. A set of guidelines for the consistent assessment of concept maps / S. S. Richmond, J. F. Defranco, K. Jablokow // International J. of Engineering Education. — 2014. — Vol. 30, № 5. — P. 1072-1082.

18. Siew, C. S. Q. Using network science to analyze concept maps of psychology undergraduates / C. S. Q. Siew // Applied Cognitive Psychology. — 2019. — Vol. 33, № 4. — P. 662-668.

19. Strautmane, M. Concept Map-Based Knowledge Assessment Tasks and Their Scoring Criteria: an Overview / M. Strautmane // Concept Maps : Theory, Methodology, Technology : Proceedings of the Fifth International Conference on Concept Mapping, Malta, Valletta, 17-20 September, 2012. — Valletta, 2012. — P. 80-89.

20. Sun, J. Understanding health information technology adoption : A synthesis of literature from an activity perspective / J. Sun, Z. Qu // Information Systems Frontiers. — 2015. — Vol. 17, № 5. — P. 1177-1190.

21. Thurn, C. M. Concept Mapping in Magnetism and Electrostatics : Core Concepts and Development over Time / C. M. Thurn, B. Hänger, T. Kokkonen // Education Sciences. —

2020. — Vol. 10, № 5. — doi: 10.3390/educsci10050129

22. Walker, J. M. T. Concept mapping as a form of student assessment and instruction in the domain of bioengineering / J. M. T. Walker, P. H. King // J. of Engineering Education. — 2003. — Vol. 92, № 2. — P. 167-178.

23. Wilson, J. M. Differences in knowledge networks about acids and bases of year-12, undergraduate and postgraduate chemistry students / J. M. Wilson // Research in Science Education. — 1998. — Vol. 28, № 4. — P. 429-446.

ПРИЛОЖЕНИЕ 2. Статья «Различительная способность концептуальных карт для оценки уровня компетенции»

Тюменева, Ю. А., Капуза, А. В., Вергелес, К. П. (2017). Различительная способность концептуальных карт для оценки уровня компетенции. Вопросы образования, (4), 150-170. Б01: 10.17323/1814-9545-2017-4-150-170

В предыдущих исследованиях показана эффективность использования концептуальных карт (КК) для оценки структуры знаний, однако такая оценка, как правило, осуществлялась в целях отслеживания индивидуального прогресса в рамках формирующего эксперимента. Не выделялись и не проверялись формальные индикаторы карт, их чувствительность к уровню компетентности в той или иной области знания как полезное диагностическое свойство КК, обусловливающее возможность их применения для стандартизированного оценивания. Обобщая данные о структуре знания у специалистов с разным уровнем компетентности (экспертов и новичков), авторы теоретически задают такие индикаторы и предпринимают первую попытку проверить их различительную способность на контрастных группах. После получения стандартизированной инструкции и короткого обучения новички (п = 9) и эксперты (п = 4) в области анализа данных индивидуально строили свои КК. Формальные индикаторы основывались на интерпретации КК как графа. Теоретически выделенные формальные индикаторы КК (обобщенность используемых понятий, связанность структуры, доля единичных и комплексных понятий) действительно показали свою различительную способность. Помимо этого, авторы идентифицировали несколько содержательных параметров КК (наличие ключевых понятий, наличие ошибочных связей, процедурный/концептуальный характер знаний), которые также различались в контрастных группах. Полученные результаты выглядят обнадеживающе с точки зрения измерения уровня компетентности с помощью КК, хотя требуются дальнейшие исследования на расширенных и гетерогенных выборках для проверки их устойчивости и обобщаемости.

Авторский вклад: постановка проблемы, обзор литературы, сбор, анализ, интерпретация данных.

Статья поступила в редакцию в июле 2017 г. Ю.А. Тюменева, А.В. Капуза, К.П. Вергелес6

Различительная способность концептуальных карт для оценки уровня компетенции

Пилотное исследование

Тюменева Юлия Алексеевна — кандидат психологических наук, доцент Института образования Национального исследовательского университета «Высшая школа экономики».

E-mail: [e-mail]

Капуза Анастасия Васильевна — аспирант I курса Национального исследовательского университета «Высшая школа экономики».

E-mail: [e-mail]

Вергелес Ксения Петровна — магистр II курса Национального исследовательского университета «Высшая школа экономики».

E-mail: [e-mail]

Адрес: 101000, Москва, ул. Мясницкая, 20.

6 А.В. Капуза и К.П. Вергелес работали над статьей в рамках Программы фундаментальных исследований Национального исследовательского университета «Высшая школа экономики» и с использованием средств субсидии в рамках государственной поддержки ведущих университетов Российской Федерации «5-100».

Аннотация

В предыдущих исследованиях показана эффективность использования концептуальных карт (КК) для оценки структуры знаний, однако такая оценка, как правило, осуществлялась в целях отслеживания индивидуального прогресса в рамках формирующего эксперимента. Не выделялись и не проверялись формальные индикаторы карт, их чувствительность к уровню компетентности в той или иной области знания как полезное диагностическое свойство КК, обусловливающее возможность их применения для стандартизированного оценивания. Обобщая данные о структуре знания у специалистов с разным уровнем компетентности (экспертов и новичков), авторы теоретически задают такие индикаторы и предпринимают первую попытку проверить их различительную способность на контрастных группах. После получения стандартизированной инструкции и короткого обучения новички (п=9) и эксперты (п=4) в области анализа данных индивидуально строили свои КК. Формальные индикаторы основывались на интерпретации КК как графа. Теоретически выделенные формальные индикаторы КК (обобщенность используемых понятий, связанность структуры, доля единичных и комплексных понятий) действительно показали свою различительную способность. Помимо этого, авторы идентифицировали несколько содержательных параметров КК (наличие ключевых понятий, наличие ошибочных связей, процедурный/концептуальный характер знаний), которые также различались в контрастных группах. Полученные результаты выглядят обнадеживающе с точки зрения измерения уровня компетентности с помощью КК, хотя требуются дальнейшие исследования на расширенных и гетерогенных выборках для проверки их устойчивости и обобщаемости.

Ключевые слова: когнитивное развитие, концептуальные карты, структура знаний, формирование научных понятий, эксперты, новички.

БОТ: 10.17323/1814-9545-2017-4-

1. Переструктурирование знания как результат обучения

В двух важнейших концепциях усвоения нового — теории когнитивного развития Ж. Пиаже и культурно-исторической теории Л.С. Выготского — структурные изменения сложившейся системы знаний рассматриваются как основа интеллектуального развития и используются в качестве критерия возрастной периодизации. Для Ж. Пиаже изменения в когнитивной структуре являются результатом взаимосвязанных процессов ассимиляции и аккомодации: новая информация усваивается существующей структурой в той мере, в какой эта структура способна ее усвоить, и в то же время новая информация модифицирует существующую структуру [Пиаже, 2001]. Л.С. Выготский трактует обучение как присвоение новых знаковых структур, которые постепенно сами становятся средствами ориентировки в последующей деятельности и на следующих стадиях обучения. Началом этого процесса считается акт передачи ребенку знаковой структуры, которая в дальнейшем процессе обучения реконструируется и ассимилируется, так что присвоенное знание может гибко использоваться в решении целого класса задач [Выготский, 1982. С. 188-202, 244-267, 305; Выготский, 1983. С. 78-85, 128, 147-151, 225, 292-316]. Некоторые современные теории обучения также прямо указывают на важность структурной перестройки системы знаний по мере обучения (например, [Ausubel, 2000; Novak, 2002]).

И с фундаментальной, и с практической точки зрения было бы важно убедиться, что обучение действительно приводит к перестройке всей структуры знания, а не только к количественному его приросту. Традиционными способами оценивания (контрольная или тест) в силу самого их устройства выявить изменения в структуре знания невозможно. Они измеряют приобретенные умения, но не то, как эти новые умения влияют на старые, не то, как изменяются все связи между элементами нового знания, как выстраивается иерархия в системе новых понятий, какое значение отдельным элементам знания придавалось до усвоения нового и придается после, т. е. не изменениям в структуре знания.

В последнее время появляются системы оценки учебных результатов, которые ставят во главу угла как раз структурные изменения: например, основанный на теориях развития и обучения Л.С. Выготского, В.В. Давыдова и П.Я. Гальперина тест SAM (School Achievements Monitoring) [Нежнов, Карданова, Эльконин, 2011] или созданный в рамках конструктивистского подхода к обучению метод концептуальных карт [Novak, Cañas, 2008; Lavigne, 2005]. Однако разработчики теста SAM не предполагают прямой оценки структурных изменений, а только допускают, что именно структурная перестройка системы знаний позволяет учащимся решать задачи более продвинутых

уровней. А что касается концептуальных карт, на сегодняшний день их эффективность как метода оценки сложно оценить однозначно.

2. Концептуальные карты как инструмент оценки структуры

знания

Одним из инструментов для оценивания изменений в структуре знания наряду с сортировкой проблем (problem sorting) [Novak, Musonda, 1991] и клиническим интервью Ж. Пиаже [Брангье, 2000] является концептуальная карта (КК). Под КК понимается графическая репрезентация понятий, относящихся к какой-то теме или области знаний. Обычно узлы на КК отражают понятия, а ребра, или связи между ними, — то, как эти понятия связаны в представлении респондента (рис. 1).

Рис. 1. Понятие концептуальной карты. Источник: http://www.trizland.ru/trizba/articles/2436

Для нас важно не только то, что КК оказались более надежным, валидным [McClure, Sonak, Suen, 1999; Wallace, Mintzes, 1990; Stoddart et al., 2000] и наиболее информативным [Lavigne, 2005] инструментом среди других способов оценивания структуры знания, но и то, что они показали хорошую чувствительность к эффектам обучения [Wallace, Mintzes, 1990] и к возникающим во время обучения неверным обобщениям и пробелам в знаниях [Surber, Smith, 1981; Lavigne, 2005].

В данной работе мы проверяем, насколько КК пригодна для того, чтобы различить структуры знания у людей, имеющих разные уровни компетентности в той или иной дисциплине. Эмпирически установлено, что КК могут отражать изменения в индивидуальной структуре знания, связанные с обучением (см., например, [Novak, Musonda, 1991; von der Heidt, 2015]). Однако, во-первых, предметом оценки в этих исследованиях были индивидуальные изменения в структуре знания учащихся в определенной дисциплине [Wallace, Mintzes, 1990], а не общие характеристики, отличающие опытных людей от неопытных. Вполне возможно, что инструмент чувствителен к индивидуальным изменениям, но, будучи «глубоко качественным», не позволяет их обобщать — а значит, не дает возможности сравнивать характеристики структуры знания на разных уровнях развития компетентности.

Во-вторых, в имеющихся исследованиях КК анализируется работа учащегося с терминами, относящимися только к данной теме или к данной дисциплине [Lapp, Nyman, Berry, 2010; Dauer, Long, 2015]. Деятельность учащегося оценивается по критериям, специфическим для рассматриваемой дисциплины, такая оценка важна с точки зрения диагностики хода обучения, но не позволяет обнаружить закономерности изменений в структуре знаний, общих для разных областей. Например, показано, что следование определенной программе обучения физике приводит к формированию у учащихся двух ключевых понятий, «атом» и «молекула», и к их правильному связыванию с наблюдаемыми феноменами, в частности с испарением [Novak, Musonda, 1991]. Однако это заключение невозможно перенести на другую дисциплину, скажем, на статистику, так как для статистики потребовалось бы определиться с ключевыми понятиями, которые должны быть освоены, и с «правильными» связями этих понятий с наблюдаемыми феноменами. То есть качественный, содержательный подход к анализу КК не позволяет судить о пригодности данного инструмента для диагностики структуры знания в разных дисциплинах.

В-третьих, в предыдущих исследованиях КК использовались скорее как средство обучения, чем как инструмент сравнительной оценки. Например, некоторые авторы отдавали предпочтение закрытым КК и предлагали их учащимся вместе с набором понятий, ключевых для определенной темы или дисциплины [Wallace, Mintzes, 1990; Lapp, Nyman, Berry, 2010]. Они намеревались проследить, как будут меняться связи между ключевыми понятиями и какие новые понятия будут добавляться в карту по мере того, как учащийся обучается. Однако с точки зрения оценки предзаданный набор ключевых понятий является подсказкой для начинающих учащихся и вмешивающимся

фактором для продвинутых в теме. Поскольку возможности использовать такой набор у разных учеников разные, его применение вносит в оценку неконтролируемую вероятность случайной ошибки, снижая надежность КК как инструмента. В другом исследовании учащимся предлагалось заполнить понятиями КК, пропозиционная структура которых уже была подготовлена [Ruiz-Primo et al., 2001]. Такие задания требуют хорошо развитого реляционного мышления, что является опять-таки вмешивающимся фактором.

Другой вариант дизайна исследований с применением концептуальных карт — их построение самими авторами на основе клинических интервью с учащимися [Novak, Musonda, 1991]. Надежность получаемых таким способом КК остается под вопросом, так как не совсем ясно, какое влияние на итоговый вид карт оказывает предварительный тренинг авторов исследования и их ассистентов. Кроме того, клиническое интервью допускает уточняющие вопросы от интервьюеров, которые могут наводить учащихся на определенные ответы и вносить тем самым свою долю случайной ошибки в итоговую оценку.

Методическая разнородность имеющихся исследований КК и слабый контроль влияния тех или иных вариаций в подходах к работе с КК не позволяют полагаться на полученные в этих исследованиях результаты как на надежные, поэтому вопрос, способны ли КК распознавать такие свойства структуры знания, которые характерны для всех индивидов и различаются в зависимости от уровня компетентности, остается открытым.

3. Эксперты и новички как контрастные группы

Чтобы проверить чувствительность КК к общим особенностям структуры знаний у более компетентных специалистов, необходимо сравнить контрастные группы, т. е. людей, которые по объективным характеристикам должны явно различаться по уровню компетентности в той или иной области деятельности. Контрастные группы могут составить люди, имеющие длительный опыт работы и более высокую формальную квалификацию в определенной области знания (группа экспертов), и начинающие работать или даже только начинающие изучать эту область (группа новичков). Особенность такого — относительного [Chi, 2011] — подхода к определению экспертов заключается в том, что понятие «эксперт» не подразумевает «врожденного»

превосходства экспертов по сравнению с новичками, а сводится к накоплению опыта в решении профессиональных задач, и для отделения эксперта от новичка используется формальный признак опытности.

Мы убеждены, что структура знаний экспертов и новичков различна, и это суждение основано на результатах многих эмпирических исследований. Так, одно из первых важных наблюдений было сделано относительно организации знаний экспертов: они лучше структурированы и иерархизированы [Chi, Glaser, Rees, 1982; Kim, 2013]. То есть при решении некоторой задачи эксперты репрезентируют ее таким образом, что сама репрезентация уже содержит основу для последующего решения [Jee et al., 2014; Chi, Glaser, Rees, 1982]. Во-вторых, было показано, что эксперты распределяют время решения задачи в пользу ее хорошей репрезентации. Они удовлетворяются результатом только тогда, когда репрезентация задачи доведена до исполнительского уровня, т.е. до всех промежуточных действий и целей. В отличие от экспертов новички стремятся испробовать разные способы решения задачи, ориентируясь на единичные ее признаки [Lowe, Lowe, 1996; Li, Kaiser, 2011]. В-третьих, новички группируют задачи по их внешним характеристикам и приступают к их решению со стороны процедур, пригодность которых определяют на основании этих внешних характеристик [Chase, Simon, 1973; Perkins, Salomon, 2012]. Например, студенты-физики первых курсов группировали и решали задачи, ориентируясь на такие их параметры, как наличие в условии задачи наклонной плоскости или падающего тела. Эксперты же группировали задачи по физическим принципам, таким как сохранение энергии. На этих более абстрактных параметрах они строили и подход к решению [Van Lehn, Chi, 2012]. В других исследованиях также указаывался более абстрактный характер единиц информации, выделяемых экспертами при решении задач [Chi, Feltovich, Glaser, 1981; Lowe, Lowe, 1996; Bläsing, Tenenbaum, Schack, 2009].

Описанные различия в решении задач между экспертами и новичками сохранялись и в том случае, когда новички классифицировали простые задачи, и тип, и принцип решения которых были им хорошо известны [Sloutsky, Yarlas, 2000], и даже если инструкция прямо ориентировала их на классификацию по принципиальным характеристикам [Bilalic, Gobet, 2009]. С другой стороны, эксперты могли классифицировать задачи и на основании их внешнего сходства, если получали соответствующую инструкцию, но когда в инструкции не уточнялось, на каких именно принципах должна происходить классификация, эксперты проводили ее по ключевым существенным признакам задач, а не по внешнему сходству. Более того, оказалось, что

экспертные классификации задач согласованы между собой [Ibid.], что может свидетельствовать о существовании некоторой «идеальной» структуры знания в определенной теме или дисциплине, к которой с опытом приходят все эксперты.

Отличительные признаки КК экспертов были обнаружены практически во всех областях деятельности (спорт, академическая деятельность, метеорология, музыка, шахматы и др.), в которых сравнивались паттерны решения задач экспертами и новичками (обзор см. в [Вергелес, 2017]). Это означает, что сложно организованная, иерархизированная и отличающаяся высокой степенью связанности структура знаний эксперта может являться результатом развития знания как такового, независимо от специфического содержания области знаний, тогда как внимание новичка к способам решения и единичным характеристикам проблем может быть признаком стартового этапа на пути освоения знания.

4. Формальные индикаторы КК

Мы планируем показать, что структура знаний, представленная в виде КК, имеет формальные характеристики, общие для определенного уровня развития компетентности в конкретной области знания. Под формальными мы имеем в виду структурные характеристики КК, т. е. их свойства, которые не зависят от того, какие конкретные понятия используются. Формальные характеристики карты, таким образом, включают только узлы и ребра между ними и не включают наименования понятий и ребер. Именно формальные индикаторы являются центральными для нашего исследования, потому что, во-первых, позволяют сделать оценку КК объективной и стандартизированной (одни и те же объективные показатели оцениваются по одной и той же процедуре), а во-вторых, делают такую оценку менее зависимой от компетентности оценивающего и даже доступной для неспециалистов в данной области знания.

Для анализа формальных характеристик КК мы полагались на теорию графов [Оре, 1968], поскольку карта, состоящая из множества узлов (или вершин) и набора связей (или ребер), по сути представляет собой граф. На рис. 2 схематически изображен граф с его основными характеристиками.

Рис. 2. Граф и его основные характеристики.

Мы считаем, что КК имеют формальные характеристики, отражающие отмеченные выше особенности структуры знания. К ним мы относим уровень обобщенности понятия, равномерность обобщений в структуре, комплексные понятия, единичные понятия, связанность структуры.

Для операционализации уровня обобщенности понятия мы одновременно использовали два показателя: объемность понятия и количество иерархий, которые возглавляет понятие. В терминах графа объемность понятия может быть измерена количеством исходящих ребер, а формирование иерархии — исходящими последовательными связями с узлами. Сам по себе объем, т.е. число исходящих ребер, может и не отражать уровень обобщенности понятия, если все исходящие связи ведут к единичным понятиям (без исходящих ребер). С другой стороны, единственная исходящая из понятия иерархическая связь со многими последовательно соподчиненными понятиями может в терминах графа означать этапы какого-то процесса, например принятия решения, что опять-таки не позволяет судить об уровне обобщенности «верхнего» понятия. Следовательно, необходимо учитывать и объем, и наличие иерархий. Этот индикатор мы рассчитывали как отношение объемности понятий (мы брали среднее количество исходящих ребер трех самых объемных понятий в КК) к уровню иерархичности исходящих понятий. Мы ожидали, что уровень обобщенности (с учетом иерархичности подлежащих понятию связей) будет выше у экспертов, чем у новичков. Равномерность обобщений в структуре свидетельствует о последовательности в переходе от наиболее общих к единичным понятиям, о наличии промежуточных звеньев. Судя по имеющимся в литературе данным, с ростом компетентности обучающегося не только появляется иерархичность в структуре его знаний, но и становится все более

сложной, развернутой, представляющей все возможные уровни обобщения иерархия усвоенных понятий. Так что мы ожидали, что эксперты будут использовать понятия с промежуточными уровнями обобщения, обнаруживая тем самым более равномерную структуру знаний, тогда как новички будут отдавать предпочтение крайним уровням, т.е. строить непосредственные ребра между очень общими и единичными понятиями без использования промежуточных уровней обобщения. Этот индикатор мы рассчитывали как среднюю разницу в объеме трех наиболее объемных понятий.

Комплексные понятия являются результатом взаимодействия нескольких других понятий. Мы ожидали, что комплексные понятия будут встречаться у экспертов чаще, чем у новичков. Индикатор рассчитывался по количеству смежных ребер, т.е. ребер, имеющих общий узел.

Единичные понятия не имеют других связей, кроме одной входящей. Мы ожидали, что у новичков единичных понятий будет больше, чем у экспертов. Индикатор рассчитывался как количество висячих узлов в карте.

Связанность структуры — показатель плотности связей между понятиями. Мы ожидали, что у экспертов степень связанности карты будет выше. Индикатор рассчитывался как отношение числа понятий к числу ребер между ними.

Мы ожидали, что внутри контрастных групп КК будут схожими по всем указанным индикаторам. Задачей нашей работы стало, таким образом, показать различительную способность КК в теоретически ожидаемом направлении на контрастных по уровню компетенции группах специалистов.

5. Качественные индикаторы КК

Другая задача исследования состояла в том, чтобы подтвердить, что кроме формальных характеристик КК обладают определенными качествами, которые, как уже зафиксировано в научной литературе, различаются у новичков и экспертов. Под качественными индикаторами мы имеем в виду содержание понятий и связей в КК, зависящее от конкретной области знания: какие именно понятия используются и как именно называются ребра между ними. Качественная оценка может быть проведена только специалистами в данной области, и в этом смысле она зависит от особенностей самих оценщиков, т.е. субъективна. Тем не менее, она также важна, так как если мы обнаружим соответствие качественных индикаторов КК наших контрастных групп прежде полученным данным, мы подтвердим конструктную валидность открытых (т.е.

не содержащих заданного списка понятий) КК как инструмента для оценки структуры знаний экспертов и новичков.

Мы анализируем три качественных индикатора структуры знаний. Во-первых, мы ожидали увидеть некоторый общий набор ключевых понятий в группе экспертов. Многочисленные исследования решения задач экспертами и новичками показали, что в любой области эксперты имеют общие представления о том, что является ключевой (т.е. структурообразующей) информацией в их профессиональных задачах, новички же не обладают еще ключевыми для решения профессиональных задач знаниями. Соответственно, не должно обнаружиться общего для всех новичков набора понятий — ни аналогичного экспертному, ни какого-либо другого. Во-вторых, мы ожидали, что эксперты будут преимущественно использовать понятия, относящиеся к так называемым декларативным знаниям (идеям, теориям, концепциям), а новички — понятия, связанные со способами решения задачи, т.е. с процедурными знаниями, как это показано в предыдущих экспериментах [Chi, Feltovich, Glaser, 1981; Sloutsky, Yarlas, 2000; Stylianou, 2002; Rittle-Johnson, Schneider, 2014]. В-третьих, мы предполагали, что новички будут совершать ошибки, связывая понятия, а эксперты — нет. Во всех без исключения известных нам исследованиях были зафиксированы ошибки связывания понятий у новичков, хотя в них не использовалась открытая форма КК. Следовательно, обнаружив ошибки в группе новичков и не обнаружив их в группе экспертов, мы также подтвердим конструктную валидность открытых КК.

6. Метод 6.1. Выборка

Предметной областью, в которой мы сравнивали КК экспертов и новичков, стали методы статистического анализа данных. В исследовании приняли участие 13 респондентов. Девять из них, составившие группу новичков, — студенты 1-го курса магистратуры, успешно окончившие курс по статистическому анализу. Все они использовали количественный анализ данных при выполнении курсовой работы и не более года выполняли рабочие обязанности, связанные с анализом данных. Часть новичков имела предварительные знания в статистическом анализе, полученные при обучении в бакалавриате.

Группу экспертов (четыре человека) составили преподаватели методов анализа данных со стажем работы более четырех лет, имеющие не менее шести публикаций с результатами статистического анализа данных в рецензируемых журналах. Такой профессиональный опыт был принят за экспертный достаточно условно. Столь же условно «назначаются» экспертные характеристики во всех других исследованиях новичков и экспертов, выполненных в уже отмеченном относительном подходе. Для нас главными критериями отбора экспертов выступили стаж преподавания и наличие публикаций, в которых использован анализ данных, как свидетельство определенного уровня экспертизы. Принятый критерий скорее консервативный с точки зрения наших целей: если обнаружатся различия между КК новичков и КК экспертов уже этого уровня, то их тем более можно ожидать при сравнении с более компетентными специалистами.

6.2.Инструмент и процедура

Исследование проводилось индивидуально. Сначала респонденты знакомились с инструкцией по построению концептуальных карт. Инструкция была дана в письменном виде и содержала примеры карт по другим предметным областям. После ознакомления с инструкцией респонденты, если у них были вопросы, могли задать их экспериментатору, и затем они составляли концептуальную карту на тему «Статистический анализ данных». Задание по построению карты предъявлялось в открытой форме: инструкция содержала только тему и не содержала списка понятий (). По ходу создания карты никаких дополнительных инструкций, советов, комментариев респонденты не получали. Во времени участников исследования не ограничивали, при этом сроки выполнения задания сильно варьировали от респондента к респонденту: минимальный составил 45 минут, максимальный — около двух часов. Во время создания карт один из авторов этой статьи находился в той же комнате, что и респондент.

7. Результаты 7.1.Анализ формальных индикаторов КК

Мы рассчитали средние значения формальных индикаторов КК для контрастных групп (табл. 1). Для оценки значимости различий в показателях между контрастными группами использован непараметрический критерий Манна — Уитни, пригодный для случаев, когда неизвестен характер распределения данных в небольшой выборке.

Таблица 1. Средние значения и отклонения формальных индикаторов концептуальных карт у новичков и экспертов

ь ы Смежные ребра Объем ы л СО у е и к Степень обобщенности

2 л з Уз а б е Рч н с о н н а со я в С ч 3 у е и 4 « с и т 1-й уровень 2-й уровень 3-й уровень о е ч и х р ей р е К

Новички 20,6 (5,5) 17,0 (6,4) 1,4 (0,7) 12,0 (5,9) 2,8 (3,8) 6,7 (4,7) 2,2 (1,01) 1,6 (1,1) 6,6 (3,5) 0,8 (0,8)

Эксперты 14,3 (5,3) 17,8 (6,6) 0,8 (0,01) 2,5 (3) 11,0 (4) 3,5 (1,3) 2,3 (0,5) 2,0 (0,8) 9,8 (3,6) 0,3 (0,06)

Примечание: в скобках даны стандартные отклонения.

Степень обобщенности используемых в карте понятий рассчитывалась как отношение между объемностью самого объемного понятия (числом исходящих от него ребер) и количеством иерархических узлов, т.е. узлов, имеющих как входящие, так и исходящие связи. Установлено, что КК контрастных групп значимо различаются по уровню обобщенности (С = 0; р < 0,01)7. Примеры карт экспертов и новичков представлены на рисунках 3 и 4.

7 Использован критерий Манна — Уитни, так как не соблюдается необходимое для 1-теста условие — нормальность распределения.

Рисунок 3: пример карты эксперта Рисунок 4: пример карты новичка

Другим важным показателем обобщенности используемых в КК понятий является средняя разница в объеме трех наиболее объемных понятий, которая также значимо различается в группах экспертов и новичков (и = 0, р < 0,01). Этот показатель отражает равномерность обобщений в структуре знания и наличие переходных по уровню обобщения понятий, связывающих наиболее общее понятие с единичными. У экспертов обобщения более равномерны, так как наиболее объемные понятия содержат примерно одинаковое число связей (3,5; 2,3 и 2,0), тогда как новички используют понятия, резко различающиеся по уровню обобщенности (6,7; 2,2; 1,6).

Хотя группы экспертов и новичков не различались по среднему количеству узлов в КК, так же как и ребер (иузлов = 6,5; р > 0,05; Иребер = 19,5; р > 0,05), отношение количества узлов и ребер на индивидуальном уровне по критерию Манна — Уитни статистически значимо различалось в двух группах (и = 0; р = 0,01). Как и ожидалось, уровень связанности КК у экспертов был выше, чем у новичков.

Самих единичных понятий, т.е. висячих узлов, было существенно больше у новичков, чем у экспертов (12,0 и 2,5 соответственно; и = 2,5; р < 0,01), тогда как комплексных понятий, т.е. узлов, имеющих смежные ребра, было больше у экспертов

(Мэксперты = 11,0, ББ = 4,1; Мновички = 2,8, ББ = 3,2).

7.2. Качественный анализ КК

В результате анализа качественных характеристик структурирования знаний мы выявили три отличительные особенности карт новичков: отсутствие единого набора используемых понятий; преимущественное использование процедурных понятий; ошибочные связи между понятиями.

Отсутствие единого набора используемых понятий. Единый для группы специалистов набор понятий трактуется как ключевой для данной области знания. В литературе ключевыми, как правило, считаются понятия, которые встречаются более чем у половины экспертов [Wallace, Mintzes, 1990]. У наших экспертов в этом качестве выступили следующие понятия: «гипотеза», «данные», «анализ», «переменные» и «результаты». Их использовали все эксперты без исключения. Эти понятия действительно отражают базовые элементы статистического анализа данных, так как определяют общий подход к анализу, подбор методов, логику всех используемых процедур и интерпретацию. Новички из этого списка использовали только термины «переменные» и «данные» и фактически игнорировали «гипотезу», «анализ» и «результаты». Нельзя было исключать возможность, что новички выделяют в качестве ключевых какие-то другие понятия. Однако оказалось, что в их картах практически не встречаются одинаковые понятия, что может свидетельствовать об отсутствии сформированных ключевых понятий на начальном уровне развития компетентности.

Преимущественное использование процедурных понятий. Имеющиеся данные об особенностях решения задач экспертами и новичками дают основание ожидать от экспертов преимущественного использования понятий, относящихся к так называемым декларативным знаниям (идеям, теориям, концепциям), а от новичков — использования процедурных понятий [Rittle-Johnson, Schneider, 2014]. Действительно, КК экспертов помимо общих, ключевых для данной области понятий («гипотеза», «исследовательский вопрос», «анализ» и др.) в обязательном порядке содержали другие теоретически нагруженные понятия, например «выборка», «связь», «различия» или «концепции», «модели», «ковариаты», «интерпретация результатов», «задачи исследования», «метод». Новички же отдавали предпочтение процедурным понятиям, которые описывают действия по анализу данных. Например, они перечисляли виды регрессионного анализа или шаги, необходимые для его выполнения.

Ошибочные связи между понятиями. В отличие от экспертов, новички нередко устанавливали ошибочные связи между понятиями. Например, ошибочными являются интерпретация «переменных» как формы описания «данных», или «вывод», следующий

непосредственно из «построенной модели», или объяснительная функция «статистики» по отношению к «исследованию», или замкнутая циклическая связь между понятиями «анализ данных», «переменные» и «данные».

8. Интерпретация

Цель этого исследования была двоякой. Во-первых, мы хотели теоретически определить такие формальные индикаторы КК, которые отражали бы определенные особенности структуры знаний. Во-вторых, мы хотели убедиться в различительной способности этих индикаторов, сопоставив две контрастные группы — новичков и экспертов в определенной области знаний. Обе цели были достигнуты: действительно, эмпирически установлено, что теоретически выделенные характеристики КК различаются в группах экспертов и новичков в области статистических методов анализа данных. Такими характеристиками выступили: уровень обобщенности используемых понятий, присутствие понятий разного уровня обобщенности, связанность понятий друг с другом, доля комплексных и единичных понятий. Иными словами, в результате нашей работы характеристики структуры знаний, различающиеся, судя по данным предыдущих исследований, у экспертов и новичков, получили свои индикационные элементы в КК. Эти индикаторы, рассматриваемые здесь как элементы графа, формально описываются как соотношения разных типов узлов и ребер, представленных в карте.

Важно, что именно такой формальный подход позволил превратить крайне индивидуализированные КК в набор объективных параметров, не зависящих от профессионального уровня самих оценщиков карт. Тем самым КК выведены из круга инструментов индивидуализированной оценки в область оценки объективной, поставлены в один ряд с другими стандартизированными методами оценивания. Предыдущие работы показали, что КК чувствительны к индивидуальным изменениям в структуре знаний по мере роста уровня компетентности, наши результаты свидетельствуют о том, что КК пригодны для использования в сравнительных исследованиях.

Установление различительной способности ряда индикаторов является только первым шагом в подтверждении диагностического потенциала КК. Но предложенный нами формальный подход обеспечивает доступность КК для дальнейших проверок: от надежности показателей до конструктной валидности. Например, с точки зрения

надежности безусловно необходимо продемонстрировать ретестовую устойчивость всех заявленных индикаторов. Для подтверждения конструктной валидности важно получить поддержку предлагаемой интерпретации наших индикаторов. Ведь сам по себе подсчет различных элементов в карте не ведет автоматически к их интерпретации в терминах структуры знания. Здесь мы логически допустили, что элементы и их соотношение отражают определенные характеристики структуры знания, к примеру, соотношение числа узлов и связей отражает связанность понятий, а висячие узлы — понятия, которые респондент рассматривает как единичные. Мы показали, что эти индикаторы принимают разные значения в контрастных группах, причем эти различия именно таковы, как мы ожидали, но, конечно, здесь требуется более фундаментальная поддержка нашей интерпретации.

Перспективы данной работы нам видятся в логике теоретических воззрений Л.С. Выготского относительно развития научных понятий, поскольку формирование именно этих понятий отражает концептуальная карта. Л.С. Выготский предполагал, что ход развития научных понятий противоположен пути развития житейских понятий [Выготский, 1982]. Если житейские понятия развиваются от осознания отдельных явлений или предметов, на которые указывает понятие, до понимания абстрактного значения самого понятия, то научное понятие сразу дается как абстрактное значение, и его развитие идет в направлении осознания представленного в нем предмета. Признаками зрелости понятия (любого: и житейского, и научного) Л.С. Выготский называет возможность связать его логически с другими понятиями, погруженность его в иерархическую систему других понятий разного уровня обобщенности.

Некоторые теоретические предположения Л.С. Выготского нашли отражение в композиции выделенных нами индикаторов. Так, например, мы использовали индикатор степени обобщенности понятия как долю исходящих иерархизированных связей среди всех исходящих из этого понятия ребер. Индикатор, который мы назвали «равномерность обобщения», мы рассчитывали как среднюю разницу в объеме трех самых объемных понятий в КК, предполагая, что эксперты, в отличие от новичков, будут использовать понятия всех уровней обобщенности — в полном соответствии с идеей Л.С. Выготского о том, что зрелое понятие должно функционировать в системе других понятий разного уровня обобщения. Теория Л.С. Выготского представляется нам очень перспективной для планирования дальнейшей работы по анализу КК, с другой стороны, возможно, что метод концептуальных карт удастся использовать для эмпирической поддержки самой теории.

Серьезное ограничение нашего исследования состоит в том, что мы проверили различительную способность формальных индикаторов КК на одной-единственной выборке, и, более того, выборке гомогенной и малочисленной. Сама по себе малочисленность не представляет большой угрозы для пилотного исследования. Во-первых, потому что его целью является скорее апробация нового метода анализа, чем строгая оценка характеристик респондентов. Во-вторых, исследования с помощью концептуальных карт как глубоко качественный метод, использующийся только индивидуально и требующий для проведения много времени, как правило, применяется на небольших выборках: например, n=19 [Jeong, Lee, 2012], n=3 [Lavigne, 2005], n=8 [Kandiko, Kinchin, 2012], n=11 [McNeil, 2015]. Однако вкупе с однородностью выборки малочисленность наших групп респондентов препятствует пока распространению сделанных выводов на другие области знаний. И хотя качественный блок нашей работы привел к результатам, совпадающим с полученными с помощью КК в других исследованиях (например, об ошибочных связях между понятиями или о преимущественном использовании процедурных понятий новичками), для генерализации выводов совершенно необходимо в дальнейшем исследовать паттерны КК у новичков и экспертов в самых разных областях знаний. Тем более что первые результаты, полученные с помощью предложенного количественного метода анализа концептуальных карт, выглядят обнадеживающе.

Литература

1. Брангье Ж-К. (2000) Беседы с Жаном Пиаже // Психологический журнал. Т. 21. № 4. С. 107-111.

2. Вергелес К.П. (2017) Особенности в способах репрезентации проблемы, ее оценке и подходах к решению у экспертов. Систематический обзор. Курсовая работа магистра департамента психологии НИУ ВШЭ (неопубликованная).

3. Выготский Л.С. (1983) История развития высших психических функций / Выготский Л.С. Собрание сочинений в 6 т. Т. 3. М.: Педагогика. C. 5-328.

4. Выготский Л.С. (1982) Мышление и речь / Выготский Л.С. Собрание сочинений в 6 т. Т. 2. М.: Педагогика.

5. Нежнов П.Г., Карданова Е.Ю., Эльконин Б.Д. (2011) Оценка результатов школьного образования: структурный подход // Вопросы образования / Educational Studies Moscow. № 1. С. 26-43. DOI: 10.17323/1814-9545-2011-1-26-43

6. Оре О. (1968) Теория графов. М.: Наука, 1968.

7. Пиаже Ж. (2001) Теория Пиаже / Л.Ф. Обухова, Г.В. Бурменская (ред.) Жан Пиаже: теория, эксперименты, дискуссии. М.: Гардарики. С. 106-157

8. Ausubel D.P. (2000) The Acquisition and Retention of Knowledge: A Cognitive View. Dordrecht: Kluwer Academic Publishers.

9. Bilalic M., Gobet F. (2009) They Do What They Are Told to Do: The Influence of Instruction on (Chess) Expert Perception-Commentary on Linhares and Brum (2007) // Cognitive Science. Vol. 33. No 5. P. 743-747.

10. Bläsing B., Tenenbaum G., Schack T. (2009) The Cognitive Structure of Movements in Classical Dance // Psychology of Sport and Exercises. Vol. 10. No 3. P. 350-360.

11. Chase W.G., Simon H.A. (1973) The Mind's Eye in Chess. / W.G. Chase (ed.) Visual Information Processing. New York: Academic Press. P. 215-281.

12. Chi M.T.H. (2011) Theoretical Perspectives, Methodological Approaches, and Trends in the Study of Expertise / Y. Li. (ed.) Expertise in Mathematics Instruction: An International Perspective. New York, NY: Springer. P. 17-39.

13. Chi M.T.H., Feltovich P., Glaser R. (1981) Categorization and Representation of Physics Problems by Experts and Novices // Cognitive Science. Vol. 5. No 2. P. 121152.

14. Chi M.T.H., Glaser R., Rees E. (1982) Expertise in Problem Solving / R.J. Sternberg (ed.) Advances in the Psychology of Human Intelligence. Vol. 1. Hillsdale, NJ: Lawrence Erlbaum Associates. P. 7-76.

15. Dauer J.T., Long T.M. (2015) Long-Term Conceptual Retrieval by College Biology Majors Following Model-Based Instruction // Journal of Research in Science Teaching. Vol. 52. No 8. P. 1188-1206.

16. Jee B D., Gentner D., Uttal D.H., Sageman B., Forbus K., Manduca C.A., Tikoff B. (2014) Drawing on Experience: How Domain Knowledge Is Reflected in Sketches of Scientific Structures and Processes // Research in Science Education. Vol. 44. No 6. P. 859-883.

17. Jeong A., Lee W.J. (2012) Developing Causal Understanding with Causal Maps: The Impact of Total Links, Temporal Flow, and Lateral Position of Outcome Nodes

// Educational Technology Research and Development. Vol. 60. No 2. P. 325-340.

18. Kandiko C.B., Kinchin I.M. (2012) What Is a Doctorate? A Concept-Mapped Analysis of Process Versus Product in the Supervision of Lab-Based PhDs // Educational Research. Vol. 54. No 1. P. 3-16.

19. Kim M. (2013) Concept Map Engineering: Methods and Tools Based on the Semantic Relation Approach // Educational Technology Research and Development. Vol. 61. No 6. P. 951-978.

20. Lapp D A., Nyman M.A., Berry J.S. (2010) Student Connections of Linear Algebra Concepts: An Analysis of Concept Maps // International Journal of Mathematical Education in Science and Technology. Vol. 41. No 1. P. 1-18.

21. Lavigne N.C. (2005) Mutually Informative Measures of Knowledge: Concept Maps Plus Problem Sorts in Statistics // Educational Assessment. Vol. 10. No 1. P. 39-71.

22. Li Y., Kaiser G. (eds) (2011) Expertise in Mathematics Instruction: An International Perspective. New York, NY: Springer Science+Business Media.

23. Lowe R.K., Lowe K. (1996) Background Knowledge and the Construction of a Situational Representation from a Diagram // European Journal of Psychology of Education. Vol. 11. No 4. P. 377-397.

24. McClure J.R., Sonak B., Suen H.K. (1999) Concept Map Assessment of Classroom Learning: Reliability, Validity, and Logistical Practicality // Journal of Research in Science Teaching. Vol. 36. No 4. P. 475-492.

25. McNeil S. (2015) Visualizing Mental Models: Understanding Cognitive Change to Support Teaching and Learning of Multimedia Design and Development

// Educational Technology Research and Development. Vol. 63. No 1. P. 73-96.

26. Novak J.D. (2002) Meaningful Learning: The Essential Factor for Conceptual Change in Limited or Inappropriate Propositional Hierarchies Leading to Empowerment of Learners // Science Education. Vol. 86. No 4. P. 548-571.

27. Novak J.D., Cañas A.J. (2008) The Theory Underlying Concept Maps and How to Construct Them. Technical Report of the Florida Institute for Human and Machine Cognition.

28. Novak J.D., Musonda D. (1991) A Twelve-Year Longitudinal Study of Science Concept Learning // American Educational Research Journal. Vol. 28. No 1. P. 117-153

29. Perkins D.N., Salomon G. (2012) Knowledge to Go: A Motivational and Dispositional View of Transfer // Educational Psychologist. Vol. 47. No 3. P. 248-258.

30. Rittle-Johnson B., Schneider M. (2014) Developing Conceptual and Procedural Knowledge of Mathematics / R.C. Kadosh, A. Dowker (eds) Oxford Handbook of Numerical Cognition. Oxford, UK: Oxford University.

31. Ruiz-Primo M.A., Schultz S.E., Li M., Shavelson R.J. (2001) Comparison of the Reliability and Validity of Scores from Two Concept-Mapping Techniques // Journal of Research in Science Teaching. Vol. 38. No 2. P. 260-278.

32. Sloutsky V.M., Yarlas A.S. (2000) Problem Representation in Experts and Novices: Part 2. Underlying Processing Mechanisms / Proceedings of the XXII Annual Conference of the Cognitive Science Society. P. 475-480.

33. Stoddart T., Abrams R., Gasper E., Canaday D. (2000) Concept Maps as Assessment in Science Inquiry Learning — A Report of Methodology // International Journal of Science Education. Vol. 22. P. 1221-1246.

34. Stylianou D.A. (2002) On the Interaction of Visualization and Analysis: The Negotiation of a Visual Representation in Expert Problem Solving // Journal of Mathematical Behavior. Vol. 21. No 3. P. 303-317.

35. Surber J.R., Smith P.L. (1981) Testing for Misunderstanding // Educational Psychologist. Vol.16. No 3. P. 165-174.

36. Van Lehn K., Chi M. (2012) Adaptive Expertise as Acceleration of Future Learning: A Case Study / P.J. Durlach, A.M. Lesgold (eds) Adaptive Technologies for Training and Education. Cambridge: Cambridge University. P. 28-45.

37. Von der Heidt T. (2015) Concept Maps for Assessing Change in Learning: A Study of Undergraduate Business Students in First-Year Marketing in China // Assessment & Evaluation in Higher Education. Vol. 40. No 2. P. 286-308.

38. Wallace J.D., Mintzes J.J. (1990) The Concept Map As a Research Tool: Exploring Conceptual Change in Biology // Journal of Research in Science Teaching. Vol. 27. No 10. P. 1033-1052.

ПРИЛОЖЕНИЕ 3. Статья «How concept maps with and without a list of concepts differ: The case of statistics»

Kapuza, A. (2020). How concept maps with and without a list of concepts differ: The case of statistics. Education Sciences, 10(4), 91. http://doi.org/10.3390/educsci10040091

Концептуальные карты — популярный инструмент оценки структуры знаний. В последние годы количество исследований, посвященных концептуальным картам, и их способности к измерению значительно выросло. Было показано, что концептуальные карты с различными типами задач, например, связи между концептами, заданными или выбранными испытуемым, предоставляют информацию о различных аспектах структуры знаний студентов. В данном исследовании исследуются особенности концептуального картографирования с и без списка концептов. Сначала одиннадцать магистрантов составляли концептуальные карты по теме статистического анализа данных, а через три недели повторно выполняли задачу с той же темой и предопределенным списком концептов. Оба типа концептуальных карт оценивались по традиционным показателям оценки и показателям сетевого анализа. Все показатели были проверены на наличие значимых различий, а затем было проанализировано содержание этих карт. Результаты показывают, что список концептов заставлял испытуемых создавать более связные карты, что связано с более развитой структурой знаний. Более того, им было легче включать абстрактные концепты и определить их роль в предметной области. Однако испытуемые используют концепты и группируют их по-разному в зависимости от инструкции. Кажется, что они испытывают "давление списка", что приводит к различиям в содержании. Эти результаты демонстрируют возможности использования различных задач концептуальных карт для обучения и оценки.

Article

How Concept Maps with and without a List of Concepts Differ: The Case of Statistics

Anastasia Kapuza

Special Issue

Networks Applied in Science Education Research Edited by

Prof. Dr. Ismo T. Koponen and Dr. Terhi Mantyla

MDPI

O1

education sciences

Article

How Concept Maps with and without a List of Concepts Differ: The Case of Statistics

Anastasia Kapuza

Institute of Education, National Research University Higher School of Economics, 101000 Moscow, Russia; [e-mail]

Received: 4 February 2020; Accepted: 25 March 2020; Published: 30 March 2020

Abstract: Concept mapping is a popular tool for knowledge structure assessment. In recent years, both the amount of research about concept maps and their measurement ability have grown. It has been shown that concept maps with different types of tasks, for instance, links between concepts given or selected by a respondent, provide information about the different aspects of students' knowledge structure. This study explores features of concept mapping with and without a list of concepts. At first, eleven masters students constructed concept maps with a topic on statistical data analysis and, after three weeks, repeated the task with the same topic and a predefined list of concepts. Both types of concept maps were evaluated using traditional scoring indicators and indicators from the network analysis. All indicators were tested for significant differences, and then the content of these maps was analysed. Results show that the list of concepts forced respondents to construct more connective maps, which is related to a more developed knowledge structure. Moreover, it is easier for them, when including even abstract concepts, to define their role in the domain. However, respondents use concepts and group them in different ways depending on the instruction. It seems that respondents feel a "list stress", which leads to differences in the content. These findings demonstrate the possibilities of using different concept mapping tasks for learning and assessment.

Keywords: concept maps; statistics; knowledge structure; formative assessment; network theory

1. Introduction

Knowledge structure development is an important result of learning and education. The meaningful learning theory states that students more efficiently embed new concepts to existing knowledge structures [1]. Novak expanded upon the idea of meaningful learning, but faced the issue of knowledge structure measurement [2]. For the effective implementation of new information, it is crucial to measure how previous concepts are organised. To overcome this issue, Novak and his colleagues developed the concept maps method [3].

A concept map (CM) is a graphic representation of the relationship between concepts and processes related to a particular subject area. The CM consists of nodes (concepts) and their relationships, or edges. Research shows that concept mapping is an effective teaching strategy [4-6] as well as a useful assessment tool [7-9].

CM assessment differs in task, format, and scoring method [8]. CM tasks can vary by degrees of directedness [10,11]. There are two main types of tasks for constructing CM: the concepts may be predefined for respondents (CMs with a list of concepts) or respondents may have only the topic and retrieve concepts from their memory (CMs without a list of concepts).

The issue is that possible differences may exist between the maps constructed with these two approaches and their interpretation. Previous studies focused on differences in CMs with forced vs. retrieved links, or labels of links, when the concepts were specified beforehand [12,13]. These studies show that different mapping tasks provide information about the different aspects of students' knowledge structure. Even manipulation with "How" and "What" in a focus question can lead to different results [14].

However, what has not previously been investigated is the difference between CMs with a list of concepts and a topic and with just a topic (with and without the list of concepts). However, in the wide range of concept mapping tasks, these two are more commonly used [15]. In this paper we explore differences between concept mapping with and without a list of concepts using data from master students who drew CMs on the topic of data analysis. The aim of the study is in line with previous research—"to increase our understanding of how different mapping techniques affect the representation" [11]. Statistics and data analysis are often used in concept mapping

studies (e.g., [16-18]) because they have terminological agreement and strong theories with abstract and more technical concepts.

1.1. Concept Maps as a Knowledge Structure Assessment Tool

The knowledge structure reflects previous experiences and, in turn, modulates learning. The importance of structuring knowledge was noticed by Piaget and Vygotsky. Piaget claimed that changes in the conceptual structure are the necessary result of such processes as assimilation and accommodation [19]. New information is assimilated by the existing structure to the extent that the structure itself is able to assimilate. Vygotsky stated the difference between the evolution of everyday and scientific concepts: the first one develops from the specific meaning of objects in relation to their abstract meaning, and vice versa for the second [20-22]. Scientific concepts are often poorly rooted in real life routine and we should firstly build the structure from very abstract phenomena, and then refer observed objects and relationships to this structure. Later, pedagogical theories such as constructivism suggested that an understanding of information implies that new information must be somehow related to existing knowledge, and the number of links between previously studied and new information reflects the degree of understanding [1].

In response to the development of such views, methods for assessing the structure of knowledge began to develop. Traditional methods, such as standardised tests, were unable to evaluate shifts in knowledge structure, and Novak and colleagues, through clinical interviews, developed a method based on graphical representation-concept mapping [23]. CM differs from other assessment tools (such as tests, problem sorting, verbal messages, diagnostic interviews, etc.) because it allows the structure and connections between all concepts to be seen and comes directly from the respondent [24]. Concept mapping is a valid, reliable and the most informative method for knowledge structure assessment [25-27].

For educational purposes, CMs could be constructed by a teacher as a model for students and by students in groups or individually. For students, the teacher controls the format of the concept mapping task. CM tasks can vary by degrees of directedness-the extent to which the concepts, linking phrases and the whole structure are provided to students [9-11,15]. The most undirected task with only a topic or focus question is very popular [15] and is considered more valid than others because students should generate a meaningful representation of their knowledge due to high cognitive demand [12]. The next common task is providing a list of concepts in addition to the topic [15]. However, there is a lack of objective information about differences between results of using various concept mapping tasks. Although some research has focused on differences in CMs with forced vs. retrieved links or labels of links when the concepts were specified beforehand [12,13], with forms of predefined structure and formulation of focus questions [14], the CMs with and without a list of concepts have not been considered, and existing evaluation approaches are inconsistent.

In using CM as an assessment method, it is important to choose an evaluation approach. Generally, there are two approaches: qualitative (holistic) and quantitative [7,9,10,28]. The holistic approach is based on general experts' judgment about structure quality, its hiérarchisation and form (e.g., [29-31]). The quantitative approach seeks to overcome experts' subjectivity and formulate their judgments into objective indicators. The traditional indicators include the number of concepts, links between them, and the concept-link ratio as a measure of connectivity [29,32]. Sometimes traditional scoring includes the proposition accuracy score and rubrics, which are also based on experts' ratings (e.g., [12,33,34]). Following the increase in computing power, researchers also use computational theories to evaluate CMs, such as graph and network theories (e.g., [35-40]). In general, traditional indicators are based on counting various elements of a CM or simple functions of these elements, while computational theories are focused on a more complex evaluation of the whole structure and how information is distributed within the structure.

1.2. Knowledge Structure in Statistics Domain

A lot of knowledge structure studies use statistics as a domain (e.g., [16,18,33,41]). Firstly, statistics has strong terminological agreement. There are a lot of debates about the specific methods of application (e.g., factor analysis for binary or categorical data [42-45]), but not about names and meanings of methods or phenomena. The definition can vary in across different textbooks, but the core features of, for example, normal distribution, remain the same.

The second reason is strict theoretical underpinning. The descriptive and inferential statistics derived from probability theory go back more than three centuries. Like any developed theory that has grown into practice, statistics have very abstract (e.g., probability), more concrete (e.g., p-value) and specific technical concepts (e.g., null hypothesis, t-test) with established relationships between them. It is easy to relate this to a model of declarative (conceptual, abstract, theoretical) and procedural (technical, specific, task-oriented) knowledge [46,47]. This model is often used to show the difference in novices and experts' knowledge structures: it has been demonstrated that novices tend to use more procedural knowledge in their representations [39,47-49].

The third point is the issues with teaching and learning statistics: faulty reasoning [50], "maths-phobia", statistics anxiety and negative attitude towards statistics [51], and the focus on mathematical grounds and calculations [51,52].

At the same time, researchers note the deficiency in approaches for assessing statistical reasoning and information structuring [41,51-53]. Therefore, methods such as concept mapping will be very informative in teaching statistics research and in providing revealing findings by using the well described domain of statistics.

The research question of the current study is: how do CMs with and without a list of concepts differ in terms of structure characteristics and core and technical concepts using? To address this question, the following research hypotheses are stated:

Hypothesis 1 (H1): the values of the structural indicators are the same for both instruction types.

Hypothesis 2 (H2): students use more technical concepts in instruction without a list.

Hypothesis 3 (H3): students use and group core concepts irrespective of the type of instruction.

In this study, we examine structure and content features of CMs with and without a list of concepts. With this aim, CMs of the same students were analysed using quantitative and qualitative approaches. The quantitative approach was based on indicators from traditional scoring and network theory to evaluate structural features. The qualitative approach was conducted for content analysis and was based on concept type and community detection.

2. Materials and Methods

2.1. Data Collecting

The study involved eleven masters students. All of them took an annual course on basic methods of data analysis (introductory statistics) and worked with statistical packages during the course. None of the students had a job or any professional experience in data analysis. None of the participants had any experience with conceptual maps. The study took place in two stages. In the first stage, 2 months after the course finished, participants received written instructions to construct a CM on the topic "Statistical Data Analysis", without any additional information (CM without a list of concepts) (Appendix A). In the second stage, 3 weeks after the first stage, the participants received the same instructions, but they were also asked to use a list with 25 concepts (CM with a list of concepts) (Appendix A). Students could add no more than two concepts to the list themselves. At both stages, students

constructed CMs individually on a sheet of paper using a pen. Then, students' maps were translated to English and transformed into an edge list.

The list of concepts was constructed based on the course curriculum and previous research about core statistical concepts [39,54,55]. The following nine concepts were considered fundamental in the study: significance, sample, population, distribution, hypothesis, data, analysis, method, and the research question. To test H3, one fundamental concept (significance) was excluded to see whether students would add it to the list. The list included both technical concepts (e.g., specific methods) (eight out of 25, 32%) to reflect the procedural knowledge and more abstract concepts to reflect the declarative knowledge. 2.2. Analysis Strategy

The direction of each connection between concepts was not considered and undirected networks were used. Also, labels of links were ignored.

For the quantitative part of analysis (H1), traditional and network indicators of CMs without and with a list of concepts were compared using t-test. Traditional indicators were chosen in line with [39] and included number of concepts and propositions, their ratios (less than 1 is more connected structure), number and percent of concepts with 1 and 3 or more degrees. Since there is no enough information about network indicators' differentiating ability, diameter (average length of the shortest paths between each two nodes) and the share of diameter (length of diameter divided by the number of concepts) were used as a measure of structure connectivity based on the theory.

For the qualitative part, one common map from respondents' maps for each condition (without and with the list of concepts) was constructed to reduce individual differences and reflect general trends. Each concept was manually coded as technical (procedural knowledge - specific methods, software or type of results) or other (more abstract) to test the H2. The number of edges between two concepts extracted from different maps was used as a weight. Then the weighted closeness centrality was counted for each concept to test the H2 and H3. The closeness centrality shows how central a given concept is, relative to the whole network. Finally, communities using the Girvan-Newman algorithm based on edges betweenness were detected to find out groups of concepts and also test the H3 [56]. All computations were done in R software using "igraph" and "visnetwork" packages.

3. Results

The quantitative results show that the size of CMs did not change significantly depending on instruction type: the numbers of concepts and propositions were the same (Table 1). The increase in the number of propositions was higher, but insignificant. However, the concepts-proposition ratio decreased significantly for CMs without the list: for this type of instruction, structures were more connected. The number and the percentage of concepts with one degree was less for CMs with the list. However, the same indicators for concepts with three or more degrees did not change. In other words, the rise in connectivity was due to concepts having a middle level of inclusion in the structure (having propositions with just two other concepts). The diameter was larger for CMs with the list, although the share in diameter across a CM did not change significantly. Taking all of the above into consideration, the first hypothesis of no difference was not supported in this study.

Table 1. Means and f-test results for concept map (CM) instruction without and with a list of concepts, as well as the

experimental conclusions that can be drawn.

Without the List With the List One-Tailed f-

Mean SD Mean SD f-Statistic Test (df = 10)

Number of concepts 19.55 7.74 21.18 3.57 0.60 p = 0.28

Number of propositions 19.64 7.68 23.73 4.76 1.31 p = 0.11

Concepts-proposition ratio 1.00 0.11 0.90 0.10 2.8 p < 0.01

Number of concepts with one degree

% of concepts with one degree Number of concepts with three or more degrees

% of concepts with three or more degrees

Diameter Share of diameter

10.91 5.74 7.91 3.45 1.81 p < 0.05

53.60 14.29 37.58 17.10 3.18 p < 0.01

4.73 2.45 4.64 2.69 0.07 p = 0.47

24.01 6.96 21.25 10.17 0.67 p = 0.26

5.73 1.79 7.73 2.24 2.8 p < 0.01

0.32 0.12 0.38 0.15 1.05 p = 0.16

Regarding the content, 25.4% of the 126 unique concepts were technical if the instruction did not include the list of concepts (Figure 1). Two of nine core concepts were not used: "sample" and "population". The highest closeness values were obtained for three topics. The first was abstract statistics and its three core concepts: "data", "statistical analysis", "methods", "practice", "descriptive statistics" and "results". The second consisted of terms which are not related to statistics and data analysis directly: "classification", "development" and "simplifying". The last and smallest topic that obtained high closeness values was technical statistics: "recoding", and "tables", which obtained the highest closeness value within the structure.

Sixteen clusters were found in the network (Figure 2). The biggest one includes 21 concepts, such as "big data", "humanities", "science", "education", "algebra", "theory", etc. This cluster was characterised as very common knowledge, representing the foundations of statistics. The next cluster consisted of 18 concepts ("research question", "analysis", "data", "method", "variables" etc.) and described basic definitions in data analysis and some core concepts. The third cluster (14 concepts) reflected the technical side of data analysis: "dependent variable", "recoding", "linear", "Pearson", "assumption", etc. It is also important to note clusters consisting of hypothesis testing ("H0", "H1", "significance", "hypothesis") and "regression" cluster ("nonlinear", "OLS", "binominal").

It was observed than when the list of concepts was provided, students tended to build relationships between fundamental statistical concepts (Figure 3). While the percentage of technical concepts was the same— 26% of 34 unique concepts (/(148) = 0.12, p = 0.9)—the core concepts ("distribution", "data", "method" and "research question") obtained the highest closeness values, respectively. Students used all core concepts except the one that was not in the list. The concept "statistical significance" was not found: none of the students who emphasised this concept without the list used it when they had the list. At the same time, students added technical concepts ("cluster analysis", "ratio", "check"), method families ("descriptive statistics", "relationship", "testing of means") and abstract concepts ("conclusions", "concepts"). Thus, the second research hypothesis was rejected, but the third was confirmed.

Figure 1. CM constructed on all CMs without the list of concepts. https://akapuza.github.io/Figure_1. CMs_without_a_list.html.

Figure 2. Clusters for CM extracted from all CMs without the list of concepts.

The number of clusters was high for such a low concept number (14) (Figure 4). In other words, the structure was more fragmented, although these fragments were much more connected. The biggest clusters were devoted to specific methods: seven concepts about relationships—"dependent" and "independent" variables, "correlation", "model", "regression", "relationship" and "scales"; six concepts about hypothesis testing—"method", "ANOVA", "t-test", "statistical hypothesis", "factor analysis", "chi-square". Fundamental concepts were almost unrelated to each other.

Figure 5 shows a typical example of content differences between CMs without and with the list of concepts. While the first one had a very simple structure and mostly consisted of technical concepts, the second one had a few more crosslinks (e.g., between "Tables" and "Population") and included more abstract concepts, such as "Research question" and "Hypothesis".

Figure 3. CM constructed on all CMs with the list of concepts. https://akapuza.github.io/Figure_3. CMs_with_a_list.html.

Figure 4. Clusters for CM extracted from all CMs with the list of concepts.

Figure 5. An example of maps without (a) and with (b) a list of concepts which were drawn by one respondent.

4. Discussion

In past decades, the knowledge structure assessment has received wide attention in education, psychology, and even statistical research. There has been a great number of studies about CMs as a tool for the knowledge structure assessment and issues with their evaluation. Here, an analysis of two types of concept mapping tasks is provided (with and without a predefined list of concepts). This study contributes to both concept mapping and knowledge structure.

Three hypotheses were stated. The first one assumed no differences in the structure indices of CMs with and without the list of concepts. The results showed that the connectivity of structure was higher for CMs with forced concepts. This is a characteristic of more developed structures [39,57]. The rise of the connectivity was due to the decrease in the number of concepts with only one connection,

while the number of concepts with three or more connections remained stable. It means that it was simpler for the respondents to include concepts in the structure, but they still could not see the links between all concepts. The fact that, even in such a small sample, significant differences were found indicates the importance of these differences.

The most valuable findings relate to the content of the maps are derived from the qualitative part of the research. The second hypothesis investigated how students used technical concepts. Previous research shows that using technical concepts (procedural knowledge) is related to less-developed structures and is a characteristic of novices [39,57,58]. This study demonstrated that these concepts were used in the same way regardless of the instruction type, although the fundamental concepts obtained the highest centrality values if respondents used the list. The same groups of technical concepts (regression or hypothesis testing) appeared in both, with and without the list. However, this tendency was not shown for more abstract concepts. It is important to note that respondents did not use very abstract concepts (such as "science") if they had a list and tended to add middle-level concepts about data analysis. This finding is supported by the literature and could be interpreted as an advantage of using CMs with a list for standardised assessment [8,14].

The third hypothesis was concerned with students' ability to think critically about concepts and their place within the structure. To test this, one of the core concepts was not included in the list and it was expected that students would still use it. Without the list, students tended to use fundamental and technical concepts in the same way, and kept in mind both. They did not use all core concepts, but they did use quite a few. Using the list, they could miss important concepts, even if they used them before. It is possible that providing a list makes students doubt their views, which is helpful in case of a strictly defined structure or when using CM as a comprehension exercise, but useless and even harmful in cases of incorrect lists and a lack of feedback [15,49].

Overall, it seems that using the list of concepts stimulates students to evaluate each concept and its role in the whole structure more carefully in order to include them in the structure. At the same time, they pay less attention to concepts outside of the list. It is argued that providing the list of concepts does not necessarily lead to a more developed structure [15]. In this study, structure characteristics changed only in terms of middle-level connections and improved, but "list stress" leads to differences in the content.

It is important to note that using CMs from the same students allows the control of respondents' ability to draw and represent knowledge in general. Both stages of the study were conducted in a short period after the end of the basic course, which also allowed the control of other factors, such as the natural growth of expertise. This small sample, on the one hand, provides an opportunity for rich, qualitative analysis, and, on the other, restricts the use of quantitative methods. This part of the research may be considered as a rather preliminary pilot study. Despite this, some effect sizes were big enough to be detected.

Despite some limitations, the present study provides a better understanding of how students organise their knowledge and possibilities for concept mapping for knowledge structure evaluation. Taken together, these findings could bring insights for further research of CMs. The investigation of CM content is a very promising area of research and methodology is developing in this direction [49]. The network theory provides a well-established approach for

measuring structural aspects, such as connectivity, which allows us to consider CMs as standardised objective measurement instruments. Moreover, these results may also help educators who use CMs in their professional practices. In this field, further research could be dedicated to using different types of CM tasks for various purposes, e.g., formative and summative assessment.

Funding: The article was prepared within the framework of the HSE University Basic Research Program and funded by the Russian Academic Excellence Project '5-100'

Conflicts of Interest: The author declares no conflict of interest.

Appendix A

Instruction 1 - without the list of concepts Thank you for participating in the study!

Please read carefully the instructions for concept map construction.

Construct a conceptual map on the topic "Statistical Data Analysis". You can use any terms and concepts and

combine them as you see fit. Do not try to cover all topics related to statistics, but reflect the key, in your opinion,

elements necessary for understanding what a statistical analysis of data is,

what it consists of and how it is implemented. Use a blank sheet and pen or pencil.

Please label each link between the concepts.

Instruction 2 - with the list of concepts

Thank you for participating in the study!

Please read carefully the instructions for concept map construction.

Construct a conceptual map on the topic "Statistical Data Analysis" using the list of concepts below. You can use any

number of concepts from the list and combine them as you see fit. You can add no more than 2 concepts that are

not included in the list. For each concept, you can change the number (singular to plural), if required. Use a blank

sheet and pen or pencil.

Please label each link between the concepts.

LIST OF CONCEPTS

In italics: technical concepts highlighted in the Appendix A that, but did were not provide given to respondents.

1. ANOVA 14. Regression

2. t-test 15. Result

3. Sample 16. Relationship

4. Population 17. Mean

5. Hypothesis 18. Standard deviation

6. Graphs 19. Statistical hypothesis

7. Dependent variable 20. Tables

8. Research question 21. Factor analysis

9. Correlation 22. Chi-square

10. Method 23. Scale

11. Model 24. Data

12. Independent variable 25. Analysis 13. Distribution

References

1. Ausubel, D.P.; Novak, J.D.; Hanesian, H. Educational Psychology: A Cognitive View; Holt, Rinehart and Winston: New York, NY, USA, 1978; ISBN 978-0-03-089951-5.

2. Novak, J.D.; Gowin, B. Learning How to Learn; reprinted; Cambridge Univ. Press: Cambridge, UK, 1999; ISBN 978-0-52131926-3.

3. Novak, J.D. Concept mapping: A useful tool for science education. J. Res. Sci. Teach. 1990, 27, 937-949. [CrossRef]

4. Nesbit, J.C.; Adesope, O.O. Learning with concept and knowledge maps: A meta-analysis. Rev. Educ. Res. 2006, 76, 413448. [CrossRef]

5. Hattie, J. Visible Learning: A Synthesis of over 800Meta-Analyses Relating to Achievement; Reprinted; Routledge: London, UK, 2010; ISBN 978-0-415-47618-8.

6. Schroeder, N.L.; Nesbit, J.C.; Anguiano, C.J.; Adesope, O.O. Studying and Constructing Concept Maps: A Meta-Analysis. Educ. Psychol. Rev. 2018, 30, 431-455. [CrossRef]

7. Strautmane, M. Concept map-based knowledge assessment tasks and their scoring criteria: An overview. In Proceedings of the Fifth International Conference on Concept Mapping, Valletta, Malta, 17-20 September 2012.

8. Ruiz-Primo, M.A.; Shavelson, R.J. Problems and issues in the use of concept maps in science assessment. J. Res. Sci. Teach. 1996, 33, 569-600. [CrossRef]

9. Watson, M.K.; Pelkey, J.; Noyes, C.R.; Rodgers, M.O. Assessing Conceptual Knowledge Using Three Concept Map Scoring Methods. J. Eng. Educ. 2016, 105, 118-146. [CrossRef]

10. Ruiz-Primo, M.A. Examining concept maps as an assessment tool. In Proceedings of the First International Conference on Concept Mapping, Pamplona, Spain, 14-17 September 2004; Volume 1, pp. 555-562.

11. Anohina-Naumeca, A. Determining the Set of Concept Map Based Tasks for Computerized Knowledge Self-Assessment. Procedia Soc. Behav. Sci. 2012, 69, 143-152. [CrossRef]

12. Ruiz-Primo, M.A.; Schultz, S.E.; Li, M.; Shavelson, R.J. Comparison of the reliability and validity of scores from two concept-mapping techniques. J. Res. Sci. Teach. 2001, 38, 260-278. [CrossRef]

13. Yin, Y.; Vanides, J.; Ruiz-Primo, M.A.; Ayala, C.C.; Shavelson, R.J. Comparison of two concept-mapping techniques: Implications for scoring, interpretation, and use. J. Res. Sci. Teach. 2005, 42, 166-184. [CrossRef]

14. Derbentseva, N.; Safayeni, F.; Cañas, A.J. Concept maps: Experiments on dynamic thinking. J. Res. Sci. Teach. 2007, 44, 448-465. [CrossRef]

15. Cañas, A.J.; Novak, J.D.; Reiska, P. Freedom vs. Restriction of Content and Structure during Concept Mapping-possibilities and Limitations for Construction and Assessment. In Proceedings of the Fifth International Conference on Concept Mapping, Valletta, Malta, 17-20 September 2012.

16. Doorn, D.J.; O'Brien, M. Assessing the Gains from Concept Mapping in Introductory Statistics. Int. J. Scholarsh. Teach. Learn. 2007, 1, n2. [CrossRef]

17. Lavigne, N.C.; Salkind, S.J.; Yan, J. Exploring college students' mental representations of inferential statistics. J. Math. Behav. 2008, 27, 11-32. [CrossRef]

18. Witmer, J.A. Concept maps in introductory statistics. Teach. Stat. 2016, 38, 4-7. [CrossRef]

19. Piaget, J. Part I: Cognitive development in children: Piaget development and learning. J. Res. Sci. Teach. 1964, 2, 176-186. [CrossRef]

20. Vygotsky, L. Myshlenie IRech; Natsional'noe obrazovanie: Moscow, Russia, 1982; Volume 2.

21. Howe, A.C. Development of science concepts within a Vygotskian framework. Sci. Educ. 1996, 80, 35-51. [CrossRef]

22. Hedges, H. Vygotsky's phases of everyday concept development and the notion of children's "working theories". Learn. Cult. Soc. Interact. 2012, 1, 143-152. [CrossRef]

23. Novak, J.D. Meaningful learning: The essential factor for conceptual change in limited or inappropriate propositional hierarchies leading to empowerment of learners. Sci. Educ. 2002, 86, 548-571. [CrossRef]

24. Mcclure, J.R.; Sonak, B.; Suen, H.K. Concept map assessment of classroom learning: Reliability, validity, and logistical practicality. J. Res. Sci. Teach. 1999, 36, 475-492. [CrossRef]

25. Wallace, J.D.; Mintzes, J.J. The concept map as a research tool: Exploring conceptual change in biology. J. Res. Sci. Teach. 1990, 27, 1033-1052. [CrossRef]

26. Stoddart, T.; Abrams, R.; Gasper, E.; Canaday, D. Concept maps as assessment in science inquiry learning—A report of methodology. Int. J. Sci. Educ. 2000, 22, 1221-1246. [CrossRef]

27. Buitrago, M.; Chiappe, A. Representation of knowledge in digital educational environments: A systematic review of literature. Aust. J. Educ. Technol. 2019, 35, 35. [CrossRef]

28. Richmond, S.S.; Defranco, J.F.; Jablokow, K. A set of guidelines for the consistent assessment of concept maps. Int. J. Eng. Educ. 2014, 30, 1072-1082.

29. Hay, D.; Wells, H.; Kinchin, I. Quantitative and qualitative measures of student learning at university level. High. Educ. 2008, 56, 221-239. [CrossRef]

30. Jablokow, K.W.; DeFranco, J.F.; Richmond, S.S.; Piovoso, M.J.; Bilen, S.G. Cognitive Style and Concept

Mapping Performance: Cognitive Style and Concept Mapping Performance. J. Eng. Educ. 2015, 104, 303-325. [CrossRef]

31. Kinchin, I.M.; Hay, D.B.; Adams, A. How a qualitative approach to concept map analysis can be used to aid learning by illustrating patterns of conceptual development. Educ. Res. 2000, 42, 43-57. [CrossRef]

32. Anohina, A.; Grundspenkis, J. Scoring concept maps: An overview. In Proceedings of the International Conference on Computer Systems and Technologies and Workshop for PhD Students in Computing—CompSysTech '09; ACM Press: Ruse, Bulgaria, 2009; p. 1.

33. Roberts, L. Using concept maps to measure statistical understanding. Int. J. Math. Educ. Sci. Technol. 1999, 30, 707-717. [CrossRef]

34. Marzetta, K.; Mason, H.; Wee, B. 'Sometimes They Are Fun and Sometimes They Are Not': Concept Mapping with English Language Acquisition (ELA) and Gifted/Talented (GT) Elementary Students Learning Science and Sustainability. Educ. Sci. 2018, 8, 13. [CrossRef]

35. Frerichs, L.; Young, T.L.; Dave, G.; Stith, D.; Corbie-Smith, G.; Hassmiller Lich, K. Mind maps and network analysis to evaluate conceptualization of complex issues: A case example evaluating systems science

workshops for childhood obesity prevention. Eval. Program Plan. 2018, 68, 135-147. [CrossRef]

36. Ifenthaler, D.; Masduki, I.; Seel, N.M. The mystery of cognitive structure and how we can detect it. Instr. Sci. 2011, 39, 4161. [CrossRef]

37. Koponen,I.T.; Nousiainen,M.Conceptnetworksinlearning: Findingkeyconceptsinlearners'representations of the interlinked structure of scientific knowledge. J. ComplexNetw. 2014, 2, 187-202. [CrossRef]

38. Siew, C.S.Q. Using network science to analyze concept maps of psychology undergraduates. Appl. Cogn. Psychol. 2018, 33, 662-668. [CrossRef]

39. Tyumeneva, Y.; Kapuza, A.; Vergeles, K. Distinctive Ability of Concept Maps for Assessing Levels of Competence. Pilot study. Vopr. Obraz. Educ. Stud. Mosc. 2017, 4, 150-170. [CrossRef]

40. Zouaq, A.; Gasevic, D.; Hatala, M. Ontologizing concept maps using graph theory. In Proceedings of the 2011 ACM Symposium on Applied Computing—SAC '11; ACM Press: TaiChung, Taiwan, 2011; p. 1687.

41. Lavigne, N.C. Mutually Informative Measures of Knowledge: Concept Maps Plus Problem Sorts in Statistics. Educ. Assess. 2005, 10, 39-71. [CrossRef]

42. Reise, S.P.; Widaman, K.F.; Pugh, R.H. Confirmatory factor analysis and item response theory: Two approaches for exploring measurement invariance. Psychol. Bull. 1993, 114, 552. [CrossRef] [PubMed]

43. Hagiuda, N.; Shigemasu, K. Some remarks on the application of factor analysis to ordered categorical data. Shinrigaku Kenkyu 1996, 67, 1-8. [CrossRef]

44. Henson, R.K.; Roberts, J.K. Use of Exploratory Factor Analysis in Published Research: Common Errors and Some Comment on Improved Practice. Educ. Psychol. Meas. 2006, 66, 393-416. [CrossRef]

45. Mansolf, M.; Reise, S.P. Case Diagnostics for Factor Analysis of Ordered Categorical Data with Applications to Person-Fit Measurement. Struct. Equ. Model. 2018, 25, 86-100. [CrossRef]

46. Cauley, K.M. Studying Knowledge Acquisition: Distinctions among Procedural, Conceptual and Logical Knowledge. In Proceedings of the 67th Annual Meeting of the American Educational Research Association, San Francisco, CA, USA, 16-20 April 1986.

47. Rittle-Johnson, B.; Schneider, M. Developing Conceptual and Procedural Knowledge of Mathematics. In The Oxford Handbook of Numerical Cognition; Oxford University Press: Oxford, UK, 2015.

48. Sloutsky, V.S.; Yarlas, A.S. Problem Representation in Experts and Novices: Part 2. Underlying Processing Mechanisms. In Proceedings of the 22nd Annual Conference of the Cognitive Science Society, Philadelphia, PA, USA, 13-15 August 2000; pp. 475-480.

49. Kinchin, I.M.; Möllits, A.; Reiska, P. Uncovering Types of Knowledge in Concept Maps. Educ. Sci. 2019, 9, 131. [CrossRef]

50. Zieffler, A.; Garfield, J.; Alt, S.; Dupuis, D.; Holleque, K.; Chang, B. What Does Research Suggest About the Teaching and Learning of Introductory Statistics at the College Level? A Review of the Literature. J. Stat. Educ. 2008, 16. [CrossRef]

51. Tishkovskaya, S.; Lancaster, G.A. Statistical Education in the 21 st Century: A Review of Challenges, Teaching Innovations and Strategies for Reform. J. Stat. Educ. 2012, 20. [CrossRef]

52. Rumsey, D.J. Statistical Literacy as a Goal for Introductory Statistics Courses. J. Stat. Educ. 2002, 10, 10. [CrossRef]

53. Garfield, J. The Challenge of Developing Statistical Reasoning. J. Stat. Educ. 2002, 10, 10. [CrossRef]

54. Landrum, R.E. Core Terms in Undergraduate Statistics. Teach. Psychol. 2005, 32, 249-251.

55. McKenzie, J.D. Conveying the Core Concepts. In Proceedings of the ASA Proceedings of the Joint Statistical Meeting; American Statistical Association: Alexandria, VA, USA, 2004; pp. 2755-2757.

56. Newman, M.E.J.; Girvan, M. Finding and evaluating community structure in networks. Phys. Rev. E 2004, 69, 026113. [CrossRef] [PubMed]

57. Chi, M.T.H.; Feltovich, P.J.; Glaser, R. Categorization and Representation of Physics Problems by Experts and Novices*. Cogn. Sci. 1981, 5, 121-152. [CrossRef]

58. Lachner, A.; Nückles, M. Bothered by abstractness or engaged by cohesion? Experts' explanations enhance novices' deep-learning. J. Exp. Psychol. Appl. 2015, 21, 101-115. [CrossRef] [PubMed]

© 2020 by the author. Licensee MDPI, Basel, Switzerland. This article is an open access article distributed under the terms and conditions of the Creative Commons Attribution (CC BY) license (http://creativecommons.org/licenses/by/4.0/).

ПРИЛОЖЕНИЕ 4. Статья «The network approach to assess the structure of knowledge: Storage, distribution and retrieval as three measures in analysing concept maps»

Kapuza, A., Koponen, I. T., & Tyumeneva, Y. (2020). The network approach to assess the structure of knowledge: Storage, distribution and retrieval as three measures in analysing concept maps. British Journal of Educational Technology, 51(6), 2574-2591. http://doi.org/10.1111/bjet.12938

Мы представляем три новых стандартизованных показателя концептуальной сетевой карты (CM), которые могут предоставить уникальную информацию о прогрессе, связанном с обучением, и которую невозможно получить из известных ранее показателей. Основанные на теории познавательного развития и сетевой теории, наши показатели позволяют раскрыть, как знания хранятся, распределяются и извлекаются. Мы проверили новые показатели, оценивая их способность различать CM у испытуемых с разными уровнями компетентности в статистике (студенты до и после курса введения в статистику и эксперты в области статистики). Мы также проверили наши показатели по сравнению с часто используемыми традиционными и сетевыми показателями. На основе небольшой выборки испытуемых мы показали, что два из новых комплексных показателей показывают значительные различия между экспертами и новичками в данной области, с более высокими значениями у экспертов, что свидетельствует о более равномерном распределении знаний, более связанной и уравновешенной структуре. Еще более важно то, что наши показатели были достаточно чувствительными для показа прогресса, связанного с обучением для студентов, хотя статистически не значимыми, в то время как обычные показатели сетевой теории не демонстрировали эти маленькие изменения. Достоверность наших новых показателей можно определить по согласованности результатов из различных наборов показателей.

Авторский вклад: постановка проблемы, обзор литературы, разработка модели, сбор, анализ, интерпретация данных.

British Journal of Educational Technology Vol 0 No 0 2020 1-18

doi:10.1111/bjet. 12938

The network approach to assess the structure of knowledge: Storage, distribution and retrieval as three measures in analysing concept maps

Anastasiya Kapuza © , Ismo T. Koponen and Yulia Tyumeneva

Anastasiya Kapuza is a junior research fellow and PhD student at Institute of Education, National Research University Higher School of Economics. Her research focus is the use of digital technologies in education for learning and assessment. Ismo T. Koponen is a professor ofphysics, in the Department of Physics, University of Helsinki, Finland. He is teaching conceptual physics courses for pre-service physics teachers, and his research interests are focused on concept learning. In his research he uses and develops network methods and approaches for science education research. Yulia Tyumeneva is a Senior Research Fellow in Institute of Education, National Research University Higher School of Economics. Earned her PhD in Psychology in the Institute of Psychology of Russian Academy of Education. Her research interests are learning and thinking, analogy, concept acquisition and assessment in cognitive area. Address for correspondence: Anastasiya Kapuza, Institute of Education, National Research University Higher School of Economics, 20 Myasnitskaya ulitsa, Moscow 101000 Russia. Email: [e-mail]

(g)

Check for updates

Abstract

We present three new standardised network concept map (CM) measures that can provide unique information about learning-related progress, which cannot be determined from previously known measures. Grounded in cognitive development theory on the one hand, and network theory on the other hand, our measures reveal how knowledge is stored, distributed and retrieved. We validated the new measures by testing their ability to discriminate between CMs of respondents with different levels of competency in statistics (students before and after taking an introductory statistics course and experts in the field of statistics). We also validated our measures against the most commonly used traditional and network measures. Based on a small sample of respondents, we show that two of the newly proposed compound measures reveal significant differences between experts and novices in the field, with higher values for experts, showing that expert knowledge is better distributed, more connected and balanced. More importantly, our measures were sensitive enough to show learning-related progress for students, albeit statistically non-significant, while common indicators from network theory did not demonstrate these small shifts. The validity of our new measures can be inferred from the consistency of the results from different sets of measures._

Introduction

While the usefulness of concept mapping as an assessment tool is well established, its applicability remains limited. An important reason for this can be the lack of objective indicators for scoring concept maps (CMs). Basically, the number of concepts in a map and the links between the concepts are used only as objective measures. All other traditional indicators, such as accuracy (RuizPrimo,

Network approach to assess the knowledge structure 97 Schultz, Li, & Shavelson, 2001), "quality" (Novak & Gowin, 1999), etc., heavily rely on separately scored expert ratings (usually, teachers of these students). Even if criteria and rubrics are provided for evaluating maps, experts inevitably inject an undesirable degree of subjectivity,

© 2020 British Educational Research Association

Practitioner Notes

What is already known about this topic

• A concept map (CM) is a knowledge assessment tool that can be used to evaluate student understanding of a topic and learning-related progress.

• However, there has been a lack of standardised, complex and domain-general CM metrics.

• Network theory has been shown to be useful in developing a standardised approach to CM evaluation.

What this paper adds

• Based on the theory of cognitive development, we derived three standardised network measures of a CM: knowledge storage capacity, knowledge distributivity and knowledge retrieval.

• The new measures were empirically found to discriminate between groups of students with different levels of competency.

Implications for practice and/or policy

• The new measures provide unique information about learning-related progress.

• The newly developed measures enable educational researchers to make more objective evaluations of individual map elements, while simultaneously allowing for a holistic view of the quality of the knowledge structure of students._

which affects the reliability of the scores (Watson, Pelkey, Noyes, & Rodgers, 2016). In addition, traditional map indicators are mostly subject-specific or even theme-specific. This greatly reduces the generalisability and comparability of findings from different subject domains.

To address these problems, we developed a method of analysis of CMs that allows researchers to reliably detect learning-related changes in student knowledge structure. Based on theories of cognitive development and network theory, we derived three new standardised network CM measures that reflect how knowledge is stored and distributed in a knowledge structure, and how that knowledge is available for retrieval. These three measures are compound in the sense that they are formed based on more elementary network measures, which are directly related to the linkage structure of the network. The elementary measures, however, are not discriminative enough alone to provide a basis for classification of the CMs, whereas the compound measures are. Our goal was to provide structure-based information about learning-related progress, which cannot be obtained from previously known methods. To support the validity of the newly derived measures, we checked whether they discriminate between respondents with different levels of competency in a field, and show results consistent with other measures of CMs.

In the next sections, we describe how theories of cognitive development and learning guide our search for unified CM measures. Then, we explore the potential of network theory as a source for more objective measures of knowledge structure. Furthermore, we derive new compound measures based on the already known network measures.

Network approach to assess the knowledge structure 98 Restructuring knowledge as a result of learning

We wish to explore what theories of learning and cognitive development can tell us about learning-related changes in knowledge structure, and if it can differentiate between less and more developed structures.

Based on Vygotsky's theory, the development of everyday and scientific concepts are different. Everyday concepts develop from concrete abstract generalised meanings. In contrast, scientific concepts develop from initially abstract meanings (concepts), to the awareness about the concrete objects and phenomena that scientific concepts refer to (Vygotsky, 1982). By this logic, the more developed a knowledge structure is, the more levels of generalisability that are involved. For example, the concept of correlation might initially be represented as only formal statistics unconnected with other concepts and poorly exemplified. After one experiences various situations applying correlation, the concept might become interrelated with other concepts, ranging from the abstract (such as a regression) to the very concrete (such as a weather forecast).

Piaget suggests that new information is assimilated by an existing structure to the extent and in the manner that the structure is able to assimilate itself (Piaget, 1952). At the same time, the information being assimilated modifies the existing structure to the extent that the new information mismatches with the old information. Inevitable mismatches feed the ongoing processes of rebuilding the cognitive structure and forming "layers" of concepts, where new concepts form higher layers, which are built on and absorbed by the concepts from lower layers.

What follows from these fundamental theories is that the availability of concepts from multiple generalisability levels seems to be an important indicator for a more developed knowledge structure. This idea has been supported by experiments on categorisation (eg, Rosch, Mervis, Grey, Johnson & Boyes-Braem, 1976). It was shown, that in their everyday reasoning people operate better with objects of middle-level abstraction, than with objects of high- or low- level abstraction. For example, people tend to use the category "chair" instead of the more abstract "furniture" or less abstract "kitchen chair." In terms of taxonomic hierarchy, a category that is more abstract is more inclusive, and is thus mainly a superordinate for several subordinate categories. A less abstract category is less inclusive, and is mainly subordinate to several superordinate categories. A category with mid-level abstraction ("basic category" in Rosch's term) is equally associated with both superordinate and subordinate categories. In other words, the well-developed middle-level concepts facilitate fast recognition of a general problem type beyond concrete situations, and help to find the right solutions.

Concept hierarchy is also thought to explain some features of cognitive processing that differentiate experts from novices. In particular, experts categorise problems by their substantive features while novices rely on superficial features (Chi, Feltovich & Glaser, 1981); experts retrieve the required information from memory more easily than novices (Ericsson, Patel, & Kintsch, 2000); and evidently experts find the right solution faster and more often than novices (Larkin, McDermott, Simon, & Simon, 1980).

Based on all these theoretical expectations and empirical findings, we can expect that owing to a more hierarchical structure, highly developed knowledge is better distributed and more easily retrieved. In the next sections, we explore the implications of graph and network theories on CM measurement to approach these characteristics of CMs.

The traditional concept map measures

Generally, a CM is a graphical representation of concepts, represented as nodes and links between them, represented as edges. Traditionally, the number of concepts (nodes) and links between them (edges), together with the concept-links ratio, are used to characterise the quality of knowledge

Network approach to assess the knowledge structure 99 structure in terms of the connectivity. These measures are only objective, which do not require human interpretation. All other scoring systems somehow involve a rater's opinion. For example, in the study of Ruiz-Primo et al. (2001), propositions were given points from 1 to 4 based on the accuracy level, while the accuracy was evaluated by raters (teachers). In more traditional scoring (Novak & Gowin, 1999), propositions are graded based on the level of their qualities, which is also a rater-driven interpretation. Even if the raters are provided with criteria and rubrics for evaluating maps, albeit increasing the reliability, room for subjectivity remains (Watson, Pelkey, Noyes, & Rodgers, 2016). Another problem with traditional measures is their high subject- and theme-specificity, that does not allow researchers to generalise findings across different subject domains.

Graph and network theory for concept map evaluation

During the past decade, researchers have turned to computational theories to evaluate CMs, such as graph theory (Ifenthaler, Masduki, & Seel, 2011; Jamieson, 2012; Stockwell, Smith, & Wiles, 2009; Tyumeneva, Kapuza, & Vergeles, 2017; Zouaq, Gasevic, & Hatala, 2011) and network theory (Frerichs et al., 2018; Koponen & Nousiainen, 2014; Siew, 2018; Stockwell et al., 2009; Zouaq et al., 2011). These new approaches have used information indices to evaluate the complexity of CMs (Bonchev & Buck, 2005), and several measures such as the hyperlink-induced topic search (HITS) centrality or PageRank are used to evaluate the connectivity of CMs (Estrada, 2011; Newman, 2018). Being unified over subject domains and independent of experts, these network measures substantially improved the traditional methods of CM evaluation. In what follows, we introduce three compound measures to operationalise the properties of the CMs. The newly proposed compound measures are based on the well-known HITS and PageRank measures, initially devised to explore knowledge retrieval and storage in large databases. These measures alone, however, were not discriminative enough as such, and lacked the resolving power needed for classification of the CMs discussed here. However, suitable combinations of them can be used to form new compound measures, which turn out to have discriminative and resolving power, bringing out the differences in the network structure. Moreover, as will be seen, such compound measures also yield a qualitative interpretation, which makes them theoretically motivated choices for the analysis.

The HITS and PageRank centralities are based on the idea of tracking different available paths to nodes, and are thus directly connected to information flow, storage and retrieval in the networks. These measures are also closely related to the ways through which the knowledge is retrieved, eg, from the World Wide Web (www), and how search engines operate. In brief, PageRank measures how within a directed network, one node can be reached from all other nodes, ie, how other nodes point to it and how important the node is within the networks on the basis of these connections (Brin & Page, 1998; Li & He, 2018). The HITS centrality is closely related to the PageRank, but it considers the balance between the incoming and outgoing links in more detail (Kleinberg, 1999). The HITS centrality is composed of two values called hubs and authorities. The hub value denotes how many nodes a given node refers to or leads to, and as such, the hub value is related to the capability of the node in acting as a storage or compiler for the knowledge. The authority value is related to the number of connections leading to a given node, and reflects the node importance. The HITS thus resolves the role of the node as stored, and distributes the content of the node onto other nodes of the network. A more detailed description of how HITS and PageRank centralities are defined is provided in Appendix A.

As is evident, the HITS and PageRank centralities come close to notions of knowledge storage, distribution and retrieval, but these measures as such turn out to have limited use in small networks such as studied here. The PageRank and HITS centralities measure properties related to the global connectedness of the nodes. In this study, we use both of them because they approach the

Network approach to assess the knowledge structure 100 connectedness of nodes differently. The PageRank is used to explore the retrieval, because retrieval, as understood here, is related to the reachability of the given node. The HITS centrality is used to explore the distributivity, because distributivity is related to the balance between the incoming and outgoing information.

Based on these network measures, we constructed three compound measures that have better resolving power, and that are more closely related to qualitative ideas about how knowledge storage, distribution and retrieval may emerge in a network.

Three new compound measures based on the network approach

Knowledge structure, represented as a CM, has formal characteristics that are common for a certain level of competence. In particular, we expect that characteristics reflecting the complexity, number of hierarchical levels and concept cohesiveness at each level would show differences between experts and novices (students).

We framed our measurement model by network analysis. Since CMs are directed, we used HITS centrality (hubs and authorities) to evaluate the role of concepts in information transmission within the network, and PageRank as a measure of the structural connectivity, and network diameter as an indicator of map size. The network diameter is the maximum length among all the shortest paths between each pair of nodes, and thus measures the extension of the network. Based on these basic measures, we defined three compound1 knowledge structure measures to characterise how knowledge is stored and distributed in the networks, and how it can be retrieved. These three measures are knowledge storage capacity, knowledge distributivity and knowledge retrieval.

Knowledge storage capacity S, as defined in Equation (1), is a normalised measure for the ratio of hub (H) to authority values (A) of the node (see Appendix A), as they are defined by the HITS centrality (Estrada, 2011; Newman, 2018). Nodes with high authority store knowledge and act as repositories. A high hub value means that the node points to high authority nodes. Thus, dividing the hub value by the authority value can be considered a measure of how knowledge is stored in the nodes to obtain the (relative) knowledge storage capacity:

H

S= —, A

(1)

where H denotes the mean of the hub values, and A denotes the mean of the authority values, as defined by the HITS centrality (Estrada, 2011; Newman, 2018). The value of S can vary from 0 to 1, where S = 1 means balanced storage in the sense that nodes in the network point most optimally to knowledge repositories, while S = 0 means that irrespective of the amount of knowledge in the repositories, no other nodes are connected to it, and knowledge in that node is thus not accessible.