Методические рекомендации по организации измерений в онлайн-курсе

Качественные измерения в курсе — основа для психометрической аналитики.

Подготовка измерений — поэтапный процесс, который включает:

планирование измерений,
разработку заданий,
требования к инструкции,
требования к пунктуации,
содержательную экспертизу заданий,
доработку заданий.

Планирование измерений

С чего необходимо начать? Мы рекомендуем начинать с планирования.

Прежде чем приступить к составлению заданий для онлайн-курса, важно установить, где они будут применяться.

Во-первых, вы можете разработать тест из заданий для оценивания внутри курса. Результаты такого теста могут быть использованы как преподавателями, так и студентами для повышения качества обучения. Этот вид оценивания называется формирующим. Подобные задания мы рекомендуем встраивать в видео для обучения или использовать в качестве практических.

Во-вторых, вы можете разработать тест из заданий для оценивания в конце темы или курса. По итогам теста делается вывод об усвоении содержания. Этот вид оценивания называется итоговым и используется для определения уровня знаний студентов в конце курса.

Перед тем как приступить к разработке заданий следует определить вид оценивания. Это необходимо потому, что формирующее оценивание отличается от итогового, которое является более строгим. Следовательно, для проведения различных видов оценивания необходимо использовать различные задания.

Далее необходимо определить, что конкретно будет измерять тест. По итогам большой практической работы на основе существующей таксономии Блума (Bloom, 1956) мы разработали упрощенный вариант использования педагогических целей в онлайн-курсе.

По нашей оценке, в онлайн-курсе должны быть задания трех уровней: запоминание, понимание и применение учебного материала.

На рисунке 1 представлены уровни и соответствующие примеры заданий.

Рис. 1 – Измеряемые уровни в онлайн-курсе

Для формирующего оценивания разрабатывают задания, позволяющие измерить запоминание и понимание учебного материала. А в итоговое оценивание мы рекомендуем обязательно включать задания всех трех уровней.

Определившись с тем, где тест будет применяться и что тест будет измерять, вы можете переходить к непосредственной разработке заданий.

Работая над тестом как для формирующего, так и для итогового оценивания, вы можете использовать типы заданий, представленные на рисунке 2.

Рис. 2 — Типы заданий в онлайн-курсе

Разработка заданий для формирующего оценивания

Качественное задание на формирующее оценивание должно быть направлено на запоминание и/или понимание изученного материала. Вы можете использовать ссылки на материалы внутри курса, на внешние материалы, а также подсказки после неверного ответа студента. Такие приемы помогут в обучении.

Например, читая тему по экономике «Ресурсы и блага» и объясняя различия между типами ресурсов, вы можете встроить вопрос на понимание, а также добавить подсказку при выборе неверного ответа:

«К какому типу ресурсов относится железная дорога?

капитал (правильный ответ);
труд;
земля (подсказка при выборе данной опции: „Неверно! Земля относится к природным ресурсам“);
предпринимательская способность».

Вы также можете встроить открытый вопрос без опций и проверки с полем для развернутого ответа. Например:

«Укажите общее в трех определениях:

«Экономическая теория — эти наука, которая изучает поведение человека с точки зрения отношений между его целями и ограниченными средствами, допускающими альтернативное использование» (Лайонел Роббинс).
«Экономическая теория — это наука, исследующая принципы распределения ограниченных ресурсов между конкурирующими целями...» (Джордж Стиглер).
«Экономика — совокупность общественных наук, изучающих производство, распределение и потребление товаров и услуг. ... Теоретическое направление также называют экономической теорией — рассматривает особенности процесса обмена, распределения, выбора способа использования ограниченных ресурсов».

Можно использовать прием с визуализацией задания, сопровождая его рисунками, графиками и т.п. При этом в качестве домашнего задания можно размещать ссылку с дополнительными материалами для изучения вопроса и подготовки ответа на него.

Далее мы будем рассматривать разработку заданий для итогового оценивания.

Разработка заданий для итогового оценивания

Задания с автоматизированной оценкой

Оптимальным распределением заданий в тесте итогового оценивания по модулю (теме) считается: 20% — трудные задания (применение), 40% — легкие задания (запоминание), 40% — задания оптимальной сложности (понимание).

Мы рекомендуем создавать в первую очередь простые задания (40% теста), направленные на измерение запоминания.

Например, в форме задания с выбором одного правильного ответа:

«Для проведения экспертизы заданий рекомендуется привлечь минимум:

двух экспертов, не включая автора;
двух экспертов, включая автора;
трех экспертов, не включая автора задания (правильный ответ);
трех экспертов, включая автора задания».

Нередко на практике такие задания получаются легкими в решении. Они предпочтительны для формирующей оценки. При итоговом оценивании такие задания также необходимы. Их можно включать в начало теста и использовать для диагностики менее подготовленных студентов.

Далее мы рекомендуем создавать задания (40% теста), направленные на измерение понимания. Например, задание, представленное ниже, проверяет способность студента преобразовать информацию, которая содержится в учебном тексте:

«В случае если два эксперта из четырех считают задание качественным, а два эксперта отвергли его, то это задание:

остается в банке
удаляется из банка
требует доработки
может быть заменено другим»

Для повышения сложности мы рекомендуем вам создавать задания (20% теста), направленные на измерение применения полученных знаний в новом контексте. Например, с выбором всех правильных ответов в виде кейса, который будет проверять способность к применению полученных знаний:

«Представьте себя на месте эксперта, которому надо оценить качество следующего задания по менеджменту.

«Кому принадлежит следующее определение понятия „качество“: „Качество — это когда наш покупатель возвращается к нам, а наш товар — нет“?

(х) Э. Крайер (компания Siemens).

( ) Г.Форд.

( ) Э. Деминг.

( ) Г. Шухардт.

Выберите ВСЕ верные утверждения:

Задание имеет несогласованность ответных опций.
Задание имеет грамматические и орфографические ошибки.
Задание имеет низкий уровень трудности.
Задание имеет средний уровень трудности.
Задание соответствует предметной области.
Задание НЕ соответствует предметной области».

Во время разработки заданий закрытой формы с автоматизированной системой оценивания могут возникнуть проблемы при создании разнообразных формулировок, которые бы измеряли не только запоминание информации.

Но даже в условиях закрытой формы можно создать большое разнообразие заданий. Мы рекомендуем ознакомиться с логико-семантической типологией, предложенной А. Г. Шмелевым (Шмелев, 2013), которая содержит 15 типов вопросов. Для того чтобы дать ответы, потребуются самые различные операции мышления. Логико-семантическая типология тестовых заданий:

Фактологические вопросы «Что? Где? Когда?»
Персонологический вопрос «Кто?»
Причинно-следственные вопросы «Почему? Что следует?»
Функционально-целевые вопросы «Для чего/зачем? С какой целью?»
Структурный вопрос «Из чего?»
Инструментальные вопросы «Как? Каким образом?»
Обстоятельственный вопрос «При каких условиях?»
Словарно-концептуальные вопросы «Как называется? Что значит термин?»
Логико-дедуктивный вопрос «Что следует из данных посылок?»
Концептуально-ассоциативное задание «Заполни пропуск».
Концептуально-аналитическое задание «Проведи аналогию».
Задание на восстановление последовательности или структуры «Продолжи ряд» или вопрос «В какой последовательности?»
Концептуально-семантическое задание для установления смысловой эквивалентности или близости
Проблемно-операциональное задание «Реши задачу»
Исключение лишнего и вопросы с «НЕ»

Фактологические и персонологические вопросы наиболее часто используются авторами тестовых заданий.

Применение этой типологии в конструкторской работе позволит значительно расширить спектр проверяемых знаний. Опираясь на данную типологию, вы сможете постепенно нарастить арсенал заданий. Важно использовать данную типологию как помощника, а не стремиться во что бы то ни стало включить все 15 типов вопросов в один тест.

Если же вы хотите измерить критическое мышление студентов, их способность к оценочным суждениям, к решению проблемных задач, то вам подойдут задания на взаимное оценивание.

Разработка заданий на взаимное оценивание

Взаимное оценивание предполагает самостоятельное конструирование ответа, данные студентом, и последующую проверку ответа другими студентами.

В основной форме процесс взаимного оценивания в онлайн-курсах выглядит следующим образом: с помощью разработанного критерия студенты оценивают проект или письменную работу другого студента. Например, перед студентами стоит задача завершить проект и разместить его в Интернете. Каждый проект передается случайно отобранному сокурснику для проверки и оценивания по заданному критерию с помощью баллов. Также иногда необходимо предоставить некоторые письменные комментарии. Среднее арифметическое или медиана берется как итоговый балл за проект. Студент, которого оценивали, должен иметь доступ к оценке и письменным комментариям. Каждый проект оценивается большим количеством равных оценщиков, и каждая группа экспертов оценивает небольшое число студентов.

Взаимное оценивание применяется для оценки того, насколько высок уровень понимания материала, а также для оценки применения материала. Пример алгоритма формулировки задания на взаимную оценку представлен на рисунке 3.

Рис. 3 — Логика создания задания на взаимную оценку

На основе нашего опыта мы разработали рекомендации для создания качественных заданий на взаимное оценивание:

Устанавливайте ограничения для формата выполнения задания. Стоит точно указать количество примеров, которые необходимо привести, указать тему написания, — вплоть до количества предложений.
Задания должны быть четкими и точными. Стоит избегать выражений: «по желанию добавить таблицу», «предпочтительно указать», «как возможный вариант изобразить схематически» и других. Важно, чтобы все пункты в задании оценивались.

Открытый ответ предусматривает обязательное наличие критериев для его оценки. Поэтому важны рекомендации для разработки критериев оценивания:

Избегайте большого количества критериев, которые должны быть простыми и непосредственно связанными с заданием. Если есть схема или таблица, то в задании стоит точно указать количество элементов, которые должны присутствовать на изображении для их подсчета экспертами и более простой оценки с помощью баллов.
Присваивайте каждому критерию 1 балл. Пусть балов будет больше, например от 0 до 6.
Учитывайте время, которое студент может потратить на оценку работы. Крайне важной является конкретизация критериев. Лучше сформулировать детализировано, но проще, чем сжато, но сложно для понимания.
Студенты должны ознакомиться с критериями до выполнения задания. Это позволит им знать, как они будут оценены, и ориентироваться на критерии при выполнении.
Добавляйте к критериям заметки. Это поможет правильно использовать критерии и создаст предпосылки для более объективного оценивания.
Разрабатывайте примеры качественного выполнения задания для проверяющих студентов. Это важно, потому что не все студенты хорошо усваивают материал при освоении онлайн-курса.Качественное создание примера:
1. Пример выполнения схемы, таблицы, рисунка может быть приведен с другими данными или темой. Главное, чтобы пример максимально был приближен к правильному выполнению задания.
2. Пример решения задания может принять форму с заполненными ответами. Это позволяет проиллюстрировать выполнение задания в обоих случаях.
3. Пример должен быть связан непосредственно с критериями.

Требования к инструкции для заданий в тестах

Инструкция является обязательной составной частью тестовых заданий.

Какой должна быть инструкция?

Инструкция должна быть короткой, понятной и общей для всех студентов.
Инструкция должна содержать разъяснения того, как необходимо отвечать на тестовые задания.
В инструкции должно указываться время, в течение которого студентам необходимо выполнить тест.
Инструкция должна содержать информацию о типе шкалы оценивания.

Требования к пунктуации в тестах в онлайн-курсах

Если задание сформулировано как вопрос, необходимо поставить вопросительный знак в конце такого задания, а каждый ответ необходимо начинать с большой буквы.
Если задание сформулировано как неполное утверждение, которое в комбинации с ответом преобразуется в полное утверждение, — в конце такого задания знаки препинания не ставятся, а каждый ответ начинается с маленькой буквы.
Если задание сформулировано как неполное определение (термин), необходимо поставить тире в конце такого задания, а каждый ответ необходимо начинать с маленькой буквы.
Если задание сформулировано как неполное утверждение, которое подразумевает перечисление особенностей, форм и т.п., — в конце такого задания ставится двоеточие, а каждый ответ начинается с маленькой буквы.
Если в задании требуется вставить пропущенное слово, словосочетание или фразу, то пропуск необходимо оформить в виде нижнего подчеркивания, а каждый ответ начинается с маленькой буквы и заканчивается точкой.
В конце каждого ответа ставится точка.

Содержательная экспертиза заданий

Перед тем как размещать задания на платформу, мы рекомендуем провести содержательную экспертизу каждого задания. Для этого необходимо:

оценить каждое задание с точки зрения принадлежности его уровням измерения «запоминание», «понимание» или «применение»;
оценить распределение всех тестовых заданий в соответствии с оптимальным по трем уровням: запоминание — 40%, понимание — 40%, применение — 20%;
оценить качество каждого задания, обращая внимание на ясность и лаконичность формулировок, отсутствие ошибок и неточностей;
оценить трудность каждого задания по содержанию;
оценить распределение всех тестовых заданий по трудности (оптимальный вариант: легкие — 40%, средняя трудность — 40%, трудные — 20%);
оценить соответствие каждого задания теме теста;
оценить каждое задание на наличие орфографических ошибок.

Доработка заданий после содержательной экспертизы

После проведения содержательной экспертизы и выявления проблемных мест мы рекомендуем доработать задания как содержательно, так и пунктуационно.

Для того чтобы сбалансировать тест по трудности и уровням измерения (запоминание, понимание, применение), мы предлагаем следующие приемы для упрощения заданий: