Как работать с автоматизированным сервисом

В этом разделе на реальном примере мы описываем логику того, как можно модернизировать онлайн-курс на основании аналитики, проведенной с помощью автоматизированного психометрического сервиса.

Представьте себя автором курса. Перед Вами аналитический отчёт, состоящий из 4 блоков. В первом блоке представлен анализ трудности контента онлайн-курса. Во втором блоке — анализ прироста подготовленности студентов по курсу. В третьем блоке — анализ взаимодействия студентов с контентом. В четвертом блоке — анализ оценочных средств.

1. Анализ доступности контента

В первую очередь мы смотрим на блок «Анализ доступности контента» и параметры, которые изображены на графике «Доступность контента» (стр. 1). Общий параметр трудности в курсе «Маркетинг» составляет 0,79 — доступность курса оптимальная.

Далее нужно обратить внимание на параметры трудности тем в курсе на графике «Трудность освоения контента». Все темы доступны для студентов, так как все параметры находятся в диапазоне выше 0,4 (стр. 2). Мы делаем вывод о том, что курс является оптимальным по трудности для студентов. В данном случае это значит, что доработки не требуется.

На графике «Соответствие трудности модулей подготовленности студентов» (стр. 3) мы видим, что наблюдается небольшой дисбаланс между трудностью курса и подготовленностью студентов. Такой вывод мы делаем на основании того, что правое распределение (трудность тем) находится в нижней части относительно левого распределения (подготовленности студентов). Это говорит, с одной стороны, о том, что курс доступен для большинства студентов, а с другой стороны, о том, что он достаточно легкий для группы студентов с высокой подготовленностью. Одной из причин такого дисбаланса могут быть слишком трудные или лёгкие проверочные задания как в курсе в целом, так и отдельно в каждом модуле. Поэтому в данном случае стоит обратить внимание на блок «Анализ заданий с автоматизированным оцениванием». Если мы видим, что большинство заданий очень легкие, то мы рекомендуем поработать с заданиями в курсе.

2. Анализ студентов

Переходим к разделу «Анализ студентов» (стр. 5). Мы видим, что параметр стартовой подготовленности является высоким, а в контрольных точках наблюдается положительная динамика подготовленности студентов. Это значит, что доработка не требуется.

3. Анализ взаимодействия студентов с контентом

Рассмотрим раздел «Анализ взаимодействия студентов с контентом» (стр. 7). На графике «Просматриваемость контента» (стр.7) слева направо последовательно отмечены параметры просматриваемости контента средним студентом, 15% наиболее активных студентов и 5% наиболее активных студентов и их числовые значения соответственно.

Мы видим, что параметр просматриваемости контента средним студентом составляет 0,11 и это говорит нам о том, что, в среднем, вовлеченность студентов во взаимодействие с контентом низкая. Тем не менее, параметр просматриваемости у 5% наиболее активных студентов составляет 0,72 и говорит о высокой вовлеченности этой группы студентов. Такая ситуация связана с отсевом студентов, и является типичной для МООКов.

Далее мы рекомендуем обратить внимание на анализ взаимодействия студентов с обучающим контентом в разрезе тем (стр. 8).

Здесь стоит заметить то, что просматриваемость в начале курса (темы 1-7) ниже, чем в конце курса (темы 8-12).

Рисунок на стр. 8 наглядно демонстрирует, что темы в начале курса такие, как «Маркетинговое исследование» и «Поведение потребителей» имеют параметры просматриваемости выше, чем темы в середине курса («Маркетинговое планирование», «Продуктивная стратегия»), но ниже чем темы в конце («Брендинг» и «Маркетинговые метрики»).

Это говорит о том, что вначале курса вовлеченность студентов во взаимодействие с контентом низкая.

В данном случае важно повысить вовлеченность студентов во взаимодействие с помощью:

• использования интересных кейсов в качестве заданий на формирующее оценивание;

• использования ссылок на материалы курса на форумах;

• повышения активности работы на форуме (дискуссии, опросы и т.п).

4.1. Анализ заданий с автоматизированным оцениванием

И наконец, переходим к разделу «Анализ заданий с автоматизированным оцениванием» (стр. 10). Диаграмма «Соотношение заданий по трудности» отражает процентное соотношение заданий по трудности. Оптимальным считается следующее распределение заданий по трудности: 20% — трудных заданий с вероятностью решения < 0.3, 40% — легких заданий с вероятностью решения > 0.7, 40% — заданий оптимальной сложности.

В курсе «Маркетинг» мы видим, что существует переизбыток легких заданий и недостаток трудных, поэтому важно обратить внимание на рекомендации. В данном случае рекомендуется откорректировать соотношение в соответствии с оптимальным распределением заданий по трудности, а также в соответствии с задачами и целями курса:

• увеличить количество трудных заданий с 4% до 20%;
• увеличить количество заданий средней трудности с 23% до 40-50%;
• удалить задания с вероятностью решения выше 0,9.

Задания для доработки следует выбирать с помощью распределения заданий по трудности (стр. 12). Задания можно усложнить с помощью:

• увеличения количества ответных опций;

Например, у нас есть задание с выбором одного верного ответа и четырьмя ответными опциями и вероятность решаемости, которого составляет 0,89:

В данном случае усложнить задание можно с помощью увеличения количества ответных опций и использования типа задания «с выбором всех верных ответов»:

• исключения возможных подсказок в формулировках;

Например, серия заданий, которые содержат подсказки. Ниже представлен случай, в котором первое задания содержит прямой ответ на второй, так как в формулировке содержится формула, о которой спрашивается во втором задании.

В данном случае удаляется из формулировки первого вопроса формула, или удаляется и заменяется другим второй вопрос.

• корректировки формулировок заданий;

В данном случае доработка может заключаться во включении в формулировку дополнительной информации, которая будет направлена на усложнение задания. Например, включения более сложного расчета в задаче или переформулирования простого задания с выбором верного ответа на кейс с вводом верного ответа.

• создания заданий на понимание и применение учебного материала.

Например, задание, представленное ниже, проверяет способность студента преобразовать информацию из учебного текста из одной формы в другую.

Далее представлено задание на понимание, с использованием формы установления верного порядка с вводом ответа.

Наконец, представлено задание на применение полученных знаний в новом контексте, реализация которого возможна с помощью формулирования задания с выбором всех правильных ответов.

Краткие выводы:

Таким образом, аналитика показала, что курс «Маркетинг» имеет множество сильных сторон: выявлено, что в целом курс является оптимальным по трудности и доступности контента для студентов, а также выявлена положительная динамика подготовленности студентов в течение курса.

Тем не менее, были выявлены также некоторые слабые стороны: выявлено, что вначале курса вовлеченность студентов во взаимодействие с контентом низкая.

Проблема низкой вовлеченности может быть решена с помощью использования интересных кейсов в качестве заданий, включения ссылок на материалы курса на форумах, ведения активной работы на форуме со студентами.

Лучшие практики собраны в справочнике в разделе «Обзор существующих практик модернизации онлайн-курсов». А также вы можете ознакомиться с опытом других университетов в формате кейсов здесь.

Примечание! Пример представлен на результатах аналитики онлайн-курса НИУ ВШЭ «Маркетинг» (сентябрь-декабрь 2017).

---

Все разделы