Кейс Томского государственного университета

Кейс представлен на примере онлайн-курса «Введение в параллельное программирование с использованием OpenMP и MPI», который был разработан в 2015 году и тогда же запущен на платформе Coursera. 18 сентября 2017 года он был запущен на Национальной платформе открытого образования под названием «Параллельное программирование с использованием OpenMP и MPI» с полным сохранением изначальной структуры и наполнения. Курс открывался понедельно, обучение завершалось выполнением итогового теста с процедурой прокторинга.

Выявление элементов онлайн-курса, требующих усовершенствования представляет собой 3 стадии:

1) анализ методистом на стадии разработки онлайн-курса;

2) анализ куратором платформы при мониторинге сообщений слушателей на форуме;

3) психометрическая аналитика.

1. Анализ методистом

На этапе разработки курса методист подсказывает возможные «слабые места» - элементы курса, которые могут вызвать трудности. В данном курсе были выявлены следующие «рискованные» элементы:

1. вопросы с множественным выбором, в которых не указано количество верных ответов;
2. вопросы с открытым ответом, в которых наличие лишних или отсутствие нужных символов может привести к ошибке;
3. практические задания, т.к. в них предполагается проверка ответа по абсолютному совпадению полного кода;
4. вопросы с графическими объектами при проблемах с отображением объектов (несоответствующее разрешение экрана, отсутствие плагинов для просмотра изображений, проблемы со связью с сервером, на который загружен объект и т.д.);
5. вопрос, в вариантах которого фигурируют одни и те же элементы, но в различных комбинациях, при том, что верный ответ один. Так если слушатель выбрал два верных ответа из трех, то его ответ будет засчитан как абсолютно неверный;
6. вопрос, ответ на который уже дан в формулировке других заданий;
7. вопросы, ответы на которые угадываются логически, в данном случае с помощью перевода вариантов на русский язык.

2. Анализ куратором платформы

Слушатели просили помощи и уточнения следующих заданий: тест к модулю 2 вопрос 7, первое и второе практическое задание.

Примитивный анализ среднего процента выполнения заданий, проведенный на основе данных, выгружаемых из курса на платформе, показал, следующие результаты:

Таким образом, самыми сложными элементами в курсе для слушателей (из расчета на тех, кто выполнил задание) оказались – Тест к модулю 1, первое практическое задание, Тест к модулю 7 и Тест к модулю 3.

3. Психометрическая аналитика

Психометрическая аналитика показала, что ряд заданий характеризуются низкой вероятностью решения (0,0-0,3). Специалисты Центра психометрических исследований в онлайн-образовании НИУ ВШЭ рекомендовали в связи с этим и общим высоким уровнем сложности курса рассмотреть упрощение его содержание.

Заключение

Резюме проведенной работы по выявлению заданий, требующих внимания команды курса и, возможно, переработки, представлено в таблице ниже:

Таким образом, можно увидеть, что анализ онлайн-курса с различных точек зрения (методист, куратор курса на платформе, психометрик), позволяет составить более полную картину результативности обучения слушателей и определить исчерпывающий список потенциальных сфер для улучшения курса.

Минимальный план улучшения будет включать уточнение количества верных ответов в заданиях с множественным выбором, изменение формулировки вопроса 3 в тесте к модулю 6, а также переоценка уровня сложности заданий, выявленных в ходе психометрической экспертизы.