Кейс Томского государственного университета

Кейс представлен на примере онлайн-курса «Введение в параллельное программирование с использованием OpenMP и MPI», который был разработан в 2015 году и тогда же запущен на платформе Coursera. 18 сентября 2017 года он был запущен на Национальной платформе открытого образования под названием «Параллельное программирование с использованием OpenMP и MPI» с полным сохранением изначальной структуры и наполнения. Курс открывался понедельно, обучение завершалось выполнением итогового теста с процедурой прокторинга.

Выявление элементов онлайн-курса, требующих усовершенствования представляет собой 3 стадии:

1) анализ методистом на стадии разработки онлайн-курса;

2) анализ куратором платформы при мониторинге сообщений слушателей на форуме;

3) психометрическая аналитика.

1. Анализ методистом

На этапе разработки курса методист подсказывает возможные «слабые места» - элементы курса, которые могут вызвать трудности. В данном курсе были выявлены следующие «рискованные» элементы:

  1. вопросы с множественным выбором, в которых не указано количество верных ответов;
  2. вопросы с открытым ответом, в которых наличие лишних или отсутствие нужных символов может привести к ошибке;
  3. практические задания, т.к. в них предполагается проверка ответа по абсолютному совпадению полного кода;
  4. вопросы с графическими объектами при проблемах с отображением объектов (несоответствующее разрешение экрана, отсутствие плагинов для просмотра изображений, проблемы со связью с сервером, на который загружен объект и т.д.);
  5. вопрос, в вариантах которого фигурируют одни и те же элементы, но в различных комбинациях, при том, что верный ответ один. Так если слушатель выбрал два верных ответа из трех, то его ответ будет засчитан как абсолютно неверный;
  6. вопрос, ответ на который уже дан в формулировке других заданий;
  7. вопросы, ответы на которые угадываются логически, в данном случае с помощью перевода вариантов на русский язык.

2. Анализ куратором платформы

Слушатели просили помощи и уточнения следующих заданий: тест к модулю 2 вопрос 7, первое и второе практическое задание.

Примитивный анализ среднего процента выполнения заданий, проведенный на основе данных, выгружаемых из курса на платформе, показал, следующие результаты:

Тесты

Модуль 1

Модуль 2

Модуль 3

Модуль 4

Модуль 5

Модуль 6

Модуль 7

Модуль 8

Модуль 9

82,31%

92,26%

87,91%

91,67%

88,13%

89,88%

84,62%

93,00%

91,67%

Практические задания

№1

№2

№3

№4

83,33%

90,00%

100,00%

100,00%

Таким образом, самыми сложными элементами в курсе для слушателей (из расчета на тех, кто выполнил задание) оказались – Тест к модулю 1, первое практическое задание, Тест к модулю 7 и Тест к модулю 3.

3. Психометрическая аналитика

Психометрическая аналитика показала, что ряд заданий характеризуются низкой вероятностью решения (0,0-0,3). Специалисты Центра психометрических исследований в онлайн-образовании НИУ ВШЭ рекомендовали в связи с этим и общим высоким уровнем сложности курса рассмотреть упрощение его содержание.

Заключение

Резюме проведенной работы по выявлению заданий, требующих внимания команды курса и, возможно, переработки, представлено в таблице ниже:

Методист

Слушатели курса

Психометрики

Средний % выполнения задания

Модуль 1,

вопросы 1, 4, 5, 9 и 10

-

-

82,31

Модуль 2,

вопрос 2

Практическое задание

 

вопрос 7

Практическое задание

 

вопрос 8

 

92,26

 

83,33

Модуль 3,

вопросы 4 и 8

Практическое задание

 

 

Практическое задание

 

вопрос 5 и 10

 

87,91

 

90,00

Модуль 4,

вопросы 3 и 7

-

-

 

91,67

Модуль 5,

вопросы 4, 5, 7, 8, 9

-

 

вопрос 2 и 7

 

88,13

Модуль 6,

вопрос 3

-

 

вопрос 3

 

89,88

Модуль 7,

вопросы 1 и 8

 

 

вопрос 6

 

84,92

Модуль 8,

-

Практическое задание

 

-

Практическое задание

 

вопросы 4 и 8

 

93,00

 

100,00

Модуль 9,

-

Практическое задание

 

-

Практическое задание

 

-

 

91,67

 

100,00

Таким образом, можно увидеть, что анализ онлайн-курса с различных точек зрения (методист, куратор курса на платформе, психометрик), позволяет составить более полную картину результативности обучения слушателей и определить исчерпывающий список потенциальных сфер для улучшения курса.

Минимальный план улучшения будет включать уточнение количества верных ответов в заданиях с множественным выбором, изменение формулировки вопроса 3 в тесте к модулю 6, а также переоценка уровня сложности заданий, выявленных в ходе психометрической экспертизы.