Кейсы Самарского национального исследовательского университета имени академика С.П. Королева

Основы кристаллохимии

Данный кейс посвящен модернизации массового открытого онлайн-курса «Основы кристаллохимии», осуществленной на основе результатов психометрической аналитики НИУ ВШЭ в рамках проекта «Современная цифровая образовательная среда».

Массовый открытый онлайн-курс «Основы кристаллохимии» был разработан в 2016 году и размещен на платформе Лекториум. За 2016 год было осуществлено два запуска курса: 3 октября ─ бета-тестирование, 1 ноября ─ основной запуск. Курс состоял из 5 модулей; после каждого модуля следовал проверочный тест. Обучение завершалось общим итоговым тестированием.

27 февраля 2018 года состоялся следующий запуск курса. В структуру курса было дополнительно включено 4 практических задания с автоматизированным оцениванием.

Для проведения психометрического анализа был выбран обновленный вариант курса. Благодаря анализу удалось выявить сильные и слабые стороны курса с целью его дальнейшего улучшения.

Результаты психометрической аналитики

В рамках психометрического анализа были рассмотрены следующие показатели: качество представленного контента, поведение и результаты студентов, которые обучаются на курсе, а также оценочные средства, используемые в курсе.

В результате анализа было выявлено несколько проблемных мест курса. Особое внимание мы обратили на отсутствие положительной динамики студентов. На наш взгляд, данный показатель играет ключевую роль, так как он решает вопрос об эффективности курса как таковой.

Согласно психометрической аналитике, изначально высокая подготовленность студентов (0,68) постепенно снижается с каждым последующим модулем курса. Для более объективного анализа данной проблемы мы также воспользовались данными, взятыми с платформы Лекториум, на которой реализовывался рассматриваемый курс. Представленные ниже таблицы показывают, какой процент студентов от общего числа смогли успешно завершить тестовые и практические задания курса.

Тесты

Модуль 1

Модуль 2

Модуль 3

Модуль 4

Модуль 5

Итоговое тестирование

85,5%

76,4%

71,0%

75,1%

86,8%

67,0%

Практические задания

Задание к 1 модулю

Задание ко 2 модулю

Задание к 3 модулю

Задание к 4 модулю

55,9%

76,1%

80,0%

67,75%

Полученные данные подтверждают результаты психометрического анализа: у студентов действительно не наблюдается устойчивой положительной динамики подготовленности при прохождении контрольных точек курса. Более того, мы обнаружили, что динамика подготовленности студентов меняется от модуля к модулю без определенной закономерности.

Рассматривая вопрос о причинах, обуславливающих такую плавающую динамику подготовленности студентов курса, мы вновь обратились к психометрическому анализу, выявившему другие проблемные показатели курса.

В первую очередь, был отмечен низкий показатель просматриваемости контента студентами. На наш взгляд, это связано с тем, что многие слушатели прекращают прохождение курса после первого модуля, ожидая, видимо, что рассматриваемый курс рассчитан на более широкую аудиторию. Кроме того, низкий показатель просматриваемости контента может свидетельствовать об угасающем интересе слушателей к контенту курса, несмотря на оптимальные доступность и трудность освоения контента, а также общую сбалансированность трудности курса, установленные в результате анализа.

Психометрический анализ также выявил некоторые проблемы касательно оценочных средств рассматриваемого курса. В курсе отсутствует сбалансированность между сложными, оптимальными и простыми заданиями. Согласно результатам анализа, курс содержит слишком большое количество заданий оптимальной трудности (52% при норме 40%), а также слишком маленькое количество простых заданий (27% при норме 40%).

На наш взгляд, неэффективность вышеописанных показателей обуславливает отрицательную динамику подготовленности студентов. Поэтому для повышения эффективности курса мы подошли к вопросу модернизации комплексно, охватывая все перечисленные выше аспекты.

Модернизация курса

Программа модернизации курса направлена на достижение устойчивой положительной динамики подготовленности студентов при прохождения контрольных точек курса. Исходя из результатов психометрической аналитики, были выделены две ключевые задачи модернизации:

  • увеличение взаимодействия студентов с контентом;
  • повышение дискриминативности оценочных заданий, представленных в курсе.

Для решения задачи о взаимодействии студентов с контентом были предприняты следующие шаги: в первую очередь, мы решили более детально обозначить целевую аудиторию курса. Для этого мы добавили в описание курса информацию об уровне подготовки, необходимой для прохождения курса. Это позволит потенциальным слушателям составить более полное представление о программе курса, а также решить вопрос о релевантности собственной подготовки.

Следующим шагом стала работа по повышению привлекательности контента для студентов. Для этого мы добавили в материалы курса задания, которые, на наш взгляд, представляют собой интересное практическое дополнение к теории, представленной в курсе (например, после лекции 1.2 студентам будет предложено вырастить свой минерал). Кроме того, мы разработали ряд заданий с возможностью получения призов при их правильном решении.

В ходе модернизации были также приняты во внимание студенты, испытывающие сложности при освоении программы курса. Для данной группы слушателей мы включили ссылки на дополнительные источники (например, в лекции 2.2), которые позволят им лучше ориентироваться в материале. Кроме того, мы решили повысить плотность взаимодействия студентов друг с другом в целях взаимопомощи и разработали ряд дополнительный заданий для форума.

Для повышения дискриминативности оценочных заданий курса была проведена корректировка тестовых заданий за счет изменения формулировок вопросов или, наоборот, их дополнения. На наш взгляд, это позволит добиться общей сбалансированности заданий рассматриваемого курса.

В рамках модернизации были изменены следующие вопросы курса:

  • Практическое задание к модулю 1 задание 3;
  • Проверочный тест к модулю 2 вопросы 4;
  • Проверочный тест к модулю 3 вопросы 7;
  • Проверочный тест к модулю 4 вопросы 4;
  • Проверочный тест к модулю 5 вопрос 6.2.

На наш взгляд, описанные шаги по модернизации курса смогут решить проблему отрицательной динамики подготовленности студентов и повысить его эффективность.

Как читать фотографию

Данный кейс посвящен модернизации массового открытого онлайн-курса «Как читать фотографию», проведенной на основе результатов психометрической аналитики НИУ ВШЭ в рамках проекта «Современная цифровая образовательная среда».

Массовый открытый онлайн-курс «Как читать фотографию» был разработан в 2017 году и размещен на платформе Лекториум. 23 января 2018 года было проведено бета-тестирование курса, после которого — 13 марта — состоялся основной запуск. Курс включал в себя 5 модулей, каждый из которых завершался проверочным тестом. Кроме того, в курсе было представлено 3 проектных задания. Курс завершался общим итоговым тестированием.

15 марта 2018 года курс «Как читать фотографию» был запущен на Национальной платформе открытого образования. Курс сохранил свое название, однако произошли значительные изменения в его структуре: к предыдущим пяти модулям были добавлены еще четыре новых. Каждый модуль завершался проверочным тестом. Кроме того, в курсе было представлено 5 проектных заданий. Обучение завершалось итоговым тестированием с процедурой прокторинга.

Для психометрического анализа был выбран первый пятимодульный вариант курса, размещенный на платформе Лекториум. Благодаря проведенному анализу удалось выявить сильные и слабые места курса в целях его дальнейшего улучшения.

Результаты анализа

Психометрический анализ показал, что наиболее эффективными являются модули, связанные с контентом рассматриваемого курса. Были отмечены оптимальные показатели по таким параметрам, как доступность и трудность усвоения контента, а также общая сбалансированность трудности курса.

Однако, что более важно, с помощью анализа были также обнаружены два проблемных блока курса. Во-первых, речь идет об оценочных средствах, используемых в курсе. Напомним, что оценочные средства представлены 5 промежуточными тестами, 3 проектными заданиями, а также общим итоговым тестированием в конце курса.

Учитывая среднюю по модулю трудность заданий, мы обнаруживаем оптимальный показатель трудности для всех тестов и заданий, представленных в курсе. Однако, при более детальном рассмотрении, анализ выявляет большое количество слишком трудных или, наоборот, слишком простых заданий. Более того, количество слишком простых заданий, представленных в курсе, значительно превышает заявленную норму (54% при норме 40%).

Другим не менее важным аспектом является отсутствие положительной динамики подготовленности студентов, которые проходят курс, несмотря на их высокую подготовленность в самом начале курса. При анализе возможных причин мы также обратились к анализу результатов выполнения студентами тестовых и проектных заданий, представленных непосредственно на платформе Лекториум, на которой располагается курс.

Представленные ниже таблицы показывают, какое количество студентов от их общего числа смогли успешно завершить тестовые или проектные задания курса.

Тесты

Модуль 1

Модуль 2

Модуль 3

Модуль 4

Модуль 5

Итоговое тестирование

76,4%

81,6%

71,3%

78,3%

90,3%

78,5%

Проектные задания

Проектное задание к 1 модулю

Проектное задание к 4 модулю

Проектное задание к 5 модулю

89,9%

95,65%

91,18%

Согласно таблицам, наиболее положительные результаты у студентов наблюдаются в модулях 2, 4 и 5, а также при выполнении проектных заданий. Сопоставив полученные данные с психометрическим анализом оценочных средств курса, мы обнаружили, что в тестах обозначенных модулей представлено самое большое количество слишком простых заданий, выявленных в процессе психометрического анализа.

На наш взгляд, этим, вероятно, и обусловлена не линейная, а скачкообразная динамика подготовленности студентов. Слишком простые задания, представленные в тестах 2, 4 и 5 модулей, обуславливают слишком высокий показатель, который студенты не способны «компенсировать» в следующих тестах, где представлены более оптимальные задания. Следует отметить, что, несмотря на отсутствие положительной динамики, общая подготовленность студентов остается достаточно высокой в течение всего курса.

Модернизация курса

По результатам анализа было решено провести модернизацию оценочных средств курса, так как это не только повысит его эффективность, но и повлияет на развитие динамики подготовленности студентов и, вероятно, сбалансирует ее.

В процессе модернизации были учтены рекомендации, сопровождающие анализ. Основными способами модернизации заданий было выбрано следующее:

  • уточнение количества верных ответов в заданиях с множественным выбором;
  • изменение формулировки вопросов;
  • изменение типов заданий;
  • исключение неработающих ответных опций.

Таким образом, было решено провести следующие изменения:

Упрощение трудных заданий

  • Проверочный тест к модулю 1 вопросы 5 и 10;
  • Проверочный тест к модулю 3 вопросы 1, 3 и 8;
  • Проверочный тест к модулю 4 вопросы 3 и 8;
  • Проверочный тест к модулю 5 вопрос 1.

Усложнение простых заданий

  • Проверочный тест к модулю 1 вопросы 1, 2, 3, 7, 8 и 9;
  • Проверочный тест к модулю 2 вопросы 2, 4, 5 и 7;
  • Проверочный тест к модулю 4 вопросы 4, 9 и 10;
  • Проверочный тест к модулю 5 вопросы 7 и 10;
  • Итоговый тест: 3, 4, 6 и 10.

На наш взгляд, описанные изменения смогут решить проблему отрицательной динамики подготовленности студентов и повысить эффективность рассматриваемого курса.

Мы благодарим Центр психометрических исследований в онлайн-образовании НИУ ВШЭ за проведенный анализ и надеемся на дальнейшее сотрудничество!