Модернизация курса на основе результатов анализа оценочных средств
Модернизация заданий с автоматизированной оценкой
Анализ оценочных средств с автоматизированной оценкой проводится в двух разрезах: теста по модулю (теме) и отдельного задания.
Выводится круговая диаграмма по всему курсу, на которой задания с трудностью ниже 0.3 размечаются как трудные, выше 0.7 как легкие, остальные – как оптимальные (средние).
Рис. 8 – Соотношение заданий по трудности
Примечание. Иллюстрация из Аналитического (психометрического) отчета по результатам анализа данных онлайн-курса.
Оптимальным считается следующее распределение заданий по трудности: 20% - трудных заданий с вероятностью решения < 0.3, 40% - легких заданий с вероятностью решения > 0.7, 40% - заданий оптимальной сложности.
Рекомендуем обратить внимание на распределение заданий по трудности и откорректировать в соответствии с оптимальным соотношением, а также в соответствии с задачами и целями курса.
Автоматизированный сервис рассчитывает параметр трудности теста по модулю (теме). Этот параметр представляет собой вероятность того, что студент со средним уровнем подготовки справится с тестом по модулю (теме). Параметр принимает значения от 0 до 1.
Если параметр трудности теста по модулю (теме) находится в диапазоне до 0,4 – тест (очень) трудный. Если параметр трудности теста находится в диапазоне выше 0,4 – трудность теста оптимальная. Модернизации подлежат тесты с параметром трудности до 0,4.
Рис. 9 – Средняя по модулю трудность заданий
Примечание. Иллюстрация из Аналитического (психометрического) отчета по результатам анализа данных онлайн-курса.
Для того чтобы провести модернизацию, необходимо изучить параметры трудности отдельных заданий и работать далее с теми заданиями, трудность которых является (очень) высокой.
Автоматизированный сервис рассчитывает параметр трудности отдельных заданий. Этот параметр показывает уровень вероятности того, что средний по подготовленности студент курса справится с конкретным заданием. Параметр принимает значения от 0 до 1.
Если параметр трудности задания находится в диапазоне до 0,3 – задание является трудным. Если параметр трудности задания находится в диапазоне выше 0,7 – задание является легким. Остальные задания являются оптимальными, средними по трудности. Модернизации подлежат задания с параметром трудности до 0,3 и выше 0,7.
Рис. 10 – Трудность заданий
Примечание. Иллюстрация из Аналитического (психометрического) отчета по результатам анализа данных онлайн-курса.
Модернизация заданий возможна с помощью:
- установления соответствия содержания тестов педагогическим целям,
- составления заданий на запоминание учебного материала,
- изменения типов заданий,
- упрощения формулировок,
- исключения неработающих ответных опций.
Таким образом, использование результатов психометрической аналитики позволит повысить качество заданий с автоматизированной системой оценивания.
Модернизация заданий на взаимное оценивание
Автоматизированный сервис рассчитывает эффекты строгости и снисходительности во взаимных оценках. Затем сервис строит график, на который выводит три оценки. Первая (объективная) оценка представляет собой вероятность получения положительной оценки средним студентом при условии среднего оценивающего. Вторая (снисходительная) оценка представляет собой вероятность получения положительной оценки средним студентом при условии снисходительного оценивающего. Третья (строгая) представляет собой вероятность получения положительной оценки средним студентом при условии строгого оценивающего. Оценки принимают значения от 0 до 1.
Если все три оценки расположены в одной зоне вероятности решения задания (только выше или только ниже среднего значения), то уровень строгости/снисходительности эксперта существенно не влияет на смещение оценки студента. Если снисходительная или строгая оценка находятся в разных зонах вероятности решения задания по сравнению с объективной оценкой, имеет место необъективность в оценках – существенная часть проверяющих занижает или завышает оценки. Модернизации подлежат задания, в которых присутствует необъективность в оценивании.
Рис. 11 – Параметры вероятности получения оценки студентами
Примечание. Иллюстрация из Аналитического (психометрического) отчета по результатам анализа данных онлайн-курса.
Модернизация в части повышения объективности в экспертных оценках осуществляется с помощью:
- использования заданий с ограничением на ответ,
- использования примеров качественного выполнения задания,
- использования примеров оценивания с комментариями для проверяющих,
- использования дихотомической системы оценивания (да/нет) с четким описанием критериев,
- использования дробной системы оценивания (выполнено/частично выполнено/не выполнено) с четким описанием критериев.