Прошла первая мастерская учебной аналитики Дирекции по онлайн обучению для авторов онлайн-курсов
«Главной целью нашей мастерской является настройка учебной аналитики на преподавателей» (Дмитрий Аббакумов, руководитель Центра психометрических исследований в онлайн-образовании НИУ ВШЭ).
Темой первой мастерской стала психометрическая экспертиза заданий.
Учебная аналитика – это важный рабочий инструмент современного преподавателя. Аналитика может показать, что студенты знают и умеют, какие учебные трудности испытывают, какие учебные материалы работают лучше, а какие – хуже, довольны ли студенты учебным процессом. Однако, не всегда форма представления результатов учебной аналитики оказывается понятной и полезной преподавателю.
Психометрическая экспертиза – это статистический анализ качества инструментов оценивания. Экспертиза основана на данных, полученных в результате прохождения студентами курса. В результате анализа тестовых заданий психометрики устанавливают трудность заданий и их дискриминативность – способность заданий разделять студентов по уровню знаний. На основе этих объективных данных появляется возможность обновлять контент и таким образом следить за качеством системы оценивания в курсе. Летом в Центре психометрических исследований в онлайн-образовании разработали два аналитических веб-приложения: для платформы Coursera и Национальной Платформы Открытого Образования. С помощью этих приложений авторы и ассистенты онлайн-курсов могут узнать результаты психометрической экспертизы заданий по своим курсам.
Психометрики поделились первыми результатами работы. После чего участники мастерской протестировали веб-приложения и поделились своей обратной связью. Обратная связь станет основой для доработки веб-приложений.
«Задача Центра сделать инструменты учебной аналитики еще более удобными и информативными. По результатам доработки в конце ноября мы планируем провести вебинар для демонстрации итоговой версии веб-приложения «Психометрическая экспертиза заданий» – объяснила Кравченко Дарья, заместитель руководителя Центра психометрических исследований в онлайн-образовании НИУ ВШЭ.
«Мне кажется, что инструменты, которые делают коллеги из Центра, очень полезны. Вообще я не люблю переделывать тесты, но если уж это понадобится, то лучше переделывать их на основе данных, чем случайным образом. Инструменты позволяют визуализировать информацию, позволяют понять, что происходит с тестом, какие вопросы работают, какие не работают. В принципе, эта штука полезная. Также полезно, что способы презентации результатов, которые коллеги из Центра делают, они обсуждают и предлагают выбор, потому что такие штуки нужно адаптировать для пользователя. И дашборды – это способ адаптации» – прокомментировала профессор департамента психологии Гулевич Ольга Александровна.
«Прошедшая мастерская оказалась очень полезной для понимания процесса построения, конструирования онлайн-курса. Также, с точки зрения ознакомления с новым инструментом, она была полезной для того, чтобы выстроить понимание и лучше, корректнее изменять работу. Инструментарий, который нам показали, был очень важным для оценки заданий, которые мы подготавливаем, и если в дальнейшем он будет масштабироваться, то это будет важно не только для авторов онлайн-курсов, но в том числе, мне кажется, и для самих обучающихся, чтобы они могли выстраивать своё представление о предстоящем процессе обучения, выстраивать свой график и фокусироваться на заданиях лучше. Для преподавателя это отличный инструмент, который позволяет в целом оценить, как выстроены задания, насколько они соответствуют ожиданиям автора для прохождения его курса, помогает оценить, как справляется с заданиями аудитория и получить общее представление о том, что автор всё-таки создал. И как автору онлайн-курсов мне этот инструмент кажется необычайно полезным. Его нужно внедрять, масштабировать и учить ему всех обязательно как можно скорее» – прокомментировала Соловьева Ольга Геннадьевна.
Мастерская будет проводиться каждые 1-2 месяца. Следующей темой станет «Аналитика пользовательского опыта студентов онлайн-курсов».