Новости сайта

Инструменты статистического отчета и анализа тестовых вопросов в MOODLE

 
Изображение пользователя Сэкулич Наталья Борисовна
Инструменты статистического отчета и анализа тестовых вопросов в MOODLE
от Сэкулич Наталья Борисовна - Четверг, 23 марта 2017, 10:30
 

Тестовые задания в СДО MOODLE нашли большую популярность среди преподавателей БГУ. Использование тестов позволяет существенно сократить временные затраты преподавателя, автоматизировав процесс проведение контроля знаний студентов. Для анализа качества тестовых заданий в системе имеются богатые возможности, статистическая обработка результатов прохождения теста дает возможность получить информацию о качестве и валидности тестовых вопросов. Для доступа к статистики необходимо открыть тест и перейти в меню настроек к элементу «Статистика» (рис. 1).


По каждому вопросу доступна таблица, содержащая следующие столбцы:

Индекс легкости – является отношением среднего значения баллов набранных всеми тестируемыми при выполнении конкретного тестового задания к максимальному количеству баллов за это задание. Оптимально включать в тест задания разного уровня сложности, чем ближе индекс легкости к 100%, тем легче задание.

Стандартное отклонение       – этот показатель измеряет разброс баллов, полученных испытуемыми при ответе на конкретное задание теста. Если ответы на ответ были одинаковыми, то отклонение будет равно нулю. Чем больше отклонение, тем больше разброс оценок. Согласно педагогической теории измерений показатель ниже 30% свидетельствует о недостаточной дифференцирующей способности тестового задания.


Балл случайного угадывания в вопросах закрытого типа зависит от количества правильных вариантов. Для вопроса с двумя вариантами ответа (например, для вопросов типа верно/неверно) балл будет равняться 50%. Для снижения вероятности случайного угадывания в вопросах закрытого типа можно стараться формулировать вопрос таким образом, чтобы использовать большое количество правильных и неправильных ответов.

Намеченный вес – вес, назначенный данному вопросу преподавателем. Здесь вес вопроса рассчитывается не в баллах, как это делается на этапе редактирования теста, а в процентах.

Эффективный вес – характеристика того, какова фактическая доля данного вопроса в итоговой оценке. Данная характеристика позволяет скорректировать преподавателю вес вопроса.

Индекс дискриминации характеризует способность тестового вопроса отличить сильных обучающихся от слабых, характеризуют связь между результатами его выполнения отдельными тестируемыми и их оценками за тест в целом. Для хорошего тестового вопроса предполагается, что студенты с высокими оценками за него также будут иметь более высокие оценки и за тест в целом.

Данный коэффициент может приобретать значение в диапазоне от  -100% до 100%. Например, 100% означает, что на данный вопрос все сильные студенты дали правильный, а все слабые - неправильный ответ. Значение коэффициента около 0 означает, что сильные и слабые студенты отвечали на данный вопрос одинаково. Если значение коэффициента отрицательно (рис. 3), то, скорее всего вопрос содержит ошибку, так как он показывает, что слабые студенты дали ответы лучше, чем сильные.

Считается, что задание обладает достаточной дифференцирующей способностью, если значение данного коэффициента имеет значение больше или равное 30%.

Эффективность дискриминации –  этот коэффициент тоже демонстрирует соотношение ответов сильных и слабых обучающихся. Данный коэффициент принимает значения, аналогичные предыдущему, но дает более точные результаты, чем коэффициент дискриминации, так как при вычислении коэффициента принимают во внимание результаты всей группы, не вдаваясь искусственному делению на трети сильных, средних и слабых.

Таким образом, можно составить следующие рекомендации по составлению тестовых вопросов в системе MOODLE:

1.    Использовать большую базу тестовых заданий, т.к. малое количество вопросов приводит к ненадежной оценке.

2.    По возможности избегать вопросов с высокой вероятностью случайного угадывания (верно/неверно).

3.    Помимо вопросов множественного выбора использовать комбинированные типы вопросов (вложенные вопросы), вопроса на соответствие, перетаскивание в тест и вопросы открытого типа.

4.    Производить корректировку теста, ориентируясь на полученную статистику.



Скачать материал в формате PDF


Изображение пользователя Котоманова Ольга Владимировна
Re: Инструменты статистического отчета и анализа тестовых вопросов в MOODLE
от Котоманова Ольга Владимировна - Понедельник, 22 мая 2017, 16:12
 

Интересный материал, можно усовершенствовать тест, владея статистикой. Спасибо. будем анализировать и вносить изменения.