05 марта 2016г.
Задача выбора математической модели представляет собой выбор одной из ряда конкурирующих для объяснения полученных статистических данных. IRT (Item Response Theory) [3], называемая в русскоязычной литературе теорией моделирования и параметризации тестов, представляет собой семейство математический моделей, которые описывают вероятность правильного ответа испытуемым на очередной вопрос теста. Критерий выбора подходящей модели для той или иной задачи тестирования знаний определяется тремя составляющими: наилучшим соответствием математической модели полученным данным, принципом экономии, т.е. предпочтение в пользу более простой модели с наименьшим числом параметров, а также, наилучшей экстраполяционной способностью модели.
Для описания информационных критериев
используются следующие
обозначения: n – объем выборки,
k – количество заданий
в тесте, p – количество оцениваемых параметров в модели.
Для вложенных моделей обычно
применяется критерий отношения
правдоподобия (LR-test) [1] с применением статистики хи-квадрат. Однако для не вложенных
моделей эта статистика
не подходит вследствие монотонной зависимости оценки дисперсии от количества параметров, которая определяет величину
функции правдоподобия. Кроме того, функция правдоподобия по абсолютной величине
увеличивается с ростом
объема выборки.
Поэтому в случае не вложенных
моделей применяют информационные критерии, учитывающие информацию, предоставляемую моделью, и информацию, имеющуюся в данных. Основная
идея информационных критериев состоит
в том, что “качество модели”
достигается посредством баланса качества
приближения к реальным данным и статистической сложностью модели, связанной со слишком большим числом
параметров. Информационные критерии
состоят из добавленного к максимуму логарифмической функции правдоподобия штрафа за используемое количество оцениваемых параметров. Информационные критерии используют
лишь для сравнения моделей
между собой, так как абсолютное значение критерия
не имеет содержательной интерпретации. Наиболее распространенными информационными критериями из нескольких десятков, описанных в литературе, являются AIC, BIC, и HQC [1].
Для всех рассмотренных критериев точность выбора правильной модели растет с ростом объема
выборки n. Точность выбора правильной модели падает при увеличении сложности модели, а именно, числа оцениваемых параметров
p.
При малом объеме выборки
n и малом
числе заданий k практически по всем критериям выбирается однопараметрическая модель Раша. При малом объеме выборки
n и большом числе заданий k чаще выбирается двухпараметрическая модель
2PL, иногда
уступая в частоте выбора
однопараметрической модели Раша. При большом объеме выборки
n и малом числе заданий
k существует некоторое минимальное значение k, меньше которого точность выбора
модели низка, а при увеличении числа заданий более которого
точность выбора модели выходит на некоторый стабильный уровень по всем критериям.
Наивысшая точность выбора модели по всем критериям
имеет место при совпадении распределений подготовленности и трудности. То есть, правильный выбор модели с соответствующей наилучшей точностью оценивания подготовленности имеет место при адекватном выборе трудности
заданий, соответствующем распределению подготовленности.
Список литературы
1.
Claeskens G., Hjort N.L. Model Selection and Model Averaging,
– Cambridge
University Press,
2008, 332 p.
2.
de Ayala R.J. The Theory and Practice of Item Response Theory, – New York: Guilford
Press, 2009. 448 p.
3.
Нейман Ю.М.,
Хлебников В.А. Введение
в теорию моделирования и параметризации педагогических тестов.– М.: Прометей, 2000. 168 с.
