КОМПЬЮТЕРНЫЙ КОНТРОЛЬ ЗНАНИЙ В ВУЗЕ – НЕКОТОРЫЕ КЛЮЧЕВЫЕ ВОПРОСЫ

Аннотация.

Разбирается известная процедура отбора близких по трудности заданий для обычных в вузовской практике не интеллектуальных автоматизированных систем компьютерного контроля знаний. Вследствие сложности еѐ реализации и неоднозначности получаемых результатов, процедура отбора в программных оболочках обычно молчаливо опускается, что ухудшает валидность компьютерного контроля. Предложен один из возможных приѐмов количественной оценки трудности заданий с выборочным ответом. Кратко рассмотрен способ построения системы контроля, использующий численные выражения трудности заданий, обладающий рядом положительных свойств.

Abstract.

We consider the known problem of selection of tasks with similar difficulty levels in computer control systems, used in higher learning. Because of difficulties in realization of these systems and ambiguity of obtained results, the selection problem is often ignored, which depreciates the validity of the computer control. We suggest a new method of quantitative estimation of tasks with multi-choice answers. The method uses numerical estimations of difficulty levels and offers further useful features.

Используемые на практике системы компьютерного контроля знаний относятся к классу неинтеллектуальных. Они обычно реализуются в виде программных оболочек той или иной сложности и их обзоры часто публикуются в Интернете (см., например, [Габбасова]). В них требуется специфическая форма зданий (формулировка заданий), при которой ответ на поставленные вопросы требует ввода некоторого кода. Чаще всего используется простой выборочный ответ (элективный выбор), когда в задании приводится набор пронумерованных вариантов ответов, из которых нужно ввести номер (или номера-коды) верных. Отсутствие возможности формулировки заданий, требующих развернутого ответа в свободной речевой форме (т.е. понимания смысла ответов, что характерно для интеллектуальных систем) определяет те виды занятий, где уместно использование компьютерного контроля знаний (или проверки усвоения учебной дисциплины). В силу этого обстоятельства применение таких систем для итогового, выпускного или вступительного учебных видов контроля знаний, следует признать неправомерным.

Несмотря на широкую распространенность и разнообразие оболочек (систем) компьютерного контроля знаний, имеется несколько узловых вопросов, на которые почти не обращается внимание. Большинство (если не все) компьютерные оболочки фиксируют результат выполнения каждого задания единицей при верном ответе и нулем при ошибочном. Затем подсчитывается относительное число набранных единиц, и оно переводится в отметку в принятой шкале. Аналогично строится рейтинг в группе. При таком подходе отметку можно считать справедливой при условии, что предъявляются задания, однородные или близкие по трудности. Иначе отметку считать справедливой неправомерно.

В ранних контролирующих программах на это обращалось внимание; опубликованы способы (приемы) для отбора заданий однородных или близких по трудности. Наиболее обстоятельно этот вопрос рассмотрен в известной книге Г.А. Атанова и И.Н. Пустынниковой [Атанов)], хотя, по-видимому, впервые в русскоязычной литературе это менее подробно было описано в более  ранней работе В.С. Аванесова  [Аванесов], а  затем неоднократно повторено (с некоторыми расширениями) в других работах.

Кратко опишу этот подход. Для отбора организуется референтная группа студентов, которой предлагается выполнить серию заданий. По результатам строится таблица результатов, дополненная последним столбцом итогов по фамилиям и строкой сумм единиц по заданиям. Далее выполняется процедура «чистки» таблицы, т.е. удаления тех заданий, которые выделяются по трудности из последовательности остальных.

Первый этап чистки таблицы: отбраковка заданий, резко различающихся по трудности от основной массы [см. также Кривицкий, 2013]. Удаляются столбцы с «выпадающими» по трудности заданиями: наиболее легкие, которые выполнены почти всеми участниками и наиболее трудные, которые выполнены минимальным числом участников. Затем поочередно сравниваются столбцы каждого задания со столбцом итоговых (суммарных) результатов. Мерой сравнения принят коэффициент корреляции Пирсона. Те задания, где этот коэффициент выше некоторого критического (условно принятого) значения оставляются; – а те, где этот коэффициент ниже этого значения – удаляются.

Следующий этап – попарные сравнения заданий. Мера та же – коэффициент корреляции Пирсона. Строится корреляционная матрица. Удаляются задания слабо коррелирующие между собой (правда, величина «меры» уже несколько иная).

Г.А. Атанов предлагает продолжать «чистку» на основе значения среднего коэффициента корреляции для каждого задания (с. 236).

По поводу описанной процедуры, которая претендует на научность, следует  сделать несколько критических замечаний.

Первое. Отбор референтной группы. Нет уверенности, что она действительно референтна, отобрана корректно и отражает свойства генеральной совокупности. Строго говоря, такой уверенности быть не может. Вообще, неясно насколько правомерно к такому процессу, как подобное испытание, применение методов статистики. Ведь процедуру нельзя повторять в однородных условиях (здесь другие либо люди, либо задания), и это натяжка для обработки методами, принятыми в статистике. Кстати, более рациональным было бы после первого этапа исключить из группы наиболее слабых и наиболее успешных контролируемых и на этом завершить «чистку» таблицы (что в упомянутых источниках не делается).

Второе. Насколько адекватен используемый критерий сравнения (хотя он, действительно, общепринятый)? В серии табличек представлены значения коэффициента корреляции Пирсона (r) для отметок при выполнении пар заданий (это процедура осуществляется при построении упомянутой корреляционной матрицы). Одно задание (правые столбцы), с которым сравниваются три остальных (левые столбцы). Число верных ответов для каждой пары одинаково – четыре и преподаватель склонен считать, что задания имеют близкую трудность. Коэффициенты же корреляции резко различаются. Это свидетельство того, что коэффициент корреляции r нельзя полагать полностью адекватным и безукоризненным критерием сравнения трудностей заданий, хотя он считается научно обоснованным.

Пятое. Почему-то из группы не удалены те участники, у которых резко выпадают результаты (например,

не решившие верно ни одного задания; это явный просчет отбора референтной группы). Их удаление из итоговой таблицы увеличило бы надежность отбора, а может быть сделала достаточной  всю процедуру отбора (см. Кривицкий, 2013).

Отмеченные трудности сказались на том, что на практике отбор равнотрудных заданий чаще всего не производится: эта процедура просто опускается, а о требовании однородности заданий по трудности не упоминается. В итоге получается набор «тестовых» заданий. О валидности соответствующего «теста» говорить не приходится.

Один из приѐмов преодоления указанных трудностей предложен в работе [Кривицкий, 2004]. Он состоит в том, что каждому заданию приписывают трудность в удобной шкале, например, 1 – 100 баллов. В силу некоторой неопределенности численной оценки трудности градацию шкалы не нужно делать более мелкой и принять шаг шкалы, равный 10. Если порядок предъявления сделать таким, чтобы трудности последовательно предъявляемых заданий были примерно симметричными по отношению к средней трудности, равной 50, то можно рассчитывать на эффективное сглаживание ошибок в назначении трудности заданий. При этом задания с нечетными номерами выбираются случайно, а с четными – симметрично по трудности от выбранного значения 50. Сглаживание будет иметь место даже в случае нечетного числа заданий и некоторая «неравновесность» не должна иметь существенного значения, особенно при большом числе заданий. Конечно, трудность заданий назначается преподавателями, исходя из опыта, результатов дискуссий и других не очень строгих соображений.

Наиболее важным, и в то же время уязвимым в этом приеме, является введение количественной «меры» трудности. Само понятие «трудность» в применении к рассмотренной процедуре контроля – категория, скорее качественная. В действительности, трудность задания при выборочной форме ответа, во многом (если не сказать полностью) зависит от приведенного в каждом задании  перечня вариантов ответов, даже определяется им. Действительно, среди верных вариантов могут быть почти очевидные, и догадаться, что ответ правильный просто. Но есть и такие варианты, которые требуют конкретных знаний или, вообще, догадаться об их правильности, не так легко. Именно список вариантов ответов определяет, насколько трудным будет выбор ответа на вопрос, поставленный в формулировке задания. Естественно, оценить трудность нахождения самих верных вариантов ответов (их может быть и несколько, и учитывается их конъюнкция) следует по-разному. Оставаясь в рамках приведенной выше шкалы, этим вариантам нужно поставить в соответствие разные трудности, например,  для двух верных ответа  10  баллов (почти очевидно  верный ответ) и 80 баллов (для «догадки» нужно и знать и привлечь соответствующий теоретический материал). Естественно, в назначении этих чисел есть определенный произвол, но он не так велик, как представляется. Да и особой точности здесь не требуется, и можно считать ошибки в назначении конкретных чисел не столь уж существенными, тем более в дальнейшем предусмотрена  процедура «сглаживания» ошибок путем специфического способа предъявления заданий.

Далее следует оговорить,  какой ответ следует считать верным: когда требуется ввести все варианты правильных ответов (их конъюнкцию) или только один из них. Имеющийся опыт работы с автоматизированной системой обучения АКСОН-А показал, что правильным будет считать ответ верным при вводе всех вариантов верных ответов. В этом случае мерой вклада трудности всех правильных ответов в общую трудность задания следует считать среднюю трудность всех правильных вариантов tr.i ответов, т.е. величину суммарной трудности верных вариантов, отнесенную к общему m числу этих вариантов ответов:  где tr.i  – r –й правильный вариант ответа.

Если успешность учебных действий учитывать подсчетом баллов, то за выбор неверных (ошибочных) вариантов ответов следует сбрасывать баллы, причем тем большие, чем грубее ошибка. Если обнаружить неправильность варианта ответа просто, легко, то за такую ошибку следует сброситъ значительное число баллов. Напротив, если ошибку обнаружить сложно, она скрыта, ответ почти правдоподобен, хотя и неверен, но близок к правильному ответу, число сбрасываемых баллов должно быть небольшим. Таким образом, каждому неверному варианту следует приписать некоторое число штрафных баллов tw.i, тем большее, чем более грубую ошибку совершает учащийся своим выбором. Логично, трудность i-го неверного ответа количественно оценивать числом tн.i сбрасываемых баллов за некоторый i-й неверный ответ как ti – дополнение штрафных баллов для этого ответа до полной шкалы 100 баллов: tн.i = 100 – ti . Усредненная трудность для всех n неверных вариантов ответов будет

Общая средняя трудность задания по всем существующим верным и неправильным вариантам ответов

tобщ= (tв.ср.+ tн.ср)/2

Остается перевести баллы в отметку за выполнение задания. Отметка по результатам контроля вычисляется путем преобразования относительного числа накопленных баллов (их среднего значения  tобщ) к максимально возможным баллам в принятой шкале (например, стобалльной или четырехбалльной). Естественно, существует возможность представления результатов в идее рейтинга в учебной группе5. Проект основанной на приведенных соображениях системы текущего учебного контроля предусматривает два режима: Обычный и Самоконтроля.

Обычный режим задается преподавателем для решения педагогической задачи контроля и предусматривает выполнение всех распределенных по темам заданий, введенных в программу контроля. Очень важным моментом, активизирующим использование программ контроля, является простота и удобство действий по созданию и совершенствованию конкретных курсов контроля. С этой целью в проекте предусмотрено разделение процедур создания (разработки и написания) учебных заданий (базы заданий) и внесение их в программную оболочку системы (исполняемый файл teacher.exe). Весь учебный материал готовится и записывается в обычных текстовых файлах приложений MSOffice версий 2003 и выше без привлечения программной оболочки. Файлы организованы в структуру: КУРС → Тема → Набор заданий. Из этих файлов перенос в программную оболочку (файл teacher.exe) выполняется простым копированием через буфер обмена. Действия здесь привычны и просты. Предусматривается возможность после копирования и в последующем вносить в содержание программы любые коррективы, привычными действиями, не требующими специальной компьютерной подготовки. Возможен режим учета и ограничения времени выполнения заданий. Результаты представляются в удобной для преподавателя форме в специальном файле статистики.

Режим Самоконтроля предназначен для того, чтобы учащийся (особенно работающий в системе дистанционного обучения), мог проверить степень освоенности курса, готовности к зачетам или экзаменам. Он отличается от обычного режима большой свободой действий. Учащийся сам выбирает удобную ему форму работы. Он имеет доступ к любой теме курса, сам определяет порядок предъявления заданий (из допустимых), имеет свободный доступ к результатам контроля и др. Для него предусмотрена возможность использования режима повышенной трудности выполнения заданий, когда варианты ответа предъявляются поочередно с удалением каждого после получения ответа. Решение об использовании этого режима принимает сам учащийся. Свободный доступ предусматривает возможность повторных обращений к любой теме курса.

Вычисленная по приведенным выше формулам трудность каждого задания активно используется при определении порядка предъявления заданий, причем своего для каждого из упомянутых режимов. В каждом из указанных режимов дополнительно имеются свои особенности. При использовании режима Самоконтроля учащийся обладает многими «правами» организации контроля, характерными для автора автоматизированной программы контроля (АПК) в режиме Обычный. Это относится также и к файлам окружения, предназначенным для обеспечения комфортных условий работы авторов АПК

 5 В число вариантов ответов упражнений можно вести вариант «Не знаю». При его выборе зачисляются штраф ные баллы, равные увеличенной на 10% средней трудности задания.

Список литературы

1.      Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. ГК СССР по народному образованию. М.:, 1989.

2.      Аванесов В.С. Форма тестовых заданий. НИИ Гособоразования. М.:,1991. 36

3.      Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или основы современной дидактической высшей школы. - Донецк: ДОУ, 2002. - 504 с. http://ifets.ieee.org/russian/depository/monog.html.    (Библиотека).

4.      Габбасова И.Н. Сравнительный анализ программных оболочек создания компьютерных тестов // Научный электронный архив. URL: http://econf.rae.ru/article/6870

5.      Кривицкий Б.Х. К вопросу о компьютерных программах контроля. Журнал Educational Technology & Society. Т.7 №2, апрель 2004 года.

 6.      Кривицкий Б.Х. Учебные электронные средства в вузе (Учебное пособие для преподавателей) - Москва: МГУ, 2013. - 183 с. ISBN 978-5-9904358-1-0 PDF 2.04 http://ifets.ieee.org/russian/depository/monog.html. → Библиотека. → Монографии. См. также: сайт факультета психологии МГУ http://www.psy.msu.ru/people/krivitsky/krivitsky2013.pdf

7.      Прокофьева Н.О. Вопросы организации компьютерного контроля знаний Educational Technology & Society 9(1) 2006. Сайт http://ifets.ieee.org/russian (Журнал).