Оценка надежности качества теста

Технология проектирования и разработки критериально-ориентированных тестов. Алгоритм технологии проектирования и разработки критериально-ориентированных тестов может быть таким:

1. Формируется программа учебной дисциплины в учебных элементах.

2. На основании сформулированных целей обучения и соответствующего этим целям научного содержания проектируются тестовые задания.

3. Проводится эксперимент на соответствующем контингенте студентов.

4. Осуществляется дидактико-статистический анализ эксперимента, на основе которого "выбрасываются" те задания, на которые никто не ответил, либо ответили все.

5. Определяется коэффициент корреляции и осуществляется отбор заданий для проверки знания.

6. Для отладки теста определяются коэффициенты трудности и различения тестового задания

7. Строится матрица обработки тестовых результатов (после отбрасывания заданий, у которых все "1" или все "О").

Педагогические тесты помогают получить более объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников вузов заданным стандартам, выявить пробелы в подготовке студентов. Педагогический тест следует понимать как систему заданий специфической формы и определенного содержания, расположенных в порядке возрастающей трудности, создаваемой с целью объективной оценки структуры и измерения уровня подготовленности обучающихся Из определения следует, что ПТ целесообразно рассматривать не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными системными факторами: содержательным составом тестовых заданий, образующих наилучшую целостность, и нарастанием трудности от задания к заданию. Принцип нарастания трудности позволяет определить уровень знаний и умений по контролируемой дисциплине, а обязательное ограничение времени тестирования – выявить наличие навыков и умений. Трудность задания как субъективное понятие определяется эмпирически, по величине доли неправильных ответов. Этим трудность отличается от объективного показателя – сложности, под которой понимают совокупность числа понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания. Отметим, что задания теста представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых превращаются в истинные или ложные. Исходя из технологичности процедуры тестирования ответы кодируются двоичным кодом: 1 – истинно и 0 – ложно, и в таком виде могут поступать в современные системы обработки информации. Тестовое задание должно отвечать целому ряду требований: • Оно должно иметь четкую форму, • отличаться предметной чистотой содержания, • быть логически правильным, технологичным, • иметь известную трудность и коррелировать с выбранным критерием. Из перечисленных требований следует, что тестовые задания должны обязательно проверяться эмпирически. От таких заданий следует отличать задания в тестовой форме, у которых отсутствуют системообразующие свойства, например система заданий не организована по принципу возрастания трудности. Все задачи педагогического контроля можно условно разделить на два класса. В один класс входят задачи, связанные со сравнением учебных достижений обучающихся. Они решаются нормативно-ориентированным тестированием. В другой класс входят задачи, связанные с оценкой степени овладения студентами учебным материалом. Они соответствуют критериально-ориентированному подходу. Критериально-ориентированный ПТ представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которыми должны овладеть студенты в результате определенного курса обучения. При этом указанный объем называется областью содержания этого теста. С ней и соотносятся учебные достижения отдельных обучающихся, чтобы определить, какую долю учебного материала они усвоили, задачи какого уровня сложности могут решать. Тестовые баллы переводятся в традиционную систему оценок. Например, если испытуемый выполнил более 90 % заданий, то он получает оценку “отлично”, решивший от 75 до 90 % заданий “хорошо”, от 50 до 75 % – “удовлетворительно”. Критерий устанавливается самими разработчиками теста и зависит от сложности содержания и планируемой трудности задания. В настоящее время в дидактике высшей военной школы выделяют четыре основные формы тестовых заданий: 1. Задания закрытой формы, в которых обучающийся выбирает правильный ответ из нескольких правдоподобных, предложенных на выбор. Эти правдоподобные ответы называются “дистракторами”. Чем лучше “дистрактор”, тем чаще на него “попадается” студенты давая неправильный ответ. Плохие “дистракторы”, которые студенты не выбирают в силу их абсурдности, целесообразно убрать из тестового задания. 2. Задания открытой формы, когда ответы дают сами студенты дописывая ключевое слово в утверждении и превращая его в истинное или ложное. Такое тестовое утверждение содержит в одном предложении и вопрос и ответ. Оно должно состоять из небольшого количества слов (чем меньше, тем лучше), а ключевое слово, которое вписывает обучающийся, должно завершать фразу. При формулировании задания важно минимумом слов добиваться максимальной смысловой ясности и однозначности содержания задания. 3. Задания на соответствие, в которых элементам одного множества требуется сопоставить элементы другого множества, причем число элементов во втором множестве должно на 20–30 % превышать число элементов первого множества. Это обеспечивает обучающемуся широкое поле для поиска правильного ответа. 4. Задания на установление правильной последовательности. Студент указывает с помощью нумерации операций, действий или вычислений требуемую заданием последовательность. Такие задания хороши в тех областях учебной или профессиональной деятельности, которые хорошо алгоритмизируются. Среди преимуществ педагогических тестов перед традиционными методами контроля в вузе можно выделить следующие: • во-первых, они позволяют повысить объективность контроля, исключить влияние на оценку побочных факторов, таких как личность преподавателя и самого обучающегося, их взаимоотношения и т. п.; • во-вторых, оценка получаемая с помощью теста, более дифференцирована. В отличие от традиционных методов контроля, где используется 4-балльная шкала, результаты тестирования благодаря особой организации могут быть представлены в более дифференцированном виде, содержащем множество градаций оценки, а благодаря стандартизированной форме оценки педагогические тесты позволяют соотнести уровень достижений студентов по предмету в целом и по отдельным существенным его элементам с аналогичными показателями в группе или любой другой выборке испытуемых; • в-третьих, тестирование обладает более высокой эффективностью, чем традиционные методы контроля. Его можно одновременно проводить как в группе, так и на курсе или факультете. При этом обработка результатов тестирования с использованием специальных “ключей” для теста производится намного быстрее, чем, например, проверка письменной контрольной работы; • в-четвертых, показатели ПТ ориентированы на измерение усвоения ключевых понятий, тем, элементов учебной программы, а не конкретной совокупности знаний, как это имеет место при традиционной оценке. Применяя батарею ПТ, можно простроить профиль овладения студентами всеми элементами учебной программы; • в-пятых, ПТ обычно компактны и, как правило, легко поддаются автоматизации. Безусловно, у тестирования как метода контроля есть и свои ограничения. Легче всего с помощью педагогического теста проверить степень овладения студентами учебным материалом. Проверка глубинного понимания предмета, овладения стилем мышления, свойственным изучаемой дисциплине, в этом случае весьма затруднительна хотя в принципе возможна. Отсутствие непосредственного контакта с обучающимся, с одной стороны, делает контроль более объективным, но, с другой – повышает вероятность влияния на результат других случайных факторов. Таким образом, можно сделать вывод, что наилучший эффект дает сочетание в рамках технологии обучения педагогических тестов с традиционными методами контроля. Критика тестирования часто обусловлена непониманием специфики этого метода и реальных возможностей его использования. Она правомерна тогда, когда при некомпетентном использовании педагогических тестов абсолютизируется тестовый балл, забывается, что любая оценка дается с определенной долей вероятности. Достоинство педагогического тестирования заключается еще и в том, что можно оценить степень этой вероятности и, следовательно, знать, насколько точен полученный результат. Таким образом, нами рассмотрены основные формы организации учебных занятий и педагогического контроля в высшей школе. Компьютерное адаптивное тестирование и его возможности. Появление адаптивного тестирования было вызвано стремлением к повышению эффективности педагогических измерений, которая, как правило, связывалась с уменьшением числа заданий, времени, стоимости тестирования, а также с повышением точности оценок учащихся. В основе адаптивного подхода лежит индивидуализация процедуры отбора заданий теста, которая за счет оптимизации трудности заданий применительно к уровню подготовленности обучаемых обеспечивает генерацию эффективных тестов. Оптимизация трудности заданий обычно проводится пошагово. Если учащийся выполняет задание верно, то затем ему дается более трудное задание. При неправильном выполнении задания совершается отход назад к более легким заданиям банка. При невыполнении трех заданий подряд процесс останавливается и специальными методами (чаще всего с помощью теории IRT) определяется балл учащегося за выполненные задания по сформированному специально для него адаптивному тесту. Таким образом, в компьютерном адаптивном предъявлении число тестовых заданий и их трудность индивидуально подбираются для каждого эк- заменующегося на основании его ответов, а индивидуальная совокупность заданий образует адаптивный тест. Адаптивные тесты в группе испытуемых состоят в основном из разных заданий и различаются по количеству и трудности заданий тем сильнее, чем больше разброс среди испытуемых тестируемой группы по подготовленности. Получить одновременный прирост эффективности измерений по всем критериям невозможно, поэтому обычно при организации адаптивного тестирования на первый план выходит один, в лучшем случае, два критерия. Например, в одних случаях при экспресс-диагностике в адаптивном режиме наибольшее внимание уделяется минимизации времени испытания и количеству предъявляемых заданий, а вопросы точности оценок отходят на второй план. В других случаях приоритетной может быть точность измерения и тестирование каждого испытуемого продолжается до тех пор, пока не достигается запланированная минимальная ошибка измерения. На длине адаптивного теста существенно сказывается качество структуры знаний учащихся. Обычно испытуемые с четкой структурой знаний выполняют задания нарастающей трудности, уточняя с каждым очередным верно выполненным заданием оценку подготовленности. Они выполняют небольшое число заданий адаптивного теста и быстро доходят до порога своей компетентности. Учащиеся с нечеткой структурой знаний, у которых чередуются верные и неверные ответы, получают колеблющиеся по трудности задания. Процесс тестирования затягивается, поскольку при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адаптированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте. Преимущества адаптивного тестирования. К числу важных пре- имуществ компьютеризованного адаптивного тестирования можно отнести: - высокую эффективность; - высокий уровень секретности; - индивидуализацию темпа выполнения теста; - высокий уровень мотивации к тестированию у наиболее слабых обучающихся за счет исключения из процесса предъявления излишне трудных заданий; - сообщение результата в интервальной шкале тестовых баллов каждому испытуемому незамедлительно, сразу после окончания его работы над индивидуально подобранным набором заданий в адаптивном тесте. Литература 1. Андреев А.Б. Компьютерное тестирование: системный подход к оценке качества знаний студентов. Усиление практической подготовки студентов к деятельности в условиях рыночной экономики // Материалы Всероссийского практического семинара ректоров (проректоров) вузов. – 2001. - № 21. – Пенза, 2001. 2. Басова А.Л. Перспективы использования методов тестирования абитуриентов для прогноза успешной учебной деятельности в вузах с разными формами обучения. Психология и социология образования. – М., 2001.