Основные направления инноваций при разработке заданий.

Инновации при разработке заданий для компьютерного тестирова­ния охватывают пять связанных между собой направлений. К ним относятся: форма задания, действия испытуемого при ответе, уро­вень использования мультимедийных технологий, уровень интер­активности и методика подсчета баллов.

Нововведения в форме задания включают визуальный и звуко­вой информационные ряды или их сочетание. Визуальная инфор­мация может носить реалистический (фото, кино) и синтезиро­ванный (рисунок, анимация) характер. Тип информации в соче­тании с тестовой формой определяет формат ответа, выбираемого или создаваемого экзаменующимся.

При использовании фото­графий или рисунков информация, содержащаяся в тестовых за­даниях, носит статический характер. Кино, отражающее реаль­ный мир, и анимация вносят динамику в выполнение теста.

Действия учащегося при ответе на задания зависят от тех ин­новационных средств, которые включены в тест. При включении в задания звуковой информации, предполагающей голосовой ответ учащегося, для ответа используются клавиатура, мышь или микрофон. Значительное место при ответах отводится интерактивным процессам. Интерактивный режим работы учащихся при компьютерном тестировании означает поочередную выдачу аудиовизуальной информации, при которой каждое новое высказыва­ние со стороны учащегося или компьютера строится с учетом пре­дыдущей информации с той и другой стороны. При организации интерактивного режима в компьютерном тестировании использу­ется в основном экранное меню, в котором учащийся для ответа на тестовые задания выбирает, создает или перемещает объекты — компоненты ответа. Реже в интерактивном режиме применяют голосовой ввод ответа.

В целом уровень интерактивности, обеспеченный в компьютерном тестировании, характеризует степень, в которой определенная форма задания реагирует или отвечает на ввод информа­ции со стороны экзаменующегося. Этот уровень варьируется от простейшего случая, когда совершается один шаг, до сложных, многошаговых заданий с разветвлением после каждого очередного ответа ученика.

Сравнительная характеристика инновационных форм заданий при компьютерном тестировании для различных целей совершенствования педагогического измерения приведена в табл. 5.

Проблемы, возникающие при использовании заданий повышен­ной трудности в компьютерном тестировании.

Задания повышен­ной трудности всегда требуют больше времени для ответов вне зависимости от того, предъявляются ли они с помощью компью­терного моделирования виртуальной реальности, имеют ли форму лабораторной работы, эссе или используют мультимедийные технологии. Из-за временных затрат число сложных заданий должно быть незначительно — не более 10—15 %, в отдельных случа­ях — 20 — 25 %. Многообразие звуковых и зрительных образов в компьютерном тестировании приводит к возникновению у школь­ников усталости, поэтому при включении в тест даже небольшого количества трудных инновационных заданий приходится значи­тельно уменьшать длину теста, что негативно сказывается на содержательной валидности, надежности и информационной без­опасности педагогического измерения.

Несмотря на преимущества инновационных форм заданий – к ним нужно относиться с осторожностью, тщательно анализировать их адекватность целям измерения и уместность в тесте. Обычно инновационные задания высокой трудности выделяют в отдельный блок и помещают в конце теста. Их выполнение не должно отнимать времени у наиболее слабых учащихся, которые, скорее всего, не дойдут до конца теста.

Подсчет баллов учащихся.

Если в компьютерном тестировании не используются мультимедийные и интерактивные технологии, то подсчет первичных баллов учащихся проводится традиционно путем суммирования оценок по отдельным заданиям. Привлечение мультимедийных технологий приводит к многомерности результатов выполнения теста, поскольку оценивание целого спектра творческих, коммуникативных, общепредметных и других умений с помощью инновационных форм заданий всегда связано с несколькими переменными измерения. Появление интерактивности еще больше усложняет процедуру подсчета баллов учащихся, она ста­новится зависимой от ответа экзаменующегося на каждом шаге вы­полнения заданий теста и требует политомических оценок.

Проверка результатов выполнения заданий с конструируемым регламентированным ответом осуществляется путем сравнения ответа экзаменующегося с эталоном, хранящимся в памяти компьютера, и включает различные синонимы правильного ответа с приемлемыми орфографическими ошибками.

Намного сложнее автоматизированный подсчет баллов в заданиях со свободно конструируемым ответом (типа эссе) в гуманитарных дисциплинах. На сегодняшний день зарубежными тестологами разработаны специальные программы для автоматизированной проверки эссе. Критерии оценивания в этих программах довольно разнообразны: от рассмотрения поверхностных характеристик эссе типа длины и степени полноты ответа до сложных случаев анализа с использованием достижений компьютерной лингвистики. Обычно все эти различные автоматизированные программы подсчета баллов требуют участия экспертов только на момент начала работы, когда квалифицированным педагогам необходимо «обучить» компьютерную программу оцениванию любых развернутых ответов.

Тесты фиксированной длины, компьютерная генерация параллельных вариантов теста

Основные компоненты процесса автоматизированной компоновки теста для компьютерного предъявления. Процесс автоматизированной компоновки теста в том случае, когда он происходит заранее и не в адаптивном режиме, включает сборку (генерацию) параллельных вариантов, выбор правила подсчета баллов тестируемых учащихся и коррекцию вариантов для выполнения требований теории педагогических измерений.

Неизбежные различия по трудности вариантов, возникающие вследствие существования ошибок измерения, устраняются после тестирования путем выравнивания шкал, получаемых при подсчете тестовых баллов по отдельным вариантам теста. К числу сопутствующих вопросов, решение которых также необходимо при автоматизированной компоновке теста, относится работа по наполнению банка тестовых заданий и оцениванию информационной безопасности тестирования.

Компьютерная генерация параллельных вариантов теста фикси­рованной длины. Автоматизированная сборка теста с фиксированным числом заданий предполагает наличие установленной длины теста, его спецификации и банка калиброванных заданий. В работоспособный банк, поддерживающий генерацию многовариантного теста, должны входить фреймы заданий различной трудно­сти по каждому содержательному элементу с устойчивыми оцен­ками параметров. С помощью специального программно-инстру­ментального обеспечения получается аналог традиционного блан­кового теста, готовый к предъявлению спустя несколько минут от

начала генерации и обеспечивающий высокое качество педагоги­ческих измерений.

Метод автоматизированной компоновки теста для компьютер­ного предъявления в режиме ой1те (без использования локальных компьютерных сетей или Интернета) или в режиме опНпе (с использованием локальных компьютерных сетей или Интернета) называют автоматизированным тестовым дизайном.

Целью дизайна является формирование вариантов теста, удовлетворяющих целому ряду условий, к которым относятся: число заданий, структура содержания, частота выбора заданий в варианты, а также ряд требований, обеспечивающих генерацию параллельных вариантов теста.

Технология компоновки вариантов должна поддерживать сис­тематический контроль за частотой включения каждого задания из банка в тест. Количество одинаковых заданий в параллельных вариантах, используемых для выравнивания шкал по вариантам, не должно превышать 15 — 20 %. Для контроля частоты включения задания в варианты в качестве ограничения вводится максимально возможный процент выбора каждого задания из банка. При его достижении задание перестает использоваться в дальнейших процедурах генерации теста.