Вопрос 15. Опишите особенности разработки тестов с использованием компьютерных технологий.

+ почитать материалы к вопросам 14 -17

Тест -стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого.

Тестирование

- метод контроля, который заключается в постановке перед учащимися некоторой системы вопросов, отвечая на которые учащиеся проявляют уровни учебных знаний и умений, психического развития, социального опыта.

- стандартизированная процедура объективного измерения образовательных достижений испытуемого по различным учебным предметам.

Тесты можно классифицировать по следующим основаниям как виды:

2. По процедуре:

· стандартизированные

· нестандартизированные

2. По назначению:

· общедиагностические

· профессиональной пригодно

· специальных способностей

· достижений.

3. По средствам, используемым в процессе тестирования:

· бланковые

· предметные

· аппаратурные

· практические

4. П о количеству одновременно обследуемых людей:

· индивидуальные

· групповые

5. По форме ответа:

· устные

· письменные

9. По ведущей ориентации:

· тесты на скорость

· тесты на результативность

· смешанные тесты

10. По степени однородности задач:

· гомогенные;

· гетерогенные.

11. По характеру действий:

· вербальные

· невербальные

9. По характеру ответов на вопросы:

· с предписанными ответами

· альтернативные (да| нет)

· дихотомические (согласен/ не согласен)

· трихотометрические (да/ нет/ не знаю)

· аналогии

· на восстановление соответствия

· на завершение последовательности

· с вариантами выбора

· с использованием рейтинговых шкал

· на устранение лишнего элемента

· со свободными ответами

 

По ответам тесты делятся на тесты с ответами:

Открытого типа:

1. Задания свободного изложения (примером являются задания неоконченных предложений).
2. Задания- дополнения (для каждого пропущенного слова ставится отдельное многоточие).

Закрытого типа:

2. Альтернативный тип ответов (АО).

Испытуемый должен выбрать один из вариантов ответов «да» или ««нет».

2. Задачи с множественным выбором (предполагают наличие вариативности в выборе, чтобы было не менее 3-х правдоподобных ответов).

3. Задачи соответствия (необходимо найти или приравнять части, элементы, понятия двух списков).

4. Аналогии.

5. Задания на исключение лишнего (найти общие закономерности между элементами и сделать вывод об их подобии или различии).

6. Последовательности (на завершение последовательности)

Закрытые задания, наиболее часто встречающиеся на практике, состоят из двух частей:

• основной части, содержащей утверждение или вопрос;

• вариантов выбора, или некоторого количества возможных ответов, из которых тестируемый должен выбрать правильный ответ.

 

Достоинства и недостатки

Преимущества перед традиционными методами контроля знаний:

1. Более высокая объективность контроля. Обычно на оценку, получаемую студентами, влияют, помимо уровня его учебных достижений, многие другие факторы: личность преподавателя и самого студента, их взаимоотношения, строгость или, наоборот, либеральность преподавателя и т.п. В оценке, выставляемой на основе традиционных методов контроля, оказывается существенным субъективный компонент. Это подтверждается тем известным фактом, что за один и тот же ответ разные преподаватели могут поставить разные отметки. В тесте такое влияние субъективных факторов исключается. Если тест достаточно качественный, то получаемая оценка может рассматриваться как объективная,

2. Оценка, получаемая с помощью теста, более дифференцирована, В традиционных методах контроля пользуются четырехбалльной шкалой ("отлично", "хорошо", "удовлетворительно","неудовлетворительно").

Результаты тестирования, благодаря особой организации тестов, могут быть представлены, если необходимо, в более дифференцированных шкалах, содержащих больше градаций оценки. При этом обеспечивается более высокая точность измерений учебных достижений.

3.Тестирование обладает более высокой эффективностью, чем традиционные методы контроля. Тесты можно одновременно проводить на больших группах студентов. Обработка результатов для получения окончательных оценок проводится легче, быстрее, чем, скажем, проверка контрольных работ. Особенно велика экономия времени, когда в форме тестирования проводятся экзамены.

 

К достоинствам компьютерной формы тестирования следует от­нести:

• объективность тестирования - ЭВМ "беспристрастна" при предъявлении тестовых заданий и подсчете результатов их выпол­нения;

• удобство фиксации, хранения и представления результатов тестирования, а также возможность их автоматизированной обра­ботки, включая ведение баз данных и статистический анализ;

• удобство реализации процедур индивидуально-ориентиро­ванного тестирования;

• возможность создания таких тестовых заданий, которые не могут быть представлены без компьютера, например с исполь­зованием графических, динамических, интерактивных и другие специфических возможности представления тестовых заданий

 

Основные достоинства компьютерных программ состоят в их гибкости, простоте изменений контролирующей программы, богатом арсенале новых сервисных возможностей, делающих работу с такими программами удобной на практике. Перечислим основные из этих возможностей:

1) простота заполнения базы контрольных заданий и внесения изменений в эту базу;

2) свобода в создании наборов проверочных заданий с различным числом вопросов в каждом наборе, а также возможность автоматизации создания тематических наборов случайных вопросов с заранее заданной средней трудностью или набора заданий с ограничениями по минимальному и максимальному уровню трудности;

3) выбор способа предъявления заданий студенту, когда задания выдаются в порядке, ранжированном по трудности, а также с чередуемой трудностью в определенном или случайном порядке;

4) выбор способа и порядка предъявления заданий: по одному, группами, всего перечня сразу (целостного задания) с определенным или случайным расположением в наборе;

5) выбор способа сообщения результатов проверки студенту: после каждого вопроса (успех/неуспех), после выполнения всего задания, с выводом текущего среднего балла, выводом окончательной оценки или результата после завершения ответов;

6) возможность ввода ограничений по времени предъявления заданий и времени, отводимого на ввод ответов;

7) разнообразие выводимых на экран компьютера реплик-реакций (в том числе в виде анимизированных значков), зависящих от правильности каждого из введенных ответов;

8) возможность запроса студентом помощи для создания ответа с дифференцированным учетом штрафных баллов за каждую подсказку;

9) полная автоматизация учета ответов с заданием способа статистической обработки результатов по отдельному студенту и группе в целом; ранжирование результатов по ответам группы;

10) обеспечение возможности автоматического анализа качества упражнений, в частности отбраковки чрезмерно простых или излишне сложных по задаваемым преподавателем критериям, а также проверка правильности априорно назначенной трудности вопроса;

11) представление (вывод) нужных для преподавателя данных отчетности в наглядной графической форме с заданием (выбором) вида итоговых диаграмм.

 

Недостаток компьютерного тестирования заключается в том, что от испытуемого требуются хотя бы минимальные навыки работы с ЭВМ. Поэтому надо составлять тесты таким образом, чтобы испы­туемый не тратил больших усилий и внимания на восприятие во­проса и выбор ответа, и это не влияло бы на показанный результат.

 

Требования к качеству тестовых заданий

• относительно краткосрочными, т. е. не требовать больших затрат времени;
• однозначными, т. е. не допускать произвольного толкования тестового задания;
• правильными, т. е. исключать возможность формулирования многозначных ответов;
• относительно краткими, требующими сжатых ответов;
• информационными, т. е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или даже интервальной шкалой измерений;
• удобными, т. е. пригодными для быстрой математической обработки результатов;
• стандартными, т. е. пригодными для широкого практического использования — измерения уровня обученности возможно более широких контингентов обучаемых, овладевающих одинаковым объемом знаний на одном и том же уровне обучения.

 

 

На современном этапе, все чаще производится внедрение информационных технологий в учебный процесс. Спектр применения компьютера в современном образовании быстро расширяется. Это мультимедийные энциклопедии, программы- тренажеры, видеофильмы, компьютерные модели, системы обратной связи.

Организация обратной связи один из наиболее уязвимых участков работы преподавателя.

Одним из важнейших компонентов обратной связи является опрос. Сегодня тест представляет собой достаточно унифицированный комплект вопросов, не позволяющий производить глубокое, динамичное и дифференцированное исследование знаний учащихся (студентов). Ниже приведенная схема иллюстрирует примерную модель такой «ветвящейся» тестирующей системы, дающей возможность достаточно высокой степени дифференциации процесса тестирования:

Отсюда закономерно возникает необходимость создания специальной системы, позволяющей разрабатывать тесты, имеющие внутри себя гибкую «ветвящуюся» структуру. При этом важно, чтобы данная система позволила использовать возможность автоматического изменения порядка и комплекта вопросов, а так же возможность возврата на более ранние этапы тестирования, в зависимости от ответов учащегося (студента) на конкретные вопросы. Ниже приведенная схема иллюстрирует примерную модель такой «ветвящейся» тестирующей системы, дающей возможность достаточно высокой степени дифференциации процесса тестирования.

Одновременно, данная система создания тестов не может быть зависима от унифицированных критериев оценки знаний. Она должна позволить преподавателю самому, в каждом конкретном случае, выбирать «бальный» или «процентный» методы оценки и критерии представления результатов тестирования, в зависимости от конкретной темы и предметной области.

 

Учебник Смирнова:

Педагогический контроль выполняет много функций в педагогическом процессе: оценочную, стимулирующую, развивающую, обучающую, диагностическую, корректирующую, воспитательную и др. Процесс контроля - одна из наиболее трудоемких и ответственных операций в обучении, связанная с острыми психологическими ситуациями как для учащегося, так и для преподавателя. Назначение и способы использования технических средств контроля (ТСК) можно уяснить, если сопоставить, с одной стороны, возможности ТСК, а с другой - требования учебного процесса.

 

Действие приспособлений для некомпьютерных ТСК основано на сравнении кодов, заранее установленных в приспособлении, с теми кодами, которые вводит учащийся при ответах на контрольные вопросы (или задачи). Результат каждого такого сравнения выдается в двоичной форме: "да - нет", "верно - неверно". Затем по заранее заданному соотношению верных и неверных ответов фиксируется общий итог.

 

М.Б. ЭТО ПРО ОШИБКИ, ДОПУСКАЕМЫЕ ПРИ КОПМ.ТЕСТИРОВАНИИ:

Главная проблема любых (в том числе компьютерных) технических средств контроля - невозможность анализа смыслового содержания ответов учащихся на поставленные вопросы, когда ответы вводятся на естественном языке.

 

Наибольшее распространение получил выборочный ответ, или ответ с множественным выбором. Оставляя в стороне вопрос о педагогичности такого контроля (об этом несколько подробнее ниже), отметим следующее:

а) такой способ проверки пригоден и возможен не для любого учебного материала; наиболее удобно его использовать для проверки легко формализуемых знаний;

б) этот способ накладывает существенные ограничения на форму постановки вопроса и, главное, требует создания достаточно продуманной в дидактическом и смысловом отношении группы возможных вариантов ответов; задача эта довольно сложная и весьма трудоемкая;

в) при выдаче ответа на поставленный вопрос учащийся не создает свой вариант, а производит сравнение предложенных вариантов ответов и выбирает из них тот, который ему представляется правильным. Это накладывает свой отпечаток на характер мыслительной деятельности при формировании ответа. Считать такую мыслительную деятельность второсортной нельзя, но чтобы она носила не тривиальный, а, по возможности, творческий характер, необходимо тщательно продумать серию предлагаемых вариантов ответов.

 

Компьютерный контроль обладает универсальностью и имеет ряд важных отличительных особенностей. Они определяются той программой, которая создана для этой цели. Главная трудность в создании компьютерных программ контроля состоит в выходе за рамки возможностей традиционного выборочного ответа на вопросы контролирующей программы. Если оставаться в пределах обычных (неинтеллектуальных) компьютерных программ, то при переходе к компьютерному контролю появляются дополнительные возможности организации ввода ответов (кроме выборочного) и, соответственно, расширяются способы постановки контрольных вопросов (заданий). К новым возможностям относятся следующие:

1) постановка вопросов, требующих ответа в числовой форме с удержанием в ответе нужного числа знаков;

2) применение вопросов, требующих наличия в ответе определенных ключевых слов (или маски, шаблона слов), по наличию которых устанавливается факт верного ответа;

3) применение вопросов, требующих ввода последовательности ключевых слов в определенном или произвольном порядке в заданных или произвольных грамматических формах;

4) применение вопросов, требующих ввода математических формул, записанных в любой корректной форме;

5) применение ответов, требующих проверки правильности выполнения тождественных математических преобразований;

6) использование текстовых ответов, требующих проверки истинности или ложности логических формул, в которые входят заранее определенные содержащиеся в ответе термины в нужных логических связках;

7) применение вопросов, требующих ввода ответа, составленного путем выбора отдельных структурных частей (из заданных наборов элементов), составляющих полный ответ.

 

Основные достоинства компьютерных программ состоят в их гибкости, простоте изменений контролирующей программы, богатом арсенале новых сервисных возможностей, делающих работу с такими программами удобной на практике. Перечислим основные из этих возможностей:

1) простота заполнения базы контрольных заданий и внесения изменений в эту базу;

2) свобода в создании наборов проверочных заданий с различным числом вопросов в каждом наборе, а также возможность автоматизации создания тематических наборов случайных вопросов с заранее заданной средней трудностью или набора заданий с ограничениями по минимальному и максимальному уровню трудности;

3) выбор способа предъявления заданий студенту, когда задания выдаются в порядке, ранжированном по трудности, а также с чередуемой трудностью в определенном или случайном порядке;

4) выбор способа и порядка предъявления заданий: по одному, группами, всего перечня сразу (целостного задания) с определенным или случайным расположением в наборе;

5) выбор способа сообщения результатов проверки студенту: после каждого вопроса (успех/неуспех), после выполнения всего задания, с выводом текущего среднего балла, выводом окончательной оценки или результата после завершения ответов;

6) возможность ввода ограничений по времени предъявления заданий и времени, отводимого на ввод ответов;

7) разнообразие выводимых на экран компьютера реплик-реакций (в том числе в виде анимизированных значков), зависящих от правильности каждого из введенных ответов;

8) возможность запроса студентом помощи для создания ответа с дифференцированным учетом штрафных баллов за каждую подсказку;

9) полная автоматизация учета ответов с заданием способа статистической обработки результатов по отдельному студенту и группе в целом; ранжирование результатов по ответам группы;

10) обеспечение возможности автоматического анализа качества упражнений, в частности отбраковки чрезмерно простых или излишне сложных по задаваемым преподавателем критериям, а также проверка правильности априорно назначенной трудности вопроса;

11) представление (вывод) нужных для преподавателя данных отчетности в наглядной графической форме с заданием (выбором) вида итоговых диаграмм.

 

16. Составьте тест и опишите его особенности.

 

Тест -стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого.

Тестирование

- метод контроля, который заключается в постановке перед учащимися некоторой системы вопросов, отвечая на которые учащиеся проявляют уровни учебных знаний и умений, психического развития, социального опыта.

- стандартизированная процедура объективного измерения образовательных достижений испытуемого по различным учебным предметам.

По ответам тесты делятся на тесты с ответами:

Открытого типа:

1. Задания свободного изложения (примером являются задания неоконченных предложений).
2. Задания- дополнения (для каждого пропущенного слова ставится отдельное многоточие).

Закрытого типа:

3. Альтернативный тип ответов (АО).

Испытуемый должен выбрать один из вариантов ответов «да» или ««нет».

2. Задачи с множественным выбором (предполагают наличие вариативности в выборе, чтобы было не менее 3-х правдоподобных ответов).

3. Задачи соответствия (необходимо найти или приравнять части, элементы, понятия двух списков).

4. Аналогии.

5. Задания на исключение лишнего (найти общие закономерности между элементами и сделать вывод об их подобии или различии).

6. Последовательности (на завершение последовательности)

Закрытые задания, наиболее часто встречающиеся на практике, состоят из двух частей:

• основной части, содержащей утверждение или вопрос;

• вариантов выбора, или некоторого количества возможных ответов, из которых тестируемый должен выбрать правильный ответ.

Формы тестовых заданий

I. Закрытая форма.

Задание содержит основную часть и ответы, сформулированное составителем. Инструкция указывает: найти номер правильного ответа. Задание содержит два-три правильных ответа. Эта форма технологична, так как позволяет выявить определенный объем знаний.

ТРЕБОВАНИЯ К ТЕСТУ ЗАКРЫТОЙ ФОРМЫ

Стандартная инструкция.

Равная правдоподобность заданий.

Полная ясность текста (не должно быть разночтений).

Предельная краткость (5-6 слов).

Простая стилистическая конструкция.

В задание включается больше слов, чем в ответ.

Все ответы, правильные и неправильные, должны быть равны по длине.

Исключаются вербальные ассоциации, способствующие выбору правильного ответа.

Исключаются лишние слова.

Необходимо проверять не одно знание, а несколько.

Необходимо наличие одной стандартной инструкции (например, обведите кружком номер правильного ответа).

Правильный ответ должен быть только один.

Не должно быть противоречий между основной частью и ответами (например, на космонавта в Космосе действуют:

- сила тяжести;

- сила точки опоры;

- не действуют никакие силы).

Исключить повторяющиеся слова в ответах: основная земледельческая зона расположена:

- в зоне тайги;

- в лесостепной зоне;

- в зоне смешанных лесов,

П. Открытая форма. Студент сам формулирует ответ, словесный или графический. Эти тесты хороши для текущего контроля. Инструкция к ним гласит: "Дополните...".

ТРЕБОВАНИЯ К ТЕСТУ ОТКРЫТОЙ ФОРМЫ

Дополняющее слово ставится в конце.

Оно должно быть единственным.

Все прочерки должны быть одинаковой длины. Например:

Первым греческим философом был______________.

Соли высших жирных кислот называются_____________.

Скорость света в вакууме равна_____________.

III. Задания на соответствие.

Задание содержит два множества, правый столбик - для выбора, левый - для ответа. В правом на 1-2 элемента больше. Инструкция - установить соответствие.

Например: реплики высказывания авторы

IV. Задания на установление правильной последовательности (тесты хороши для технических специальностей, так как содержат знание алгоритма).

Инструкция: установить правильную последовательность сборки.

Например: В столбце не по порядку даются названия деталей и частей механизма.

Оценка тестов может быть:

· полигамическая, если из 10 заданий одно неправильное, то сумма баллов равна 9;

· дихотомическая (сделал - 1, не сделал - 0).