Ii . Обработка отдельных субтестов

 

Субтетст 1. Правильными признаются только те способы решения, которые обозначены в шаблоне. Задания, в которых необходимо выполнить две или несколько инструкций, оцениваются как ошибочные, если хотя бы одна инструкция в этом задании выполнена неправильно.

Например, в задании 5 теста 1А необходимо вписать слово “восходит” в предложение “Солнце …………….. на востоке” и не ставить крестик в пропущенное место. Если ребенок правильно вписал слово “восходит”, но в то же время не выполнил первого условия, то задание 5 считается выполненным неправильно и при первичной обработке цифра 5 в тестовой тетради зачеркивается. Точно так же ошибкой считается, если ребенок правильно не поставил крестик, но дополнил предложение не так как указано в шаблоне.

За каждое правильно выполненное задание ученик получает 1 балл, таким образом, максимально возможная оценка за выполнение субтеста составляет 20 баллов.

Субтест 2. За каждую правильно решенную задачу ученик получает 1 балл. Правильные ответы приведены в шаблоне. Максимальное количество баллов, которое ученик может получить за выполнение данного субтеста, равно 20.

Субтест 3. Задание считается выполненным неправильно, если в предложении не хватает одного слова или хотя бы одно слово дополнено неправильно, или вписаны два слова вместо одного. Грамматически неправильное дополнение оценивается как ошибка. Ошибки правописания не учитываются. Наряду со словами, приведенными в образце, могут встречаться и другие, которые можно признать правильными, если они – синонимы. В некоторых случаях встречаются индивидуальные решения, которые признаются правильными, если они по смыслу и грамматике верны.

За каждое правильно выполненное задание ученик получает 1 балл. Максимальное количество баллов за выполнение субтеста составляет 20 баллов.

Субтест 4. Подсчет баллов за выполнение данного субтеста несколько отличается от остальных. За каждую правильно поставленную букву (Р или С) ученику начисляется 1 балл, однако при подсчете общего результата за выполнение субтеста из количества правильных решений вычитается количество ошибок. Таким образом, при правильном выполнении всех заданий субтеста ученик может получить максимальный балл, равный 40. В то же время минимальный результат, равный 0 баллов, может быть получен учащимся при одинаковом количестве правильных и ошибочных решений. 0 баллов ученик получает и тогда, когда количество ошибочных решений превышает число правильно выполненных.

Субтест 5. При выполнении заданий субтеста каждый арифметический ряд должен быть продолжен двумя числами. Если проставлено только одно число, то решение считается неправильным. Если ряд продолжен более чем двумя числами, то при оценке учитываются только два первых. За каждое правильно выполненное задание ученику начисляется 1 балл, т.е. максимальный результат за выполнение данного субтеста составляет 20 баллов.

Субтест 6. Успешным считается такое решение задания, когда из четырех слов ответа подчеркнуто правильное (приведенное в шаблоне). Если из четырех слов ответа подчеркнуты два или больше слов и ни одно из них не обозначено каким-либо особым образом, то решение считается неправильным. Общий балл за выполнение субтеста равен количеству правильно выполненных заданий. Максимальный суммарный балл равен 40.

Субтест 7. При оценке выполнения данного субтеста количество правильных ответов умножается на константу 0,2 и результат округляется до целого числа. Так, если ученик правильно закодировал 102 значка, то его общий результат за выполнение субтеста равен 102 х 0,2 = 20,4, т.е. 20 баллам. Максимальный балл за выполнение данного субтеста составляет 200 х 0,2 = 40 баллов.

 

После обработки указанными выше способами каждого субтеста количество правильно выполненных заданий вписывается в свободную клетку, расположенную справа внизу под текстом каждого субтеста и обозначенную буквой “П”, В клетку, обозначенную буквой “О”, записывается количество ошибок.

Для записи результатов субтеста 4 кроме количества правильно и ошибочно выполненных заданий вычисляется также и их разность, которая записывается в клетку, обозначенную как “П-О”.

В субтесте 7 в клетку, обозначенную буквой “П”, вписывается балл, полученный в результате умножения количества правильных ответов на константу 0,2 и последующего округления.

 

АНАЛИЗ РЕЗУЛЬТАТОВ

I. КОЛИЧЕСТЕННЫЙ АНАЛИЗ

 

После обработки и определения первичных показателей по отдельным субтестам результаты переносятся в таблицу на 1-й странице тестовой тетради и складываются. В результате получается общий первичный показатель. В соответствующие колонки вносятся также ошибки и суммируются. Для суммы ошибок по всем субтестам пока точных норм нет. Ориентировочно количество ошибок оценивается так: от 0 до 5 – очень мало; 10–25 – среднее их количество; свыше 35 ошибок – очень большое количество. С возрастом количество ошибок уменьшается.

Далее подсчитывается процент правильно выполненных заданий как по каждому субтесту в отдельности, так и по тесту в целом. Эти сведения переносятся в соответствующие колонки таблицы на 1-й странице тестовой тетради.

Кроме того, проводится графическое изображение результатов на сетке, расположенной рядом с колонками первичных баллов и их процентов. Для этого на сетку наносятся точки, соответствующие проценту правильно выполненных заданий по каждому субтесту. После нанесения точек вычерчивается график, отражающий индивидуальную структуру умственного развития школьника.

Для оценки индивидуальных результатов детей используется понятие эмпирически выделенной возрастной нормы. Для российских школьников возрастная норма расположена: для пятиклассников в интервале от 80 до 100 баллов, для шестиклассников – от 90 до 110 баллов. Если баллы по тесту у учащегося 5-го класса расположены в интервале 60–79 баллов, то уровень его умственного развития оценивается как близкий к нормальному (немного ниже нормы). Если уровень выполнения оценивается 40–59 баллами, то это свидетельствует о низком умственном развитии. Если балл ниже 39, то умственное развитие признается очень низким. Балл выше 100 указывает на высокое умственное развитие ребенка.

Для шестиклассников уровень выполнения теста оценивается следующим образом: возрастная норма 90–110 баллов; немного ниже нормы – 70–89 баллов; низкий уровень умственного развития – 50–69 баллов; очень низкий уровень – ниже 49 баллов; высокий уровень умственного развития – выше 110 баллов.

Для удобства оценки уровня интеллектуального развития ребенка индивидуальные результаты можно представить в виде следующей таблицы:

 

	Очень низкий	Низкий	Близкий к нормальному	Возрастная норма	Высокий
Для 5 кл-ов	ниже 39	40-59	60-79	80-100	выше 100
Для 6 кл-ов	ниже 49	50-69	70-89	90-110	выше 110

 

 

II. КАЧЕСТВЕННЫЙ АНАЛИЗ

 

Уже в начале 90-х г. в лаборатории Е.М.Борисовой был проведен качественный анализ по результатам тестирования около 200 учащихся 5-х классов московских и подмосковных школ [2]. Далее этот качественный анализ будет представлен.

Дополнительно в 2001 г. специалистами регионального социопсихологического центра Самарской области был осуществлен лингвистический анализ всех субтестов и психологический анализ на основе методологии учебных задач известного чешского психолога Даны Толлингеровой. Причем, не менее интересная информация была получена при сравнении двух форм (А и Б) ГИТ.

Напомним, что Д.Толлингерова предложила по аналогии с классификацией Блюма таксономию учебных задач, разделенных по их оперативной структуре, то есть по операциям, необходимым для их решения […]. Учебные задачи в ней разделены на пять категорий содержащих 27 типов учебных задач (взято из “Методов программированного обучения”):

          ТАКСОНОМИЯ УЧЕБНЫХ ЗАДАЧ ПО Д.ТОЛЛИНГЕРОВОЙ

1.00 Задачи, требующие мнемического воспроизведения данных:

1.1 задачи по узнаванию

1.2 задачи по воспроизведению отдельных фактов, чисел, понятий

1.3 задачи по воспроизведению дефиниций, норм, правил

1.4 задачи по воспроизведению больших текстов блоков, стихов, таблиц, и т.п.

2.00 Задачи, требующие простых мыслительных операций с дан­ными:

2.1 задачи по выявлению фактов (измерение, взвешивание, простые исчисления и т.п.)

2.2 задачи по перечислению и описанию фактов (исчисление, перечень и т.п.)

2.3 задачи по перечислению и описанию процессов и способов действий

2.4 задачи по разбору и структуре (анализ и синтез)

2.5 задачи по сопоставлению и различению (сравнение и разделение)

2.6 задачи по распределению (категоризация и классификация)

2.7 задачи по выявлению взаимоотношений между фактами (причина, следствие, цель, средство, влияние, функция, полезность, инструмент, способ и т.п.)

2.8 задачи по абстракции, конкретизации и обобщению

2.9 решение несложных примеров (с неизвестными величи­нами и т.п.)

3.00 Задачи, требующие сложных мыслительных операций с данными:

3.1 задачи по переносу (трансляция, трансформация)

3.2 задачи по изложению (интерпретация, разъяснение смыс­ла, значения, обоснование)

3.3 задачи по индукции

3.4 задачи по дедукции

3.5 задачи по доказыванию (аргументацией) и проверке (верификацией)

3.6 задачи по оценке

4.00 Задачи, требующие сообщения данных:

4.1 задачи по разработке обзоров, конспектов, содержания и т.д.

4.2 задачи по разработке отчетов, трактатов, докладов и т.п.

4.3 самостоятельные письменные работы, чертежи, проекты и т.п.

5.00 Задачи, требующие творческого мышления:

5.1 задачи по практическому приложению

5.2 решение проблемных задач и ситуаций

5.3 постановка вопросов и формулировка задач или заданий

5.4 задачи по обнаружению на основании собственных наблюдений (на сенсорной основе)

5.5 задачи по обнаружению на основании собственных размышлений (на рациональной основе)

 

К первой категории относятся задачи, требующие от учащегося мнемических операций, содержание которых предусматривает узнавание или репродукцию отдельных фактов или их це­лого.

Во вторую категорию включены задачи, при решении которых уже необходимы элементарные мыслительные операции. Это задачи по выявлению, перечислению, сопоставлению, обобщению и т.п.

Третья категория охватывает задачи, решение которых требует сложных мыслительных операций. Сюда относятся задачи по индукции, дедукции, интерпретации, верификации и др. Следует указать, что к категории 3.1 относятся все задачи, в которых учащиеся должны перевести что-то с одного “языка” на другой, например, выразить словами формулу, прочитать что-либо, перевести текст с родного языка на ино­странный и т.д.

В четвертую категорию включены задачи, предусматривающие для их решения помимо мыслительных операций еще какой-нибудь речевой акт: устный или письменный. Следовательно, сюда относятся все задачи, требующие не только проведения определенных операций, но и высказываний о них. Учащийся в этих задачах дает показание не только о результате решения, но также и о его ходе, условиях, фазах, компонентах, трудностях и т.д.

В пятую категорию входят задачи, которые предполагают самостоятельность при решении задач.

Основными понятиями и операциями в приводимой методологии являются:

Таксация — обозначение задачи одним из чисел настоящей классификации (таксономии).

Индекс вариабельности задач — отношение числа подлинно встречающихся типов задач к числу возможных. 

Размещение в таксономии — запись частоты задач отдельного типа.

Дидактическая ценность теста — проведение всех трех операций и сравнение с дидактическим замыслом разработчика теста.

При выполнении качественного анализа заданий ГИТ при помощи методологии Д.Толлингеровой нами была проведена таксация всех заданий каждого субтеста, вычислен индекс вариабельности каждого субтеста и всего теста в целом, сделаны выводы.

Приведем описание субтестов ГИТ с качественным анализом каждого из них:

 

В первом субтесте (“Исполнение инструкций”) необходимо как можно быстрее и точнее выполнить ряд простых указаний (например, подчеркнуть самое большое из чисел, оценить число букв в трех словах и подчеркнуть то, которое является самым длинным, и т.д.). По мнению Е.М.Борисовой и Г.П.Логиновой, для правильного выполнения всех заданий испытуемому требуются элементарные знания в объеме 3-го класса средней школы, а сложность при выполнении субтеста может состоять в том, чтобы быстро понять смысл инструкции и как можно точнее ее выполнить. Т.к. субтест содержит элементарные задания, то анализ ошибок не дает нам достаточной информации об уровне умственного развития ребенка. Этот субтест характеризует в большей степени динамику протекания мыслительных процессов, нежели их содержательную сторону.

В работе В.Т.Козловой [15] было показано, что успешность выполнения заданий на понимание инструкций отражает не уровень умственного развития испытуемого, а выраженность свойства лабильности нервной системы, проявляющейся в мыслительно-речевой деятельности. Это свойство в определенной степени может послужить основой для быстрого овладения понятиями и умственными действиями. Ссылаясь на работы В.Т.Козловой, Е.М.Борисовой и Г.П.Логиновой было отмечено, что субтест в большей степени характеризует динамику протекания мыслительных процессов и успешность выполнения субтеста зависит от скорости протекания этих мыслительных.

 

В субтесте можно выделить следующий виды заданий:

 

	Форма А	Форма Б
- выполнение простой инструкции;	– № 1, 2, 3, 4, 7, 8	…
- выполнение сложной инструкции путем осуществле-ния самостоятельного логического выбора;	– № 5, 6, 9, 10, 11, 12, 13, 14, 15, 16, 19, 20	…
- отнесенность заданий к разным областям знаний, осведомленность;	– № 5, 6, 9, 13, 15,    16, 19, 20	…
- отнесенность заданий к разным школьным пред-метам:
Математика	– № 12, 17	…
Русский язык	– № 5, 16, 18	– № 6, 16, 18

 

Проведя анализ субтеста на основе методологии Д.Толлингеровой, можно отметить, что задания субтеста требуют от учащихся не только элементарных знаний в объеме 3-го класса, и, следовательно, результат выполнения этих заданий может дать дополнительную информацию об уровне умственного развития ребенка. Таксация заданий 1-го субтеста выглядит следующим образом (форма А):

 

№ задания	1.1	1.2	1.3	1.4	2.1	2.2	2.3	2.4	2.5	2.6	2.7	2.8	2.9	3.1	3.2	3.3	3.4	3.5	3.6	4.1	4.2	4.3	5.1	5.2	5.3	5.4	5.5
1		+
2									+
3								+
4									+
5													+						+
6													+						+
7								+
8								+
9					+																			+
10									+
11		+
12					+														+
13									+		+
14								+	+		+													+
15		+																	+
16																			+
17					+				+
18									+			+
19								+			+
20								+			+
	8,8 %				70,6 %									14,7 %						-			5,9 %

 

Так задания №1 и 11 – это задания на воспроизведение отдельных фактов (1.2 согласно таксономии Д.Толлингеровой) и, следовательно, они относятся к самой низкой первой категории. При выполнении заданий №2, 3, 4, 7, 8, и 10 ребенку приходится выполнять уже одну из простых мыслительных операций: несложный разбор данных или их сопоставление (2.4, 2.5). Выполняя задания №13, 17, 18, 19, 20, ребенок выполняет несколько мыслительных операций второго уровня в различном их сочетании (2,4, 2.5, 2.7, 2,8), а задания №5, 6, 9, 12, 14, 15 – несколько мыслительных операций различных уровней, причем 9 и 14 можно отнести к проблемным заданиям (5.2), так они содержат избыток информации.

Анализ субтеста показал, что около 15% всех заданий обязательно содержат оценку данных в инструкции (3.6), что предполагает наличие в этих заданиях третьего уровня когнитивной сложности, и, следовательно, они вряд ли могут быть оценены как простые.

Отметим, что существенных отличий в содержании данного субтеста по формам А и Б не обнаружено. В форме Б, по сравнению с формой А, лишь переставлены местами первые два задания.

Всего из проводимых учащимися действий около 9% относятся к первому уровню когнитивной сложности согласно таксономии Д.Толлингеровой, около 71% - ко второму уровню, около 15% - к третьему, около 6% - к пятому. Индекс вариабельности (ИВ) = 0.26.

Второй субтест (“Арифметические задачи”) – содержит 20 заданий, построен по принципу теста достяжений. Он выявляет овладение учащимися конкретными учебными навыками в области математики и, следовательно, по мнению Е.М.Борисовой и Г.П.Логиновой, качественный анализ этого субтеста представляет интерес не столько для психолога, сколько для педагога.

Независимо от формы ГИТ (А или Б) все задачи можно разделить по сложности их выполнения на:

- простые арифметические задачи на выполнение одного какого-либо действия;	– № 1,2,4,5
- задачи в несколько действий или со сложными схемами смешанного типа.	– № 3,6,7,8,9,10,11,12,13,14,15,16,   17,18,19,20

 

Проведенный нами качественный анализ субтеста на основе методологии Д.Толлингеровой позволил дополнить информацию. Таксация заданий 2-го субтеста выглядит следующим образом (Форма А):

 

№ задания	1.1	1.2	1.3	1.4	2.1	2.2	2.3	2.4	2.5	2.6	2.7	2.8	2.9	3.1	3.2	3.3	3.4	3.5	3.6	4.1	4.2	4.3	5.1	5.2	5.3	5.4	5.5	замечания
1					+
2											+
3					+
4					+
5											+																	Некор.сфор. задание
6											+
7											+
8								+			+
9								+					+															Некор.сфор. задание
10											+
11													+
12													+
13													+
14											+
15													+			+
16													+
17													+
18																							+
19								+															+
20								+															+
	-				84 %									4 %						-			12 %

 

Как видно из таблицы, лишь три задания данного субтеста относятся к заданиям, содержащих простые исчисления (2.1 согласно таксономии Д.Толлингеровой). Большинство остальных заданий можно отнести к заданиям, содержащим условие (2.7) или неизвестные величины (2.9), причем для решения заданий №8, 9 дополнительно предполагается наличие умения у учащихся анализировать условия задач (2.4), для решения задания №15 – индуктивные умения (3.3), а для решения заданий №18, 19, 20 — умения применять знания на практике.

Существенных отличий в содержании данного субтеста по формам А и Б не обнаружено, в форме Б изменено расположение некоторых заданий, по сравнению с формой А. Однако как в форме А так и в форме Б присутствуют, на наш взгляд, некорректно поставленные вопросы, которые могут быть поняты детьми неоднозначно (задания 5 и 9), что может оказать существенное влияние на ход решения задачи.

Всего из проводимых учащимися действий 84% относятся ко второму уровню когнитивной сложности согласно таксономии Д.Толлингеровой, 4% - к третьему уровню, 12% - к пятому уровню. ИВ данного субтеста = 0.24.

 

В третий субтест (“Дополнение предложений”) содержит 20 заданий, представляющих собой предложения с пропущенными словами. Эти пропуски должен самостоятельно заполнить сам школьник. В субтест включены простые распространенные, сложносочиненные и сложноподчиненные предложения, в которых пропущены главные и второстепенные члены предложений, или союзы, частицы и предлоги. В каждой форме ГИТ в соответствии с конструкцией предложения можно выделить:

 

Характеристика предложения	форма А (№ зад.)	форма Б (№ зад.)
1 - простое предложение с пропущенным главным членом (глагольным сказуемым)	1	1
2 - простое предложение с пропущенным главным членом (именным сказуемым)	2	3
3 - простое предложение с пропущенным главным членом (именным сказуемым)	3	2
4 - простое предложение с пропущенными главными членами (подлежащим и сказуемым, которое является также частью группы однородных членов предложения)	4	10
5 - простое предложение с пропущенными главными членами (подлежащим и сказуемым, которое является также частью группы однородных членов предложения)	5	5
6 - простое предложение с пропущенными второстепенными членами (дополнением) и служебными словами (союзом). Логические связи языка, знание синтаксиса - наличие союза или с предшествующей запятой - знак использования парного союза «или-или» (т.к. при одиночном союзе «или» запятая не ставится).	6	4
7 - сложноподчиненное предложение с пропущенными главными (сказуемое) и второстепенными членами (союзное слово, дополнение).	7	9
8 - сложноподчиненное предложение с пропущенными главными (подлежащее в варианте Б) и второстепенными членами (определение в варианте А) и служебными словами (союз, предлог).	8	8
9 - сложноподчиненное предложение с пропущенными главными (именное сказуемое в придаточном предложении) и второстепенными (союзное слово) членами предложения	9	6
10 – сложноподчиненное предложение с пропущенными главными членами предложения (именное сказуемое – А, простое глагольное сказуемое – Б) и служебными словами - союзами («но», «потому что»), частицами («бы»).	10	13
11 – простое предложение с пропущенными главным (часть составного именного сказуемого – А., именное сказуемое – Б) и второстепенным (дополнение) членами предложения.	11	12
12 - простое предложение с пропущенными главным (подлежащее) и второстепенным (дополнение) членами предложения.	12	7
13 – простое предложение с пропущенными главными (именное сказуемое) членами предложения и служебными словами (союзы).	13	11
14 – простое предложение с пропущенными второстепенными членами предложения (дополнения, определение)	14	14
15 – сложноподчиненное предложение с пропущенными главными (сказуемое) и второстепенными (обстоятельство – А, дополнение – Б) членами предложения, служебными словами (союз)	15	15
16 – простое предложение с пропущенными главными (часть составного глагольного сказуемого) и второстепенными членами (дополнения, отрицательная частица) членами предложения.	16	16
17 - сложноподчиненное предложение с пропущенными главными (сказуемое) и второстепенными (в Б - обстоятельство) членами предложения и служебными словами (в А - союз)	17	17
18- сложноподчиненное предложение с пропущенными главными членами предложения (именное сказуемое и часть составного глагольного сказуемого).	18