Оценочная стратегия и технические особенности оценки

ОСНОВНЫЕ ТРЕБОВАНИЯ

Стратегия устанавливает принципы и методы, которым должны соответствовать оценка и начисление баллов WSR.

Экспертная оценка лежит в основе соревнований WSR. По этой причине она является предметом постоянного профессионального совершенствования и тщательного исследования. Накопленный опыт в оценке будет определять будущее использование и направление развития основных инструментов оценки, применяемых на соревнованиях WSR: схема выставления оценки, конкурсное задание и информационная система чемпионата (CIS).

Оценка на соревнованиях WSR попадает в одну из двух категорий: измерение и судейское решение. Для обеих категорий оценки использование точных эталонов для сравнения, по которым оценивается каждый аспект, является существенным для гарантии качества.

Схема выставления оценки должна соответствовать процентным показателям в WSSS. Конкурсное задание является средством оценки для соревнования по компетенции, и оно также должно соответствовать WSSS. Информационная система чемпионата (CIS) обеспечивает своевременную и точную запись оценок, что способствует надлежащей организации соревнований.

Схема выставления оценки в общих чертах является определяющим фактором для процесса разработки Конкурсного задания. В процессе дальнейшей разработки Схема выставления оценки и Конкурсное задание будут разрабатываться и развиваться посредством интерактивного процесса для того, чтобы совместно оптимизировать взаимосвязи в рамках WSSS и Стратегии оценки. Они представляются на утверждение Менеджеру компетенции вместе, чтобы демонстрировать их качество и соответствие WSSS.

 

СХЕМА ВЫСТАВЛЕНИЯ ОЦЕНКИ

ОБЩИЕ УКАЗАНИЯ

В данном разделе описывается роль и место Схемы выставления оценки, процесс выставления экспертом оценки конкурсанту за выполнение конкурсного задания, а также процедуры и требования к выставлению оценки.

Схема выставления оценки является основным инструментом соревнований WSR, определяя соответствие оценки Конкурсного задания и WSSS. Она предназначена для распределения баллов по каждому оцениваемому аспекту, который может относиться только к одному модулю WSSS.

Отражая весовые коэффициенты, указанные в WSSS Схема выставления оценок устанавливает параметры разработки Конкурсного задания. В зависимости от природы навыка и требований к его оцениванию может быть полезно изначально разработать Схему выставления оценок более детально, чтобы она послужила руководством к разработке Конкурсного задания. В другом случае разработка Конкурсного задания должна основываться на обобщённой Схеме выставления оценки. Дальнейшая разработка Конкурсного задания сопровождается разработкой аспектов оценки.

В разделе 2.1 указан максимально допустимый процент отклонения, Схемы выставления оценки Конкурсного задания от долевых соотношений, приведенных в Спецификации стандартов.

Схема выставления оценки и Конкурсное задание могут разрабатываться одним человеком, группой экспертов или сторонним разработчиком. Подробная и окончательная Схема выставления оценки и Конкурсное задание, должны быть утверждены Менеджером компетенции.

Кроме того, всем экспертам предлагается представлять свои предложения по разработке Схем выставления оценки и Конкурсных заданий на форум экспертов для дальнейшего их рассмотрения Менеджером компетенции.

Во всех случаях полная и утвержденная Менеджером компетенции Схема выставления оценки должна быть введена в информационную систему соревнований (CIS) не менее чем за два дня до начала соревнований, с использованием стандартной электронной таблицы CIS или других согласованных способов. Главный эксперт является ответственным за данный процесс.

КРИТЕРИИ ОЦЕНКИ

Основные заголовки Схемы выставления оценки являются критериями оценки. В некоторых соревнованиях по компетенции критерии оценки могут совпадать с заголовками разделов в WSSS; в других они могут полностью отличаться. Как правило, бывает от пяти до девяти критериев оценки, при этом количество критериев оценки должно быть не менее трёх. Независимо от того, совпадают ли они с заголовками, Схема выставления оценки должна отражать долевые соотношения, указанные в WSSS.

Критерии оценки создаются лицом (группой лиц), разрабатывающим Схему выставления оценки, которое может по своему усмотрению определять критерии, которые оно сочтет наиболее подходящими для оценки выполнения Конкурсного задания.

Сводная ведомость оценок, генерируемая CIS, включает перечень критериев оценки.

 

Количество баллов, назначаемых по каждому критерию, рассчитывается CIS. Это будет общая сумма баллов, присужденных по каждому аспекту в рамках данного критерия оценки.

СУБКРИТЕРИИ

Каждый критерий оценки разделяется на один или более субкритериев. Каждый субкритерий становится заголовком Схемы выставления оценок. В каждой ведомости оценок (субкритериев) указан конкретный день, в который она будет заполняться. Каждая ведомость оценок (субкритериев) содержит оцениваемые аспекты, подлежащие оценке. Для каждого вида оценки имеется специальная ведомость оценок.

АСПЕКТЫ

Каждый аспект подробно описывает один из оцениваемых показателей, а также возможные оценки или инструкции по выставлению оценок. В ведомости оценок подробно перечисляется каждый аспект, по которому выставляется отметка, вместе с назначенным для его оценки количеством баллов.

● Сумма баллов, присуждаемых по каждому аспекту, должна попадать в диапазон баллов, определенных для каждого раздела компетенции в WSSS. Она будет отображаться в таблице распределения баллов CIS, в следующем формате (образец):

Критерий										Итог о балл ов за разде л WSS S		БАЛЛЫ СПЕЦИФИКАЦ ИИ СТАНДАРТОВ WORLDSKILLS НА КАЖДЫЙ РАЗДЕЛ	ВЕЛИЧ ИНА ОТКЛО НЕНИ Я
		A	B	C	D	E	F	G	H
	1	8									8	8	0
	2		4						1		5	5	0
Разделы
Специфик
						2
ации стандарта	3		2						1		5	5	0
WS
(WSSS)					1
	4			15							16	16	0
	5				1	15					16	16	0
	6				15						15	15	0

 

	7						5			5	5	0
	8							10		10	10	0
	9	7	2						11	20	20	0
Итого баллов за критерий		15	8	15	17	17	5	10	13	100	100	0

 

МНЕНИЕ СУДЕЙ (СУДЕЙСКАЯ ОЦЕНКА)

При принятии решения используется шкала 0–3. Для четкого и последовательного применения шкалы судейское решение должно приниматься с учетом:

● эталонов для сравнения (критериев) для подробного руководства по каждому аспекту

● шкалы 0–3, где:

▪ 0: исполнение не соответствует отраслевому стандарту;

▪ 1: исполнение соответствует отраслевому стандарту;

▪ 2: исполнение соответствует отраслевому стандарту и в некоторых отношениях превосходит его;

▪ 3: исполнение полностью превосходит отраслевой стандарт и оценивается как отличное

Каждый аспект оценивают три эксперта, каждый эксперт должен произвести оценку, после чего происходит сравнение выставленных оценок. В случае расхождения оценок экспертов более чем на 1 балл, экспертам необходимо вынести оценку данного аспекта на обсуждение и устранить расхождение.

ИЗМЕРИМАЯ ОЦЕНКА

Оценка каждого аспекта осуществляется тремя экспертами. Если не указано иное, будет присуждена только максимальная оценка или ноль баллов. Если в рамках какого-либо аспекта возможно присуждение оценок ниже максимальной, это описывается в Схеме оценки с указанием измеримых параметров.