Правила для председателя ПК при рассмотрении апелляций о несогласии с выставленными баллами по ГИА.

Председатель ПК должен:

получить от председателя КК апелляционный комплект участника экзамена до заседания КК;

получить от руководителя РЦОИ критерии оценивания выполнения заданий с развернутым ответом варианта КИМ, по которому сдавал экзамен участник экзамена, подавший апелляцию, до заседания КК организовать работу экспертов ПК
по установлению правильности оценивания заданий с развернутым и (или) устным ответом и (или) о необходимости изменения баллов за выполнение задания с развернутым и (или) устным ответом;

назначить на рассмотрение апелляции экспертов ПК, которым в текущем году присвоен статус «ведущий эксперт» или «старший эксперт», имеющих опыт «первой-второй» и «третьей» проверки в текущем году, и передать им вышеуказанные материалы;

узнать у ответственного секретаря КК дату, место и время заседания КК, а также о присутствии на заседании КК по рассмотрению апелляций апеллянтов и (или) их родителей (законных представителей);

направить экспертов ПК, назначенных на рассмотрение апелляции и принимавших участие в работе по установлению правильности оценивания развернутых и (или) устных ответов и (или) о необходимости изменения баллов за выполнение заданий с развернутым и (или) устным ответом апеллянтов, в КК на заседание КК в указанное время (в случае присутствия на заседании КК апеллянтов и (или) их родителей (законных представителей);

передать председателю КК апелляционные комплекты документов и заключения экспертов ПК после проведения экспертами ПК соответствующей работы по установлению правильности оценивания экзаменационной работы в тот же день;

оперативно передавать в уполномоченную Рособрнадзором организацию (ФИПИ) информацию об обнаружении некорректных (по мнению председателя ПК) заданиях с обязательным указанием номера варианта КИМ (или номера КИМ), номера задания и содержания замечания.

Решение о корректности задания и об изменении баллов участникам экзаменов, выполнявшим его, в случае признания задания некорректным принимается Рособрнадзором. В случае признания задания некорректным всем участникам экзаменов, которые выполняли данное задание, проводится перерасчет баллов в соответствии с распорядительным актом Рособрнадзора.

6.5. Правила для экспертов ПК

Во время работы экспертам запрещается:

самостоятельно изменять рабочие места;

иметь при себе средства связи, фото-, аудио- и видеоаппаратуру;

копировать и выносить из помещений для работы ПК экзаменационные работы, критерии оценивания, бланки-протоколы;

     разглашать информацию, содержащуюся в указанных выше материалах.                    По завершении проверки использованные экспертами материалы (за исключением бланков-протоколов) уничтожаются лицами, определенными руководителем РЦОИ.

Также запрещается:

без уважительной причины покидать аудиторию;

переговариваться с другими экспертами, если речь не идет о консультировании с председателем ПК или с экспертом, назначенным по решению председателя ПК, консультантом.

Эксперты должны:

на подготовительном этапе

1. пройти обучение с использованием учебно-методических материалов уполномоченной Рособрнадзором организации (ФИПИ) и подтвердить квалификацию в соответствии с требованиями Порядка, настоящих Методических рекомендаций, а также нормативных и методических документов ОИВ;

2. заблаговременно пройти инструктаж по содержанию и технологии оценивания развернутых ответов в сроки, определяемые председателем ПК;

3. непосредственно перед проверкой работ участвовать в проводимом председателем ПК оперативном семинаре-согласовании подходов к оцениванию развернутых ответов
на каждое из заданий с развернутым ответом.

Эксперты, не подтвердившие квалификацию и(или) не прошедшие инструктаж, и(или) не участвующие в оперативном семинаре-согласовании, к проверке развернутых ответов не допускаются.

Во время проверки развернутых ответов:

по указанию председателя ПК занять рабочие места в предоставленных аудиториях;

получить рабочие комплекты для проверки и критерии оценивания;

соблюдать дисциплину во время работы;                             

обратиться к председателю ПК или лицу, назначенному председателем ПК консультантом, если возникли вопросы или проблемы при оценивании экзаменационных работ;                                                                                                                                        оформлять бланки-протоколы в соответствии со следующими правилами: заполнять поля бланка-протокола следует печатными заглавными буквами черной гелевой ручкой строго внутри полей бланка-протокола;

не использовать для заполнения бланка-протокола карандаш (даже для черновых записей), ручек со светлыми чернилами и корректирующей жидкости для исправления написанного (наличие грифеля или корректирующей жидкости на сканируемом бланке может привести к серьезной поломке сканера);

исключить внесение исправлений в бланки-протоколы, при необходимости внесения изменений председатель ПК составляет акт о факте порчи протокола и направляет руководителю РЦОИ служебную записку о необходимости уничтожения испорченного протокола и распечатки нового;

оценивать часть экзаменационной работы, которая следует после хотя бы одной незаполненной участником ГИА страницы, как ответ на задание, к выполнению которого участник ГИА не приступал (знаком «Х »);

оценивать экзаменационную работу, в которой пустое (не заполненное участником экзамена) место погашено «Z», в установленном порядке в соответствии с критериями оценивания;

поставить знак «Х» в полях бланка-протокола, соответствующих позициям оценивания выполнения заданий, ответ на которые участник экзамена не внес в бланк ответов №2 (дополнительный бланк ответов №2);

проставить в соответствующее поле (поля) бланка-протокола соответствующий критериям оценивания балл (баллы) от нуля до максимально возможного, указанного в критериях оценивания выполнения заданий с развернутым ответом, если участник экзамена приступал к выполнению задания;

проставить в соответствующее поле бланка-протокола номер выбранного участником экзамена (ЕГЭ) альтернативного задания, если участник экзамена (ЕГЭ) выполнял альтернативное задание;

поставить дату, подпись в соответствующих полях бланка-протокола и передать рабочий комплект председателю ПК для передачи на обработку после завершения заполнения бланка-протокола.

При проверке предположительно пустых бланков ответов № 2:

получить инструктаж руководителя РЦОИ (назначенного им сотрудника РЦОИ)
и председателя ПК о выполнении проверки предположительно пустых бланков ответов № 2;

просматривать с экрана изображения предположительно пустых бланков ответов № 2;

при наличии на изображении записей, знаков, рисунков или пометок, которые могут быть расценены как ответ на задание с развернутым ответом или подтверждение того, что участник ЕГЭ приступал к выполнению задания или имел возможность его выполнить, удостоверить (отметить в ПО), что изображение заполнено;

при отсутствии записей, относящихся к ответу на задания, удостоверить (отметить в ПО), что изображение не заполнено.

Изображения, определенные хотя бы одним из проверяющих экспертов как заполненные, направляются на проверку в ПК.

Задания с развернутыми ответами, засчитываются заданиями, к которым
не приступал участник экзамена, в случае, если изображения бланков ответов № 2 этого участника экзамена определены двумя проверяющими экспертами как незаполненные. В этом случае автоматизированно (посредством РИС) ответы оцениваются в ноль баллов за выполнение каждого задания с развернутым ответом.

При рассмотрении апелляций о несогласии с выставленными баллами по ГИА:

получить от председателя ПК апелляционный комплект участника экзаменов, подавшего апелляцию, а также изображения экзаменационной работы, бланк - протокол проверки экспертом заданий с устным ответом (форма 3-РЦОИ-У), копии протоколов проверки экзаменационной работы участника ГВЭ и критерии оценивания данной работы;

до заседания КК рассмотреть экзаменационную работу апеллянта, а также проанализировать предыдущее оценивание данной экзаменационной работы;

дать письменное заключение о правильности оценивания экзаменационной работы апеллянта или о необходимости изменения баллов за выполнение задания с развернутым
и (или) устным ответом с обязательным указанием на конкретный критерий оценивания, которому соответствует выставляемый ими балл;

узнать у председателя ПК дату, место и время заседания КК и прибыть в указанное время в КК (в случае присутствия на заседании КК апеллянтов и (или) их родителей (законных представителей);

в случае возникновения у апеллянта или у КК вопросов по оцениванию развернутых ответов дать соответствующие разъяснения. Время, рекомендуемое на разъяснения
по вопросам оценивания развернутых и/или устных ответов одного апеллянта - не более
20 минут;

в случае обнаружения ошибок или некорректных заданий в КИМ необходимо сообщить об этом председателю ПК с обязательным указанием номера варианта КИМ, номера задания и содержания замечания. 

Решение о корректности задания и об изменении баллов участникам экзаменов в случае признания задания некорректным принимается Рособрнадзором.

В случае признания задания некорректным всем участникам экзаменов, которые выполняли данное задание, осуществляется перерасчет баллов в соответствии с распорядительным актом Рособрнадзора.

Приложение 1. Рекомендуемые показатели согласованности оценивания для присвоения статуса экспертам

Ниже приведены ориентировочные показатели, вычисляемые по результатам квалификационных испытаний.

Данные показатели могут быть скорректированы с учетом особенностей учебных предметов.

Показатель: доля заданий/критериев оценивания, по которым оценки эксперта не совпали с оценками, выработанными при согласовании подходов к оцениванию развернутых ответов.

 

Рекомендуемые значения показателя для присвоения статуса экспертам.

 

Предмет	Максимальное значение показателя
	Ведущий эксперт	Старший эксперт	Основной эксперт
Русский язык	10%	15%	25%
Иностранные языки
Обществознание
Литература
Биология	10%	15%	20%
История
Физика	5%	7%	10%
Химия
Информатика и ИКТ
География
Математика	1%	5%	7%

 

Показатель: доля  позиций оценивания, расхождение в которых составило 2 и более балла по заданию/критерию оценивания.

 

Рекомендуемые значения показателя для присвоения статуса экспертам.

 

	Максимальное значение показателя
Ведущий эксперт	0
Старший эксперт	0

 

 

Приложение 2. Примерный план-график проведения мероприятий по подготовке экспертов и формированию ПК, подведения итогов работы ПК

№ п/п	Мероприятие	Срок
1.	Подготовка экспертов ПК к проверке экзаменационных работ ГИА 2018 года, проведение квалификационных испытаний, присвоение статуса экспертам ПК ГИА	До окончания марта 2019 года
2.	Предоставление в ФИПИ списков кандидатур председателей ПК	Для ПК по всем учебным предметам -       до 1 февраля 2019 года
3.	Согласование Рособрнадзором кандидатур председателей ПК	Для ПК по всем учебным предметам - до 15 февраля   2019 года
4.	Формирование ПК	Для ПК по всем учебным предметам - до 20 февраля 2019 года
5.	Вебинары ФИПИ для экспертов ПК субъектов Российской Федерации по согласованию подходов к оцениванию развернутых ответов участников экзаменов	Май-июнь  2019 года в соответствии с единым расписанием проведения ЕГЭ
6.	Проведение оперативного согласования оценивания развернутых ответов в ПК субъектов Российской Федерации	После получения критериев оценивания развернутых ответов
7.	Отбор экзаменационных работ участников экзаменов (ЕГЭ), вызвавших затруднения в оценивании, для включения  в учебно-методические материалы ФИПИ	В процессе проверки экзаменационных работ
8.	Проведение анализа работы ПК	Июль 2019 года
9.	Направление в ФИПИ информации о номерах работ, вызвавших затруднения при оценивании	Июль 2019 года

 

Приложение 3. Минимальный перечень направлений для анализа работы ПК

Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников экзаменов, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих уровень субъективности проверяющих экспертов.

При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:

1. Условия проведения проверки:

нахождение ПК в/вне здания РЦОИ, количество зданий, помещений, где размещается ПК;

количество аудиторий при работе ПК;

проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

работа экспертов-консультантов, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.);

наличие специально оборудованного в помещениях ПК рабочего места с выходом в информационно-телекоммуникационную сеть «Интернет» для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников экзаменов фактов; востребованность этого рабочего места;

прочее (в случае выявления условий, существенно влияющих на качество работы ПК).

2. Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта.

3. Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).

4. Общее количество проверок, проведенных ПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению ОИВ).

5. Общее количество экспертов ПК, задействованных при проверке экзаменационных работ в разные периоды проведения ГИА (досрочный, основной и дополнительный).

6. Общее количество экспертов ПК, задействованных при проверке апелляционных работ. Принцип отбора экспертов, привлекаемых к рассмотрению апелляций.

7. Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.

8. Общее количество экспертов, осуществлявших третью проверку.

9. Доля работ, направленных на третью проверку после проверки в ПК, т.е. без учета пустых экзаменационных работ (средний показатель по всей комиссии).

10. Максимальное и минимальное значение индивидуальных показателей экспертов «доля экзаменационных работ, направленных на третью проверку».

11. Максимальное и минимальное количество экзаменационных работ, проверенных одним экспертом.

12. Перечень экспертов, регулярно (более чем 5% проверяемых экзаменационных работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами:

случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 1.

№ позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	1	1	1	0	0	0	1	1	6
Эксперт 2	2	3	1	1	3	1	2	1	2	1	0	0	17

В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации
для каждого из экспертов пары, причины.

 

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 2.

№ позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	2	0	1	1	1	1	1	1	2	1	0	0	11
Эксперт 3	0	1	0	0	3	2	2	0	0	0	1	2	11

В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1
(16 баллов)  и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 3.

№ позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	0	1	1	0	3	3	2	0	0	0	1	1	12
ИТОГ	0	1	1	0	3	3	2	0	0	0	1	1	12
Эксперт на апелляции	2	3	1	0	3	2	2	1	1	1	1	2	19

В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.

другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

13. Результаты выборочной экспертизы председателем результатов оценивания развернутых ответов экспертами, показавших рассогласованную работу при проведении оценивания.

14. Плановое количество экспертов ПК в следующем году, плановое количество экспертов, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта), предполагаемые показатели согласованности работы экспертов для присвоения статуса экспертам ПК при проведении квалификационных испытаний.

15.Планируемые изменения в процессах подготовки экспертов, формировании ПК, организации процедуры оценивания работ относительно предыдущего года.

16.Основные выводы.