Вы здесь

За кулисами ЦТ: в чьих руках находятся судьбы абитуриентов?


«Ваши машины оценили моего ребенка неправильно!», «Почему такой низкий результат? Наверное, произошел какой-то технический сбой?», «Задания на централизованном тестировании выходят за рамки школьной программы! Они некорректны. Им не хватает творчества!» Какие только обвинения ни звучали в адрес Республиканского института контроля знаний за годы проведения в нашей стране ЦТ. Естественно, что самое горячее время для всех сотрудников института - июнь - начало июля, когда появляются первые результаты ЦТ. В сети тут же начинаются попытки их анализировать, причем каждый трактует на свой лад. В институт звонят возмущенные родители, не согласные с баллами, которые получил ребенок. Особенно если репетитор давал семье самые оптимистичные прогнозы...

Чтобы сделать весь процесс подготовки и проведения ЦТ (от создания тестов до обработки результатов участников экзамена) максимально прозрачным, Республиканский институт контроля знаний (РИКЗ) регулярно организует семинары для педагогов на своей базе. Прошло уже около двух десятков таких встреч. Недавно его гостями стали специалисты отделов образования, спорта и туризма Сморгонского и Воложинского райисполкомов и руководители учреждений общего среднего образования из этих районов.


Пройти репетиционное тестирование, как компьютерное, так и бланочное, в Республиканском институте контроля знаний можно будет до конца мая. Инструкции абитуриентам дает инженер-программист Андрей Гайдук.

Тестология - серьезная наука

- Хочу сразу расставить точки над «і»: все разговоры о том, что содержание наших тестов выходит за рамки школьной программы, не соответствуют действительности. Еще никто не смог это доказать... Просто в том случае, если попытка поступления молодого человека оказывается неудачной, очень удобно обвинить тесты в чрезмерной сложности или некорректности. Полагаю, что отдельным репетитором, школьным учителям и даже некоторым родителям выгодно поддерживать эти мифы: репетиторы и учителя, чье профессиональное достоинство пострадало, оправдывают таким образом себя, а родители - низкую конкурентоспособность своих детей, - подчеркивает директор Республиканского института контроля знаний Николай Феськов. - У нас многие считают, что они знают, как можно сделать процедуру тестирования более совершенной, некоторые требуют внесения кардинальных изменений или в технологию, или в организацию централизованного тестирования, или в содержание тестов. Но чаще всего их предложения очень далеки от понимания этого вопроса, так как тестология - серьезная наука.

Между программой вступительных испытаний и тестом находится спецификация, которая формирует, так сказать, костяк будущего теста. В спецификации, которая разрабатывается для каждой дисциплины, подробно прописана вся структура будущего теста: количество заданий в частях А и В, сколько предусмотрено заданий на каждый раздел учебной программы, перечислены все учебные элементы, которые будут контролироваться. Спецификацию в свободном доступе можно найти на сайте РИКЗ.

Одно из главных преимуществ ЦТ перед традиционным экзаменом - более широкий охват школьного курса (примерно до 80 процентов), в то время как на экзамене абитуриенту предлагаются всего 3-5 вопросов.

- Но это вовсе не означает, что если, условно говоря, квадратных уравнений в наших тестах сегодня нет, то и завтра их там не будет, - предупреждает всех Николай Феськов. - Мы заметили, что если три-четыре года на ЦТ отсутствуют те же квадратные уравнения, то и учителя в школе перестают уделять им должное внимание. Это их ошибка...

Задача верификаторов - сверить каждую буковку и каждую цифру: правильно ли их распознал компьютер. Каждый бланк проходит тройную проверку.

Без излишнего внимания и ажиотажа

При создании тестов учитывается, что их формулировки и содержание должны быть логически корректными, а ответы - однозначными и исключать вариативность.

Авторами тестов выступают высококвалифицированные педагоги учреждений общего среднего образования, а комплексную оценку тестовым заданиям дают эксперты. И авторы, и эксперты подписывают обязательство о сохранении конфиденциальной информации сроком на 10 лет и неиспользовании этой информации в любом виде, в том числе и для занятий репетиторством.

- Они не публичные лица, иначе бы вокруг них был настоящий аншлаг, - улыбается Николай Феськов. - Я так сформулировал бы требования, предъявляемые к экспертам: это высокий профессиональный уровень плюс высокие моральные качества. Всех экспертов мы отбираем на конкурсной основе. Проводим с ними предварительное собеседование, предлагаем наши задания, слушаем их замечания и мнения. Человек, который претендует на включение в институт экспертов, должен досконально знать учебную программу, работать в школе определенное время и иметь своих выпускников, чтобы пройти с ними всю школьную программу от начала и до конца. Кроме того, мы привлекаем ученых-теоретиков. Например, взять ту же биологию, которая включает ботанику, зоологию, анатомию... Вряд ли можно найти одного специалиста по всем вышеперечисленным разделам школьной программы. Одно из обязательных условий - ни автор, ни эксперт не вправе заниматься репетиторством или какой-то другой формой подготовки абитуриентов, их дети не должны в текущем учебном году планировать поступление в вузы.

Экспертиза требуется, во-первых, для того, чтобы оценить соответствие тестовых материалов требованиям программ вступительных испытаний и содержанию учебников. Во-вторых, чтобы оценить точность отображения фактов и событий. Все спорные и субъективные точки зрения, допустимые в науке, в тестах исключаются. Кроме того, экспертами проверяется корректность и лаконичность формулировок, целесообразность использования иллюстраций и графических изображений.

Николай Феськов подчеркивает: «Поверьте, что никто больше чем мы не заинтересованы в высоком профессионализме авторов и экспертов, потому что именно от них в конце концов и зависит качество наших тестов. Тестовые задания - это все-таки не вопросы к параграфу в учебнике...»

Следующий этап - апробация тестовых материалов: это не только их проверка на пригодность и жизнеспособность, но и хорошая возможность познакомить будущих абитуриентов с новыми заданиями. По результатам апробации проводится статистическая обработка результатов участников тестирования и оценивается качество каждого задания. Те задания, которые имеют очень низкий процент выполнения (менее 5% от общего числа участников) выбраковываются. К «плохим» заданиям относятся и те, по которым стопроцентное выполнение демонстрируют более 5% от количества участников, - значит, они имеют очень низкую дифференцирующую способность и просто не позволят ранжировать претендентов на студенческий билет. И только после апробации новые задания попадают в общую базу.

Ризографы для размноживания тестовых материалов оснащены счетчиками оригинал-макетов и сделанных из них отпечатков. Ни одного лишнего отпечатка сделать невозможно. После окончания работы все мастер-пленки обязательно сжигаются, поскольку на них можно прочитать текст. Показатели со счетчиков снимаются перед работой и в конце.

Чужие здесь не ходят

Безусловно, многих интересует, а может ли быть утечка важной информации из Республиканского института контроля знаний еще на стадии подготовки тестов?

- На каждое движение и каждое действие в нашем институте есть инструкция, как в ракетных войсках, - шутит директор. - Все правила, как вести себя в той или иной ситуации, вырабатывались годами. Папки с рабочими материалами, над которыми работают авторы, хранятся в сейфе. По каждому предмету работают два методиста, у каждого из них есть своя ячейка и свой код. В начале рабочего дня они берут свои папки, а в конце дня обязательно сдают. Информация за стены института никогда не выходит. Даже с коллегами ей делиться запрещено. Хотя, замечу, что эти материалы еще очень далеки от тех заданий, которые предлагаются абитуриентам на ЦТ.

Есть в институте комната, так сказать, святая святых, где хранится вся база тестовых заданий за все годы проведения ЦТ.

- Это комната с ограниченным правом доступа. Чтобы попасть туда, должна собраться комиссия в составе не менее трех человек, - приоткрывает завесу секретности начальник учебно-методического управления Республиканского института контроля знаний Александр Якобчук. - У одного человека есть ключ от этого помещения, у другого - право снять сигнализацию, у третьего - ключ от сейфа, где хранятся ноутбуки по всем 15 предметам ЦТ. Каждый ноутбук, кроме того, что содержится в сейфе, еще и пломбируется. Свой собственный именной пломбиратор есть у каждого методиста. Перед началом работы он проверяет целостность пломбы, заносит информацию в журнал, срезает пломбу и приступает к работе. После окончания ноутбук снова пламбируецца. Он полностью защищен в плане информационной безопасности: никогда не подключается даже к локальным сетям, на аппаратном уровне в нем отключено все взаимодействие с внешним миром. Частично работает только USB-порт - для того, чтобы внести в базу новые задания или что-то распечатать. И даже если допустить, что ноутбук оказался в чужих руках, то доступа к базе данных злоумышленник все равно не получит. Вся информация в компьютере зашифрована, к тому же и самих тестов там нет. Они формируются непосредственно накануне ЦТ в присутствии членов государственной комиссии по контролю за ходом подготовки и проведения вступительных испытаний.

Запускается компьютерная программа, и в автоматическом режиме формируются сразу несколько тысяч вариантов тестов. Методом слепого выбора отбираются 10 вариантов, которые и попадают на ЦТ. Но компоновка происходит не хаотично. Накануне готовится план теста - это документ, который регламентирует, что должно попасть в тест по математике, например, на задание А1. И если это будет решение квадратного уравнения, то во всех 10 вариантах будут равноценные задания.

Репетиционное тестирование - прекрасная разведка боем накануне главного старта.

«Викторовичь» и «Владзимеровичь»

Сегодня в Республиканском институте контроля знаний ведется проверка работ участников третьего этапа репетиционного тестирования. Безусловно, даже нельзя сравнивать нынешнюю нагрузку на верификаторов с нагрузкой в ​​разгар ЦТ.

- Мы находимся на самом ответственном и самом «горячем» участке. На время ЦТ приходится привлекать дополнительно на работу 250-300 студентов. Они работают у нас в три смены по 4 часа без выходных и праздничных дней, - вводит в курс дела начальник отдела мониторинга и методик контроля Тамара БОЛТУТЬ. - На проверку работ по самой массовой дисциплине - русскому языку, которую сдают до 75 тысяч человек, - у нас идет 8 дней. Часто приходится слышать от взволнованных родителей: «У моего ребенка плохой почерк, и ваша машина него не прочла...» Дорогие родители, почерки абитуриентов читает не компьютер, а мы. Если бы все доверили технике, то была бы настоящая беда. А мы научились разбирать, наверное, уже все возможные почерки, но не думайте, что оператор (верификатор), сидящий за компьютером, может каким-то образом в проверку работ вмешаться. После сканирования всех бланков электронное изображение разделяется на область регистрации и область ответов. Одни наши операторы проверяют только область регистрации, а вторые - только ответы и даже не знают, чей бланк находиться перед ними на экране.

Задача верификаторов - сверить каждую буковку и каждую цифру: правильно ли их распознал компьютер. Каждый бланк проходит тройную проверку глазами, и каждый раз его «читает» новый верификатор. Операторы удаляют и всю грязь: например, абитуриент случайно чиркнул ручкой, и, чтобы компьютер не засчитал ему неправильный ответ, мы это с элетронного изображения убираем. Случается, что абитуриент из-за волнения две буквы написал в одной клеточке. Мы их тоже расставляем по своим клеткам. Все делаем в пользу ребенка. Но уловки, о которых хорошо знаем, не пропускаем... При этом компьютерная программа фиксирует абсолютно все вмешательства верификаторов.

А казусы, по словам Тамары Болтуть, бывают самые разные. Один абитуриент при написании собственного имени, отчества и фамилии допустил аж 7 ошибок! Кто-то пишет на русском языке «Викторовичь», а кто-то - «Владзимеровичь». Фактически в каждом десятом бланке приходится исправлять ошибки в области регистрации. Если их пропустить, то ошибка попадет и в выданный сертификат. Значит, абитуриент будет обращаться за его заменой.

И еще один важный момент - ответов к тестовым заданиям операторы не знают. Они готовятся только после того, как работы участников ЦТ прошли все проверки. Кроме верификации (распознавания рукописных изображений) предусмотрены еще и три аппаратные проверки. Когда ответы наконец появляются, они вносятся в компьютерную программу и нажатием одной кнопки через доли секунды появляются все 75 тысяч результатов. Кто-то плачет, а кто-то - радуется...

В таких сейфах хранятся рабочие материалы, которые еще не стали тестовыми заданиями... У каждого методиста есть своя ячейка и свой код.

Говорят, что лучше один раз увидеть, чем сто раз услышать. Безусловно, организовать для всех педагогов, абитуриентов и их родителей экскурсию в Республиканский институт контроля знаний проблематично. Но попасть на виртуальную экскурсию может каждый желающий. На сайте института rikc.by представлен фильм «О ЦТ предметно», из которого можно узнать как о фактах из истории тестирования в мире, так и обо всех обстоятельствах создания тестов, соблюдения конфиденциальности информации абсолютно на всех этапах подготовки и проведения ЦТ и правилах поведения, которые нужно знать будущим его участникам.

Надежда НИКОЛАЕВА

nіkalaeva@zvіazda.by

Фото Евгения ПЕСЕЦКОГО

Комментарии

Уважаемые "песталоцци" из Республиканского института контроля знаний , хочу все же узнать чем же " отличается человек от птицы" , это один из Ваших тестов на ЦТ по биологии в 2018 году

Выбор редакции

Общество

Время заботы садоводов: на какие сорта плодовых и ягодных культур стоит обратить внимание?

Время заботы садоводов: на какие сорта плодовых и ягодных культур стоит обратить внимание?

Выбор саженца для садовода — тот момент, значимость которого сложно переоценить.

Культура

Чем в этом году будет удивлять посетителей «Славянский базар в Витебске»?

Чем в этом году будет удивлять посетителей «Славянский базар в Витебске»?

Концерт для детей и молодежи, пластический спектакль Егора Дружинина и «Рок-панорама».

Сельское хозяйство

Как обстоят дела на полях Беларуси на данный момент?

Как обстоят дела на полях Беларуси на данный момент?

Успех зависит от соблюдения отраслевых регламентов и технологий.