Мысли про ЕГЭ

Новые технологии и инструменты, о которых вы прочитали в предыдущей статье, появляются не только в научно-технической сфере, но и в образовании. Один из последних примеров — единый государственный экзамен, а попросту ЕГЭ, как его все называют. Шуму вокруг ЕГЭ много, что и понятно — почти в каждой семье есть или будут дети, внуки и правнуки, которые пойдут в школу. Все заинтересованы в хорошем образовании — и семья, и общество, и государство. Поэтому новые технологии в образовании так бурно обсуждаются в обществе. «Химия и жизнь» тоже не осталась в стороне (см. № 4 и 7 за этот год).

Разумеется, ЕГЭ — это не образование, а лишь инструмент, позволяющий оценивать результаты обучения в школе. И, как любой инструмент, его надо отъюстировать и, главное, научиться им пользоваться. Топором не обязательно рубить головы, с его помощью можно и дома строить. Как сделать ЕГЭ эффективным и полезным для общества? В этом и следувющем выпуске журнала предлагаем вам, уважаемые читатели, взгляд на проблему разных людей, работающих в образовании и конструктивно размышляющих на эту тему.

Постановка задачи

По всей видимости, единый государственный экзамен становится реальностью, в которой предстоит существовать отечественной системе образования. Как будет показано ниже, плюсы от внедрения ЕГЭ в его нынешнем виде во многом иллюзорны, тогда как минусы вполне осязаемы.

Однако автор видит свою задачу вовсе не в обосновании отказа от единого государственного экзамена, худо-бедно восстанавливающего в стране единое образовательное пространство, а в осознании дефектов ЕГЭ и поиске путей их преодоления. Чтобы единый экзамен превратился в полезный и приемлемый для общества инструмент, необходимо радикально изменить его формы и уточнить его цели, а также привести первое в соответствие со вторым.

Заметим, что в контексте реформы и развития системы образования тема ЕГЭ на самом деле глубоко второстепенна. Гораздо важнее понять, какое нам нужно образование, каковы его задачи, может ли их достижение быть измерено оценками и могут ли оценки служить мотивацией ученика. Однако эти вопросы, не имеющие простых и однозначных ответов, мы оставляем в стороне, сосредоточившись только на теме реорганизации ЕГЭ.

Причем мы еще сильнее сузим указанную тему, ограничившись лишь теми дисциплинами, которые могут предложить для экзамена содержательные вопросы с однозначными ответами. Заведомая невыполнимость этого условия в случае литературы, истории или обществознания делает бессодержательным обсуждение какой-либо обезличенной и унифицированной проверки по этим предметам.

Недостатки ЕГЭ уместно подразделить на системные и частные. Если для устранения первых требуется изменить форму проведения экзамена, то вторые могут быть легко исправлены и в ее рамках. В этой статье речь пойдет о системных дефектах.

За двумя зайцами

Экзамен, как и любой другой измерительный инструмент, имеет вполне определенный рабочий диапазон, в котором его показания адекватны реальности. За его пределами инструмент бесполезен. Даже возможность переключаться между разными диапазонами, реализованная в хороших приборах, не позволяет им работать в нескольких диапазонах одновременно. Невозможно объединить в одном приборе микроскоп и телескоп, хотя оба построены на оптических принципах. Впрочем, если нечто невозможно, это еще не значит, что не найдется желающих внедрить это нечто в повседневную практику, прекрасным примером чего и стал единый государственный экзамен. Сейчас в нем объединены функции выпускного экзамена и вступительного. Иными словами, он используется для выявления одновременно и тех, кому нельзя выдавать аттестат зрелости, поскольку они не смогли освоить школьную программу, и тех, кому имеет смысл получать в проверяемой области профессиональную специализацию. При этом обе задачи решаются крайне плохо. Единый измерительный инструмент может справляться или не справляться со своей функцией в середине диапазона, но он оказывается заведомо неэффективен на обоих его концах — при оценивании как худших, так и лучших.

С одной стороны, основная масса экзаменуемых даже не пытается выполнять самые сложные задания, воспринимая их как заведомо находящиеся за пределами своих возможностей. Следовательно, эти выпускники изначально оцениваются не из полного балла и для них требования ЕГЭ оказываются завышенными.

С другой стороны, относительно простые задания, нацеленные на проверку базовых знаний, умений и навыков и сами по себе не представляющие проблемы для подготовленных школьников, препятствуют выполнению сложных заданий, подумать над которыми уже не остается времени. Экзамен становится соревнованием по скорости и автоматизму, не позволяя абитуриентам продемонстрировать свои таланты, и с этой точки зрения требования ЕГЭ неизбежно оказываются заниженными.

Формируется метод оценки и не достижений выпускника, и не способностей абитуриента, а чего-то среднего, не являющегося, однако, ни тем, ни другим. Это в равной степени гибельно и для средней школы, поскольку учителям и ученикам задаются непонятные ориентиры, и для высшей, поскольку вузы вынуждены набирать неадекватно оцененных абитуриентов.

Абсурдность ситуации усиливается тем, что данная проблема имеет тривиальное решение: если достижения и способности нельзя проверить одновременно, их следует проверять порознь. Иными словами, по каждому предмету необходимо проводить вместо одного экзамена два, имеющих различную направленность. Первый, он же общеобязательный, проверяет наличие у выпускника тех базовых знаний, умений и навыков, которыми он не имеет права не обладать, закончив школу (образовательный стандарт). Второй, который сдают только поступающие в вузы, выявляет потенциал абитуриента, его умение самостоятельно мыслить и анализировать материал, связывая причины и следствия, то есть активно применять весь арсенал знаний, умений и навыков, полученных в школе. При этом для выставления оценки в аттестат следует опираться только на результаты первого экзамена, а при зачислении в вузы использовать результаты обоих.

Принципиально, что эти два экзамена не могут быть объединены в одном временном отрезке. Это все равно что стрелять после бега (конечно, состязания по биатлону интересней, чем лыжные гонки или стрельба, но биатлонисты-то идут на это совмещение добровольно).

Кроме того, тесты достижений и способностей предполагают диаметрально противоположный взгляд на неординарные способы выполнения заданий. И если во втором случае умение найти неожиданное решение задачи или проявить более глубокое, чем предписано программой, видение проблемы считается высшим достижением, то в первом случае это будет попыткой уклониться от требования продемонстрировать владение совершенно конкретными знаниями, умениями и навыками, которая должна караться.

Наконец, разделение экзаменов по времени в принципе позволяет проводить тест достижений значительно — скажем, на полгода-год — раньше теста способностей. При этом, с одной стороны, у школьников будет возможность на завершающем этапе обучения сосредоточиться на предметах, связанных с их будущей профессиональной специализацией, по которым им предстоит проходить тест способностей. А с другой стороны, у тех, кто провалит тест достижений по какому-то предмету, остается достаточно времени, чтобы подтянуть его и пересдать до окончания школы, дабы не остаться без аттестата.

Важное преимущество двух экзаменов — возможность более гибко регулировать требования к достижениям и способностям абитуриентов, поступающих в различные вузы. Индивидуальность высших учебных заведений можно сохранить даже в условиях единого экзамена, если установить вес двух экзаменационных оценок по предмету — чем важнее для вуза данный предмет, тем выше вес, с которым учитывается оценка за второй экзамен.

Тем не менее замены одного экзамена двумя недостаточно, чтобы вузы согласились признавать их результаты без выкручивания рук и угрозы антикоррупционного шельмования. И это неудивительно, ведь если взятки за поступление берет лишь часть вузовских преподавателей, то работать со студентами, не имеющими базовой подготовки и не умеющими учиться, не хочет никто.

Сейчас контрольно-измерительные материалы (КИМы) для ЕГЭ разрабатывает некая закрытая структура, аффилированная с Рособрнадзором. И хотя из года в год остающийся неудовлетворительным уровень наполнения КИМов уже стал общим местом, никому толком не известно, что за люди их создают, на каком основании они допущены к этой работе и какую ответственность несут за ее результаты.

Решить проблему субъективного признания вузами результатов ЕГЭ и проблему объективно низкого качества КИМов можно, если передать их разработку преподавательскому корпусу. Для второго экзамена — вузовским преподавателям, которым и предстоит в дальнейшем работать с теми, кого оценивают с помощью ЕГЭ, а для первого экзамена — школьным учителям, которые и закладывают основы проверяемых знаний, умений и навыков.

Поскольку результаты экзамена так или иначе свидетельствуют и о качестве работы самих учителей, необходима независимая от них экспертиза КИМов — это и должно быть единственной функцией Министерства образования и его служб в деле их разработки. Финансирование разработки КИМов также необходимо вывести из его ведения, чтобы гарантировать независимость разработчиков. Зато ответственность последних должна стать персональной, то есть для каждого задания должно быть указано лицо, отвечающее за его корректность.

В этих предложениях нет ничего революционного. К примеру, в научных фондах, выдающих гранты на проведение исследований, деятельность и перспективы соискателей оценивают представители научного сообщества, а не чиновники, на которых возложены лишь организационно-технические функции. Точно так же и с ЕГЭ: решать, что и как требовать с выпускников и поступающих, могут только преподаватели средней и высшей школы, предметно знающие их конкретику. А на долю чиновников останется проверка соответствия КИМов школьной программе и образовательному стандарту и собственно проведение ЕГЭ.

Тридцать восемь попугаев и одно попугайское крылышко

Отдельная важная тема — в каких единицах измеряется результат экзамена. Каждое задание имеет определенную номинальную стоимость. Сумма номинальных стоимостей заданий, выполненных экзаменуемым, составляет его первичный балл, который, однако, носит только вспомогательный характер. В соответствии с некоторой нелинейной шкалой он пересчитывается в тестовый балл, то есть, по сути, в экзаменационную оценку. Но поскольку тестовый балл исчисляется по стобалльной шкале, далее следует еще один раунд преобразований, связанный с определением ее диапазонов, соответствующих оценкам привычной пятибалльной шкалы. Эти диапазоны различаются для выпускного и для вступительного экзаменов, а кроме того, бессистемно варьируются от года к году и от вуза к вузу.

Общественность, не получая каких-либо внятных объяснений со стороны организаторов ЕГЭ, давно отчаялась понять логику и смысл всех этих манипуляций. Однако дело не в их запутанности как таковой — в конце концов, измерительный прибор не обязан иметь простое устройство, он должен давать надежные и однозначно интерпретируемые показания. А вот этого как раз и нет.

Шкала пересчета первичных баллов в тестовые строится таким образом, что ЕГЭ оказывается измерительным прибором, лишенным какого бы то ни было эталона, с которым сравнивались бы успехи экзаменуемых. Они сравниваются не с требованиями школьной программы, а только с успехами других экзаменуемых. Такое сравнение (при условии грамотной его организации) вполне уместно на вступительном экзамене, но совершенно неприемлемо на экзамене выпускном, поскольку позволяет маскировать общее падение качества школьного образования. Ведь как бы ни были низки результаты тестирования, основанная на них же шкала пересчета даст благопристойную интегральную картину. Не будем также забывать и про дополнительную возможность манипулирования итогами экзамена, возникающую при определении соответствия тестовых баллов оценкам пятибалльной шкалы. В результате функция единого государственного экзамена как объективного измерителя положения дел в системе образования полностью утрачена.

ЕГЭ — это количественная мера успехов экзаменуемого. Какие же функции эта мера призвана выполнять? Для ЕГЭ в нынешнем виде ответ на поставленный вопрос не может быть дан, поскольку эти функции сильно различаются для выпускного и вступительного экзаменов.

Цель выпускного экзамена состоит в проверке усвоения школьной программы. При этом нет никакой необходимости сравнивать между собой выпускников по знаниям или задания по субъективной трудности, на что и ориентирована модель Раша, лежащая в основе метода пересчета первичных баллов в тестовые (см. статью «Раша, куда ж несешься ты? дай ответ! не дает ответа...» в этом номере). Выпускник должен владеть определенным набором базовых знаний, умений и навыков. Поэтому номинальная стоимость задания должна быть пропорциональна его объективной трудности, то есть количеству проверяемых им знаний, умений и навыков. Оценка экзаменуемого по стобалльной шкале — это процент знаний, умений и навыков, которые он освоил и продемонстрировал на экзамене.

Владение каким их процентом продемонстрировал экзаменуемый, такова его оценка по стобалльной шкале. Остальное — от лукавого.

Если необходимо представить результаты в оценках пятибалльной шкалы, то для этого должно использоваться единое и неизменное правило пересчета. Его смысл состоит исключительно в формализации нестрогих понятий «отлично», «хорошо» и «удовлетворительно» (например, свыше 75 баллов — пятерка, свыше 50 — четверка, свыше 25 — тройка, иначе — двойка).

Единый государственный экзамен может иметь хоть какой-то смысл в качестве выпускного, только если его результаты будут не относительными, а абсолютными. А это требует линейной и неизменной шкалы пересчета первичных баллов в тестовые (а лучше всего — их отождествления). Если школьнику тяжелее овладеть одним элементом программы, чем другим, это означает лишь необходимость перераспределить учебное время в пользу более сложной темы, но ни в коем случае не возможность оценивать их усвоение по разным тарифам.

Цель вступительного экзамена состоит в дифференцировке абитуриентов по подготовленности — здесь как раз необходимо сравнивать их между собой. Дифференцирующая способность экзамена определяется видом графика интегрального распределения экзаменуемых по набранному баллу: по абсциссе откладывается балл, а по ординате — процент экзаменуемых, набравших столько или меньше баллов. Весьма желательно, чтобы этот график имел более-менее линейный вид без особо крутых или пологих участков.

На крутых участках графика слишком велика роль случайных факторов, поскольку даже малое изменение баллов может заметно переместить экзаменуемого относительно конкурентов. Причем большие искажения, вносимые малыми случайностями, впоследствии не могут быть уже скомпенсированы каким-либо шкалированием, поскольку дискретность разбалловки и ограниченность набора задач ведут к необратимой потере точности. Зато неудачное шкалирование может привести к еще большим искажениям из-за используемых при пересчете дополнительных округлений.

Пологие участки графика распределения соответствуют заданиям, с которыми либо справились почти все (левая часть графика), либо не справился почти никто (правая часть). На вступительном экзамене такие задания бесполезны, поскольку не помогают дифференцировке экзаменуемых.

Вид распределения экзаменуемых по способности (что бы ни понималось под этим словом) далек от линейного. Чтобы скомпенсировать эту естественную нелинейность, на традиционных вступительных экзаменах в вузы используется нелинейная же шкала оценивания. Она основана на простой идее, связанной с начислением одинаковых баллов за выполнение заданий, существенно различающихся по сложности. Тогда при адекватном подборе сложностей разных заданий можно добиться того, что потеря или приобретение балла конкретным экзаменуемым будет соответствовать его смещению соответственно вниз или вверх по ранжировке экзаменуемых примерно на одинаковое число позиций. Только в этом случае и имеет смысл привычное для нас вычисление суммарного балла от экзаменов по различным предметам, тогда как в случае оценок по ЕГЭ эта операция бессмысленна.

Шкалирование, используемое для обработки результатов ЕГЭ, основано на модели Раша, которая предполагает наибольшую стоимость самых сложных и самых простых заданий при меньшей стоимости заданий промежуточной сложности. Это противоречит логике традиционного подхода. Поэтому неудивительно, что распределение сдававших ЕГЭ по тестовому баллу отклоняется от линейного вида еще сильнее, чем по первичному. Пересчет первичных баллов в тестовые лишь ухудшает дифференцирующую способность экзамена.

Проиллюстрируем приведенные рассуждения данными ЕГЭ 2008 года. Как можно видеть на рис. 1, у графика распределения по тестовым баллам слева и справа имеются широкие участки, в результате чего средняя часть графика очень сильно выкручена. По большинству предметов средней, более-менее линейной области графика, на которую приходится 90% экзаменуемых, соответствует диапазон шириной лишь в 35–50 тестовых баллов из 100. Иными словами, дифференцирующая способность экзамена проседает в два-три раза. Исключением стали только иностранные языки и математика с литературой — здесь ширина линейного участка достигает 55–70 тестовых баллов. Это пусть и невыдающееся, но достижение связано с тем, что в силу специфики языкового экзамена первичные баллы — и есть тестовые, а в КИМах по математике и литературе нет заданий, с которыми бы справились почти все (рис. 2). То есть в первом случае не было возможности предпринять дополнительные меры по ухудшению дифференцирующей способности вступительного экзамена, а во втором она была немного повышена так, что в результате выпускные двойки по этим предметам получил каждый четвертый школьник (а не каждый десятый–двадцатый, как по остальным).

1. Интегральное распределение участников ЕГЭ-2008 по набранным баллам. Вид графиков для первичных баллов более-менее близок к линейному (особенно для ЕГЭ по химии), поэтому первичные баллы в принципе могут служить для дифференцировки экзаменуемых. Графики для тестовых баллов имеют по краям отчетливо выраженные плато, а в середине — крутые участки, из-за чего рабочий участок графиков оказывается невелик (от 30 до 80 тестовых баллов по химии и от 35 до 70 — по физике), и это делает тестовые баллы малопригодными для дифференцировки

2. Интегральное распределение участников ЕГЭ-2008 по набранному тестовому баллу. Графики для математики и литературы смещены влево, что привело к утрате левого плато. А на графике для русского языка, который по значимости в школьном образовании родственен математике, а с точки зрения организации учебного процесса — литературе, левое плато есть

Итак, чтобы адекватно оценивать результаты сдачи ЕГЭ, разделенного на две части, нет необходимости привлекать модель Раша и основанные на ней квалиметрические методы. Однако отсюда не следует, что они не нужны вовсе. Просто их задача иная: оценивать качество работы авторов КИМов и сравнительное качество преподавания отдельных тем школьной программы. Квалиметрия нужна не ученикам, а учителям и методистам. Сейчас же, применяемая для решения выдуманных задач, она работает только во вред.

И ставит, и ставит им градусники

Поклонники ЕГЭ, кажется, пребывают в искренней уверенности, что одно его введение позволит что-то серьезно изменить в системе образования, причем непременно к лучшему. И хотя диагностика, не предполагающая лечения, выглядит странно и дико, это еще не означает, что она не влияет на исследуемый объект.

Состояние сложных систем, обладающих способностью к рефлексии, действительно может изменяться в результате одних только измерений. В случае ЕГЭ имеются два канала воздействия на процесс обучения, связанных соответственно с учителями и с учениками.

Идея оценивать с помощью ЕГЭ не только подготовку учеников, но и труд учителей, во-первых, повышает уровень коррупции в сфере образования, а во-вторых, негативно сказывается на его качестве. Качество же преподавания измеряется прогрессом ученика, а вовсе не его результатами как таковыми, поскольку они зависят и от индивидуальных особенностей ученика, и от множества сопутствующих социально-экономических факторов, повлиять на которые учитель не может. Мы не возьмемся здесь рассуждать о том, возможна ли в принципе унифицированная и обезличенная оценка работы учителя, но заведомо неадекватный способ оценки ее результатов вынуждает школу искать пути приспособления к новым требованиям. Один из них — жульничество при тестировании, другой — вынужденное изменение целей преподавания.

Раньше учитель имел возможность держать тех, кто не может и не хочет учиться, на некотором минимуме, а на выпускных экзаменах просто накидывать им лишний балл. Это было, конечно, очковтирательством, но зато позволяло сосредотаочивать основные усилия на тех детях, которых можно чему-то научить. Теперь учителю, лишенному возможности повлиять на результаты экзамена, приходится либо принимать участие в коррупционных схемах, либо тянуть всех учеников одновременно, натаскивая их на решение тестов, чтобы улучшить оценку своей работы. При этом ее продуктивность резко сокращается, поскольку слабые ученики незначительно прибавляют в достижениях, а сильные не развивают свои способности.

Другой фактор, воздействующий на учителя, проистекает из низкой предметной квалификации разработчиков КИМов. Свое патологическое неумение составить изящные содержательные задания они компенсируют расстановкой разного рода ловушек и другими приемами, замещающими проверку предметных знаний, умений и навыков проверкой обстоятельств, к предмету никакого отношения не имеющих. В результате большую часть учебного времени приходится тратить на освоение методов преодоления рукотворных препятствий, а не на изучение самого предмета. Фактически, сдача ЕГЭ превращается в новый предмет, а точнее — спектр предметов, не предусмотренных школьной программой.

Ориентиры ученика также меняются, потому что форма контроля определяет и форму учебной деятельности. То, что не контролируется, становится необязательным. ЕГЭ требует знания определенного набора фактов, но практически не требует их анализа, умения видеть их взаимосвязь и понимать структуру изучаемой дисциплины. Тем более он не позволяет выявить навыки рефлексии и объяснения своих знаний и умений, неплохо проверяемые традиционными устными экзаменами. Соответственно школьники, обучение которых «заточено» под ЕГЭ, скорее всего, не смогут стать учителями или исследователями.

Другой пример — навыки пользования справочной литературой. Ему не только надо обучать, его надо разрешать на экзамене (по крайней мере, на одном из двух), что позволило бы удалить из КИМов большую часть бессодержательных вопросов, апеллирующих исключительно к памяти на детали, но не к пониманию.

Наконец, ЕГЭ, становящийся единственной целью учебного процесса, подавляет естественную любознательность ученика, стимулируя его ограничивать свои знания четко заданным набором того, что может войти в тест. Ориентация на ЕГЭ означает утрату навыка развернутого ответа, умения конспектировать или изменять формат представления информации. Знания и информация из важной цели обучения превращаются в средство сдачи тестов.

Отдельно следует отметить такую жуткую особенность ЕГЭ, как форма организации его тестовой части, в которой экзаменуемый должен в каждом задании поставить крестик против правильного ответа. При этом он пытается отбросить заведомо неверные ответы, уловить логику составителя задания, просто угадать правильные ответ делает все, что угодно, но только не рассуждает. А любому человеку, занимавшемуся преподаванием, прекрасно известно, что стоит позволить ученику гадать, он мгновенно и необратимо прекращает думать. Да и сама практика выработки у подростка ощущения, что у любого вопроса есть единственно верный ответ, представляется глубоко порочной.

Не стоит, однако, полагать, что тестовые формы проверки несовместимы с нормальным учебным процессом. Вовсе нет. Они по-своему и удобны, и полезны. Просто из них надо исключить элемент угадывания. Для этого достаточно всего-навсего заменить задания с одним правильным ответом на задания с заранее неизвестным числом правильных ответов, которые экзаменуемый должен отметить все, чтобы задание было зачтено.

Поскольку даже этой элементарной вещи до сих пор не сделано, совершенно ясно, что ни преодоление негативного влияния ЕГЭ на образовательную систему, ни тем более какие-то позитивные изменения в ней не воспринимаются как цели, заслуживающие внимания. А ведь устранение других разрушительных последствий введения ЕГЭ, о которых говорилось выше, требует куда более сложных мер.

Коротко о главном

Чтобы единый государственный экзамен перестал представлять опасность для общества и государства, необходимо как минимум:

1) ограничить сферу применения ЕГЭ дисциплинами, допускающими постановку содержательных вопросов, имеющих однозначный ответ;

2) разделить по каждому предмету один экзамен на два — общеобязательный тест достижений, без сдачи которого невозможно получение аттестата зрелости, и необязательный тест способностей, используемый только для поступления в вуз;

3) передать разработку КИМов преподавательскому сообществу;

4) радикально упростить систему начисления баллов, приведя ее в соответствие с целями экзаменов и оставив квалиметрические методы для контроля качества КИМов и мониторинга системы образования;

5) отказаться от оценивания учителей по результатам ЕГЭ.

Кандидат физико-математических наук
А.В.Подлазов,
Институт прикладной математики им. М.В. Келдыша РАН