Экзамен: измерительный прибор, который врёт

Тем, кто не сдал. И всё равно состоялся.

В мире, где мы взвешиваем одиночные атомы, засекаем время с точностью до наносекунды и определяем положение спутника с погрешностью в миллиметр, есть один прибор, который до сих пор работает по принципу «авось сработает».

Этот умный прибор определяет, кто станет врачом, кто — инженером, а кто — так и останется «неудачником», которому в лучшем случае предложат мести двор после тщательного кастинга. Показания этого прибора решают: получишь ли ты грант, поступишь ли в университет, поверит ли тебе работодатель. И эти показания принимаются как истина в последней инстанции, хотя этот прибор ни разу не проходил диагностику.

Сколько судеб сломано этой машиной? Сколько детей поверили в то, что они глупые, потому что их «измерили» неправильно? Сколько талантов не раскрылось, потому что их заставили писать тест тогда, когда все нормальные люди ещё спят? То-то же.

Называется этот страшный прибор — экзамен.

Мы привыкли думать, что экзамен измеряет знания. Но знания нельзя измерить так же, как, например, длину стола или температуру воздуха, потому что знания — это вам не физическая величина, а сам экзамен — давно вышедший из строя измерительный прибор. Сейчас он больше похож на социальный ритуал, который маскируется под науку, да к тому же постоянно врёт. Но мы продолжаем ему верить, потому что так проще, потому что иначе придётся признать, что вся система образования проверяет послушание, способность впихивать в себя гигантские тонны непригодной информации, умение быстро списывать, но не умение размышлять.

Проходите, детки, садитесь. А лучше сразу забейтесь в угол. Сейчас мы проверим всё, чем понапихана ваша пока ещё не опытная голова. У нас тут всё чётко: 2+2 равняется только одной цифре. Даже если вы не знаете, из чего складывается эта цифра, постарайтесь подогнать под неё свой ответ.
Обязательно решайте задачи всех категорий! Просто так что ли «навстречу поезду выехала дрезина со скоростью 50 км/ч?»
И не забывайте про язык! Ставьте артикли перед каждым словом! Чтобы потом, встретив какого-нибудь иностранца, так сразу ему и сказать: «Я есть дурак, который, к сожалению и к великому моему сожалению, осознаёт своё дурацкое положение в этом дурацком мире, и от этого становится ещё более дурацким дураком, чем был до начала этого предложения».
Усекли?

Усекли. Чего уж там.

Первые письменные экзамены появились в Китае в 165 году до нашей эры. К VII веку при династии Суй сложилась система кэцзюй — государственные экзамены для отбора чиновников, которая просуществовала 1300 лет. Китайцы придумали письменный экзамен, чтобы оценивать знания без учёта знатности. Это была первая в истории попытка сделать карьеру доступной каждому.

В древности экзаменом был разговор с мудрецом. Сократ не ставил баллов, он задавал вопросы. В средневековом университете студент днями спорил с профессорами на латыни, и его «оценкой» было решение — достоин ли он степени.

Всё изменилось в XIX веке. Британская империя нуждалась в чиновниках, тысячи претендентов на высокопоставленные должности требовали быстрой сортировки. Поэтому в 1806 году Англия решила позаимствовать китайскую систему экзаменов для отбора на государственные должности.

Главным реформатором экзаменационной системы стал Гораций Манн — секретарь педагогического совета Массачусетса. В 1845 году он организовал первые в США письменные экзамены в школах Бостона, но результаты были настолько плохими, что попали на первые полосы газет. Манн считал, что устные экзамены слишком субъективны, а письменные тесты позволят оценивать учеников «объективно» по единой шкале, без скидок на личные симпатии учителя.

В классе было душно. Лампы под потолком гудели ровно, без перебоев, как и положено учреждениям, где всё давно решено.

Учитель не спеша сел за стол. Вытер платком пальцы — один, второй, третий. Потом взял со стола стопку листов. На листках были указаны фамилии учеников, которые не попадут в списки, потому что их носители не вписались в процедуру — не прошли экзамен. А что будет с теми, кто всё-таки экзамен сдаст? Ничего. Пойдут сдавать следующий экзамен, а потом ещё один, переходить из класса в класс, из списка в список, и так до бесконечности. 

Учитель усмехнулся.

— И что вы думаете, — обратился он к ученикам. — Есть жизнь после экзамена?

Класс недовольно зашипел, не желая отрываться от экзаменационных бланков.

— Нет отметки — нет человека, — сказал учитель, проходя между рядами учеников. — Нет человека — нет экзамена. Нет экзамена — нет отчёта. Нет отчёта — нет учреждения. Значит, экзамен будет всегда. Даже если некому его сдавать.

А ведь адовый механизм уже не раз ошибался! Альберт Эйнштейн провалил вступительные экзамены в Цюрихский политехникум. Томаса Эдисона называли умственно отсталым, а впоследствии вообще исключили из учебного заведения. Исааку Ньютону пришлось бросить школу. Стивен Спилберг дважды пытался поступить в Школу кинематографических искусств и с треском проваливался.

Чарльз Дарвин считался посредственным учеником. Винсент Ван Гог бросил школу в 15 лет, так и не получив формального художественного образования. Джордж Бернард Шоу с большой натяжкой окончил школу в 14 лет. Антон Чехов стал первым студентом, отчисленным из медицинской академии за неуспеваемость. 

Билл Гейтс бросил Гарвард. Стив Джобс бросил Рид-колледж. Лев Толстой бросил учёбу в Казанском университете. Дмитрий Менделеев едва сдал химию на экзамене в Главном педагогическом институте.

Фёдор Достоевский получил отметку «ноль» по русской словесности в училище. Владимир Маяковский дважды оставался на второй год в гимназии. Константин Циолковский был отчислен из образовательной школы в 16 лет и дальше учился сам.

Прибор, который должен измерять знания, отбраковал тех, чьи знания и воображение изменили мир, зато пропустил тех, кто умеет сидеть ровно и не задавать вопросы.

Экзамен является формой контроля знаний. Знания определяются как способность давать ответы, совпадающие с эталонными. Ответы, не совпадающие с эталонными, знанием не считаются. Ответы, совпадающие с эталонными, но полученные с нарушением процедуры, знанием не считаются.

Экзаменуемый обязан сидеть прямо, не поворачивая головы. Поворот головы расценивается как попытка нарушения процедуры. Нарушение процедуры влечёт аннулирование результатов без права пересдачи в текущем периоде.

Каждый бланк должен быть заполнен чернилами определённого цвета.

Использование чернил другого цвета приравнивается к отсутствию бланка. Отсутствие бланка означает отсутствие ответа. Отсутствие ответа означает отсутствие знаний.

Экзамен считается состоявшимся, если зафиксирован факт его проведения. Факт проведения фиксируется актом. Акт подписывается комиссией. Комиссия назначается приказом. Приказ хранится в архиве. Архив не подлежит ревизии.

Любой уважающий себя измерительный прибор должен соответствовать трём критериям.

Студент посмотрел на стол. Напротив него лежал бланк с вопросами. Ответы следовало вписывать в клетки одинакового размера.

Студент подумал о том, если сегодня он получит 70 баллов, а завтра — 80, что изменится? Изменится отметка. А он сам — нет.

Чернила должны быть чёрными, иначе бланк придётся признать недействительным. Чернила были чёрными. Стул стоял ровно. Дыхание соседа по парте тоже было ровным. И часы на стене тоже отбивали свой ритм ровно: не громко и не тихо, как и положено в учреждении, где всё давно решено.

В физике, если прибор врёт, его выбрасывают или чинят. Сначала измеряют его погрешность, потом учитывают её. Результат измерения никогда не выглядит как круглое число, он выглядит как «70 ± 0,5». Это означает, что истинное значение находится где-то между 69,5 и 70,5. Инженер, проектирующий мост, не скажет: «Нагрузка 70 баллов, мост выдержит». Он спросит: «Каков доверительный интервал? Какова вероятность ошибки? Сколько раз мы всё проверили?» 

В образовании погрешность не измеряют. Потому что, если её измерить, станет страшно. А если станет страшно, придётся что-то менять. А что-то менять слишком затратно и по силам, и по времени. Проще сделать вид, что погрешности нет.

В экономике погрешность заложена в каждую цифру. Дисконт-фактор? Это интервал, а не число. Процентная ставка? Тоже интервал. Чистая текущая стоимость проекта? Интервал, который может быть одновременно и положительным, и отрицательным. Инвестиционный проект может быть и выгодным, и убыточным — в зависимости от того, какую погрешность вы выберете. И экономисты спокойно с этим живут — они не делают вид, что погрешности нет. Они научились её считать и принимать решения с оговоркой: «с вероятностью 95%». А в образовании нет оговорок: если признать погрешность, придётся признать, что экзамен не работает.

В медицине тест на COVID-19 даёт ложноположительные и ложноотрицательные результаты. Врачи об этом знают, поэтому они смотрят симптомы, назначают повторные тесты, проверяют историю болезни. Они понимают, что тест — это не истина, это —инструмент. А экзамен? Экзамен всегда точен. Экзамен не ошибается. Если он сказал, что вы ничего не знаете — значит, вы ничего не знаете. Даже если знаете. Процедура не предусматривает сомнений.

В социологии был случай. В 1936 году журнал «The Literary Digest» опросил 2,4 миллиона человек (гигантскую выборку, невиданную по тем временам). Опрос показал, что республиканец Лэндон должен победить на выборах с результатом 55% голосов. Но выборы в этом же году выиграл Теодор Рузвельт с результатом 61%. Ошибка составила целых 20 процентных пунктов при выборке в 2,4 миллиона человек. Как так получилось? Получилось так потому, что выборка была смещена: журнал опрашивал своих подписчиков и людей с телефонами, а в 1936 году телефоны были только у богатых. Богатые, соответственно, голосовали за республиканца. Огромный размер выборки не спас, потому что размер — не равно качество. Важнее — репрезентативность.

В образовании тоже уверены, что размер решает: чем больше экзаменуемых, тем объективнее результат. Это не так. Результат зависит не от числа сдающих, а от качества измерения. Но качество измерять не принято. Проще сделать вид, что его нет.

В статистике есть понятие «нечувствительность к размеру выборки» — когнитивное искажение, при котором люди делают неверные выводы о частоте явлений в выборках разного масштаба. Как в примере с больницами: в большой больнице рождается 45 детей в день, в маленькой — 15. В какой больнице будет рождаться мальчиков на 60% больше? Конечно, вы скажете: «Одинаково». Правильный ответ: в маленькой. Потому что, чем меньше выборка, тем выше вероятность отклонения от среднего.

Осталось 28 минут. Вы ещё не дописали свой вариант? Осталось 27 минут. Вы перепроверили первый вопрос? Осталось 26 минут. Вы думаете, что успеете? Осталось 25 минут. Вы чувствуете, как воздух становится плотнее? Осталось 24 минуты. Вы слышите этот звук? Осталось 23 минуты. Вам следует ускориться. Осталось 22 минуты. Вы ещё здесь? Осталась 21 минута. Время почти вышло. Осталось 20 минут. Время сдавать бланки.

Рекордные суммы денег вращаются вокруг прибора, который не работает. Родители платят за «натаскивание», за умение проходить тесты и за спокойствие: «Мы сделали всё, что могли». Школы соревнуются по средним баллам — не по тому, чему научили, а по тому, как ученики заполнили бланки. Университеты ранжируют абитуриентов по цифрам, которые не имеют физического смысла. 

А вы думаете, кто придумал ЕГЭ? Это была не злая воля министерства. Это была попытка сделать систему прозрачной: убрать коррупцию, блат, «звонки». Сделать так, чтобы ребёнок из глухой деревни мог поступить в хороший вуз. Идея была благородная, но на практике получилось то, что получилось — система, которая должна была уравнять шансы, превратилась в машину для отбора тех, кто умеет проходить тесты. Деньги не ушли из образования, они просто перетекли в другую форму. Теперь их получают не «нужные люди», а репетиторы и подготовительные курсы. Коррупция сменила форму, но не исчезла.

Школы делают вид, что учат. Ученики делают вид, что знают. Родители делают вид, что верят. Репетиторы делают вид, что без них нельзя. А экзамен делает вид, что измеряет знания. И всем хорошо. 

Точнее, почти всем, кроме тех, кто не вписался в процедуру. А их, как мы помним, много. И среди них — те, чьи имена вы знаете.

— Говорят, в этом году результаты ещё ниже будут. Комиссия пересмотрела шкалу.

— Опять? 

— Опять. Теперь, чтобы получить заветные семьдесят, нужно знать больше, чем в прошлом году. А в прошлом году нужно было знать больше, чем в позапрошлом.

— Это чтобы никто не жаловался, что тесты лёгкие. Чем сложнее тест, тем честнее результат. Так они говорят.

— А если ребёнок не сдаст?

А знаете, почему экзамен до сих пор не отменили? Потому что это выгодно. Индустрия подготовки к экзаменам — это миллиарды. Репетиторы, курсы, пособия, онлайн-школы будь у них голос, никогда не скажут: «Экзамен не нужен». Они скажут: «Экзамен нужен, просто готовьтесь лучше. И мы вам поможем. За деньги».

Система работала без перерыва. У неё не было выходных, не было отпуска, не было права на ошибку. Каждую секунду тысячи бланков вливались в её процессоры, и каждую секунду она выплёвывала цифры. 

Она видела, как одни цифры взлетают, а другие падают. Она не знала, что это значит. Может быть, это означало, что один бланк лучше другого. А может быть, просто один бланк был заполнен чернилами нужного цвета, а другой — нет.

Система не знала, что её построили люди, которые ненавидели экзамены. Они хотели создать другую реальность, где нет места тестам и баллам, но они не знали как, поэтому сделали то, что умели.

Мы не предлагаем отменить экзамены. Отменить экзамены так же невозможно, как отменить гравитацию. Система, которая строилась вокруг них столетиями, не рухнет по мановению руки, но это не значит, что с ней нельзя работать.

Есть несколько вещей, которые можно сделать уже сейчас, не дожидаясь, пока министерство просвещения перепишет все инструкции.

Первое. Перестать верить экзаменам как оракулу.

Экзамен — это инструмент и инструмент, как мы выяснили, дырявый. Его показания не должны быть единственным аргументом при решении судьбы человека. Если работодатель отказывает вам из-за недостатка баллов — это проблема работодателя, а не ваша. Если университет отсеивает абитуриентов по одному тесту — это проблема университета. Умные люди уже давно поняли, что талант не измеряется цифрой. Остальным можно только посочувствовать.

Второе. Перестать измерять знания одной цифрой.

Человека нельзя уместить в число. Это не рост и не вес. Это способность думать, сомневаться, ошибаться, искать нестандартные пути. Ни один тест этого не измерит. Если вы когда-нибудь встретите работодателя, который смотрит не на диплом, а на ваши проекты, — держитесь за него. Такие ещё встречаются. Редко, но встречаются.

Третье. Признать, что погрешность экзамена огромна.

Врач не ставит диагноз по одному анализу. Инженер не строит мост, опираясь только на один расчёт. Почему в образовании действует другой стандарт? Потому что так проще. Потому что цифру можно внести в таблицу, а человеческую уникальность — нет. Но это не значит, что нужно продолжать в том же духе.

Четвёртое. Использовать экзамен, как один из инструментов, а не как единственный.

Пусть рядом будут портфолио, проектные работы, собеседования, рекомендации. Пусть у человека будет шанс показать себя, а не только заполнить бланк. В некоторых странах это уже работает. Например, в Финляндии нет стандартизированных тестов в школе, вместо них оценивают проекты, исследования, групповые работы. И их образование считается одним из лучших в мире, потому что учит думать.

Пятое. Учить студентов не проходить тесты, а думать.

Учить задавать вопросы, а не искать готовые ответы. Учить сомневаться, а не заучивать. Признать, что мир за порогом аудитории состоит не из тестов — в реальном мире нет единственно верных ответов, там есть задачи, которые никто за вас не решит. И если вы выйдете из школы с навыком «быстро заполнять бланки», вы будете бесполезны. А если вы выйдете с навыком «думать», вы справитесь с любым экзаменом. Даже с тем, который ещё не придумали.

Система не рухнет за день. Но её можно менять по кусочкам.

Перестаньте нанимать репетиторов для «натаскивания». Наймите их для объяснения или вообще обойдитесь без них. Позвольте ребёнку ошибаться и не впадайте в панику, если результат будет не идеальный. Идеальный результат — не всегда про знания, он больше про умение подгонять ответ под шаблон.

Перестаньте готовить детей к тестам. Готовьте их к жизни: давайте такие задания, у которых нет единственного правильного ответа. Учите аргументировать, спорить, искать информацию, а не запоминать. Да, это сложнее. Да, это не вписывается в программу. Но это единственный способ вырастить не роботов, а людей.

Перестаньте ранжировать абитуриентов по баллам. Смотрите на портфолио, проекты, личные качества, устраивайте собеседования. Да, это трудоёмко. Да, это неудобно. Но это единственный способ отобрать тех, кто действительно способен учиться, а не просто сдавать.

Перестаньте требовать дипломы и сертификаты. Смотрите на реальные навыки, устраивайие тестовые задания, которые проверяют не память, а умение решать задачи. Да, это сложнее, чем отсеивать по баллам, но это единственный способ найти таланты, а не послушных исполнителей.

Экзамен останется. Но пусть он будет не приговором, а формальностью. Как отметка в паспорте при прохождении границы: есть — и ладно. Главное — что в голове, а не в бланке.

И да, жизнь после экзамена есть. И она не заканчивается, когда вы выходите из аудитории, она только начинается. И она будет сложной, запутанной и несправедливой. Цифра — это просто цифра. Всё остальное по-прежнему в ваших руках.