Можно ли реорганизовать ЕГЭ?

Захотелось поделиться профессиональным отношением (кстати, далеко не беспорным в деталях) к одной из вечных и всеми "решаемых" тем - реформам в образовании. В частности ЕГЭ

Это статья одного из самых известных в нашей стране тестологов и психодиагностнов-разработчиков А.Г.Шмелева

Кроме того, он известен активным практикоориентированным отношениям к профессиональным интересам (создал одну из первых в стране психодиагностических фирм, активно участвует во внедрении тестовой оценке как на факультете МГУ, так и шире, является одним из инициаторов создания экспертного совета по сертификации тестов, создании соответствующего печатного органа и т.д. ). В приводимой по ссылке статье интересно еще и то, что Александр Георгиевич в этой статье акцентированно применяет один из разработанных им профессиональных инструментов (так называемую 4-ячеечную таблицу). Ну и в целом эта статья дает более глубокое понимание проблем, связанных как с ЕГЭ, так и реформами образования

Оригинал статьи можно прочитать по данной ссылке

С уважением, Александр Ромащук

 

А.Г.Шмелев,   

профессор МГУ

доктор психологических наук

Опубликовано на сайте www.ht.ru 5 декабря 2008 г. 

 

 

МОЖНО ЛИ РЕОРГАНИЗОВАТЬ ЕГЭ?

(или 10 тезисов, призванных помочь перейти от ЕГЭ к ЕГА)

 

Техническая деталь

 Эту статью я написал, конечно, вначале в DOC-формате. Поэтому в ней есть сноски. В данном случае они пронумерованы и перенесены в конец статьи. Там и стоит их искать - в разделе ПОДСТРАНИЧНЫЕ СНОСКИ (ПРИМЕЧАНИЯ АВТОРА).

 

10 тезисов в кратчайшем изложении (вместо оглавления)

Тезис первый. Оценка работы школ (и отдельных учителей) НЕ должна сводиться к баллам ЕГЭ.

Тезис второй. Более высокий стресс на ЕГЭ - это во многом результат подмены понятий – вместо «единый» подставили понятие «единственный»

Тезис третий. ЕГЭ, как и олимпиады, не должен быть единственным источником аттестационной информации о выпускнике и абитуриенте.

Тезис четвертый. Сам ЕГЭ надо разбить на 2 этапа, это повысит контроль за качеством выполнения первого, тестового этапа, и в этом случае ошибок в ЕГЭ будет гарантировано меньше, чем при традиционной системе экзаменов.

Тезис пятый. Он затрагивает вопрос о дискриминации и гласит: «Рост авторитета любой системы экзаменов нельзя обеспечить приказом, он достигается эволюционно – по мере накопления год от года общественного доверия к качеству подготовки тех, кто получил высокие баллы».

Тезис шестой. Схема дополнения ЕГЭ (тестового экзамена) вузовскими профильными экзаменами должны быть создана, но должна быть обоснована и прозрачна.

Тезис седьмой. Уровень сложности заданий ЕГЭ (тестового экзамена) должен быть снижен.

Тезис восьмой. Шкала баллов ЕГЭ должна быть сокращена вдвое и прозрачно увязана с традиционной школьной системой баллов.

Тезис девятый про добровольность: «Никого не надо заставлять получать балл ЕГЭ, если просто учитывать его с весом хотя бы 25 процентов в конкурсном балле абитуриента, но зато обязательно учитывать!»

Тезис десятый. Модель ЕГА должна воспроизводить логику диагностического мышления: третий этап диагностики должен следовать после выявления противоречий в результатах, полученных на первых двух этапах.

 

О целевой аудитории и жанре статьи

Эта статья сориентирована на самый широкий круг читателей, интересующихся дискуссией вокруг ЕГЭ.  Она во многом адресована и тем лицам, которые ныне отвечают за подготовку и проведение ЕГЭ, но написана не в жанре служебного (экспертного) доклада, а в более популярном жанре. Автор открыто апеллирует к здравому смыслу широкой аудитории, ибо, увы, в здравый смысл управленцев, руководствующихся порой далекими от общественных интересов политико-бюрократическими рамками, верить не слишком удается. С поразительной антиэффективностью наша бюрократическая система раз за разом порождает из всех здравых идей  в ходе их реализации некую извращенную противоположность, переворачивая смысл действия реформы с точностью до «задом наперед». Поэтому замысленный для увеличения прав и свобод учащихся в получении доступа к качественному образованию, ЕГЭ по факту превращается на наших глазах в инструмент, ограничивающий эту свободу.

Композиция статьи выстроена на 10 авторских тезисах, тесно связанных с выявленными в ходе дискуссии критическими аргументами против ЕГЭ.

Особое место в статье занимает параграф, в котором излагается логическая модель некоторой предлагаемой альтернативы для нынешнего ЕГЭ. Эта модель получила условное название ЕГА – «Единая Государственная Аттестации» (см. 10 тезис).

Основная мысль, составляющая суть авторского подхода к проблеме, заключается в том, что в ЕГЭ в его нынешней модели нарушена логика использования тестовых технологий и принятия решений по поводу аттестации учащихся. Тестовые технологии должны занять место вспомогательного инструмента, важного, но не единственного в системе ЕГА – Единой государственной аттестации (учащихся и абитуриентов).

 

Личностный контекст статьи

В этом году журналисты уже не раз обращались ко мне насчет интервью по теме ЕГЭ. Действительно, накануне перевода ЕГЭ в так называемый «штатный режим» явно обострилась общественная дискуссия вокруг этого проекта, ставшего самым заметным событием нашей образовательной реформы 2000-х годов, событием, приобретшим масштаб внутриполитического явления. Но мне лично по ряду причин непросто вернуться к обсуждению этого вопроса. Ибо во времена создания по моей инициативе и под моим руководством сайта информационной поддержки ЕГЭ www.ege.ru,  а затем портала www.ege.edu.ru  в 2001-2003 гг. я уже «выплеснулся», изложив немало аргументов на открытых Интернет-форумах в спорах с оголтелыми противниками ЕГЭ (кстати, форумы на портале с тех пор, как я добровольно ушел с позиции его главреда, долгие годы были  попросту закрыты и потом... все прежние архивы портала стали недоступны). А в кулуарах Минобразования, в составе вначале комиссии, а затем так называемой Рабочей экспертной группы, я изрядно «выплеснулся» в спорах с теми коллегами, которых впору назвать «оголтелыми сторонниками ЕГЭ». Ибо, поясню, главное в моей позиции: я поддерживаю принципиальную идею общенационального испытания, основанного на использовании тестовых технологий, но никогда не был согласен и остаюсь противником той модели ЕГЭ, которая ныне реализована.  

Увы, основные дефекты в аргументации и противников, и сторонников нынешней модели ЕГЭ не только сохранились, но, я бы сказал, с годами усугубились. С приходом ЕГЭ в столицу, дискуссия попала в фокус внимания центральных СМИ, и ее уровень после этого вовсе не вырос, а ЕЩЕ БОЛЕЕ ПОНИЗИЛСЯ.  В ход пошли не слишком завуалированные аргументы, уже совершенно далекие от всякого профессионального обсуждения, аргументы, характерные для грязных политических компаний, а не для научно-образовательных дискуссий. Впрочем, хотелось бы оставить здесь в стороне от внимания такие аргументы, которые базируются на новой волне обвинения чиновников в коррупции и особой алчности (мол, ЕГЭ – это изощренный инструмент выкачивания денег из родителей – инструмент уже не местного, а федерального масштаба; мол, эпицентр коррумпированности переместился из школ и вузов в стены самих федеральных структур, организующих ЕГЭ…).  Все-таки, как мне кажется, проблему коррупции надо оставить для компетентных органов.

 

Перечень критических аргументов в адрес ЕГЭ

Однако, приведем и попытаемся проанализировать перечень некоторых более содержательных аргументов противников ЕГЭ. Может быть, их анализ поможет нам понять, как надо модифицировать нынешнюю модель ЕГЭ.

1)     Натаскивание. ЕГЭ провоцирует переход школы от нормального образовательного процесса к «натаскиванию на тесты»; в результате ЕГЭ оказывается едва ли не ключевым фактором снижения уровня образования в стране, о чем свидетельствуют результаты самого ЕГЭ.[1]

2)     Стресс. ЕГЭ нарушает права учащихся как неокрепших еще молодых организмов, так как создает чрезмерные перегрузки, приводит к нервным срывам.

3)     Обезличивание. ЕГЭ, будучи стандартизованным и усредненным испытанием, не может раскрыть индивидуальность учащегося; в результате Россия теряет талантливых нестандартно-мыслящих студентов.

4)     Ошибки. ЕГЭ в своих заданиях содержит много ошибок и глупостей, эти ошибки – свидетельство того, что качество и уровень самих заданий ЕГЭ низок и это снижает планку образованности и учителей, и учащихся.

5)     Дискриминация. ЕГЭ дает необоснованные преимущества для детей из более обеспеченных семей, способных обеспечить доступ своих детей к репетиторским центрам, натаскивающим на сдачу ЕГЭ (а иногда и доступ к самим секретным вариантам ЕГЭ, хотя в такой модификации этот аргумент, конечно,  весьма близок к лейтмотиву насчет коррупции)

6)     Депрофилирование. ВУЗы, нуждающиеся в особой подготовке своих абитуриентов (элитные университеты, ориентированные на фундаментальную научную подготовку, медицинские вузы, вузы искусства и т.п.), не получают «своего студента», так как не могут через ЕГЭ предъявить к абитуриентам требования, отвечающие своему особому уровню, а главное - профилю (например, известны повышенные требования медицинских вузов к подготовке по биологии и химии, языковых вузов – к подготовке по иностранным языкам, юридических – к подготовке по обществознанию и т.п.).

7)     Чрезмерная сложность заданий для одних учащихся и чрезмерная простота для других. Я намеренно не стал разделять эти два аргумента (про сложность и про простоту), ибо, очевидно, что взятые порознь они противоречат друг другу. Так как в основе ЕГЭ лежит идея соединения выпускного и вступительного экзамена, это и вызывает критику: как выпускной он оказывается слишком сложным, а как вступительный – слишком простым. То есть, критический аргумент направлен против того, что 2 разные задачи в ЕГЭ объединены, как говорится, «в одном флаконе».

8)     Шкалы и баллы ЕГЭ – это какая-то «заумь и ахинея».  Мало кто может осмыслить, почему, решив по одному предмету 80 процентов заданий, учащийся может получить 60 очков по шкале стандартизированных баллов ЕГЭ (примерно так происходит по русскому языку и соответствует школьной «четверке»), и при этом, решив по другому предмету только 60 процентов заданий, учащийся получает 80 очков ЕГЭ (примерно так происходит по математике и соответствует школьной «пятерке»). Почему одни ВУЗы на вступительных экзаменах присуждают «пятерку» за балл 70, а другие – за балл 95 дают только «четверку».

9)     Обязательный ЕГЭ – это принуждение, которое усиливает внутреннее отвращение учащихся к деятельности учения.Сторонники добровольности настаивают на том, что учащийся должен иметь свободу в выборе формы аттестации.

Казалось бы, чем не убедительный перечень?! В чем же проявляется низкий уровень дискуссии? – А в том, что сторонники ЕГЭ почти ко всем этим аргументам, как правило, относятся как к… надуманным, но не сущностным: мол, противникам ЕГЭ просто не выгоден ЕГЭ, поэтому они его и критикуют, а тут уж «любое лыко в строку». Хотя, впрочем, такой тип пренебрежительного отношения к оппонентам можно считать обоюдным: противники ЕГЭ считают сторонников опять-таки «материально-заинтересованными лицами», поэтому в суть критики традиционной системы экзаменов противники ЕГЭ тоже не вдумываются. Поэтому-то никакой точности и пунктуальности в дискуссии не возникает. В противовес каждому из этих аргументов сторонники выставляют, как правило, такой контраргумент, который НЕ имеет отношения точно к самому рассматриваемому аргументу. Важно подчеркнуть еще раз, что эта  неразборчивость в споре носит обоюдный характер. Вот и получается: одни говорят:  «ЕГЭ – это стресс», другие отвечают: «Зато ЕГЭ – это объективное и независимое испытание»; одни говорят:  «ЕГЭ – это натаскивание», другие отвечают: «Зато ЕГЭ снижает расходы на организацию вступительных экзаменов в вузах…» Спор в стиле: «а твоя машина – маломощная…» - «а зато твоя ест много бензина»; то есть, фактически как в детском саду: «а мой папа – сильный» - «а зато мой папа – умный».  Это тип неконструктивной дискуссии я бы назвал ПРЕДВЗЯТО-РАЗНОКРИТЕРИАЛЬНЫМ: каждая из сторон выбирает тот набор критериев для оценки вариантов  решения проблемы, который более ей удобен, то есть, такой, который обосновывает предпочитаемое ей решение. При этом внимание широкой аудитории (большей части относительно нейтральных, непредвзятых наблюдателей) постоянно дефокусируется: оно не может никак сфокусироваться на одном, общим для двух сторон множестве критериев решения проблемы.

Так вот теперь я могу сформулировать один из главных тезисов этой моей статьи:

Итак, тезис нулевой (он не первый, так как далее хотелось бы сохранить нумерацию тезисов, соответствующую нумерации критических аргументов). Для того, чтобы дискуссия  была КОНСТРУКТИВНОЙ, стороны должна быть точны и дисциплинированы в анализе аргументации своих оппонентов, должны обсуждать проблему в едином поле критериев, причем пытаться эти критерия ОПЕРАЦИОНАЛИЗИРОВАТЬ, сделать проверяемыми с помощью объективных данных.Иными словами, надо стараться понять, КАКИЕ именно черты нынешней модели ЕГЭ дают повод для КАКИХ именно аргументов противников ЕГЭ, а, следовательно, поставить вопрос о том, а КАК собрать объективную информацию о том, есть ли связь между указанными негативными явлениями и определенными особенностями нынешней модели ЕГЭ.

Далее я попробую дать хотя бы примерный образец хода рассуждений в указанных направлениях. Это приводит к следующему набору тезисов:

Тезис первый.  Оценка работы школ (и отдельных учителей) НЕ должна сводиться к баллам ЕГЭ.  

Тот же В.А.Болотов (его можно и нужно критиковать за другое, но этого у него не отнять) неоднократно во множестве своих выступлений (не только публичных, но и на внутриведомственных совещаниях) открыто и директивно предостерегал против использования руководителями регионов баллов ЕГЭ для оценивания эффективности своих учреждений образования. Но это все равно произошло. И это привело уже по факту к тому, что натаскивание на вариантах ЕГЭ в некоторых старших классах некоторых школ (точные цифры не знает никто) действительно начало подменять нормальный образовательный процесс.  И это действительно есть зло, и оно должно быть названо своим именем. Я, как тестолог (специалист по тестовым технологиям), могу и ДОЛЖЕН открыто признать, что один из недостатков тестов  состоит в том, что их нельзя часто предъявлять учащимся, так как они засоряют голову обрывочной и просто ложной информацией: в голове застревают волей-неволей так называемые «дистракторы» - ложные ответы из заданий с вынужденным выбором. Сами по себе тестовые задания (отдельные вопросы) внутри теста не образуют ясной логической связной структуры, они обрывочны и фрагментарны. И такой же обрывочной и фрагментарной в результате оказывается по факту структура знаний в голове у человека, которые изучает только тесты, но не осваивает предмет как связную науку – как систему понятий, законов, принципов, фактов и методов их получения. Ну давайте возьмем такой простой пример: можно ли лечить больного с помощью медицинских анализов? Можно ли лечить, в частности, с помощью рентгена? Ведь, очевидно, что само рентгеновское обследование – вредно, и его нельзя производить часто. Это метод анализа, а не лечения. Так и тесты - это метод контроля, но не метод обучения[2].  

       Но… обсуждая проблему натаскивания и даже открыто признавая обоснованность критики ЕГЭ в этом важнейшем аспекте, я бы тем не менее не стал ставить знак равенства между моим личным мнением и объективными статистическими данными. Очень важно, несмотря на наличие определенного мнения отдельно взятого эксперта (даже если это мнение самокритичного сторонника тестовых технологий!) все равно поставить вопрос относительно поиска объективного и операционного способа проверить: А ДЕЙСТВИТЕЛЬНО ЛИ ИМЕННО ЕГЭ ПРИВОДИТ К НАТАСКИВАНИЮ? Надо всегда иметь в виду неочевидность этого утверждения, пока оно не подтверждено объективными фактами. А при добывании фактов мы должны всегда иметь в виду так называемую «полную комбинаторику условий», должны рассматривать не узко-ограниченное поле из двух событий («ЕГЭ приводит к натаскиванию», «ЕГЭ не приводит к натаскиванию»), но поле из четырех событий:

А) ЕГЭ приводит к натаскиванию

В) ЕГЭ не приводит к натаскиванию

С) Традиционные экзамены приводят к натаскиванию

D) Традиционные экзамена НЕ приводят к натаскиванию

Эти четыре случая удобно изобразить в виде четырехклеточной логико-статистической таблицы:

 

Школа (класс, регион) сдает

ЕГЭ по данному предмету

Школа (класс, регион) сдает

обычный экзамен по данному предмету

Учитель натаскивает на тестах (на контрольных)

 

А - Процент (учителей, школ)

 

 

B - Процент (учителей, школ)

 

Учитель не сводит обучение к выполнению тестов (контрольных работ)

 

C - Процент (учителей, школ)

 

 

D - Процент (учителей, школ)

 

     

Итак, что мы имеем на самом деле по поводу такой таблицы? – Имеем лишь экспертные мнения такого плана: А>C, а В<D, что в переводе на русский язык означает, что в случае ЕГЭ большинство учителей начинают натаскивать (A>C), а при традиционной системе экзаменов это делает меньшинство (В<D). А вот имеем ли мы объективные статистические данные такого плана? – Кто-нибудь их систематически собирал? Кто-нибудь поставил задачу сбора этих данных как профессиональную социологическую задачу?[3]Видите, как в данном контексте стоит вопрос. Вопрос не о том, КТО ПРАВЕЕ в данном случае. Я по многим другим вопросам не согласен с противниками ЕГЭ, но в данном вопросе я согласен. Я, может быть, лишь ослабил бы утверждение насчет A>C, сформулировав сравнение не в пользу ЕГЭ так: отношение (или дробь) A/C > отношения B/D, что в переводе на русский язык означает следующее: в условиях ЕГЭ по сравнению с традиционным экзаменом относительно бОльшая доля учителей скатилась к натаскиванию (хотя и не большинство учителей). Так что в данном случае между мной и оппонентами ЕГЭ и спора-то нет никакого! Мы фактически занимаем одну сторону в этом вопросе (с различиями в позиции скорее количественного плана, чем качественного).

Но главный вопрос – это вопрос о методах и способах аргументации. Для надежности и объективности своих выводов – мы должны, строго говоря, организовать сбор массовой статистической информации и по этому вопросу тоже. Причем сделать это, конечно, непросто. Ведь многие учителя, если их спросить прямо «Натаскиваешь?», ответят с определенной долей лукавства «Да, натаскиваю». А лукавство у них проявится потому, что они – противники ЕГЭ, и знают, что «натаскивание» - это зло. Поэтому и таким способом (самым лобовым и дешевым) трудно собрать объективную информацию относительно влияния ЕГЭ на сам процесс обучения. Эта информация не будет достоверной, она будет искаженной. Надо использовать «нейтральные источники», а не искажающие. Сами учителя – это искажающие респонденты в таких вопросах. Нельзя получить с помощью учителей объективную информацию о ЕГЭ. Можно получить лишь информацию о том, как учителя ОТНОСЯТСЯ к ЕГЭ. И это давно и объективно установлено (тем же Центром социологии образования), что они относятся к ЕГЭ в большинстве своем плохо (почти две трети против при колебаниях по разным регионам и по разным предметам). И этому плохому отношению есть вполне вразумительное объяснение: ведь в ходе традиционных экзаменов учителя во многом сами оценивали результаты своего труда, кому же нравится, что им навязывают теперь внешнюю и независимую оценку? Посмотрите, как трудно внедрить любую систему аттестации персонала в любой отрасли, на любом предприятии[4]. Так что дело тут не в том, что ЕГЭ – тестовая технология. Любая внешняя (по отношению к учителям) экзаменационная технология, вызвала бы стремление учителей получше подготовить своих учеников к особенностям этой технологии. Возьмем немножко абсурдный пример для броской иллюстрации этой мысли: если бы в школе пронесся слух, что экзамен по истории приедут принимать лично руководители депутатской фракции «Единой России», что не стали бы учителя пытаться раздобыть информацию о том, какие вопросы в принципе любят задавать конкретные эти люди – Грызлов и его товарищи? Понятно, что их вопросы будут касаться близких им политических тем из современной политической истории России, вряд ли они буду задавать вопросы про античную историю (вряд ли они сильны в этих вопросах), ну и т.п. А если в экзаменационную комиссию войдут знаменитые спортсмены, то надо поднатаскаться именно на истории Олимпийского движения и славных побед советского и российского спорта (ну и т.п.).

 Я был на встречах и с простыми педагогами, и с руководителями региональных органов управления образованием. Вопросы задаются с поразительной бесхитростной прямотой и «социалистической требовательностью»: «Сказали - будете проверять, так давайте заранее вопросы, которые будете задавать!».

 Так что натаскивание-то оно было в разные времена всегда, только принимало отличную форму от нынешнего времени. Хотя, конечно, натаскивание на тесты более вредно, но… вспоминается классический анекдот советских времен про студента на госэкзамене по биологии, которого  отчаявшиеся экзаменаторы (не чаявшие уже ничего услышать хотя бы на тройку) подвели к двум скелетам – мужскому и женскому – и спросили: «Ну а это кто?» - Неужели Маркс и Энгельс?!» - воскликнул обрадовавшийся своей догадке студент…  Было-было натаскивание в славные советские времена – в том числе на идеологические штампы и т.п.

 Итак, повторюсь – на этом относительно (с моей точки зрения) бесспорном и понятном вопросе про «натаскивание» я именно и хотел бы заострить вопрос о методах и логике ведения дискуссии: мы должны стремится к объективным данным, к объективной информации.

 Ну а уж если говорить о том, как должна быть изменены нынешняя модель ЕГЭ, чтобы сократить вредный эффект натаскивания, то коротко обозначу некую идею (подробное ее обсуждение, как и вообще разговор об альтернативной модели ЕГЭ, - это не предмет настоящего параграфа).  Как нельзя наказывать председателя колхоза за низкую урожайность почвы, доставшейся ему в силу объективных природных факторов (хотя жесткая капиталистическая экономика фермеров за это наказывает), так и нельзя наказывать директора школы и учителей за низкий уровень образовательной культуры той общественной среды, в которую погружена школа. Ведь на баллы ЕГЭ влияет вовсе не только школа, но и родители, которые формируют или не формируют позитивную установку на учение у своих детей, материальная оснащенность региона (литературой, оборудованием), та же самая географическая и коммуникационная удаленность от центров культуры, уровень нравственного и физического здоровья населения (умственный, психический потенциал детей, как и родителей, может просто страдать от чудовищной экологии, неправильного питания, алкоголизма, наркомании, преступности и т.п.)  Какую прибавочную стоимость создает школа? Как измерить фон (аналог земельного кадастра), чтобы измерить точно эту прибавочную стоимость?  С моей точки зрения, надо сравнивать баллы ЕГЭ (точнее баллы других, альтернативных образовательных тестов) и баллы объективного психологического измерения уровня развития умственных способностей детей (многие обстоятельства «образовательной экологии» проявляются в этом интегральном результативном показателе – уровне развития умственных способностей детей). Если школе достался «человеческий материал ниже среднего», но она дала результаты ЕГЭ выше среднего, то это очевидный успех. Но если школа просто произвела «жесткую селекцию» (отчислив перед выпускными классами всех, кто заведомо снизит им балл ЕГЭ, набрав умненьких и ухоженных детишек из благополучных, обеспеченных семей), то она вовсе и не обязательно покажет прирост в результатах образовательных тестов по сравнению с результатами психологических тестов, скорее наоборот – в рейтинге образовательных тестов она займет не столь высокое место, как в рейтинге психологических тестов. Вот тогда и получится гуманный разворот: школе будет выгоднее брать слабеньких детей, чтобы добиваться с ними хотя бы средних успехов, чем брать сильных детей, чтобы добиваться с ними успехов «едва выше средних».

Понимаю, тут мне могут возразить: а что меняется-то по существу, если тот показатель (средний балл ЕГЭ), который сейчас школа пытается максимизировать, Вы превратите в числитель дроби, ведь все равно школы будут стараться максимизировать числитель (если не того хуже – минимизировать знаменатель)? Да, согласен, что эта мера далеко не достаточная для противодействия риску натаскивания. Нужно еще и сам тестовый экзамен конструировать, проводить и учитывать так, чтобы сАмому среднему учителю было понятно, что натаскивание (избыточный тренинг в выполнении тестов) нанесет ущерб, а не поднимет уровень результатов.   

Главная мысль ту все-таки надо сформулировать в общем виде: надо правильно вычленить, разделить, проанализировать РАЗЛИЧНЫЕ ФАКТОРЫ управления образованием, чтобы, наконец, научиться им эффективно управлять. Если же в голове управленцев вообще не дифференцируются ЗУНы (знания-умения-навыки) и способности (понятые как потенциал обучаемости вообще), то чего же ожидать? Если отечественная школа тестирования способностей была разгромлена еще в 30-е годы и до сих пор фактически не восстановлена, что же ожидать? Если новомодные разговоры про «компетенции» замедлили осознание того, что такое «тесты способностей», чего же ожидать?

 

Тезис второй. Более высокий стресс на ЕГЭ - это во многом результат подмены понятий – вместо «единый» подставили понятие «единственный»

Итак, поговорим про стресс. Тут в дискуссиях публичного плана дело доходит нередко до слез и истерики. Мол, кто-то когда-то (даже под конкретным именем)  совершил суицид на почве ЕГЭ и т.п. Правда, мало кто задается при этом вопросом: а если на устном экзамене «режут», задавая «неберущиеся вопросы» и невозмутимо глядя в глаза «зарезанному» - это не морально-психологический шок? Кто-нибудь подсчитывал количество суицидальных попыток в таких случаях? Впрочем, если больше половины абитуриентов идут на вступительных экзаменах к известному уже заранее знакомому экзаменатору (из числа репетиторов), то, конечно, стрессовость подобных поддельных экзаменов и впрямь оказывается ниже.

Можно, конечно, впасть тут в публицистический раж и подобрать «доходчивые» для широкой публики утверждения типа:

1) Люди боятся вообще любых экзаменов, если они не предопределены, например, не превращены в формальное выставление заранее известных баллов – на основании годовых оценок, как это делается по факту на традиционных выпускных.

2) Боятся тестовых экзаменов прежде всего те, кто рассчитывает найти «особое понимание и заинтересованность» в глазах экзаменаторов на очном экзамене.

3) Боятся тестовых экзаменов те, кто научился списывать на обычных письменных экзаменах, но не научился «покупать ключи» к тестовым экзаменам.

и т.д., и т.п.

 

Но серьезный разговор о стрессе на экзаменах разных типов должен опираться не на подобные лозунги, а на исследования. Причем не надо путать такие исследования с опросами. Ведь нередко сами учащиеся в ходе опросов не точно отражают свое физиологическое состояние накануне и в ходе экзамена. То, что привычнее, пугает меньше – это общая закономерность. Возьмите группу студентов, которая в ходе какого-то курса сдает промежуточные зачеты в тестовой форме, а потом предложите этой группе на выбор, что они предпочтут – устный экзамен или тест (я проводил такой педагогический эксперимент в реальных условиях много раз). У меня лично получалось так, что студенты предпочитали тестовый экзамен. Кстати, в 1997-2001 годах, когда я проводил компьютеризированную Всероссийскую олимпиаду «Телетестинг», большинство участников этой массовой олимпиады (участвовали десятки тысяч человек) в ходе опросов голосовали в пользу тестового экзамена, причем более способные (получившие более высокие баллы) чаще выражали предпочтение тестовой формы, чем менее способные. Но… и это все нечистые статистические данные. В них есть то, что самокритичные экспериментаторы называют «ошибка выборки». Ведь в «Телетестинге» участвовали далеко не все школьники, а более сильные (рассчитывавшие на победу и высокие баллы), добровольцы, согласившиеся на эту форму испытания.

Таким образом, опять таки мы должны постараться для корректного ответа на поставленный вопрос о стрессе, организовать исследование (точнее - серию исследований в разных школах и вузах с участием разных экзаменаторов), которое будет базироваться не на субъективных суждениях кого бы то ни было, а на объективных психофизиологических измерения показателей стресса у экзаменуемых во время тестовых и традиционных экзаменов, причем в тех условиях, когда у них нет выбора и они вынуждены идти на экзамены в определенной форме. Вот как будет выглядеть логико-статистическая таблица в этом случае:

 

 

Сдается ЕГЭ по данному предмету в ситуации вступительного конкурса

Сдается традиционный экзамен в ситуации вступительного конкурса

 

Фиксируются объективные показатели деструктивного стресса на уровне тяжелой паники

 

 

А - Процент экзаменуемых

 

 

B - Процент экзаменуемых

 

 

Фиксируется умеренные показатели нормального мобилизационного стресса

 

 

C – процент экзаменуемых

 

 

D – Процент экзаменуемых

 

Конечно же, мы должны признать, что если правую строчку этой таблицы наполнять, исходя из «тепличных условий», которые раньше были на выпускных в школе, а левую – в ситуации серьезного конкурса в вузах, то мы получим влияние не фактора формы экзамена, а влияние фактора различий в мере ответственности экзамена.

Так что я хотел бы сформулировать следующее утверждение, которое обосновывает мою позицию в данном дискуссионном вопросе: нынешние критики-паникеры, которые запугивают детей «бабой ЕГой»  (а некоторые учителя этим в школах занимаются в наше время просто систематически), имеют в виду вовсе не ту табличку чистого эксперимента, которая приведена выше, а некорректную модель для обоснования своей позиции:

 

 

Сдается ЕГЭ по данному предмету в ситуации фактического вступительного конкурса

Сдается традиционный мягкий выпускной экзамен, который НЕ влияет на шансы поступить НИКАК

 

Имеют внешние признаки деструктивного стресса на уровне тяжелой паники

 

 

А - Процент экзаменуемых

 

 

B - Процент экзаменуемых

 

 

Умеренные признаки нормального мобилизационного стресса

 

 

C – процент экзаменуемых

 

 

D – Процент экзаменуемых

 

Насчет подобной таблички НЕТ никаких сомнений, что дробь A/C > B/D, но это связано вовсе не с формой экзамена (тестовая или устная), а с уровнем значимости экзамена для экзаменуемого.

Мне известны только исследования ситуации ЕГЭ с применением психофизиологических измерений, проведенные в Томском госуниверситете. Результаты таковы, что исследования НЕ выявляют более высокого стресса у абитуриентов при сдаче ЕГЭ по сравнению с традиционными вступительными экзаменами.

Есть одна положительная деталь, которую при всех недостатках нынешней модели ЕГЭ, ее авторы заложили в структуру вариантов ЕГЭ: первые задания любого варианта по любому предмету очень простые, так что самые нервные экзаменуемые (и особенно те из них, которые подготовлены хорошо) после этих первых заданий вполне успокаиваются и предстартовая лихорадка у них заменяется на нормальное «боевое возбуждение» (мобилизационный стресс). Это, кстати, один из плюсов тестовой формы контроля: заданий в тесте гораздо больше, чем вопросов на письменном и устном экзамене (в билете), так что первые вопросы могут быть ободряюще простыми без потерь для надежности (точности) и валидности (прогностичности) результатов.

Таким образом, главный стрессирующий фактор, который связан с нынешней моделью ЕГЭ, по моему убеждению, заключается вовсе не в форме экзамена (тестовая форма), а в том, что произошла подмена понятий. ЕГЭ – это, по моему убеждению, должно быть единство требований к экзаменуемым на всей территории страны (и по форме, и по содержанию заданий). Но это не обязательно проведение экзамена в один день по всей территории страны один раз в году!!  Я лично уже на самом первом заседании комиссии по ЕГЭ еще под председательством Владимира Михайловича Филиппова (в министерстве на Люсиновке) пытался возражать против такой подмены понятий, вступив в открытую полемику с министром по этому вопросу. Но меня никто особенно слушать тогда не хотел. Всем стратегам очень тогда понравился и показался убедительным для снискания симпатии в широких массах такой популистский лозунг: «Ребята, не надо сдавать 2 раза в течение лета 2 экзамена по одному предмету, долой лишний экзамен». Ну как же, кто же любит экзамены? – Чем меньше экзаменов надо сдавать, тем лучше. Не только дешевле для казны, но меньше нервотрепки у детей и родителей. Как бы меньше…

В тоже время на самом деле в ЕГЭ нервирует прежде всего отсутствие шанса на пересдачу и исправление случайного срыва. Почему в США тест SAT абитуриенты могут сдавать не один раз в году, а хоть 8 (восемь!) раз – в случае неудовлетворенности абитуриента своими результатами. Вначале они выбирают месяц. Могут начинать хоть с октября, если уже готовы. А потом можно каждый месяц пересдавать, пытаясь улучшить свой показатель. Вот в такой форуме тестовый экзамен становится не стрессирующей обязаловкой, а инструментом, стимулирующем свободное стремление к достижениям. Такая подстраховка значительно снижает стресс во время выполнения тестового экзамена. Но для реализации такой схемы нужна совершенно другая организационная инфраструктура тестового экзамена, чем создана у нас в течение немалых лет по экспериментированию в области ЕГЭ. У нас аврал и мобилизация «всех и вся», включая учителей пения и физкультуры, которых расставляют в школьных классах для проведения ЕГЭ по математике и физике. Куда уж тут рассуждать о соблюдении высоких стандартов в реализации непростой логистики (схемы информационных потоков и моделей безопасности) для осуществления профессионально-организованного тестирования?!  Главный лозунг как в советские времена: «Даешь рост поголовья проэкзаменованных по ЕГЭ!».

Опережающий темп роста количественного охвата, в ущерб качеству. Повторение в течении уже 8-ми лет с малыми изменениями фактически одной модели ЕГЭ, которая не изучается интенсивно на предмет ее дефектов и способов их качественного исправления и улучшения, а постоянно «раскручивается» по кривой экстенсивного роста количественных показателей (кол-во регионов, ко-во участников, кол-во предметов, кол-во вариантов, кол-во пунктов проведения, кол-во экспертов по части «С», кол-во сканнеров, кол-во секьюрпаков, которые рассылаются по стране с помощью дорогой фельдъегерской почты, и т.п.). Вместо качественного экспериментального мышления, направленного на критический анализ и объективное сравнение преимуществ и недостатков новой системы по сравнению с традиционной, мы видим настоящую, традиционную для еще советской бюрократической системы «процентоманию» - гонку за  количественными показателями, как будто именно они и призваны убедить всех и вся в том, что эксперимент идет (и прошел) успешно. А, может быть, за годы, прошедшие со времен невежественной советской партгосноменлактуры, хотя бы немножко «дураки перевелись»? Может быть, новое руководство получило прививку в виде основ самостоятельного критического мышления, критического отношения к «магии больших цифр»?

И в США, и в других развитых странах тестовые экзамены проводят или специализированные подразделения хорошо оснащенных крупных образовательных учреждений на уровне вузов, или специализированные самостоятельные организации (региональные центры тестирования, которые чаще всего вырастают на базе вузов, а затем обособляются).  Персонал этих организаций 365 дней в году борется за то, чтобы завоевывать доверие общества (различных потребителей) объективностью той информации, которую они порождают.

Конечно, хорошо, что с помощью ЕГЭ в определенной степени удалось поднять оснащенность каких-то школьных и межшкольных центров (хотя высокопроизводительные сканнеры им не слишком нужны, а компьютеры они получили по другой программе – программе информатизации). Но главный дефект – это отсутствие штатных подразделений, способных предлагать желающим проходить тестовый экзамен раз в месяц, а не раз в год! Такие штатные подразделения на самом деле было бы и гораздо легче контролировать на предмет их методической, и финансовой чистоплотности в осуществлении своих функций. Вообще, разумеется, вопрос созданной инфраструктуры ЕГЭ (начиная с федеральных ФЦТ и ФИПИ, а также РЦОИ – «региональных центров обработки информации») – это вопрос, который «прорастает» своими корнями во все обозначенные проблемы, а не только в проблему повышенной стрессогенности ЕГЭ.

В результате обсуждения двух первых проблем – «натаскивания» и «стрессогенности» - обозначен более обширный контекст, который нам пригодится при рассмотрении других проблем, связанных с ЕГЭ. Поэтому надеюсь, что обсуждение других проблем окажется несколько более лаконичным. Кроме того, сама по себе проблема «стрессогенности» тесно увязана в системное единство с другими проблемами, в частности, с проблемой «обязательности – добровольности», но об этом ниже (см. параграф 9).

 

Тезис 3. ЕГЭ, как и олимпиады,   не должен быть единственным источником аттестационной информации о выпускнике и абитуриенте.

Итак, теперь коснемся вопроса об «обезличивании». Чтобы снять с ЕГЭ статус единственного мерила, который угрожает нивелированием талантов, уже не первый год у нас много говорят об альтернативной траектории для попадания талантливых, неординарных студентов в ВУЗЫ – это система предметных олимпиад. Как известно, она была создана еще в советское время, но особенно процветала в 90-е годы, когда вузы принялись превращать свои предварительные экзамены в предметные олимпиады. Впрочем, не будем здесь делать акцента на вопросе о том, чтобы олимпиады не превращались в лазейку для не самых достойных выпускников подшефных привузовских школ. Поговорим о другом: о логических недоработках и дефектах системы формирования и интеграции данных так называемого «портфолио» - общего множества сведений о достижениях учащегося за время получения среднего образования.

У нас из-за постоянного акцента на размежевании и конфронтации вопрос ставится в разделительной манере «или-или»: или учитывать данные ЕГЭ, или учитывать данные Олимпиад, или учитывать данные вступительных экзаменов. Вот и получается, что одни абитуриенты зачисляются в вузы по результатам ЕГЭ, а другие – по результатам олимпиад. Для тех и других как бы формируются независимые квоты, они как бы не участвуют в общем конкурсе. А не пора ли поставить вопрос так: не логичнее ли учитывать и данные ЕГЭ, и данные олимпиад, и данные дополнительных (специфичных) вступительных экзаменов в вузы (там где у вузов есть силы и смысл их проводить), и данные внутришкольной четвертной (текущей) и годовой аттестации по формуле «И-И-И-И»?!  

Вот тут мы подходим к обрисовке контуров альтернативной концепции ЕГЭ. Еще до оглашения министром образования В.М.Филипповым в 2001 году проекта ЕГЭ я  опубликовал в газете «Первое сентября» (а эта газета была и инициатором, и спонсором олимпиады «Телетестинг» в течение пяти лет ее проведения)  предложение о такой схеме интеграции «школьных оценок» (годовых) и результатов независимого тестового испытания:

А) если нет значимого расхождения (расхождения остаются в пределах «плюс-минус балл» по пятибалльной шкале или два очка по десятибалльной шкале[5]), то школьнику присуждается более высокий балл (пусть тест сработает в его пользу, но не против него).

В) если есть значимое расхождение (более одного балла по пятибалльной шкале или более двух очков по десятибалльной), то проводится дополнительное испытание - традиционный (тестовый!) экзамен с помощью независимой (внешкольной) комиссии.

Тут же надо подчеркнуть, чем эта схема учета школьных баллов, отличается от того, что уже внедрялось еще в советские времена: к баллу вступительных экзаменов вузы в какие-то годы обязаны были приплюсовать средний балл школьного аттестата. Здесь речь идет не о механическом (арифметическом) суммировании, а логической взаимопроверке одним источником информации другого. Нельзя механически суммировать то, что противоречит друг другу! – Это ведь азы логики использования независимых источников информации для порождения комплексного (системного) решения! Когда мы суммируем механически школьную пятерку и вузовскую тройку (разрыв подозрительный – более чем в один балл!), то это что-то вроде подсчета «средней температуры по палате». В этих случаях надо ставить вопрос о дополнительной проверке, а не о механическом суммировании: какой из источников информации искажен? – Либо завышает свою оценку школа, либо занижает вуз.

Моя идея, как мне говорил сам Виктор Александрович Болотов, повлияла на появление правила, действовавшее все годы «экспериментального внедрения ЕГЭ» (о присуждении более высокого балла при расхождении результатов ЕГЭ и школьной годовой в один балл), но от самого главного элемента этой идеи мало что осталось. А именно влияние по факту было установлено в одну сторону: балл ЕГЭ корректирует балл школьного выпускного аттестата, но годовая школьная оценка, увы, не повлияла на балл свидетельства по результатам ЕГЭ. А ведь в вузовские приемные комиссии идет именно свидетельство![6]

Вот и получилось, что школьные учителя, которые уж за много лет знают своих учеников как никто другой, знают их нестандартные сильные стороны и слабости, - вот эти ключевые люди в системе образования оказались по факту отрезанными от влияния на тот балл, который абитуриент приносит в своем главном государственном документе в вузовскую приемную комиссию. В одном случае формула «И-И» казалось бы сработала (в случае аттестата), но в более важном случае (для вузовской комиссии) сработала по факту формула «ИЛИ-ИЛИ».

Я уж не буду здесь говорить о том, насколько дорогой и насколько слабо-эффективной по соотношению «цена-качества»по реальной статистике является так называемая часть «С», - часть, требующая от экзаменуемого развернутый ответ на открытый вопрос - написать микроэссе, дать полное решение, то есть, выкладки при решении задачки математической или физической задачи, то есть, фактически нестандартизированная часть ЕГЭ[7]. Если тут еще начать обсуждать экономическую сторону ЕГЭ, то конца и края не будет и так продолжительного тексту…

Но кратко надо попытаться объяснить суть. Ибо сейчас благодаря, в частности, позиции нового главы Минобрнауки А.А. Фурсенко снова возобновились разговоры про «портфолио», которые затихли на тот период, когда, казалось бы, ЕГЭ придавил все другие источники информации о качестве подготовки абитуриентов.

Итак, главный смысл портфолио заключается в подразумеваемом таком тезисе: НЕТ ИДЕАЛЬНЫХ МЕТОДОВ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ, ПОЭТОМУ НАДО УЧЕСТЬ РЕЗУЛЬТАТЫ МНОГИХ МЕТОДОВ. Наблюдение за учеником в течение несколько лет – важнейший источник, который воплощается в документированные результаты (годовые оценки), тогда давайте его учитывать. Этот источник не идеален? – Да, так как учителя, как правило, завышают оценки своих учеников (неизбежно смешивая эти оценки с самооценкой своей работы), а также могут иметь в классе любимчиков и «отверженных». Поэтому этот источник информации надо ДОПОЛНЯТЬ (не заменять, а ДОПОЛНЯТЬ) другим источником. Могут быть таким источником результаты олимпиад? – Да, могут. Хотя, в свою очередь, и это не идеальный источник. И он тоже должен быть ДОПОЛНЕН. Какими другими источниками? – Да, могут учитываться еще и результаты независимого тестирования. Они тоже не идеальны (так как тесты имеют свои недостатки).  Итак, приходим постепенно к пониманию ключевого тезиса в отношении тестов: тесты – необходимый, но не достаточный инструмент оценивания учащихся.

Тесты объективнее и при правильной технологической организации лучше защищены от фальсификаций (труднее списать, подделать результат). Кстати, правильная технология тестирования предусматривает предъявление вовсе не 15-20, как это бывает в вариантах ЕГЭ, а не менее 50 заданий типа «А» (с выбором ответа из заданных вариантов), а лучше – ближе к 100[8]. Именно тогда сокращается негативный эффект «случайного угадывания» и повышается позитивный – «добыть шпаргалку» для такого большого количества вопросов очень трудно. Особенно хорошо защищены тесты при проведении компьютерного тестирования, порождающего уникальные варианты на компьютере с помощью алгоритмов так называемой «рандомизации» (случайной выборки заданий из большого банка заданий) и « автоматической подстановки» (подстановки разных новых данных в макет задания[9]). Но тесты довольно поверхностны и больше приспособлены для диагностики репродуктивных знаний, чем глубины и логической связанности структуры знания.

Я во многих своих выступлениях и публикациях[10] предлагал сравнивать структуру знаний с деревом (есть, как известно, такие модели знаний в когнитивной психологии – концептуальные деревья). Тесты хорошо приспособлены для объективного измерения ширины дерева (как бы поверхностной кровли, это объем фактологических и терминологических знаний), но при этом тесты неважненько оценивают стройность дерева (стройность ветвления), и еще слабее – глубину корневой системы (прочность и самодостаточность знаний для их саморазвития). Для оценки активных, продуктивных познавательных компетенций и способностей необходим опытный экзаменатор - для оценки умения обосновывать, излагать, искать, задавать вопросы, ориентироваться в неожиданных обстоятельствах.

            Но опытный экзаменатор (тем более независимый и объективный) – это самый дорогой ресурс, его трудно бывает найти и привлечь. Уж лучше и не затевать вовсе подобную работу, если «под руками» на местах мы имеем дело лишь с предвзятыми, заинтересованными экзаменаторами.  Гораздо дешевле применять тесты и компьютеры. Поэтому не стоит  тратиться на проведение и проверку части «С» и тем более на устное собеседование  в очевидных случаях, когда нет никаких расхождений между результатами теста и «исторически-накопленной оценкой» (эта сумма оценок, накопленных за годы обучения называется в тестологической литературе academic history score). Вот этот подход, который я пытаюсь еще раз обосновать именно в этой статье, и создает определенную предпосылку для перехода от ЕГЭ к ЕГА – системе «Единой государственной аттестации», в которой тесты оказываются лишь одним из элементов.

            За годы проведения «Телетестинга» я лично убедился, что тестовый балл и обычная школьная оценка расходятся вовсе не так часто, чтобы перепроверять ВСЕХ ВСЕГДА В ПОЛНОМ ОБЪЕМЕ ПО САМОЙ ДОРОГОСТОЯЩЕЙ ОЦЕНОЧНОЙ ТЕХНОЛОГИИ (?!). Больше половины (по некоторым предметам и регионам до 80 процентов) учащихся в «Телестинге» получали ТУ ЖЕ САМУЮ оценку, что имели в школе, - получали по компьютерному тесту, в котором использовался такой мощный инструмент для обеспечения достоверности (защиты от фальсификаций), как рандомизация. Рандомизацией мы называем автоматизированный  случайный выбор компьютером  в момент тестирования 50-70 заданий из банка в сотни и тысячи заданий (именно этот прием «убивает» массовые шпаргалки типа «номер вопроса – номер ответа»). Таким образом, по факту получается, что в большинстве случаев школьные учителя достаточно ОБЪЕКТИВНЫ. Так зачем же создавать стране дополнительные затраты на дополнительные проверки тех учеников, которые получили свою объективную оценку двумя самыми дешевыми способами – через сравнение «И-И» школьной оценки и дешевого по затратам компьютерного тестирования[11] (не требующего привлечения тысяч квалифицированных экспертов для проверки сотен тысяч микроээсее – решений задач в части «С»)?

            Я уверен, что стране просто некуда деться, но придется разрабатывать схему «портфолио» (немножко более по-русски это можно знавать «портфелем оценок») – и с целью оптимизации соотношения «цена-качества», и с целью дополнения и взаимопогашения методических недостатков разных методов оценки, и с целью восстановления нарушенного политического баланса в учете внутришкольных и внешкольных оценок.

            Вообще-то я в этой статье не пытаюсь навязать какую-то строго-определенную схему интеграции результатов разнотипных методов - схему работы «портфолио». Я пытаюсь покорректнее сформулировать задачу – корректнее, чем она ставится и звучит в пылу непрекращающихся неконструктивных споров. Я пытаюсь сформулировать логику подхода, который фактически еще никогда толком не применялся в российском образовании. Эта методология – не есть мое доморощенное изобретение. Эта методология аттестации внедрена в передовых системах «оценки персонала» в крупных транснациональных корпорациях. Согласно этой методологии интегральный рейтинг качества специалиста формируется не на основе одного источника информации, не на основе механического суммирования данных из разных источников, но на основе сравнения непротиворечивости данных, полученных из разных источников. То есть, работа по выяснению степени согласованности независимых (друг от друга) инструментов соединена в данной методологии воедино с формированием комплексного (интегративного) оценочного рейтинга (рейтинг-балла).

            Важно подчеркнуть, что тестовый экзамен даже в том случае, если человек получил диплом лауреата олимпиады, все-таки должен показать хотя бы «тройку» (зачет), а лучше всего если он покажет балл в пределах «доверительного интервала» (с понижением не более одного балла по традиционной шкале). Слишком высокое своеобразие мышления у талантливого человека (в отсутствие базовых знаний, базовой адаптивности в выполнении простейших заданий) – ничего хорошего не предвещает. Такие люди будут явно не готовы к обучению в большинстве современных вузов, которые требуют определенной дисциплины и технологичности: хотя бы усвоения текстов, предъявленных через Интернет, а значит и привычки «водить мышкой»  (многие преподаватели вывешивают для своих студентов в Интернете программы занятий, методические оказания – то, что раньше называлось «раздаточным материалом» и т.п.). Во многих вузах текущий контроль базируется на выполнении несложных компьютеризированных тестов. И что тогда будет делать в вузе этот своеобразный гиперталант? – Опять под него придется проектировать индивидуальный план обучения? Он будет особым образом сдавать экзамены и зачеты и т.п.? Потом он поступит на работу, где будет ожидать опять-таки глубоко индивидуального подхода со стороны руководства: чтобы дали свободное посещение офиса, чтобы не требовали никаких отчетов о проделанной работе в стандартизированной, письменной форме и т.п.? А не проще ли задать определенные требования к минимальной социализации с самого начала? – Значительная часть таких однобоких талантов тогда несомненно дисциплинируется, станет организованнее и ответственнее…

 

Тезис четвертый. Сам ЕГЭ надо разбить на 2 этапа, это повысит контроль за качеством выполнения первого, тестового этапа, и в этом случае ошибок в ЕГЭ будет гарантировано меньше, чем при традиционной системе экзаменов.

Когда журналисты, алчущие жареных фактов и скандала, раздувают какую-нибудь нелепую ошибку в заданиях ЕГЭ (хотя нередко на поверку оказывается, что это вовсе и не задания ЕГЭ, а результат подделки «под ЕГЭ» со стороны каких-то недобросовестных издательств), то возникает вопрос: а каков сравнительный удельный вес таких ошибочных заданий в вариантах ЕГЭ и в вариантах традиционных письменных и устных экзаменов (в билетах хотя бы)?

В ЕГЭ ежегодно создаются по каждому предмету буквально ТЫСЯЧИ новых заданий. Потому что в ЕГЭ гораздо больше заданий (вопросов) внутри варианта (на порядок больше) и больше вариантов. Кроме того, задания традиционных экзаменов не публикуют и они не расходятся массовыми федеральными тиражами, так как их аудитория гораздо уже (только абитуриенты одного вуза или даже одного факультета, например). Почему никто не задается вопросом: сколько ошибок в заданиях традиционного типа? – Просто потому, что эти задания не так видны, их трудно проанализировать и подсчитать число ошибок?

По моим прогнозам, если мы построим логико-статистическую табличку, которая позволяет сравнить качество заданий ЕГЭ и других экзаменов, то мы получим скорее всего сравнительные данные не против ЕГЭ, а в пользу ЕГЭ:

 

 

Варианты ЕГЭ

 

Обычные варианты

 

 

Ошибочные задания

 

1

 

1

 

Безошибочные задания

 

1 000

 

50

Вот такая гипотетическая табличка могла бы содержать цифры (это мое предположение, а не факт), которые бы подтвердили бы значимое превосходство ЕГЭ по качеству заданий на достаточном уровне статистической надежности. Но кто и когда поставил задачу построить такую табличку? – Если бы всю энергию, употребленную сотнями и тысячами людей на бесплодные споры по этому вопросу, употребить бы на создания подобной таблички, то все выглядело бы значительно более однозначно!

Почему я предполагаю, что удельный вес ошибок в банке заданий ЕГЭ меньше! – Потому, что я знаю, что задания ЕГЭ проходят не идеальный, но гораздо более тщательный и более многосторонний отбор, чем традиционные задания (в этом, кстати, заслуга определенных вполне добросовестных специалистов, которые год от года совершенствуют эту систему фильтрации заданий в рамках ФИПИ – Федерального института Педагогических Измерений).

Кстати, уж если говорить об ошибках, то в ЕГЭ действует более регламентированная и ясная практика корректировки результатов в случае их обнаружения уже на этапе проведенного экзамена: недостающие очки по этим заданиям (одно очко не более!) засчитываются в пользу учащегося. А как работает подобная практика в том случае, если в ходе устного экзамена экзаменатор с нечеткой дикцией вдруг не выговорил какое-то ключевое слово – ключевое для понимания абитуриентом данного вопроса? К сведению: из-за всяких дефектов устной процедуры, резко снижающих ее объективность, на Западе в большинстве вузов уже просто отказались от устных экзаменов и применяют только письменные (тут хотя бы судебные разборки в случае иска о нарушении объективности стоят дешевле).

В ЕГЭ с вариантами есть другая более острая проблема, чем наличие ошибок в отдельных заданиях. – Это проблема не обеспеченной эквивалентности вариантов по трудности. Так как из-за сложности защиты бланковой информации от утечки, приходится производить гораздо больше вариантов, чем это потребовалось бы при использовании компьютерного тестирования. Не хватает времени и других ресурсов, чтобы апробировать все эти десятки вариантов (иногда сотни производных, которые получаются в результате перемешивания). В результате индекс средней трудности заданий в  бланковых вариантах ЕГЭ может различаться на 5 процентов, а в определенных случаях доходят до 10. Компьютерная модель позволяет вычислять трудность заданий (по проценту правильных ответов), не разглашая сами задания (в виде печатных тестов) – задания промелькивают на экране и быстро сменяются другими заданиями (хотя, конечно, нужно чтобы дежурные в компьютерном классе не начали попросту фотографировать задания с экранов).

Конечно, я был и остаюсь сторонником именно компьютерной модели тестирования (неважно назовем ли мы это тестировании ЕГЭ, или «централизованное тестирование», или «Телетестинг»). Я всегда и везде это заявлял и никогда не скрывал. Я не считал компьютерное тестирование таким массовым и общедоступным (хотя в последние годы количество компьютеров во всех учреждениях российского образования стало уже огромным), чтобы обеспечить всеобщий охват всех выпускников в обязательном порядке. Но я считал, что более высокая защищенность компьютерного тестирования от массовой утечки информации, позволит производить на его основе более качественные, хотя и более камерные эксперименты. Причем только на добровольцах – тех, кто хочет добровольно в этом участвовать, чувствует себя готовым. Опыт «Телетестинга» показал, что выборки при этом будут достаточно репрезентативными для самых серьезных выводов – уже десятки тысяч учащихся, хотя и не сотни тысяч (как в случае бланковой модели). Но это создаст более прочную основу и более надежную и ясную перспективу – без риска массовых подозрений, что кругом все торгует ключами к вариантам ЕГЭ. Ведь в случае «рандомизации» ключи как таковые «умирают»: уже невозможно создать компактную шпаргалку вида «номер вопроса – номер ответа», ибо в каждом сеансе компьютерного тестирования номера эти меняются (и ответ появляется на разной позиции на экране).

Но… никакая технология оценивания НЕ является идеальной. Честным профессионалом это хорошо понятно. Речь идет лишь о сокращении того, что профессионалы называют «риск ошибки измерения». Лучший способ сократить процент ошибок, а также и снизить стресс перед вероятным провалом – это разделение тестового и экспертного этапов ЕГЭ. При этом надо поручить подготовку и проведение каждого этапа РАЗНЫМ организациям. Это будет и определенной прививкой от монополии, и позволит внутри каждого этапа реализовать в большей степени те наиболее выгодные аспекты каждой технологии оценивания, которые имеются, но сейчас не используются. Сейчас в ЕГЭ эти 2 технологии объединены и скрадывают технологические преимущества каждой технологии (если не сказать резче - «пожирают друг другу»). Приведем пример. Для тестовой технологии важнейший инструмент – жесткий контроль времени: в международной практике принято на разные последовательные блоки теста вводить свои лимиты времени (дело доходит до ограничений не в часах, а в минутах!). Так что у учащихся просто не хватает времени на то, чтобы «рыскать в шпаргалках», в своих «электронных банках данных» (если им даже удалось протащить с собой карманные компьютеры или коммуникаторы).  В экспертной технологии, в которой даются задания на сложность, а не на скорость, дается более свободные и продолжительное отрезки времени на экзамен в целом. Что же происходит в ЕГЭ? – На весь экзамен до 4-х часов без дифференцированного контроля времени на части А, В и С. Вот так «скрестили ужа с ежом». Сейчас на короткие задания с коротким ответом (особенно если их мало) экзаменуемые успевают получить подсказки, вырвавшись на перерыв в туалет (я это лично выяснял не только в ходе прямых инспекторских поездок по разным регионам, в которых проводился ЕГЭ, но и в тех сотнях анонимных сообщениях, которые приходили на форум ege.ru). Никогда тесты в мировой практике не затягивают так, чтобы возникла потребность выхода в туалеты. – Это нонсенс! Тестовый сеанс эффективен, если продолжается до 90 минут (а для школьников лучше не затягивать далее 60 минут). Опыт «Телетестинга» показал, что можно получить настолько же валидные результаты за 40 минут компьютерного тестирования (при предъявлении от 50 до 70 заданий по предмету), что и за 90 минут бланкового централизованного тестирования.

Таким образом, разведение по разным дням тестовой и экспертных частей ЕГЭ позволит оптимизировать достижение следующих целей:

1)     Проводимый на первом этапе Федеральный независимый тестовый экзамен (ФНТЭ) станет высоко-технологичным, максимально-компьютеризированным (будет происходить в компьютерных классах) и защищенным от фальсификаций. Главные исполнители на местах в это случае – это ИТ-специалисты, инженеры, обслуживающие компьютерные классы в пунктах проведения (лучше всего при крупных вузах или межшкольных центрах).

2)     Проводимая на втором этапе Федеральная Независимая Экзаменационная Комиссия (ФНЭК) будет реализовать лучшие качества экспертных технологий оценивания знаний. Здесь более глубокие письменные задания с полным ответом, ориентированные на проверку независимыми экспертами. Здесь же возможно потребуется и проведение устных, апелляционных заседаний Комиссии – в режиме очного собеседования с экзаменуемыми по спорным вопросам в их письменных работах.

Понятно, что себестоимость проведения второго этапа (если его не сводить к профанации, а создавать комиссии из реально независимых специалистов) намного выше, чем себестоимость первого (и с прогрессом информационных технологий разрыв будет расти). Поэтому на второй этап целесообразно посылать не ВСЕХ выпускников, а тех, кто на первом этапе продемонстрировал противоречивые показатели – противоречащие накопленным баллам в ходе школьного обучения.

Подчеркнем, что в сложных драматических случаях Комиссия будет подстраховывать учащихся от неожиданных провалов в ходе тестового экзамена. Ну вдруг у кого-то просто заболела в момент тестового экзамена голова, и учащийся показал балл много ниже своих возможностей. Не фатально! – Он попадает на комиссию и выполняет фактически традиционный письменный экзамен.

 

Тезис пятый. Он затрагивает вопрос о дискриминации и гласит: «Рост авторитета любой системы экзаменов нельзя обеспечить приказом, он достигается эволюционно – по мере накопления год от года общественного доверия к качеству подготовки тех, кто получил высокие баллы».

Против упомянутого мной выше «Телетестинга» в свое время (да и сейчас) прозвучало тоже немало острых возражений. И один из них фактически сводился к тезису о дискриминации: вводя компьютерную форму тестового экзамена Вы создаете неравные условия для тех, кто имеет в школе (и дома) компьютеры и для тех, кто их не имеет.

Да, казалось бы, на первый взгляд массовый бланковый экзамен в этом смысле более демократичная форма, чем компьютерное тестирование. Ведь работать с бумагой и ручкой умеют все выпускники, а вот жители отдаленных и бедных поселков и маленьких городков не имеют возможности постоянно тренироваться выполнять тесты за компьютером.

Да, казалось бы, звучит пафосно и архи-гуманно: «Надо заботиться о малоимущих детях!». Не буду сейчас обрушиваться на возможное лицемерие некоторых господ-товарищей, которые так заявляют (как будто они не знают расценки на довузовскую подготовку к сдаче экзаменов в традиционной форме).  Важно было бы проанализировать проблему объективно, а не голословно. Ведь если бы мы опять организовали эксперимент и пригласили бы в нем участвовать городских и сельских детей (живущих вдалеке от Интернет-кафе, не имеющих компьютеров вовсе в своих бедных сельских школах), то на самом деле еще не известно, что мы получили бы в этом эксперименте. Ведь нажать на четыре кнопки (при четырех вариантах ответа) дети обучаются без всякого компьютерного опыта за 10-15 минут и дальше с удовольствием это делают также быстро, как те, кто это делал уже много лет. Кроме того тесты знаний – это не компьютерные игры на скорость в перестрелке. О спокойных и вполне довольных сельских детях  мне радостно писали сельские учителя, привозившие своих сельских детей в город – участвовать в «Телетестинге». Но мы тогда не собрали точную объективную информацию. Хотя логико-статистическая табличка должна была бы выглядеть так:

 

 

Простейший

клавиатурный тест

 

Сложный по содержанию образовательный тест (ЕГЭ)

 

 

Сельские дети (безкомпьютерные)

 

Средний балл

и дисперсия (разброс)

 

Средний балл

и дисперсия (разброс)

 

Городские дети (компьютерные)

 

Средний балл

и дисперсия (разброс)

 

Средний балл

и дисперсия (разброс)

Здесь пришлось бы обрабатывать несколько иную информацию – не процентную, а средние баллы по тесту с учетом разброса (дисперсии). Впрочем, не будем уводить читателя в дебри дисперсионного анализа. Мне важно подчеркнуть, что такого рода данные позволили бы проверить мою гипотезу, что в тесте простой моторной реакции выбора (из четырех клавиш) сельские дети после часовой репетиции вовсе не уступят городским (хотя они и не умеют быстро работать мышкой, но это и не требуется), или, если уступят, то меньше, чем в самом образовательном тесте, потому что различия между ними имеются скорее в уровне содержательной подготовки, чем в уровне готовности к компьютерному тестированию – как к особой форме тестирования.

Теперь о прогностичности экзаменов. Увы, в обывательских дискуссиях вокруг ЕГЭ даже само понятие «прогностичность» (валидность), как правило, не фигурирует. Как же трудно сформировать у людей ориентировку на это понятие – в таком замусоренном, зашлакованном смысловом пространстве!

Если преподаватели ВУЗА, которые принимают экзамены у студентов на первом курсе, знают, кто прошел по результатам ЕГЭ (независимого тестирования) и если они настроены против этой системы, то от них можно ожидать, увы, не полной объективности в оценивании этих студентов – они могут быть сознательно (или подсознательно) критически к ним настроены. И мы опять получим искажения, даже если решимся, наконец, просчитать статистическую связь (коэффициент корреляции) для двух (подчеркиваю двух, а не одной) формы экзамена – тестовой и традиционной.

Вот как, по моему мнению, должна быть спроектирована логико-статистическая таблица для минимальной чистоты эксперимента по проверке прогностической валидности тестового экзамена:

 

Баллы зачетки за 1-й курс в ВУЗЕ, полученные от осведомленных экзаменаторов

Баллы зачетки за 1-й курс в ВУЗЕ, полученные от НЕосведомленных экзаменаторов

Вступительные баллы абитуриентов, зачисленных по результатам ЕГЭ

 

Коэффициент

Корреляции

 

Коэффициент

Корреляции

Вступительные баллы

абитуриентов, зачисленных

по результатам традиционных экзаменов

 

Коэффициент

Корреляции

 

Коэффициент

Корреляции

Здесь в этой таблице под «осведомленностью» вузовских экзаменаторов я подразумеваю то, знают они или не знают, кто из студентов был зачислен по ЕГЭ, а кто – другим образом. Только сравнение между собой четырех разных коэффициентов корреляции позволит устранить возможный артефакт, связанный с фактором «осведомленности» преподавателя.   Не исключено, что мы получим преимущество ЕГЭ в прогностичности лишь для группы «неосведомленных экзаменаторов». Но я не исключаю, что мы можем и не получить в таком эксперименте никакого преимущества ЕГЭ в прогностичности ВОВСЕ! – Почему? – Потому что нынешняя модель ЕГЭ имеет очень много недостатков. Некоторые обладатели очень высоких баллов ЕГЭ вызывают подозрения просто «невооруженным» глазом. Особенно приехавшие из тех регионов (городов и деревень), где вдруг «ни с того, ни с сего» на графике распределения тестовых баллов после «нуля» в интервале от 70 до 90 баллов появляются целые группы учащихся с баллами свыше 90. По всем нормам зарубежной тестологической практике такая конструкция графика распределения (с локальным экстремумом ближе к высокому правому полюсу шкалы тестовых баллов) считается свидетельством «утечки ключей к тесту».

Но и не это главное: никакими экспериментальными данными обществу не навяжешь на самом деле доверия к определенной форме тестирования. С помощью такой аргументации в лучшем случае в чем-то можно убедить узкий круг экспертов и лиц, принимающих решение (ЛПР), но не массу населения.  Масса населения, если потеряно на много лет доверие к коррумпированной власти, все равно будет считать, что «своим» эти высоколобые толстосумы все равно подсунут на экране компьютера более легкий и известный вариант, чем чужим детям.

В том, что определенная система на производит дискриминации, надо убеждаться долго – отслеживая образовательную карьеру многих носителей высоких и низких результатов, полученных по этой системе.  В науке это называют «схема проверки прогностической валидности» Но в реальной социальной жизни требуется еще больше лет и участников живого эксперимента, чем в науке.

Нужна другая система мотивации самого вузовского персонала (от руководителей до рядовых преподавателей и администраторов вспомогательных службы, норовящих ныне пристроить своих детишек тоже «поближе к себе»). Если вуз (как коллектив людей) не видит других возможностей поправить свое материальное положение, чем создавать трудности «на входе»  для поступающих и вымогать тем самым у общества недостающие средства, то очень трудно заинтересовать такой вуз в том, чтобы искать и учить действительно перспективных студентов – тех, кто, завершив вуз, трудоустроится на большую зарплату и будет ее получать устойчиво. Вот если бы нам удалось переориентировать вузы на то, как ему кормиться «на выходе» - не на поступающих, а на выпускниках. Это было бы куда как грамотнее и здоровее для общества. Но тогда и вузам пришлось бы побыстрее перестраиваться – в соответствии с постоянно растущими и меняющимися требованиями работодателей.

 

Тезис шестой. Схема дополнения ЕГЭ (тестового экзамена) вузовскими профильными экзаменами должны быть создана, но должна быть обоснована и прозрачна.

Во многих вузах балл ЕГЭ, как и итоговый балл школы, - это не информация для зачисления, а лишь информация для допуска (приглашения) абитуриента к участию в конкурсе. В самом деле зачем ВУЗу тратиться на прием экзамена у абитуриента, у которого нет необходимой базы не только для сдачи вступительных экзаменов, но для главного – для освоения вузовской программы. Правда, бывают ситуации (и, увы, нередко) когда ВУЗу хочется «поднять конкурс». В высоком конкурсе многие вузы видят для себя не только престиж, но и инструмент давления на общество, недоплатившее вузу по квалификации его персонала (государственные оклады вузовских преподавателей до сих пор так низки, что из иначе как «дискриминационными» трудно назвать). Но почему бы вузам не перестроиться для оглашения двух вполне официальных и публичных конкурсов (или двух этапов одного конкурса):

А) Заочного конкурса «портфолио», включающего результаты ЕГЭ и других испытаний (школьный аттестат, олимпиады и т.п.).

Б) Очного конкурса, включающего прием профильных экзаменов.

Что же такое профильный экзамен? – Он, по мнению многих здравомыслящих людей (кстати, и В.А.Болотов часто высказывался в таком смысле) должен не дублировать по уровню и содержанию ЕГЭ и школу (все те же задания, только принимают экзамен другие люди), а должен отражать специфику вуза – должен иметь мотивированное ИНОЕ содержание. Например, такое, какое имеют творческие конкурсы в театральные и художественные вузы. Почему бы будущим медикам (и психологам, кстати) не предложить «этический тест» - на уровень рассуждения и мышления при решении этических задач-кейсов, моделирующих определенные жизненные коллизии.

И тут мы приходим к важной проблеме логики учета баллов заочного и очного вступительных конкурсов. Надо отчетливо различать 2 подхода:

А) Арифметическое суммирование. Даже если заочный и очный баллы суммируются с разными весами (например, заочный весить 60 процентов, а очный – сорок), это все равно арифметический подход, имеющий свои дефекты в логике возможных исходов. При этом очень высокий очный балл может компенсировать совсем неудовлетворительный заочный балл абитуриента. И если таких случаев очень много, то я бы лично не стал доверять доброкачественности такой системы приема в таком вузе.

В) Поэтапный отсев.  Это гораздо более ясная логика, которая, на мой взгляд, скорее вызовет рост доверия. Вначале абитуриент должен набрать какой-то определенный минимально-достойный балл на заочном этапе. Только после этого он допускается до очного этапа. Конечно, такой подход трудно применять вузам (факультетам), которые балансируют на грани с недобором.

С) Комбинация А и В: на втором этапе суммирование баллов происходит только для тех абитуриентов, которые прошли и А, и В.

 

Тезис седьмой. Уровень сложности заданий ЕГЭ (тестового экзамена) должен быть снижен.

Если, как мы видели из предыдущего параграфа, ЕГЭ занимает  подобающее ему место предваряющего заочного испытания-фильтра, то совсем нет необходимости «впихивать» в варианты ЕГЭ трудные задания, которые вышибают пот и слезы из учителей, и выпускников средних и слабых школ.  Чтобы сдать такой упрощенный тестовый экзамен нужно лишь надежно разбираться в основах.

А стоит ли тут тратить слова, чтобы еще что-то комментировать? Упрощение заданий ЕГЭ снимает многие проблемы, включая необходимость натаскивания и страх перед стрессогеннейшим из экзаменов.

А как же отбор в вузы? – могут спросить меня сторонники формирования контингента студентов на основе ЕГЭ. Отвечаю: Для многих вузов (если не для большинства) достаточно доброкачественным контингентам будут выпускники школ, надежно и достоверно показавшие, что основы среднего образования у них есть.  А вот вузам, выставляющим абитуриентам особые и повышенные требования, все равно придется применять дополнительные, профильные конкурсные испытания. Поэтому и нет никакого смысла вгонять в ЕГЭ сложные задания, которые теперь по цепочке вгоняют в истерику вначале школьных учителей, а затем и учеников.

 

Тезис восьмой. Шкала баллов ЕГЭ должна быть сокращена вдвое и прозрачно увязана с традиционной школьной системой баллов.

В одной из своих статей, написанной совместно с М.Б.Челышковой и опубликованной в журнале «Вопросы образования»[12], я уже пытался обосновать непригодность нынешней шкалы ЕГЭ по ряду критериев, главный из которых – непрозрачность для широкой публики.. Там я пытался предложить шкалу от 1 до 200 (выходящую за пределы 100), что уподобляет наше российское решение британской системе, принятой для тестов о полном среднем образовании. Такая система делает людей, получивших средний балл в районе 100, более спокойными в отношении к своей невысокой позиции по сравнению с теми, которые получают баллы выше 100. Заодно снимается путаница с процентами.

Но сейчас мне кажется, что шкала 1-200 – это опять-таки экзотика. А нашим согражданам нужно что-то попроще, попонятней и постабильней (то есть, поближе к привычным реалиям). Но опять-таки нельзя использовать 100-балльную шкалу, так как путаница с процентильной шкалой в этом случае будет ГАРАНТИРОВАНА (на эту путаницу сбиваются все, включая министров, которым трудно в пылу полемики упомнить, что здесь речь идет скорее про «градусы», чем про проценты).

В настоящее время я думаю, что людям было бы проще сориентироваться в шкале от 16 до 55 (точнее от 1.6 до 5.5), на которой десятки надо было бы просто-напросто связать с традиционными градациями на пятибалльной школьной шкале оценок:

от 4,6 до 5,5 – это разные градации школьной «пятерки» (так что 5,3 можно было бы интерпретировать как пятерку с тремя маленькими плюсами, а 4,8 – пятерку с двумя маленькими минусами);

от 3,6 до 4,5 – разные градации школьной «четверки»;

от 2,6 до 3,5 – разные градации школьной «тройки».

от 1,6 до 2,5 – разные градации школьной «двойки» (учащимся такие нюансы внутри категории «неуд» скорее всего не пригодятся практически, а для образовательной статистики они важны).

Можно и «кол» в этой системе ввести при желании (это предложение не раз высказывал на разных совещанием И.И.Калина), но дело не в этом.

Я убежден в том, что на фоне шкалы от 16 до 55 была бы востребована (а главное осмыслена) как независимая информация процентильного характера, или, как ее иногда называют, «рейтинговый относительный балл»: информация о том, сколько процентов участников тестирования, набрали балл ниже данного участника. Я, кстати, много лет добивался, чтобы в свидетельство ЕГЭ были указаны 2 числа: сам результат (отражающий число решенных заданий) и место, занятое абитуриентом по стране. Как в спорте: есть результат в секундах (сантиметрах, килограммах) и есть место в данном соревновании.

 При шкале «16 – 55» было бы проще организовать интеграцию баллов тестирования со школьными итоговыми оценками – без всяких сложных пересчетов. Если школьная оценка «тройка», а за тестирование учащийся получил балл 36 (или 3,6 – три целых и шесть десятых), то все понятно «на пальцах»: разница менее 10 очков (менее 1 балла по обычной шкале) и присваивается итоговый балл в пользу учащегося, то есть, 36 читается как «четверка, хотя и с четырьмя маленькими минусам». А вот если по независимому тестированию школьник получил балл 19 (ниже тройки на 11 очков), то ему предстоит Независимая Комиссия, ибо не набрал не то что двойку с плюсом, но получил просто двойку с минусом (одним маленьким минусом – балл 1,9 по пятибалльной шкале).

Все сложные пересчеты шкал, основанные на алгоритмах IRT, надо оставить для кабинетных изысканий и ученых поисков оптимизированных математических прогностических моделей. А на широкую публику надо вывести простые, объявленные еще до всяких экзаменов  таблицы соответствий сырых баллов (количество решенных заданий в тесте) и стандартизированных едино-масщтабных баллов. Конкретно-визуальную логику табличного приведения сырых шкал к единому масштабу (при наличии в разнопредметных тестах разного количества заданий) ученики и учителя еще готовы осилить, а вот логику абстрактных формул - линейных, тем более нелинейных преобразований сырых баллов в стандартизованные – уже невозможно объяснить массам. Пробовал я когда-то объяснять обратный нормальный интеграл на форумах портала ЕГЭ и понял, что порождаю своими любыми словами лишь тихую ярость в лучшем случае (громкой тоже хватило).

Вот как может выглядеть априорная (то есть, объявленная еще до экзамена) конверсионная таблица (таблица перевода, если говорить русскими словами)  по какому-нибудь предмету (не буду приводить здесь конкретный предмет), в котором 60 тестовых заданий:

Число решенных

тестовых заданий

 

0 – 22

 

 

23 – 32

 

33 – 48

 

49 – 60

Стандартизированные

баллы

1,6 – 2,5

(двойка)

2,6 – 3,5

(тройка)

3,6 – 4,5

(четверка)

4,6 – 5,5

(пятерка)

И при этом следует заранее объявить для всех школ (и вузов) 2 вещи:

А) точные соотношения внутри интервалов будут объявлены предметной комиссией только после проведения массового тестирования

Б) комиссия оставляет за собой право двигать границу между интервалами, но не больше, чем на 2 очка (многолетняя практика проведения ЕГЭ уже позволяет рискнуть давать такие обещания).

Предлагаемая шкала будет удобна и на этапе интеграции результатов такого модифицированного ЕГЭ с вузовскими дополнительными экзаменами: при суммировании двух баллов с равным весом 5,0 плюс 5,0 получится сумма 10,0. Конечно, в теоретических случаях возможен и балл 11,0 (сто десять), что означает «пять с пятью плюсами на двух экзаменах», но это уж какая-то редкость. Превышение над 5.0 – удобная цифровая семиотика для учета результатов на олимпиадах. Ведь это, как правило, пятерка с многими плюсами.

Вот так можно получить формулу интегрального конкурсного балла абитуриента  (КБА) из четырех источников (при равных весовых коэффициентах каждого источника):

КБА = Балл школы + Балл ЕГЭ + Балл олимпиады + Балл вступительного экзамена [13]

Но важно тут же добавить: использование этой формулы возможно лишь в тех случаях, если балл по каждому последующему источнику не противоречит предыдущему баллу (не расходится с ним более, чем на один балл). Как это достичь? – Очень просто. Суммируются только результаты тех абитуриентов, которые попадают на следующий этап вузовского конкурса: проходят заочный этап и попадают на очный.

 

Тезис девятый про добровольность: «Никого не надо заставлять получать балл ЕГЭ, если просто учитывать его с весом хотя бы 25 процентов в конкурсном балле абитуриента, но зато обязательно учитывать!»

Итак, приучаем абитуриентов-старшеклассников (и их родителей) к самостоятельным экономическим расчетам: «Если тебе хватает всего двух компонентов для проходного конкурсного балла (школьного балла и балла вступительного экзамена) и ты не видишь смысла мучиться-сдавать ЕГЭ, то не сдавай», но если ты собираешься в ВУЗ с высоким конкурсом, где каждое очко будет на вес золото, то придется сдавать, чтобы набирать очки – придется и в олимпиаде участвовать, и набирать баллы по всем зачетным предметам по максимуму.

Некоторые коллеги (та же Г.С.Ковалева) выступают против добровольности ЕГЭ, аргументируя это тем, что в результате на выборке одних только «добровольцев» мы получим смазанную (нерепрезентативную) картину уровня образования в стране. Но, я утверждаю, что навязывание ЕГЭ всем и вся ради репрезентативной статистики – это политическая ошибка. Порождение массового сопротивления ЕГЭ – это слишком дорогая цена за репрезентативную статистику.

И два слова насчет платности. Не надо смешивать добровольность с платностью ЕГЭ. А то у нас мыслят так: если вводим добровольность, то берем плату. Нет предоставьте возможность выпускникам сдавать ЕГЭ (по крайней мере одну первую попытку в жизни) на бесплатной основе. Тогда будет меньше разговоров про дискриминацию и т.п.

 

Тезис десятый. Модель ЕГА должна воспроизводить логику диагностического мышления: третий этап диагностики должен следовать после выявления противоречий в результатах, полученных на первых двух этапах.

Когда мы аттестуем или рейтингуем учащихся мы не должны действовать механически. Мы должны исходить из того, что каждый источник информации может содержать погрешность и поэтому должны применять логику диагностического мышления. Вещь эта пока неведомая для наших образовательных управленцев, ибо такой предмет как «психодиагностика» им никто не преподавал. Поэтому придется формализовать определенную логику последовательного прохождения определенных этапов в рамках ЕГА выпускников и конкурсного отбора абитуриентов, которая мне видится правильной.

Итак, постараемся в заключительном параграфе познакомить читателя наконец со схемой предлагаемой альтернативы нынешнему ЕГЭ.

Единая Государственная Аттестация (ЕГА) должна, согласно логике диагностического мышления, базироваться не на доминировании ЕГЭ, а на использовании Федерального Экзаменационного Теста (ФЭТ) как одного из компонентов системы, как одного из источников информации о выпускнике и абитуриенте.

О том, как формируется балл ЕГЭ для выпускников можно увидеть на рис.1.

 

Рис.1. Две главные траектории формирования баллов ЕГА для выпускников в схеме двухэтапного проведения ЕГЭ.

 

Конкурсный балл абитуриента целесообразно затем формировать по аналогичной логической схеме (см. рис.2.).

 

Рис. 2. Главные 2 траектории формирования конкурсного балла абитуриента в государственных вузах.

Из приведенных 2-х главных траекторий и для выпускника, и для абитуриента должны быть продуманы и утверждены особые исключения (для инвалидов, сирот, победителей международных олимпиад, для вузов, имеющих недобор абитуриентов, но готовящих необходимых для государства специалистов,  и т.п.). Но главная логика должна быть понятной, хотя и многоэтапной.

Предложенные на рис.1 и 2 траектории следует воспринимать именно как иллюстративные схематичные идеи, но не как точный завершенный и математизированный алгоритм действий и подсчетов. Тут еще предстоит конкретизировать (в случае принципиального запроса на подобную конкретизацию), такие вопросы:

1)     Как формируется балл АБВ, если учащийся НЕ принимает участие в тестовом экзамене ФЭТ? Должен ли он при этом обязательно проходить внешкольный экзамен НЭК?

2)     С каким весом входят в аттестационный балл выпускника (АБВ) баллы ИШБ, ФЭТ и НЭК в случае их несовпадении или отсутствия одного из компонентов весового суммирования? То есть, означает ли отсутствие одного из компонентов присвоение ему значения «ноль» в формуле?

3)     Аналогичный вопрос касается интегративного Конкурсного Балла Абитуриента (КБА). С каким весом в него входит балл ПВО (олимпиадный балл) в случае несовпадения или неучастия абитуриента в олимпиаде?

и т.п.  

Задача автора настоящей статьи – аргументировать и, по-возможности, разжевать саму содержательную логику подхода, а не навязывать конкретные формулы.

 

Опыт апробации предложенного подхода

Логику предлагаемого подхода в определенной степени мне удалось апробировать в рамках эксперимента на родном факультете психологии МГУ им.М.В.Ломоносова – по внедрению тестового испытания в систему государственного экзамена по психологии для выпускников факультета (разумеется при содействии нынешнего декана факультета – Юрия Петровича Зинченко). В ходе тестового испытания студентам предлагалась прямо на компьютере случайная выборка в 60 заданий с выбором ответа из большого банка отборных (прошедших независимую компьютеризированную экспертизу) 500 заданий. Строго лимитировалось время на сеанс тестирования  - только 48 минут (хотя в западных сертификационных тестах психологам предлагают гораздо больше заданий -  по 300 заданий за 4 часа!). Сравнительный анализ данных, накопленных за три года по тестовому и устному (традиционному) видам испытаний, показал, что тестовый контроль не только хорошо совпадает с традиционным экзаменом (особенно в обнаружении неподготовленных студентов), но даже превосходит его по внешней валидности (выше корреляция с суммарным баллом по всем экзаменам за все годы обучения на факультете, в разные годы она достигает для крайних групп 0,7 – 0,8, тогда как для устного экзамена лишь 0,6 – 0,65)  Почему же превосходит? Здесь не хотелось бы загромождать статью статистическими таблицами и графиками, но все они иллюстрируют одну общую закономерность: на выпускных экзаменах в вузе, также как и на выпускных экзаменах в школе, преподаватели-экзаменаторы просто завышают (в среднем на целый балл!) оценку своих воспитанников – получается этакий «напутственный подарок», как бы подбадривающая «путевка в жизнь». Обладатели оценки «отлично» по тесту практически НИ разу не опускались на устном экзамене (за три года было обследовано свыше 600 выпускников) на 2 балла – не получали «тройку» (это случилось только у одного студента на сотню отличников!). Также и «хорошисты» по тесту не опускались на «двойку». А вот подъем двоечников и троечников после теста резко вверх (устный экзамен следует за тестовым испытанием) происходил нередко -    причем и на 2, и даже на 3 балла (с двойки за тест на пятерку в устном экзамене).

Эти данные объективно говорят о том, что правило контроля «приближенного совпадения» результатов тестового экзамена и среднего балла за все годы обучения с точностью до одного балла (по традиционной шкале) является вполне экспериментально-статистически, то есть, научно обоснованным.[14]

Важно отметить, что формула «допустима разница лишь в один балл» теперь поддерживается большинством преподавателей факультета психологии (опросы проводились прямо на профессорском собрании факультета и выявили, что продолжение эксперимента поддерживают две трети преподавателей). За три года факультет прошел путь от малопродуктивных дискуссий, основанных на опасении, что «тестовый экзамен» грозит вытеснением обычного экзамена, к спокойному и рациональному восприятию большинством преподавателей того факта, что 2 различные формы контроля могут сосуществовать и существенно дополнять друг друга.

 

Общие выводы

За годы проведения ЕГЭ (с 2001 по 2008) накоплен большой опыт и серьезный потенциал, достаточно серьезная инфраструктура.  К этому опыту надо отнестись конструктивно, а к потенциалу – бережно и рачительно! Если ЕГЭ будет объявлен необязательным мероприятием, мы рискуем впасть в другую крайность – растерять тот потенциал, который накоплен.  России нужна как воздух более современная система оценки качества образования. Без нее нет шансов стать конкурентоспособной державой.

Пусть ЕГЭ по всем предметам (включая математику и русский) станет добровольным для учащихся. Пусть ЕГЭ станет добровольной строкой в самоотчете школ при их аттестации. Но если ЕГЭ будет по ясной и прозрачной формуле востребован вузами, то большинство выпускников-абитуриентов не упустят возможности сдавать ЕГЭ, так как с помощью ЕГЭ они получать не меньше, а больше шансов для поступления!

МГУ им. М.В.Ломоносова в 2008 году приступил к учету результатов ЕГЭ. Не все в этой практике организовано пока рационально, нет ясной опоры на научные принципы в том, как суммируются баллы ЕГЭ и баллы традиционных вступительных экзаменов (вопрос отдан на откуп предметным приемным комиссиям, которые в этом вопросе не слишком разбираются). См. правила приема, опубликованные на сайте МГУ: http://www.msu.ru/entrance/rul-gen.html

Но в целом в МГУ взято правильное, по моему убеждению, направление на совместный учет результатов ЕГЭ и результатов дополнительных профессионально-ориентированных испытаний.

Именно одновременное проведение и ЕГЭ, и традиционных экзаменов создает на фоне совместного учета их результатов, наконец, реальные предпосылки для проведения корректного научного социального эксперимента: измерения сравнительной прогностичности ЕГЭ и традиционных экзаменов.

ЕГЭ можно и нужно реорганизовать, чтобы его общественный авторитет не подвергался такой уничтожающей критике, которая обрушивается на ЕГЭ сейчас. Для этой реорганизации накоплен достаточный банк креативных идей и решений. Важно, чтобы инфраструктура, которая должна служить опорой для реализации этих идей, не растаяла в отсутствие должного государственного финансирования.

Уберегаясь от крайностей, которые мы испробовали уже в достаточном количестве (то все без всякого ЕГЭ, то одно только ЕГЭ), мы найдем системное, сбалансированное решение, которого заслуживает Россия – страна с выдающимися научно-образовательными традициями.

А.Г.Шмелев

9 ноября 2008

 

P.S.

Я написал эту статью почти за месяц до опубликования на  сайте лаборатории "Гуманитарные технологии".  В ноябре я послал ее в Федеральный Институт Педагогических Измерений (на имя известных мне конкретных специалистов из этого учреждения), в Рособрнадзор, в Минобрнауки. Ответа никакого из этих инстанций пока не получил.  Я получил отклик в личной переписке лишь от А.Л.Семенова (директор Московского Института Открытого Образования - МИОО). Алексей Львович, однако, пока успел лишь посетовать на то, что я не поддерживаю целиком ту версию ЕГЭ по математики, которую в этом году предложил его МИОО и в которой исключаются задания типа "А". Обширная наша переписка свелась, увы, пока лишь к обсуждению достоинств и недостатков заданий типа "А", "В" и "С", но не к обсуждению разветвляющей логической схемы аттестации учащихся... 

Я послал эту статью и заказавшему ее представителю редакции  www.gazeta.ru (на ее Веб-страницах публикуется, как правило, острая критика ЕГЭ, даже в разделе "Комментарии специалистов"). Оттуда получил ответ, что статью надо сократить в пять раз. А мне не хочется ее сокращать... 

 


ПОДСТРАНИЧНЫЕ СНОСКИ (ПРИМЕЧАНИЯ АВТОРА)

[1] Я уже не буду вводить в этот перечень критических замечаний явно абсурдные вроде «ЕГЭ – это игра в угадайку». И дело не только в том, что среди заданий ЕГЭ немало заданий с открытом ответом, где угадать ответ невозможно. А дело еще и в том, что все тесты с выбором ответа (если он построены грамотно и содержат не 10-15 подобных заданий, а как положено – не менее 50) практически исключают получение высоких баллов с помощью угадывания (попробуйте-ка угадать хотя бы 40 из 50 исходов в игре «орел или решка», а ведь ответов в тестах предлагается не 2, а 4-5, что во многом раз сокращает вероятность случайного угадывания).

[2] Кстати, сам по себе тезис о снижении качества образования в России по причине внедрения именно ЕГЭ нуждается, как минимум, в проверке. Ведь многим понятно, что низкие баллы ЕГЭ отражают плоды неэффективной работы системы образования в течение многих лет до всякого ЕГЭ, о чем традиционная система экзаменов просто благополучно замалчивала. Так что тут уместно и поговорку известную вспомнить: «На зеркало неча пенять, коли рожа крива»…

[3] Кстати, у нас есть Центр социологии образования в системе РАО, который уже собрал немало данных о том, как относятся разные участники образовательного процесса к ЕГЭ, я слушал доклад об этом директора этого Центра В.С.Собкина, но таких данных данный Центр точно еще не собирал – ни в инициативном плане, ни в плане кем-либо сформулированного задания. Я включил Владимира Самуиловича в свою рассылку этих тезисов; так что если я не прав, пусть он меня опровергнет.

[4] См. статью Александра Крымова « Как вылечить оценку персонала?», опубликованную в Интернете по адресу - http://www.ht.ru/press/articles/?view=art352.

[5] Десятибалльная шкала на самом деле широко применяется в школе, только не объявляется и не осознается как десятибалльная: 10 – это «пятерка с плюсом», 9 – это просто «пятерка», 8 – это «пятерка с минусом» и так далее.

[6] Отчасти это произошло в результате технического недоразумения, эффект инерции. Дело в том, что главный исполнитель ЕГЭ Федеральный Центр Тестирования (ФЦТ) уже 10 лет до появления ЕГЭ, выдавал сертификаты по централизованному тестированию без всякого учета школьных баллов. Так и пошло дальше – в свидетельство ЕГЭ никто и не подумал включать какой-либо учет школьных баллов.

[7] Часть, составлявшая и составляющая главную гордость главного методиста по структуре и содержанию ЕГЭ при Министерстве Галины Сергеевны Ковалевой – руководителя коллектива авторов, победившего на первом и фактически единственном конкурсе на модель ЕГЭ, проведенном в 2001 году – коллективе из ИСО РАО (Института Содержания Образования Российской Академии Образования). Я был в 2001 году едва ли не единственном членом жюри этого конкурса, пытавшимся оспорить необходимость предъявления ВСЕМ экзаменуемым части «С», а пытавшегося доказать, что рентабельнее и этичнее (политкорректнее, как сейчас принято говорить) будет предъявлять ее в другой день (позднее) и только тем, у кого разошлись школьные баллы и баллы по тестовой части ЕГЭ – части «А» (выбор ответа) и «В» (краткий свободный ответ).

[8] Достаточно взглянуть на то, сколько заданий с выбором ответа используется в самых авторитетных международных международных  сертификационных системах. Например, на первом этапе сертификация для получения сертификата CFA (chartered financial analyst)  в течение сеанса в 4 часа экзаменуемому предъявляют 240 заданий с выбором ответа (см. http://analystnotes.com/browse_exams.php). На первом этапе сертификации для получения лицензии практического психолога в северной Америке испытуемому предъявляются 300 заданий с вынужденным выбором (см.  www.ht.ru/press/articles/?view=art282).  Но важно подчернуть, что за этим тестовым этапом идут другие этапы – это письменный экзамен (эссе) и собеседование с комиссией (устный экзамен). 

[9] Американские тестологи называют такую технику автоматизированного клонирования тестовых заданий в ходе самого сеанса тестирования «on the fly» – «на лету».

[10] См. Шмелев А.Г. (главный редактор) - Тесты для старшеклассников и абитуриентов. Телетестинг. - Ежегодное приложение к газете «Первое сентября». - М.: Первое сентября, 2000, - 137 стр.

[11] Компьютерное тестирование я потому называю дешевым, так как оно не требует такого специфического оборудования как быстродействующие сканнеры за десятки тысяч долларов, не требует объемных затрат на типографскую подготовку тест-комплектов, на пересылку огромного числа секьюрпаков фельдегерской почтой (ведь компьютерные варианты легко пересылаются по Интернету в зашифрованном, запаролированном виде).

[12] Шкалирование результатов Единого экзамена: проблемы и перспективы. – В журнале «Вопросы образования», №4, с. 168-186.

[13] При этом баллы школы и ЕГЭ целесообразно суммировать только в том случае, если они хотя бы грубо близки, то есть, не опровергают друг друга (см. параграф 10). В случае грубого расхождения вместо «школьного балла» надо использовать результаты «второго контрольного тура» - результаты проведения ЕГЭ-2 в письменной форме с привлечением независимой комиссии для проверки результатов письменного экзамена (далее вводится для сокращения аббревиатура НЭК – Независимая Экспертная Комиссия).

[14] На материале этих объективных исследований под руководством автора статьи в 2007 году А.А.Чумаковым защищена кандидатская диссертация «Методика конструирования тестов профессиональных достижений  с использованием Интернет-технологий».

См. также Шмелев А.Г. и коллектив. Методические рекомендации по разработке и внедрению системы оценки качества обучения по инновационным образовательным программам. М: Изд-во Моск.ун-та, 2007, 62 с.

 

Алфавитный указатель: 

Рубрики: 

Комментарии

Re: Можно ли реорганизовать ЕГЭ?

Изображение пользователя Фил.

Необходимость проведения экзаменов, тестов и т.п. возникает тогда, когда мы не можем проверить знания на практике. Такая ситуация возникает тогда, когда образование (образовательная система) отрывается от жизни. Любого экзаменатора, любую систему тестирования можно обойти, обамнуть. Нельзя обмануть только практику,  жизнь. Надо менять не систему тестирования, а всю систему образования. Сама образовательная доктрина должна быть изменена так, чтобы не было надобности в проведении экзаменов, зачетов, контрольных работ. Попытка осуществления такого подхода делается в Самаре. Мы создали ЭДИТ - экспериментальный детский институт творчества http://bakalibriki.ru/index.php?option=com_content&task=view&id=46&Itemid=56.  Детей, подготовленных по программам ТРИЗунки и ТРИЗнечики, назначаем заведующими кафедрами и требуем от них исполнения взрослых обязанностей - организации конкурсов, изготовления методических пособий и т.п. Тому, чего они еще не умеют делать мы их обучаем и помогаем в проведении мероприятий, постепенно снижая долю своего участия. Каждое проведенное мероприятие, его качество и есть способ проверки  готовности ребенка к самостоятельной работе. Ближайшее мероприятие - "день юного мариниста", которое состоится 18 июля. http://bakalibriki.ru/index.php?option=com_frontpage&Itemid=1 . Проводит его семилетний ребенок - зав. кафедрой изобразительного искусства Лена Клёчкина. А Вы говорите ЕГЭ....

Subscribe to Comments for "Можно ли реорганизовать ЕГЭ?"