Ахиллесова пята Единого государственного экзамена

С тех пор, как за теорию относительности принялись математики, я ее уже сам больше не понимаю.
Альберт Эйнштейн

ЕГЭ... Эта короткая аббревиатура появилась в жизни школы и вуза под лозунгом утверждения принципов объективности и справедливости по отношению к детям при прохождении ими ответственных выпускных школьных и вступительных экзаменов в институт. Официально ЕГЭ родился 26 июля 2000 года, в день, когда вышло Распоряжение Правительства Российской Федерации N 1072-р. В этом документе в разделе "Реформирование образования" мы впервые встречаем словосочетание "Единый государственный экзамен" (1).
И хотя сегодня Единому экзамену от роду всего ничего, нашумел этот трехгодовалый "ребенок" более чем достаточно.
Пожалуй, такого общественного резонанса в сфере образования не вызывала еще ни одна педагогическая проблема. И это не случайно: переход на Единый государственный экзамен знаменует собой смену образовательной парадигмы с утратой школой самостоятельности и самодостаточности в обучении и воспитании подрастающего поколения. "Новая" школа вынуждена будет работать не на аттестат, а на сертификат ЕГЭ как единая государственная система пролонгированной подготовки к поступлению в высшие учебные заведения. В этой концептуальной составляющей ЕГЭ его оппозиция усматривает угрозу национальной безопасности России.

Эксперимент
Чем быстрее мы поставим точку в понятии "эксперимент", тем быстрее мы решим многие вопросы с ЕГЭ.
Леонид Ковалев, министр образования Ростовской области

До появления Единого государственного экзамена считалось, что эксперимент - это "научно поставленный опыт, наблюдение исследуемого явления в точно учитываемых условиях, позволяющих следить за ходом явления и многократно воспроизводить его при повторении этих условий" (2). Аксиомой для каждого исследователя-экспериментатора является обязательное наличие в эксперименте контрольной группы, без которой любые суждения о его результатах спекулятивны. Не принято также утверждать что-либо до полного завершения исследования.
А вот как выглядит экспериментальная модель Единого государственного экзамена на самом деле.
1. Группы контроля не было, нет и не предвидится.
2. Условия проведения постоянно, из года в год, меняются: количество пилотных регионов в 2001 году было 5, в 2003-м уже 47, а на 2004-й подано 63 заявки; число испытуемых соответственно возросло с 30 до 700 тысяч; число вузов с их филиалами, принимавших сертификаты ЕГЭ в 2001 году, - 16, в 2003 году - 464.
3. Ежегодно обновляется содержание и увеличивается количество вариантов КИМов (контрольно-измерительных материалов).
4. Качество КИМов и на третьем вызывает недоумение профессионалов: что же это за средство измерения, которое гарантирует получение ложного результата?
5. Число слабо подготовленных ответственных, исполнителей на местах увеличивается пропорционально расширению географии эксперимента.
6. Результат исследования практически предрешен задолго до его завершения, во всяком случае, министр образования не сомневается в том, что "Единый экзамен - это движение в правильном направлении..." (3).
Направление может быть и правильное, только с чем мы придем к финишу при таком эксперименте? Ни одной точки опоры в виде критерия, по которому можно было бы судить о преимуществах ЕГЭ перед традиционной формой экзаменов. Более объективный по форме проведения, он вовсе не убедителен в плане достоверности и справедливости оценивания испытуемых. Что это за универсальный "тестовый балл", который, как геном, настолько точно отражает всю совокупную сущность выпускника, что по нему одному санкционировано массовое зачисление абитуриентов в вузы? Где понятные для всех доказательства того, что точность педагогической диагностики по контрольно-измерительным материалам ЕГЭ хотя бы не уступает таковой при проведении устных или письменных экзаменов? Отсутствие ясности и научной аргументации по этим и многим другим вопросам способствует усилению негативного отношения общественности к ЕГЭ и росту недоверия к официальной и неизменно положительной оценке хода эксперимента в рамках ежегодно проводимых Всероссийских совещаний по Единому государственному экзамену.
Есть в эксперименте по ЕГЭ и противоправный компонент. Любое социологическое или социометрическое исследование не проводится без добровольного согласия человека на роль испытуемого. Если же участником эксперимента является ребенок, то такое согласие требуется получить и от его родителей. В пункте 1.4 "Норм профессиональной этики для разработчиков и пользователей психодиагностических методик" сказано однозначно: "При тестировании детей до 16 лет в области учебных достижений, навыков и умений достаточным является согласие школьного или педагогического совета; в случае же оценки личности необходимо индивидуальное согласие ребенка и его родителей..." (4). К этому можно добавить одно из положений Кодекса Американской психологической ассоциации (1973 г.): "Этика требует, чтобы исследователь информировал испытуемых обо всех сторонах эксперимента, которые могут повлиять на их желание принять в нем участие, а также отвечал на все вопросы о других подробностях исследования.
Невозможность ознакомиться с полной картиной эксперимента дополнительно усиливает ответственность исследователя за благополучие и достоинство испытуемых" (5).
Организаторы Единого государственного экзамена не стали обременять себя соблюдением подобных этических норм. Для подключения региона к эксперименту достаточно трехстороннего согласия: губернатор + орган управления образованием + Совет ректоров. А школы, выпускники пилотных регионов, после этого просто обязаны участвовать в сдаче ЕГЭ. О согласии детей и родителей - ни слова, хотя они - основные потребители образовательных услуг, а детям в гуманистической школе дано право выбирать предметы для сдачи экзамена.
Это серьезный обоснованный повод для массового возмущения, вплоть до возбуждения судебных исков. Но в регионах тихо, если не считать неудачную попытку инициативной группы г. Липецка с их судебным иском к областной администрации по поводу проведения ЕГЭ на территории Липецкой области. На состоявшемся процессе истцам доходчиво разъяснили, что эксперимент проводится не над детьми, а над учебным процессом! Вышестоящая судебная инстанция кассационную жалобу инициативной группы отклонила. А кто же основной субъект учебного процесса - разве не дети?
Конечно, под такой юридической "крышей" успешный финал эксперимента в виде принятия Закона о Едином государственном экзамене вполне возможен - это только вопрос времени. Вот как высказался председатель бывшего думского Комитета по образованию и науке Александр Владимирович Шишлов на встрече с руководителями государственных органов управления образованием, директорами учреждений образования и ректорами вузов в Самарском областном департаменте образования и науки 28 октября 2003 года: "Если такой закон нужен - давайте вместе его напишем. А будет он принят или нет, посмотрим после декабря" (6).

Совмещение
Серьезную претензию можно предъявить и к главной идее Единого государственного экзамена - совмещению по типу "слияния" выпускной аттестации школьников и конкурсного поступления в вуз*.
* До ЕГЭ по обоюдной договоренности между вузами и школами широко практиковалось проведение совмещенных во времени двух экзаменов - выпускной аттестации и вступительного экзамена в вуз. Фактически работали две экзаменационные комиссии - школьная и вузовская, каждая из которых решала свои задачи. С началом эксперимента по ЕГЭ такой совмещенный экзамен Министерство образования упразднило.
По образному выражению первого заместителя министра образования В.А. Болотова - это "...два экзамена в одном флаконе..." (7). Получаемый при такой процедуре школьником тестовый балл идет и как оценка в аттестат, и на абитуриентский конкурс, то есть претендует на удовлетворение требований двух принципиально разных видов экзаменов. Эти требования пока никто не отменял.
Диагностическая цель выпускного экзамена - оценить полноту, глубину и прочность знаний каждого выпускника по тому или иному предмету. Чем больше знаний, тем выше оценка.
Диагностическая цель вступительного экзамена - отобрать из абитуриентов на зачисление в вуз тех, кто успешнее других справился с экзаменационными требованиями данного вуза (поэтому в разных вузах различный набор дисциплин на вступительных экзаменах). Чем выше рейтинг в конкурсной группе, тем вероятнее зачисление в вуз.
Невольно возникает вопрос: кому и зачем понадобилось закладывать в ЕГЭ заведомо ложный принцип "совмещения" двух разноцелевых экзаменов? К одной цели разными путями прийти можно, но чтобы за один присест одним способом решить разные типы задач - это нонсенс. Одновременно в одной кастрюле суп и кашу не варят!

Кто же придумал такой экзамен?
Прямого ответа на этот вопрос нет, но удалось выяснить, что сама идея объединить (совместить) два экзамена в один на основе современных научных методов педагогической диагностики родилась в головах отечественных тестологов в конце 90-х годов прошлого века. Их искренняя вера в возможность с помощью тестов точно измерять знания естественным образом замкнулась на мысли: зачем делать два измерения школьных знаний, если можно обойтись одним? Именно эта тема дебатировалась еще в декабре 1998 года участниками "круглого стола" при обсуждении концепции Национальной системы тестирования, причем тогда мнения участников полярно разошлись (8). В последующем, насколько нам известно, эта тема предметно никем не обсуждалась. Но, по всей видимости, оригинальная идея "совмещения" приглянулась министру образования В.М. Филиппову и в течение последующих полутора лет находилась в его стратегическом резерве. Легализован же принцип совмещения двух экзаменов в одном был так искусно, что никто ничего и не заметил.
Сравним два официальных документа 2000 года, обратив особое внимание на даты их принятия.
Документ 1. Распоряжение Правительства Российской Федерации N 1072-р от 26 июля 2000 г. о выполнении Плана действий Правительства Российской Федерации в области социальной политики и модернизации экономики на 2000-2001 годы: "Поэтапный переход к нормативному подушевому финансированию высшего профессионального образования предусматривает экспериментальную отработку технологии проведения Единого государственного выпускного экзамена и его последующее законодательное закрепление. Будет сформирована независимая система аттестации и контроля качества образования. Одновременно будет осуществлен комплекс подготовительных мер по персонализации титула бюджетного финансирования профессионального образования (государственных именных финансовых обязательств)" (9).
Документ 2. Приказ Министерства образования РФ N 3066 от 26 октября 2000 г. О создании Совета по организации подготовки и проведения эксперимента по Единому государственному экзамену, Приложение 1: "Совет по организации подготовки и проведения эксперимента по Единому государственному экзамену создан при Министерстве образования Российской Федерации как общественно-государственный орган с целью обеспечения разработки единых подходов к содержанию и организации эксперимента по Единому (выпускному в общеобразовательном учреждении и вступительному в высшее учебное заведение) государственному экзамену" (10).
Вот оно! Из первого документа следует, что правительство распорядилось начать подготовку к "эксперименту" по Единому выпускному экзамену и ни на какое объединение школьных и абитуриентских испытаний даже не намекало. Планировался же Единый выпускной экзамен не ради высоких педагогических целей, а для решения чисто утилитарных задач экономического характера. Следовательно, в период с июля по октябрь 2000 года по инициативе Министерства образования должна была быть проведена с Правительством РФ процедура согласования изменения сущности Единого государственного экзамена. Но нет никаких документальных подтверждений, что это было сделано до того, как уже созданный Совет по Единому государственному экзамену (11) начал свою работу. "Высокое одобрение" в виде Постановления Правительства, в котором зафиксировано согласие с предложениями Министерства образования, вышло только в феврале 2001 года, т.е. тогда, когда подготовка к ЕГЭ-2001 уже развернулась полным ходом (12). Это только небольшой штрих к истории вопроса, как в Россию пришел Единый (совмещенный) государственный экзамен.
В конечном счете интересы обеих сторон были согласованы: правительство сохраняло перспективу постепенной коммерциализации образовательной системы через ГИФО, а министерскому варианту Единого государственного экзамена был дан "зеленый свет" и оставалось только эту новацию представить обществу в как можно более привлекательном виде. И родились три мифа в области этой инновации.
Первый о том, как будет здорово, когда мы наконец-то перестанем быть "белой вороной" в мировом сообществе, которое давно уже применяет Единые экзамены. Недоговаривается при этом лишь одно: в других странах такие экзамены хотя и Единые, но не единственные, как наш ЕГЭ, и уж никак не совмещенные с выпускной аттестацией. До такого "российского" варианта еще никто не додумался (13-17).
Второй миф очень трогательный и повествует о том, что любой ребенок из любой географической точки России, успешно сдавший совмещенный ЕГЭ по месту жительства, получает равные возможности зачисления в любой вуз без вступительного экзамена. Правда, у этого мифа довольно грустное продолжение. Оказывается, кроме зачисленния в престижный вуз в Москве или в Санкт-Петербурге (а некоторые столичные вузы не признают ЕГЭ) надо еще и жить там все долгие годы учения, т.е. иметь много денег. А это как у кого получится, ЕГЭ здесь уже ни при чем.
Третий миф про стресс, вернее, про гуманность Единого экзамена: совмещение якобы освобождает детей, желающих продолжить образование в вузе, от двойного экзаменационного стресса. Но именно этому большинство людей как-то сразу не поверило, что видно из результатов голосования по теме "Сокращает ли Единый экзамен стрессовые перегрузки выпускников школ?" (18). Организовало его Министерство образования на Портале в поддержку Единого государственного экзамена. Всего с 28.05.02 г. по 11.09.02 г. проголосовало 290 человек. Голоса распределились следующим образом:
1. Нет, так как ошибки, допущенные в ходе ЕГЭ, приведут к непоправимым последствиям в судьбе учащегося - 213 (73,4%).
2. Частично да, так как все-таки напряжение из-за высокой стоимости последствий ЕГЭ выше, чем при обычных выпускных экзаменах - 32 (11%).
3. Да, так как в течение одного лета выпускники будут сдавать одну сессию, а не две - 28 (9,7%).
4. Иной ответ - 17 (5,9%).
Тему бы закрыть и к ней не возвращаться. Но нет. Не кто иной, как заместитель министра Виктор Александрович Болотов, на состоявшемся 14 октября 2003 года очередном III всероссийском совещании по подведению итогов эксперимента доложил его участникам следующее: "Исследования показали, что при сравнении психологического состояния выпускников, сдававших ЕГЭ, и выпускников, сдававших экзамены в традиционной форме, не выявляется значимых различий по стрессу" (19).
Информация эта равносильна признанию: аргумент в пользу ЕГЭ о снижении благодаря совмещению стрессовой нагрузки был просто придуман. Да и тому, что сказал заместитель министра со ссылкой на специальные исследования, тоже не очень верится. Каким образом такое исследование было организовано, если одна половина выпускников (в пилотных регионах) сдавала ЕГЭ, а вторая - традиционные экзамены? А как интерпретировать заключение "...не выявляется значимых различий по стрессу"? Этот вывод в пользу ЕГЭ или наоборот? Чего больше в этих затянувшихся разговорах о стрессе в ЕГЭ - непонимания патофизиологической сущности этого состояния* или стремления отвлечь внимание от других уязвимых сторон Единого экзамена?
* Стресс - состояние напряжения реактивности организма, возникающее у человека при воздействии чрезвычайных раздражителей. Эмоциональный стресс развивается в результате эмоционального возбуждения (20).
Степень напряжения зависит не столько от личностных особенностей человека (темперамент, функциональная лабильность и пр.), сколько от возможных для него последствий. Сравнивать стрессовые состояния путем элементарных математических действий (сложение, вычитание) не принято.
Надо полагать, что с эмоциональным экзаменационным стрессом наши дети успешно справятся, даже сдавая ЕГЭ. Гораздо сильнее психологическое воздействие Единого экзамена скажется на учебной мотивации школьников. Если сегодня основная масса детей ходит в школу все же за знаниями, то завтра их главной и естественной целью станет подготовка к Единому экзамену. При этом пышным цветом расцветет "индустрия" внешкольной системы "специализированных курсов" по подготовке к ЕГЭ (21), а ценностная ориентация на источники знаний переместится с учебников и энциклопедий на сборники тестов.
Не останется в стороне и вся управленческая иерархия. Если качество работы школ Министерство образования станет оценивать по итогам сдачи ЕГЭ, то управленцы в регионах станут "ожидать" от директоров школ высоких тестовых баллов; директора школ будут "заставлять" учителей-предметников учить по тестам; учителя будут "натаскивать" учеников на тесты, а мальчики и девочки в основной массе перестанут стремиться знать что-то за границами тестовых материалов и будут выходить в жизнь малообразованными, невежественными людьми. Чуть позже очередь дойдет и до вузов: студенческие аудитории постепенно заполнятся такими выпускниками.
Неразрешимое противоречие "совмещения" рано или поздно должно было о себе заявить, что и произошло осенью 2003 года, именно в тот период, когда, казалось бы, самые острые углы концепции ЕГЭ были сглажены. Ректоры ведущих вузов начали решительно отстаивать право на проведение дополнительных к ЕГЭ испытаний. На состоявшейся 23 октября в Москве открытой дискуссии на тему "Целесообразность проведения Единого государственного экзамена (ЕГЭ) в российских школах" директору Центра тестирования В.А. Хлебникову не удалось снять недоверие ученых к тем статистическим данным, которыми он пытался продемонстрировать в графиках, таблицах и диаграммах силу и совершенство методологии Единого экзамена.
"Я в эти ваши кривые не верю, а я - специалист. Такие данные могут получиться, только если все специально подгонять!" - заявил участник дискуссии ученый-статистик Эдуард Дубов (22).
Это уже очень серьезная претензия, затрагивающая основу основ Единого государственного экзамена - его технологию.

Технология Единого государственного экзамена
Почему американцев так занимает вопрос тестирования умственных способностей? Немного в мире найдется стран, в которых в такой же степени полагались бы на тесты.
Р. Штернберг (23)

Так уж сложилось, что технология Единого государственного экзамена в течение трех лет практически оставалась вне обсуждений и критики. Общество как бы изначально выдало экспериментаторам своего рода карт-бланш, меньше всего, видимо, ожидая обнаружить недостатки в самой что ни на есть научной части Единого экзамена. И один из очередных парадоксов в том, что практически никто из тех, кто принимал в регионах решение присоединиться к "эксперименту", не знает и не может объяснить, что собой представляет и как получается тот самый тестовый балл, ради которого они согласились поддержать Министерство образования в его революционном нововведении. А прежде чем соглашаться, нужно было бы выяснить хотя бы три вопроса, закамуфлированных под двумя аббревиатурами - ЕГЭ и КИМы.
Вопрос 1. Насколько оправдан выбор тестовой формы контроля для проведения Единого государственного экзамена?Вопрос 2. Какой тестологический метод положен в основу технологии выведения результата?
Вопрос 3. Насколько строго соблюдены в процедуре тестирования технологические требования выбранного метода?
Кроме этих ключевых вопросов, есть необходимость предварительно рассмотреть еще один, который возник уже в ходе эксперимента: ЕГЭ - это тест или не тест?
С самого начала все единодушно считали, что это тест. А как иначе можно было думать, если в Инструкции по проведению Единого государственного экзамена в 2001 году черным по белому написано: "ЕГЭ производится в тестовой форме, и по каждому предмету выпускникам будут предложены стандартизированные формы тестовых заданий и инструкции к ним" (24).
Кроме того, из информации, размещенной на специальном сайте Министерства образования РФ (25), узнаем, что под эгидой министерства проводится 5 разных видов тестирования, а именно:
1. Единый государственный экзамен (ЕГЭ)*.
2. Централизованное тестирование (ЦТ).
3. Компьютерное тестирование знаний "Телетестинг".
4. Централизованное компьютерное тестирование.
5. Дистанционное образовательное тестирование "1C: Телетестинг".
* Комментарий к пункту: Единый государственный экзамен проводится на обязательной основе (для всех) в экспериментальных регионах в июне - июле. Второй раз ЕГЭ проводится при приеме в вузы для абитуриентов из неэкспериментальных регионов. Проводится БЕСПЛАТНО. По результатам выдаются свидетельства. Балл ЕГЭ учитывается в выпускном аттестате в комбинации с итоговым школьным баллом. Вузы экспериментальных регионов обязаны принимать свидетельства. Другие вузы не обязаны. В других регионах все выпускники сдают выпускные экзамены в традиционной форме.
Но уже после проведения ЕГЭ-2002 сначала один из ведущих модернизаторов образования, ректор Государственного университета - Высшей школы экономики Я.И. Кузьминов, а вслед за ним и министр образования В.М. Филиппов стали нивелировать тестовую сущность ЕГЭ. В разъяснениях Я.И. Кузьминова это выглядело так: "...сам Единый экзамен к тестам не сводится. Он имеет по всем предметам три раздела: первый - это тесты, второй - это так называемый открытый ответ: ты должен показать некий ход рассуждений, и третья, наиболее сложная часть, - это просто письменная работа" (26). Министр В.М. Филиппов высказался в том же плане, но более прямолинейно: "Только часть "А" - это тестирование. Часть "В" и часть "С" - совсем не тестирование" (27).
Но с этим не согласен его первый заместитель В.А. Болотов, считающий, что все три части ЕГЭ тестовые: "В американской тестовой системе выпускнику нужно выбрать из трех ответов правильный. Наши тесты ЕГЭ - трехуровневые. Уже на втором уровне (В) ученику нужно самостоятельно ответить на вопрос без заранее предложенных подсказок, а уровень С - это творческое задание, сложная задача по математике или развернутый ответ на вопрос по истории или литературе" (28).
Не стоит ждать, когда лидеры модернизации договорятся между собой по этому вопросу. Тестовая же природа ЕГЭ очевидна и запрограммирована в его содержательной части, коей являются контрольно-измерительные материалы (КИМы). В этом убеждаешься при анализе демонстрационных вариантов КИМов, которые размещаются в режиме свободного доступа на официальном сайте Министерства образования РФ (29):
Часть "А" - целиком состоит из тестовых заданий на выбор правильного ответа из предложенного перечня вариантов. Верное решение тестового задания оценивается в 1 балл, ошибочное - 0 баллов. Доля в КИМе - от 0,53 (математика) до 0,8 (русский язык).
Подсчет баллов автоматизирован.
Часть "В" - вся состоит из тестовых заданий разной конструкции - "на соответствие", "на последовательность" и заданий "открытой формы". Верное решение тестового задания оценивается в 1 балл, ошибочное - 0 баллов. Доля в КИМе - от 0,1 (обществознание) до 0,33 (математика).
Подсчет баллов автоматизирован. В совокупности части "А" и "В" содержат, в зависимости от предмета, 86-98% тестовых заданий, что более чем достаточно для того, чтобы считать ЕГЭ тестом.
Остальные 2-14% принадлежат части "С" с ее заданиями "на творчество", которые действительно не тестовые, так как не имеют эталонов решений. То, что они оказались в одной "обойме" с тестовыми заданиями частей "А" и "В", является еще одним российским "ноу-хау"*.
* Справедливости ради отметим, что сами тестологи изначально не собирались объединять в одном КИМе задания частей "А" и "В" с заданиями части "С". Однако, как поясняет директор Центра тестирования МО РФ В.А. Хлебников, эта схема "...была отвергнута без обсуждения" (30). Так что КИМы, наряду с "совмещением экзаменов", тоже определяют специфику российской модели ЕГЭ (31) и вполне могут быть предметом нашей "гордости", поскольку в других странах, даже с более богатым тестологическим опытом, такого пока нет.
Оригинальность "ноу-хау" в том, что тестовый балл ЕГЭ получается от математического преобразования суммы объективных "сырых баллов" частей "А" и "В" с субъективными баллами, которые выставляют эксперты при проверке части "С". С этим математическим феноменом пусть разбираются математики, а для нас главное в этом вопросе то, что Единый государственный экзамен - это тест.
С этих позиций и рассмотрим поставленные выше три ключевых вопроса.
Вопрос 1. Насколько оправдан выбор тестовой формы контроля для проведения Единого государственного экзамена? Основной аргумент Министерства образования понятен: независимый (централизованный) тест, проводимый по "прозрачной" единой технологии, гарантирует объективность результата. Аргумент сильный, но не безупречный. Каждый учитель (преподаватель), имеющий практику использования тестов в своей работе, прекрасно понимает: какой бы совершенной ни была технология тест-контроля, тестирование никогда не сможет даже сравняться, не то что превзойти по диагностичности традиционное межличностное общение между экзаменатором и экзаменуемым или анализ развернутой письменной работы. Почему?
Во-первых, объективность тестового контроля ограничена и не выходит за рамки формальной идентификации ответов испытуемого в тестовых заданиях с тем, что заложено в качестве правильного ответа в эталонах решений. И далеко не всегда представленное выпускникам решение основано на реальных знаниях. Причин, искажающих истинную картину, много: от предварительного знакомства с тестовыми заданиями, зазубривания, подсказки или ответа наобум до непостижимых по своей природе ответов по наитию. Даже если два человека набрали одинаковое количество баллов при выполнении одних и тех же заданий, судить можно лишь об относительном равенстве уровней их знаний.
Во-вторых, далеко не каждое правильное решение тестового задания отражает осознанное убеждение отвечающего в своей правоте. Зачастую достаточно задать вопрос: "А вы уверены в своем ответе?" - и школьник "поплыл". В этой ситуации эффект Диброва - Галкина из телеигры "Кто хочет стать миллионером?" срабатывает очень надежно.
В-третьих, образовательный тест всегда предельно формализован. Результат тестирования может довольно точно отражать уровень (степень, объем) усвоения регламентированной информации, но он не в состоянии отразить движение мысли, умение применить знания на практике, осуществлять логические операции и прочие личностные особенности мышления.
Эти объективно слабые стороны тестового контроля декларируемая объективность Единого государственного экзамена нейтрализовать не может.
Вопрос 2. Какой тестологический метод положен в основу технологии выведения результата?
Ответ на вопрос приходится искать самим, так как идеологи Единого экзамена предпочитают эту тему скромно замалчивать. А вопрос принципиальный, поскольку цель тестирования определяет выбор технологии, а строгое соблюдение выбранной технологии обеспечивает достижение цели. На сегодняшний день известны два самостоятельных метода педагогической диагностики с использованием тестов - критериально-ориентированный и нормативно-ориентированный. Корректными синонимами первого являются термины "образовательный" или "дидактический", а для второго - "психологический" или "рейтинговый".
В чем между ними разница?
Критериально-ориентированный тест - частный случай теста, предназначенный для абсолютного тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемой учебной программы или ее части. При этом результаты тестирования сравниваются с некоторым критерием уровня подготовленности (32).
Наш комментарий. Критериально-ориентированный тест формируется из тестовых заданий, которые с возможной полнотой охватывают всю область содержания образования - учебную программу или образовательный стандарт. Количество тестовых заданий в тесте не лимитируется. Все задания теста являются одинаково значимыми. Цель критериально-ориентированного теста - выяснить, с какой полнотой каждый испытуемый усвоил изучавшийся материал, то есть получить ответ на вопрос: кто сколько знает из того, что должен знать? Предварительно устанавливается оценочный критерий, отражающий минимальный порог объема содержания, по преодолению которого экзаменационная комиссия вправе дать заключение о том, что учебная программа испытуемым усвоена. При массовом тестировании все участники по прохождении теста разделяются на две группы - имеющие докритериальные (тест не сдан) и критериальные (тест сдан) знания. Критерий может быть выражен или процентом правильных решений от заданного количества тестовых заданий (например, 70%), или коэффициентом (0,7) - отношением числа правильных решений к их общему количеству.
Этот метод тестирования допускает формирование для каждого испытуемого персонального набора тестовых заданий из их генеральной совокупности, поскольку не преследует цель сопоставлять (сравнивать) результаты тестирования между участниками.
Из двух задач совмещенного Единого государственного экзамена критериально-ориентированный (дидактический) тест удовлетворяет целям итоговой школьной аттестации по выявлению уровня усвоения выпускниками содержания образовательного стандарта, то есть обученности школьников.
Нормативно-ориентированный тест - частный случай относительного теста, позволяющий сравнивать учебные достижения (уровень подготовленности) отдельных испытуемых друг с другом или относительно предварительно полученных тестовых норм (33).
Наш комментарий. Нормативно-ориентированный тест для определенной области содержания (учебная программа, образовательный стандарт) формируется только из тестовых заданий, обладающих дифференцирующей способностью.
Для выявления этого признака предварительно проводятся "обкатка" всех тестовых заданий на экспериментальной группе испытуемых и специфическая процедура стандартизации теста с использованием сложных математических расчетов. При этом те тестовые задания, на которые ответили или не ответили все участники экспериментальной группы, безоговорочно бракуются как не обладающие дифференцирующей способностью и в тест не включаются*.
* В разном подходе к отбору тестовых заданий для итогового контроля знаний заключен неустранимый "конфликт" между учителями-предметниками и тестологами. Учитель будет искренне рад, если методом тестирования выяснит, что тот или иной вопрос усвоен всеми его учениками. Для тестолога же такие результаты являются признаком "плохих" тестовых заданий, и он без всяких колебаний исключит их из дальнейшего использования, потому что они не дифференцируют личность.
Цель нормативно-ориентированного теста - сравнить результат каждого испытуемого с результатами всех остальных членов группы, т.е. ответить на вопрос: кто из членов группы знает лучше, а кто - хуже. Персональный результат определяет рейтинг испытуемого и его место (ранг) в общем ряду испытуемых. Никакого критерия относительно объема усвоения учебного материала при этом виде тестирования не устанавливается. Вместо заключения о сдаче/несдаче теста говорится о том, что "тест пройден". Все результаты от минимального до максимального значений размещаются на соответствующей шкале.
Нормативно-ориентированный тест не допускает содержательной вариативности - все испытуемые должны выполнять одни и те же задания. Только это дает право сравнивать между собой результаты участников. Из двух задач совмещенного Единого государственного экзамена нормативно-ориентированный (рейтинговый) тест удовлетворяет целям конкурсных экзаменов при поступлении в вуз для выявления лучших среди абитуриентов.
Этого сравнения двух методов тестирования достаточно для того, чтобы понять невозможность практически реализовать цели совмещения при Едином государственном экзамене в полном объеме: или школьная аттестация, или абитуриентский конкурс. Третьего, как говорится, не дано. В своем стремлении выйти за рамки этой логики идеологи концепции ЕГЭ с самого начала обрекли уникальную комбинацию "...два экзамена в одном флаконе..." на провал.
Но вернемся к поставленному вопросу: какой тестологический метод положен в основу технологии выведения результата? По имеющимся внешним признакам это нормативно-ориентированный тест. Об этом свидетельствуют:
* официальная информация на сайте Центра тестирования Министерства образования: "Важно помнить, что главное назначение Единого экзамена - расстановка выпускников по уровню подготовленности по различным предметам. Главное в ЕГЭ - надежно и объективно установить рейтинг выпускников и из этого списка отобрать наилучших для обучения в вузе. Категории ГИФО при этом устанавливаются также на основе рейтинга учащихся" (34);
* специальная терминология, присутствующая в материалах, отражающих технологию ЕГЭ: "стандартизированные формы тестовых заданий", "коэффициент дискриминации (дифференцирующая способность) тестового задания", "тест стандартизованный", "трудность тестового задания", "шкала нормализованная" т.д. Обычный образовательный тест в такого рода понятийном аппарате не нуждается.
Дополнительный, но весьма весомый аргумент в пользу "психологической" природы Единого государственного экзамена дает министр образования В.М. Филиппов своей довольно часто повторяемой мыслью: "...человек, набравший 100 баллов из 100, должен быть один на 10 тысяч. И это особый случай - талант!" (35)
Подобное высказывание невольно вызывает некую ассоциацию с одним фактом из истории. Известно, что Россия несколько десятилетий назад уже сталкивалась с тестологией и что в 1936 году это закончилось запретом на применение тестового метода в образовательных учреждениях. В течение многих десятилетий психологов и близко не подпускали к школе.
Но мало кто углублялся в вопрос: почему тестирование было подвергнуто остракизму? Видимо, удовлетворились объяснением: истинная причина запрета - "...расстановка сил в политической борьбе того периода, усилении субъективизма и насаждении эгалитаризма" (36).
Вполне возможно. Но более понятной логика запрета становится при уточнении задач, решаемых в то время методом тестирования. А задачи эти не могли выходить за рамки содержания тестологии того периода, методологической основой которого был психологический (нормативно-ориентированный) тест. Собственно образовательное тестирование как метод возникло лишь три десятилетия спустя (37). Таким образом, в те годы детей в школах подвергали психологическому тестированию, целью которого было выявить и оценить их личностные, включая и умственные, способности. Как пишет А.В. Петровский, "...в результате недостатков, выявленных при разработке диагностических тестов, при применении этих тестов на практике, ребенок нередко без должных оснований зачисляется в разряд "умственно отсталых" (38).
Так что основания для запрета применять на школьниках психотесты были весомыми и вполне обоснованными. Как видим, мелодии созвучны, только тональность иная: если в далекие тридцатые годы акцент ставился на выявление признаков "умственной неполноценности", то сегодня в приоритете у министра образования - выявление "умственного превосходства". В связи с этим правомерно поставить и такой вопрос: а не является ли Единый государственный экзамен первым реальным шагом в осуществлении реванша психологов, снова получивших доступ в общеобразовательную школу, за сокрушительное поражение 70-летней давности? Во всяком случае, тенденция к переводу педагогической диагностики только на принципы психологического тестирования уже явственно просматривается; Центр тестирования Министерства образования разрабатывает главным образом психотехнические модели тестирования и образовательным тестом практически не занимается. Подавляющее число публикаций по тестовой тематике посвящается опять же не дидактическому, а психотесту; молодые педагогические кадры тоже воспитываются на этой доминирующей тенденции, и в скором времени, вполне возможно, учителя не будут иметь и понятия, что тестировать можно с разными целями и разными методами.
Вопрос 3. Насколько строго соблюдены в процедуре тестирования технологические требования нормативно-ориентированного теста?
Невероятно, но факт: именно в той технологической части, в которой нужно было проявить особую щепетильность в соблюдении канонов классической тестологии, творцы Единого экзамена сознательно пошли на нарушение, лишающее их детище какой-либо перспективы на общественное признание. Образно говоря, они своими руками подвесили над Единым государственным экзаменом дамоклов меч. Выше было отмечено, что для нормативно-ориентированного теста обязательным условием является предъявление испытуемым одинаковых заданий. Кому-кому, а уж тестологам это хорошо известно. В своей монографии "Композиция тестовых заданий" B.C. Аванесов указывает: "Традиционный тест представляет собой метод диагностики испытуемых, в котором они отвечают на одни задания, в одинаковое время, в одинаковых условиях и с одинаковой оценкой" (39). Написано это через 100 лет после того, как один из разработчиков основ тестологии Дж. Каттел сформулировал главный принцип для обеспечения чистоты тестологических сеансов - одинаковость условия для всех испытуемых (40).
Применительно к Единому государственному экзамену как к нормативно-ориентированному тесту, представляющему, по сути, интеллектуальный конкурс, содержание контрольного задания для каждого выпускника должно быть представлено абсолютно одинаковым набором тестовых заданий. Должен быть один КИМ!
Но КИМов в ЕГЭ не один, а очень много...

Фатальная ошибка
Принципы, которые были принципиальны, были непринципиальны.
B.C. Черномырдин

В многообразном информационном потоке по Единому экзамену только однажды тема неравенства условий промелькнула в беседе обозревателя газеты "Первое сентября" Светланы Кирилловой с директором Центра тестирования Министерства образования Владимиром Хлебниковым в мае 2003 года (41). Вот фрагмент этого диалога:
С. Кириллова. "На ЕГЭ прошлого года эксперты отметили, что тестовые задания были неравносложными для разных регионов. И в общем-то это не способствует социальной справедливости. Если уж дети сели решать задания ЕГЭ, они должны быть уверены, что варианты абсолютно одинаковые. Но для России нужно множество вариантов ЕГЭ. Вопрос - как сделать их равносложными?"
В. Хлебников. "Конечно, если бы в России использовался один вариант теста - это было бы идеально. Но это невозможно".
Дальше этого обсуждение темы не пошло. А жаль, потому что С. Кириллова снайперски попала в самое уязвимое место Единого экзамена: выпускники выполняют разные по содержанию тестовые задания! То, что дети работают с вариантами КИМов, а не с одним набором тестовых заданий, не является секретом. Известно также, что с каждым годом количество экзаменационных вариантов увеличивается - в ЕГЭ-2001 было только 10 вариантов, а в ЕГЭ-2003 их уже 89. В перспективе, при переходе на компьютерное тестирование, тестологи лелеют надежду автоматически формировать КИМы через функцию рандомизации, чтобы каждый испытуемый получал индивидуальный набор тестовых заданий. Это было бы приемлемо, будь Единый государственный экзамен критериально-ориентированным тестом. Но поскольку он, по воле министерства, конкурсный при поступлении в вуз, то такая вариативность для него недопустима по определению. Возьмем для анализа тестовые задания из трех вариантов КИМов с одинаковым условием, но разными ответами (ЕГЭ-2001, география):
Условие тестового задания: Сухопутную границу с Россией имеют...
Вариант 1 (усл. испытуемый - "А"). Тестовое задание А-10
A) Молдавия, Армения.
Б) Польша, Румыния.
B) Норвегия, Финляндия.
Г) Узбекистан, Афганистан.
Вариант 2 (усл. испытуемый - "Б"). Тестовое задание А-10
A) Азербайджан, Грузия.
Б) Польша, Болгария.
B) Швеция, Молдавия.
Г) Туркмения, Армения.
Вариант 5 (усл. испытуемый - "В"). Тестовое задание А-10
A) Финляндия, Швеция, Турция.
Б) Норвегия, Финляндия, КНДР.
B) Монголия, Индия, Япония.
Г) Китай, Польша, Афганистан.
Всего в трех заданиях упомянуто 19 стран. Поставим несколько вопросов:
Вопрос 1. Если испытуемый "А" правильно выполнил свое задание, означает ли это, что он знает ответ на вопрос по всем 19 странам?
Вопрос 2. Если испытуемый "Б" не справился со своим заданием, означает ли это, что он не справился бы и с двумя другими?
Вопрос 3. Если все испытуемые одинаково успешно / неуспешно справились со своими заданиями, можно ли сказать, что знание сухопутных границ России с другими странами всех трех участников тождественны?
Вопрос 4. Справедливо ли, что испытуемый "В" должен выбирать из 12, а его конкуренты только из 8 стран?
Следуя нормальной логике, на каждый из этих вопросов ответ отрицательный. А по логике авторов ЕГЭ следует считать: "Да, означает...", "Да, можно...", "Да, справедливо...". Так составлены все КИМы: область содержания (предмет) общая, количество тестовых заданий, время тестирования одинаковые, а все остальное - разное! И невдомек детям, что взрослые "играют" с ними не по правилам. Но ведь сообразят когда-нибудь и зададут экзаменаторам вопрос примерно такого содержания: "А если бы тот, кто набрал больше баллов, чем я, выполнял мой вариант, а я его, он также оказался бы впереди меня?" Утверждать, что именно так и было бы, не рискнут даже тестологи, вооруженные самыми современными методиками педагогических измерений.
Вот и получается: реальным достижением Министерства образования РФ является то, что все три года "эксперимента" ЕГЭ олицетворял собой несправедливость, жертвами которой в первую очередь стали наиболее достойные выпускники, поставленные в условия жесткого, но неправильно организованного конкурса. За что, спрашивается?
Но не все так просто. К отражению возможного обвинения в "игре без правил" технологи на всякий случай заранее подготовились. Чтобы оправдать отступление от принципа, т.е. свою беспринципность, они ввели в обращение чарующее словосочетание "эквивалентные варианты КИМов". И уверяют, что по созданию таких вариантов ведется постоянная усиленная работа с целью свести погрешности измерений к минимуму. Например, используется такая методика: для повышения "эквивалентности" экзаменационных вариантов КИМов в каждый из них вносятся 3-4 одинаковых тестовых задания. Аргумент не настолько убедительный, чтобы принимать его на веру. Еще надо доказать, что в технологии Единого экзамена эквивалентность КИМов доведена до степени идентичности. Для получения такого доказательства авторы статьи провели специальное исследование, в основу которого был положен тезис: если один человек выполнит тест по всем официальным экзаменационным вариантам КИМов и получит по каждому из вариантов одинаковый результат, следовательно, с доводами тестологов можно согласиться. Иначе - нет.
Условия опытного тестирования: часть "А" десяти экзаменационных вариантов КИМов ЕГЭ-2001 по географии. Длина теста - 220 тестовых заданий (22 задания на каждый вариант). См.табл.
Протокол экспериментального тестирования по материалам ЕГЭ-2001
Дата: 6 февраля 2003 года,
Продолжительность: 02:39:38
Учебная дисциплина: география
Оценивание: методика ЕГЭ
Результат:
Таблица:
[Материалы доступны в бумажной версии издания]

Заключение
При выполнении одним человеком части "А" в 10 вариантах экзаменационных КИМов одинаковых результатов по вариантам не получилось. Получено 5 разных результатов с разницей между крайними значениями в 5 баллов.
На роль испытуемого было приглашено лицо с высшим географическим образованием. Компьютерное тестирование пройдено в один прием за 2,5 часа. В ходе тестирования испытуемый не имел возможности знать, к какому варианту принадлежит очередное решаемое им тестовое задание. Подсчет "сырых" баллов проведен по методике ЕГЭ: верное решение тестового задания - 1 балл, неверное - 0 баллов.
Следовательно, предложенный способ обхода главного принципа, обеспечивающего справедливость ЕГЭ, является несостоятельным. А много ли на свете найдется людей, согласных сдавать экзамен, если заранее известно, что он несправедлив? Единый государственный экзамен будет оставаться несправедливым до тех пор, пока на смену эквивалентным вариантам КИМов не придет КИМ, представляющий один набор тестовых заданий для всех выпускников/абитуриентов.
Правда, директор Центра тестирования В.А. Хлебников почему-то считает проведение ЕГЭ в идеальном варианте, т.е. с одним КИМом, невозможным. Почему? Технически, напротив, это гораздо проще и экономичней, чем реализовывать действующую несправедливую модель. Допускаем: невозможность связана с тем, что полностью расшифрованный экзаменационный КИМ мгновенно станет известен во всех регионах западнее Владивостока. Но это не может быть основанием для отказа от принципа равенства условий, т.е. подрыва основ классической тестологии. Ну, а если возможности делать правильно нет, то и не надо начинать. Еще мудрый Соломон советовал не браться за дело, если не уверен, что сможешь довести его до конца. Сложная ситуация. Что делать с результатами трехлетнего "эксперимента" по технологически дефектному ЕГЭ? Чтобы устранить технологический дефект, необходимо хотя бы приостановить ход "эксперимента", что тоже очень проблематично. Продолжать же двигаться к финишу в статусе несправедливого экзамена аморально.
В октябре 2003 года Министерство образования РФ разыграло некое педагогическое шоу - посадило журналистов сдавать ЕГЭ по русскому языку, дабы они на себе прочувствовали то, о чем часто пишут и остро критикуют. Сценарий был по возможности максимально приближен к реальному ЕГЭ, только "понарошку". Процесс шел довольно шумно от реплик, высказываний и разных вопросов. Раздавалось и такое: "Это нечестно!" Но зато всем было весело! (42)
Интересно: что бы стали делать взрослые, поставь их точно в такие же условия, в какие они насильственно ставят детей при ЕГЭ, и не "понарошку", а когда от результата тестирования жестко зависело бы их "место под солнцем"? Да не успели бы еще прокукарекать третьи петухи, как взрослыми была бы обнаружена и доказана вопиющая несправедливость в том, что у каждого не то в бланках, что у соседа или соседки. Взрослые возмутились бы: "Так же нельзя! Это несправедливо! Кто такое мог допустить? Мы будем протестовать!" И стали бы протестовать, и были бы правы, потому что так действительно нельзя, так как несправедливо.
Но это если бы судьбоносность результата касалась их самих, т.е. взрослых. По отношению же к детям несправедливый Единый государственный экзамен можно не только поддержать, но, если скажут, и узаконить.
Сегодня в этом готовы участвовать:
* Правительство Российской Федерации;
* Комитет Госдумы по образованию и науке;
* губернаторы и мэры пилотных регионов;
* чиновники региональных органов управления образованием;
* значительная часть Советов ректоров.
Кто же из них первый освободится от гипнотического тестового влияния и скажет: "Такой несправедливый экзамен нам не нужен!"?
Или будем дожидаться, когда это скажут дети и их родители?
А может, именно такой экзамен кому-то нужен в России?

(1) Распоряжение Правительства Российской Федерации N 1072-р. План действий Правительства Российской Федерации в области социальной политики и модернизации экономики на 2000-2001 годы. Опубликовано: 03.08.2000. http://www.rg.ru/oficial/doc/raspor_rf/ 1072_pril.shtm
(2) Современный словарь иностранных слов. СПб., 1994. С. 704.
(3) Шлиц. М. Незнайка со штрих-кодом // Российская научная газета. 2003. N 33 (36). http: // www. rg.ru/ prilog/nauka/ 03-09-03 /l.shtm
(4) Бурлачук Л.Ф., Морозов СМ. Словарь-справочник по психодиагностике: Нормы профессиональной этики для разработчиков и пользователей психодиагностических методик. СПб.: Питер, 1999. http://www.tsure.ru/ University / Faculties / Fib/PiBG/library/ art/norma.html
(5) Дружинин В.Н. Экспериментальная психология: Этические принципы проведения исследования на человеке. СПб.: Питер, 2000. http://www.tsure.ru/ University /Faculties/ Fib/PiBG/library/ art/etika3.html
(6) Информационное агентство samara.ru. С введением единого стандарта образования спешить не стоит, считает председатель Комитета по образованию Госдумы. http: // www. regions, ru / article/any/id/ 1281651.html
(7) Болотов В. Исключить случайности и взятки. Более 20 вузов страны принимали в этом году сертификаты Единого государственного экзамена в качестве вступительного. // Независимая газета. 2001. N 146. 10 авг. http://www.ege.ru/ ngl46.html
(8) Что такое федеральная система тестирования? "Круглый стол" по проблемам тестирования в России от 29 декабря 1998 года // Первое сентября. 1999. N3. http: //ps. lseptember.ru / 1999/03/3-l.htm
(9) Распоряжение Правительства Российской Федерации N 1072-р. План действий Правительства Российской Федерации в области социальной политики и модернизации экономики на 2000-2001 годы. Опубликовано: 03.08.2000. http://www.rg.ru/ of icial / doc / raspor_rf / 1072_pril.shtm
(10) Приказ МО РФ от 26.10.2000 N3066. О создании Совета по организации подготовки и проведения эксперимента по Единому государственному экзамену. http: //www.informika.ru / text/goscom/dokum/ doc00/3066.html
(11) Состав Совета по организации подготовки и проведения эксперимента по Единому государственному экзамену. Приложение 2 к приказу Минобразования России от 26.10.2000 N3066. http: // www.informika.ru / text / goscom / dokum / doc00/3066.html[ретешка]2
(12) Постановление Правительства РФ 119 от 16 февраля 2001 года "Об организации эксперимента по введению Единого государственного экзамена". http: // www .rg.ru/ oficial / doc / postan_rf / 119.shtm
(13) Ефремов Э. Высший балл по лотерее. Первые итоги Единого государственного экзамена // Сельская жизнь. 2003. N 73. http://www.ege.ru/ pressa/sep2003/09-09-03-sj-min.html
(14) Кириллова С. Из школы в вуз: британский вариант // Первое сентября. 2003. N 14. http://ps.lseptember.ru/article.php?ID=200301405
(15) Быкова М. Мифы и реальность американского образования, http://magazines.russ.ru/oz/2002/ 1/byk-pr.html
(16) Горалик Л. Как сдают ЕГЭ в других странах. http: //www. 5ballov.ru /news/edu_zr/ index.shtml?2003/08/11 /24680
(17) Горалик Л. Единое поле экспериментов. http://www.ege.ru/pressa/aug2003/russ_7.html
(18) Сервер информационной поддержки Единого государственного экзамена. Сокращает ли Единый экзамен стрессовые перегрузки выпускников школ? http://www.ht.ru/ege/ voting/ vote_archiv36.html
(19) III Всероссийское совещание, посвященное подведению итогов эксперимента по введению ЕГЭ в 2003 году и постановке задач эксперимента на 2004 год. http://ege.edu.ru:8080/ ege/ portal/ doclib_open.nsf/ DocsForTechnology? OpenView
(20) Энциклопедический словарь медицинских терминов. Т. III. M., 1984. С. 156.
(21) Барановская Н. Смена курса" // Известия. http://www.ege.ru/ pressa/sep2003/ 16-09-03-izv-inf.html
(22) Барабанов Вадим. Ректор МГУ против ЕГЭ! http://spasem-shkolu. p-rossii.ru/17/ 384_l.shtml
(23) Роберт Дж. Штернберг. Интеллект, приносящий успех. Минск, 2000. С. 24.
(24) Инструкция по проведению Единого государственного экзамена в 2002 году. http://www.rustest.ru/ ege/kniga/part02.htm
(25) Виды тестирования, проводимые под эгидой Министерства образования РФ. Портал информационной поддержки Единого государственного экзамена. http://ege.edu.ru/ Portal Web / jsp / main / demo.jsp
(26) Старцев. "Единственный государственный экзамен - пока ради эксперимента, через два года по всей России". Радиостанция "Эхо Москвы". 2002. 11 июня. http: // www.hse.ru/ news / echo_msk_02 / 20020611.htm
(27) Сорокина Светлана. Экзамен для министра образования. Программа "Основной инстинкт". 29.05.2003. http://www.ege.ru/ pressa/june2003 / june.html
(28) Таратута Ю. Наши дети удручающе безграмотны // КоммерсантЪ. 2003. 1 сент. http://www.ege.ru/ pressa /sep2003/ 01-09-03-komm-bol.html
(29) Сервер информационной поддержки Единого государственного экзамена. Интерактивные ознакомительные тесты Единого экзамена-2003. http://ege.edu.ru/ PortalWeb/jsp/main/ demo.jsp
(30) Сычева Л. Без ЦТ не было бы ЕГЭ: Интервью с В. Хлебниковым // Учительская газета. 2001. N27. http://www.ege.ru/ ug27_l.html
(31) Официальный сайт Центра тестирования МО. Особенности национального экзамена, http://80.71.36.2/ newspaper/201.htm
(32) Сервер информационной поддержки Единого государственного экзамена. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. http: // www. ege.ru/ dict/dictl.htm
(33) Сервер информационной поддержки Единого государственного экзамена. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. http: // www. ege.ru/ dict/dictl.htm
(34) Официальный сайт Центра тестирования МО. Особенности национального экзамена. http://80.71.36.2/ newspaper/201.htm
(35) Рыбина А. Экзамен побеждает коррупцию // Родительское собрание. 2003. N 8-9. 2 сент. http://www.hse.ru/ pressa2002/default.php ?show=3449&selected=
(36) Аванесов B.C. Композиция тестовых заданий. М., 1998. С. 4.
(37) Сафонцев С.А. Критериально-ориентированное тестирование // Педагогическая диагностика. 2002. N 1. С. 77.
(38) Петровский А.В. Запрет на комплексное исследование детства, http://russcience.euro.ru/ papers / petr91os.htm
(39) Аванесов B.C. Композиция тестовых заданий. М., 1998. С. 181.
(40) Кадневский В.М. Становление и развитие научного метода тестов // Педагогическая диагностика. 2003. N1.С. 17
(41) Кириллова С. ЕГЭ со многими неизвестными // Первое сентября. 2003. N 35. http://ps.lseptember.ru/ newspaper.php?year= 2003&num=35
(42) Зверев А. Пресс-тест // Первое сентября. 2003. N 74. http://ps.lseptember.ru/ newspaper.php?year=2003&num=74