8.09.2005

УЧИТЬСЯ В СООТВЕТСТВИИ С ТРЕБОВАНИЯМИ ЗАВТРАШНЕГО ДНЯ

Первые результаты PISA-2003 [1]

В декабре 2004 года были подведены первые итоги второго трехгодичного этапа Программы международной оценки образовательных достижений учащихся (PISA – 2003), в котором приняли участие более 250 тыс. школьников и студентов из 41-ой страны [2], в том числе и из России.

PISA-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР. Работой консорциума руководил Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации: Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO); Служба педагогического тестирования США (Educational Testing Service, ETS); Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER); Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации. Основные направления исследования, концептуальные подходы к разработке инструментария, способы обработки и представления результатов обсуждались и утверждались представителями стран-участниц программы (как правило, представителями министерств образования) с учетом их практической значимости для этих стран. В России исследование проводилось Центром оценки качества образования Института содержания и методов обучения Российской академии образования при активном участии Министерства образования Российской Федерации, органов управления образованием 46 субъектов РФ и различных региональных организаций, занимающихся проблемами образования.

В процессе интерактивной деятельности консорциума, различных международных экспертных комиссий и ведущих специалистов участвующих стран, как и в исследовании PISA-2000 был разработан единый для всех стран-участниц инструментарий исследования (тесты, содержащие комплексные или структурированные задания), позволяющий оценить уровень математической грамотности (приоритетное направление PISA-2003), грамотности чтения, естественнонаучной грамотности и умения решать проблемы. Последнее направление - оценка компетентности в решении проблем (Problem Solving) - является новым для Программы, и предполагает умение решать задачи, не связанные напрямую с определенными учебными предметами или образовательными областями, однако часто встречающиеся в реальной жизни и требующие комплексного использования знаний и умений из различных областей.

Более подробно, по сравнению с 2000 годом, исследовались факторы, характеризующие отдельные образовательные учреждения и особенности образовательного процесса в них, применительно к обучению математике (например, отношение учащихся к урокам математики).

Исследование проводилось в строгом соответствии с едиными правилами, разработанными международным координационным центром для стандартизации проведения исследования во всех странах-участницах проекта. Каждый этап исследования (формирование выборки, перевод и адаптация инструментария, проведение тестирования и анкетирования, проверка и обработка данных) контролировался международными экспертами.

Всего в международном тесте использовались 54 задания по математике (всего 85 вопросов), 8 заданий по чтению (всего 28 вопросов), 13 заданий по естествознанию (всего 35 вопросов) и 10 заданий по решению проблем (всего 19 вопросов). Согласно цели исследования значительную часть – 51% составляли математические вопросы. Оставшаяся половина вопросов приходилась на "грамотность чтения" (17%), "естественнонаучную грамотность" (21%) и компетентность в решении проблем (11%).

Тесты были разработаны в 13 вариантах. При этом часть заданий повторялась в нескольких вариантах для обеспечения сравнимости результатов учащихся, выполнявших разные варианты. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем.

После выполнения теста каждый ученик заполнял в течение получаса анкету, в которой отвечал на вопросы о своем образовательном учреждении, о семье, своих отношениях и интересах. Дополнительно проводилось анкетирование директоров образовательных учреждений.

При анализе результатов PISA, необходимо учитывать, что это исследование направлено не на определение уровня освоения школьных программ, а на оценку способности учащихся применять полученные в школе знания и умения в жизненных ситуациях. В этом отражаются современные тенденции в оценке успешности и эффективности проводимой политики в области общего образования. Ключевой вопрос исследования – "Обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для полноценного функционирования в обществе?". В рамках программы PISA также изучаются факторы, которые позволяют объяснить различия в результатах учащихся стран-участниц программы (в том числе характеристики учащихся и их семей, характеристики образовательных учреждений и учебного процесса). В преддверии начала нового трехлетнего цикла PISA (PISA-2006) экспертами активно обсуждаются возможности усовершенствования методологии программы, позволяющие в еще большей мере учитывать национальную специфику образования и использовать полученные количественные результаты при разработке национальной образовательной политики (информация о предложениях и конкретном опыте по усовершенствованию методологии PISA была представлена в бюллетене "Новости ОЭСР: образование, наука, новая экономика", №7 - 2004. http://www.oecdcentre.hse.ru/material/bulletin/OECD_No7.pdf)

Исследование PISA является мониторинговым, т.е. позволяет выявить и сравнить изменения, происходящие в системах образования в разных странах и оценить эффективность стратегических решений в области образования. В 2003 году такое сравнение стало возможным. Однако, учитывая, что используемые для сравнения данные получены только второй раз и с интервалом в 3 года, на их основе нельзя делать выводов об устойчивых тенденциях в развитии систем образования участвовавших в исследовании стран.

Общая тенденция состоит в том, что более богатые страны показывали лучшие результаты, но были и исключения: например, национальный доход Кореи на 30 % ниже среднего по ОЭСР, и, тем не менее, корейские школьники находятся сейчас среди лучших по показателям в области среднего образования. Первое место по результатам измерения, как и в 2000 году, получила Финляндия. Также лучшие результаты по математическим и естественнонаучным дисциплинам показала азиатская школьная система – Гонконг, Япония и Корея.

Тем не менее, некоторые страны, не очень успешно выступившие ещё в 2000 году, показали не лучшие, а иногда и более низкие результаты, тем самым увеличивая существовавший межстрановой разрыв.

Как показало исследование, высокие расходы на образование также не являются ключом к успеху: отдельные страны, осуществляющие значительные инвестиции в свои образовательные системы (Австралия, Бельгия, Канада, Чехия, Финляндия, Япония, Корея и Нидерланды), выступили неплохо, в то время как другие крупные инвесторы в образование не достигли даже среднего по ОЭСР результата.

Как учащиеся, так и школы в целом в рамках исследования PISA-2003 показывали лучшие результаты в условиях высоких ожиданий, поддерживаемых устойчивой системой взаимоотношений учитель-ученик, а также при наличии у учащихся интереса к предмету и вовлеченности в предмет. Для большинства стран-лидеров по результатам PISA характерна высокая степень участия и ответственности местных властей и самих учебных заведений в определении содержания, поиске источников финансирования образования, внедрения новых методов управления в образовательный процесс.

Учитывая, что приоритетной целью PISA-2003 была оценка математической грамотности учащихся , имеет смысл более подробно рассмотреть полученные российскими школьниками результаты в этой области по сравнению с результатами других стран-участниц.

В соответствии с концепцией PISA, под математической грамотностью понимается способность учащихся: распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики; формулировать эти проблемы на языке математики; решать эти проблемы, используя математические факты и методы; анализировать использованные методы решения; интерпретировать полученные результаты с учетом поставленной проблемы; формулировать и записывать результаты решения.

В качестве основной количественной характеристики математической подготовки учащихся конкретной страны используется средний балл, подсчитанный по результатам выполнения математической части работы учащимися этой страны. По сравнению со средним баллом стран-членов ОЭСР, характеризующим в целом состояние математической грамотности учащихся в этих странах, остальные страны распределились на три группы:

– результаты значимо выше среднего балла стран ОЭСР (17 стран);

– результаты не отличаются от среднего балла стран ОЭСР (4 страны);

– результаты значимо ниже среднего балла стран ОЭСР (19 стран, включая Россию) (Таблица 1).

Таблица 1:
Сравнение результатов стран-участниц со средним баллом стран ОЭСР

Источник: Основные результаты международного исследования образовательных достижений учащихся ПИЗА- 2003. Центр оценки качества образования ИСМО РАО, 2004 г., С.16

Попарное сравнение среднего балла России с другими странами позволило определить позицию России по отношению к каждой из 39 стран-участниц исследования:

- результаты значимо выше среднего балла России (26 стран);

- результаты не отличаются от среднего балла России (4 страны);

- результаты значимо ниже среднего балла России (9 стран) (Таблица 2).

Таблица 2:
Сравнение результатов России с результатами стран-участниц

Источник: Основные результаты международного исследования образовательных достижений учащихся ПИЗА- 2003. Центр оценки качества образования ИСМО РАО, 2004 г., С.17

В общем рейтинге среди сорока стран-участниц исследования Россия уровню математической компетентности занимает невысокое место (в интервале от 29 до 31 с учетом ошибки измерения). Однако этот усредненный показатель не характеризует в полной мере результаты выполнения российскими учащимися международных тестов. Действительно уступая по большинству позиций занявшим первые 6 мест лидирующим странам (Гонконг, Финляндия, Республика Корея, Нидерланды, Лихтенштейн, Япония), в половине заданий учащиеся России показали результат не ниже среднего по странам ОЭСР (такой же или выше) и сопоставимый с результатами таких стран, как Германия, Венгрия, Франция, которые в данном списке находятся значительно выше России.

В соответствии с принятой в исследовании 1000-балльной оценочной шкалой все задания по математике были разделены на 6 уровней сложности. В заданиях самого низкого 1-го уровня предлагалась относительно знакомая проблемная ситуация, требующая интерпретации несложного текста, прямого применения хорошо известных математических знаний в знакомой ситуации. В заданиях, отвечающих средним уровням (3-му – 4-му) математической грамотности, от учащихся требовались интерпретация более сложной ситуации, построение цепочки рассуждений или выполнение последовательности вычислений, несложная аргументация выполненных действий. В заданиях, отвечающие более высоким уровням (5-му и 6-му) математической грамотности, требовались интерпретация более сложной незнакомой ситуации и, соответственно, более сложные размышления и творческий подход для ее разрешения, самостоятельное составление математической модели предложенной ситуации, аргументация и создание соответствующего способа решения.

В Таблице 3 приведено распределение российских учащихся по выделенным уровням математической грамотности.

Таблица 3:
Распределение (в %) учащихся России по уровням математической грамотности

* Примечание: Оценка состояния математической грамотности ученика ниже 1-го уровня может означать не полную математическую безграмотность ученика, а неспособность успешно применить свои математические знания даже в самых простых ситуациях. Источник: Основные результаты международного исследования образовательных достижений учащихся ПИЗА- 003. Центр оценки качества образования ИСМО РАО, 2004 г., С.21

Самый высокий 6-ой уровень математической грамотности показали 1,6% российских учащихся, в странах ОЭСР таких учащихся в среднем 4%, а в лидирующих странах (Гонконг, Финляндия, Республика Корея, Япония) таких учащихся 6,7%-10,5%. В странах-лидерах начинают проявлять способность применять математические навыки 86%-93% учащихся, что значительно превышает 70% таких учащихся в России. Результаты в Германии и Венгрии ближе к результатам России (Таблица 4). Таблица 4: Распределение учащихся (в %) по уровням состояния математической грамотности Страны Уровни 2-ой – 6-ой Ниже 2-го* Финляндия 93 7 Япония 86 14 Чешская Республика 83 17 Франция 83 17 Германия 78 22 Венгрия 77 23 США 74 26 Все страны ОЭСР 79 21 Россия 70 30

*Примечание: 2-й уровень выбран в качестве некоторой границы, поскольку считается что учащийся, достигший этой границы, начинает демонстрировать наличие умений, которые обеспечивают ему возможность активно использовать математику в соответствии с определением математической грамотности, которое принято в исследовании.

Источник: Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Центр оценки качества образования ИСМО РАО, 2004 г., С.22

Невысокие результаты России по уровню математической грамотности школьников в PISA-2003 показали, что давно поставленная перед российской школой цель - подготовить выпускников к свободному использованию математики в повседневной жизни - не достигается в значительной степени из–за отсутствия должного внимания к практической составляющей содержания обучения в основной школе, следствием чего является нехватка у российских учащихся практико-ориентированных знаний и умений. На суммарный показатель, определяющий место России, повлияли также невысокие результаты выполнения заданий по дискретной математике, статистике, вероятности, изучение которых в настоящее время не входит в обязательную программу российской школы, а также непривычные условия проведения проверки знаний.

Аналогичные проблемы возникали у российских школьников и в заданиях, касающихся оценки грамотности чтения, естественнонаучной компетентности и умения решать проблемы.

В части исследования, касающейся грамотности чтения, оценивались умения, овладение которыми свидетельствует о полном понимании текста: нахождение информации; интерпретация текста; рефлексия на содержание текста или его форму и их оценка.

По этим показателям результаты России немного ухудшились по сравнению с 2000 годом и оказались сопоставимы с результатами таких стран как Турция и Уругвай. В общем рейтинге стран-участниц по уровню грамотности чтения Россия заняла 32-34 место, оказавшись в числе стран, результаты которых статистически значимо ниже среднего результата для стран ОЭСР. Самые высокие результаты продемонстрировали учащиеся Финляндии, они значительно превзошли учащихся всех других стран. За Финляндией следуют Республика Корея и Канада.

В естественнонаучной части исследования лидерами стали четыре страны: Финляндия, Япония, Республика Корея и Гонконг, - показавшие лучшие результаты по способностям школьников использовать естественнонаучные знания, выявлять проблемы и делать обоснованные выводы, необходимые для понимания окружающего мира и тех изменений, которые вносит в него деятельность человека. Из различных разделов естествознания (физики, химии, биологии, географии и астрономии) отбирались лишь те знания, которые востребованы в повседневной жизни, перспективны для будущего и предполагают использование различных умений, исключая простое воспроизведение отдельных изолированных знаний.

Российские школьники показали результат, находящийся в пределах 20-30 места среди участвовавших в исследовании стран и улучшающий соответствующие показатели 2000 года. Однако несмотря на относительное улучшение результатов, в целом их нельзя считать удовлетворительными. PISA выявила несоответствие уровня естественнонаучной грамотности российских учащихся основным требованиям, сформулированным ведущими специалистами мира в области школьного естественнонаучного образования. К числу этих требований, активно реализующихся во многих странах-участницах PISA, относятся переориентация обучения по естественнонаучным дисциплинам на использование знаний в реальных жизненных ситуациях, отличающихся от учебных, формирование методов научного познания, включение вопросов, связанных с социальными аспектами использования естествознания. Эти направления также определены как перспективные в новых российских образовательных стандартах, однако процесс их введения происходит медленно.

Наиболее наглядно отмеченные недостатки российского школьного образования проявились при оценке умения учащихся решать междисциплинарные жизненные проблемы, требующие способности ориентироваться в необычной обстановке, выявлять необходимую информацию, существующие препятствия, находить возможные альтернативы и пути решения, разрабатывать стратегии, наконец, решать сами задачи, представлять и аргументировать найденные решения. Достаточно жесткая предметная ориентированность общего образования в России, слабая связь школьных заданий с реальными жизненными ситуациями не позволили России получить результаты сопоставимые со средними по ОЭСР – в общем рейтинге она заняла 25-30 место. Лучшие результаты показали Республика Корея, Гонконг, Япония и Финляндия.

Сравнение результатов России с другими странами явно показывает отличие приоритетов отечественного образования от приоритетов, которые проявились в исследовании PISA и являются характерными для многих стран. Результаты международных сравнительных исследований учебных достижений школьников [3], направленных преимущественно на оценку освоения школьниками учебных программ, свидетельствуют, что уровень предметных знаний и умений российских школьников не ниже или превосходит уровень учащихся многих стран, которые в исследованиях PISA-2000 и PISA-2003 показали существенно более высокий уровень умения применять свои знания в близких к реальным ситуациях. Это говорит о том, что, обеспечивая учащихся значительным багажом знаний, российская система обучения не способствует развитию у них умения выходить за пределы учебных ситуаций, в которых формируются эти знания.

Участие России в первых двух циклах программы уже принесло свои плоды. Результаты PISA–2000 вызвали широкую дискуссию в обществе о качестве, приоритетах в содержании общего среднего образования, способствовали появлению новых направлений исследований, например, в области изучения возможности реализации так называемого компетентностного подхода в образовании. Проведенный российскими специалистами анализ как результатов исследования, так и подходов к разработке его инструментария, позволил выявить области в образовательной подготовке российских учащихся, требующие корректировки с целью повышения конкурентоспособности российского образования, а также начать разработку учебных и контрольных измерительных материалов, учитывающих выявленные проблемы.

Результаты PISA-2003 нуждаются в дальнейшем анализе методистами, авторами учебников, разработчиками стандартов и другими специалистами в области школьного образования. Необходимо широкое обсуждение возможностей разумного баланса между приоритетами в области школьного образования в России и приоритетами, которые проявились в исследовании PISA. Результаты международных исследований могут помочь при разработке концепции общего образования, позволяющей, не отказываясь от традиций и достоинств российского образования, органично ввести в образовательный процесс новые приоритеты, отвечающие требованиям постиндустриального информационного общества.

Большую пользу может принести изучение опыта стран-лидеров (Финляндии, Японии, Кореи), показывающих стабильно высокие результаты в исследовании PISA и других международных исследованиях учебных достижений школьников, а также опыта стран, которым удалось за довольно короткий срок добиться качественно иных результатов (Германии, Польши, Бельгии и других).

* * *

Более подробную информацию о результатах PISA-2003 можно получить в книгах "Учиться в соответствии с требованиями завтрашнего дня. Первые результаты PISA-2003" (Learning for Tomorrow's World - First Results from PISA 2003. OECD - 2004 Edition; доступна по адресу www.pisa.oecd.org/dataoecd/1/60/34002216.pdf) и "Решение проблем в соответствии с требованиями завтрашнего дня: первые результаты оценки междисциплинарных компетенций" (Problem Solving for Tomorrow’s World. First Measures of Cross-Curricular Competencies from PISA 2003.OECD - 2004 Edition; доступна по адресу: www.pisa.oecd.org/dataoecd/25/12/34009000.pdf).

На специальном сайте ОЭСР www.oecd.org/pisa представлена подробная информация об участниках, методологии и результатах PISA-2000 и PISA-2003 , а также о перспективах проведения PISA-2006.

Отчет о результатах проведения в России международного исследования PISA-2003 представлен на сайте Центра оценки качества образования Института содержания и методов обучения Российской академии образования по адресу: http://www.centeroko.ru

--------------------------------------------------------------------------------

[1] Материал подготовлен при содействии Центра оценки качества образования Института содержания и методов обучения Российской академии образования на основе Отчета о результатах проведения в России международного исследования PISA-2003 (руководитель авторского коллектива – Ковалева Г.С.). Полный текст отчета представлен на сайте: http://www.centeroko.ru.

[2] Данные по Великобритании не соответствовали требованиям репрезентативности и не попали в итоговые таблицы результатов.

[3] Международное мониторинговое исследование качества математического и естественнонаучного образования (TIMSS - Trends in Mathematics and Science Study, 1995 г., 1999 г., 2003 г.), международный проект "Исследование качества чтения и понимания текста" (PIRLS - Progress in International Reading Literacy Study, 2001 г.). Оба исследования проводятся Международной ассоциацией по оценке образовательных достижений (IEA, International Association for the Evaluation of Educational Achievements).

Источник: Информационный бюллетень «Новости ОЭСР: образование, наука, новая экономика», № 1 (8)

По теме:
"ПРОВАЛ РОССИЙСКОГО ОБРАЗОВАНИЯ НА МЕЖДУНАРОДНОМ ТЕСТИРОВАНИИ"