Определяем критерии оценки
Анализируя инновационную деятельность школ, мы убедились, что администрация затрудняется в отслеживании хода и оценке ее успешности. Часто собирается явно не та или недостаточная информация. А некоторые школы накапливают такое количество разнообразных сведений, что буквально тонут в них, будучи не в состоянии не только их использовать, но и просто осмыслить. Нередко к тому же оказывается, что из-за неравнозначности, несопоставимости или фрагментарности полученных данных невозможно проследить динамику наблюдаемых педагогических явлений и зафиксировать зарождающиеся тенденции.

Итак, приступая к организации мониторинга, прежде всего следует определить критерии оценки успешности нововведения, а для этого необходимо разобраться в сущности нововведения и в той цели, ради которой оно вводится. Именно в цели инновационной деятельности отражаются представления о конечных ее результатах. В них - отправной момент для поиска критериев оценки.
Например, учителя гимназии № 49 г. Тюмени стали разрабатывать и использовать на уроках задачи (задания) открытого типа с целью развития у учащихся дивергентного мышления. Отличительным признаком такого мышления является способность находить множество верных решений одной и той же задачи. Именно степень развитости этой способности у учащихся и была признана критерием оценки нововведения.

В зависимости от масштаба и содержания инновационной работы ее успешность может быть оценена не по одному, а по целому комплексу критериев. Результаты системного нововведения, включающего и педагогический, и психологический, и социальный аспекты, оцениваются, как правило, с помощью образовательного, воспитательного, развивающего, социально-психологического и валеологического критериев.

Кроме критериев, то есть признаков, на основе которых осуществляется оценка, в критериально-оценочный комплекс включается достаточно широкий спектр показателей, адекватно и емко отражающих важнейшие грани (стороны) каждого критерия, а при необходимости - и индикаторов, конкретизирующих проявление характерных особенностей наиболее сложных показателей.

В выборе показателей, в отличие от выбора критериев, не последнюю роль играет субъективный фактор, в частности теоретические позиции и предпочтения инноваторов, их принадлежность к какой-либо научной школе и т.п. Так, одни оценивают обученность учащихся по В.П. Симонову (распознавание, запоминание, понимание, применение, перенос), другие по Т.И. Шамовой (уровень усвоения знаний, системность знаний, действенность знаний, сформированность интеллектуальных, информационных и коммуникативных умений и умений самоорганизации), третьи -по В.А. Караковскому (прочность, глубина и разнообразие знаний) и т.д.

Поэтому при выборе показателей каждого критерия важно соблюдать требования их необходимости (важности для вводимого новшества) и достаточности, пропорциональности их удельного веса, чтобы не допустить перекоса в сторону какого-нибудь критерия, их способности к всестороннему охвату оцениваемого явления и обеспечению его целостности, соответствия философии школы, выбранной ею образовательной парадигмы. Последнее требование относится прежде всего к показателям успешности системных нововведений, осуществляемых в рамках опытно-экспериментальной работы, в которой они становятся и носителями, и выразителями специфики реализуемых новых идей.

Покажем это на примере работы школы № 80 г. Тюмени по интеграции отечественных и зарубежных гуманистических идей П. Петерсена, С. Френе и особенно Р. Штайнера с целью обновления традиционной системы образования младших школьников. Инновационное преобразование начальной школы строилось на толковании обучения как одного из важнейших средств развития личности детей, когда знания перестают быть самоцелью. Оно полностью сочеталось с идеями внутренней свободы, проявляющейся в незакомплексованности, раскрепощенности и открытости.

Средствами практического воплощения отобранных идей явились: отказ от форсированного интеллектуального развития детей, усиление в содержании образования художественно-эстетического и ремесленно-трудового направлений, интеграция содержания, методов и средств учебной и внеучебных видов деятельности школьников, самостоятельное открытие знаний учащимися, образное преподавание, безотметочное обучение, ритмическая организация жизнедеятельности детей в школе, работающей в режиме полного дня, культивирование отношений добра, радости, заботы, терпимости, уважения к человеческому достоинству и другое.

Все это стало основанием для определения критериев и конкретных показателей оценки главного результата интеграции гуманистических идей - развития личности учащихся:
• развитость общих способностей: внимания (устойчивость, произвольность, распределение), памяти (механическая/логическая, произвольная/ непроизвольная, долговременная/ кратковременная), мышления (сравнение, анализ, обобщение, классификация);
• развитость специальных способностей: математических, лингвистических, художественных, сценических, музыкальных, лидерских, трудовых, спортивных;
• сориентированность на общечеловеческие ценности: семья. Отечество, труд, природа, свобода, культура;
• проявление признаков свободной личности: самосознания, чувства собственного достоинства, способности к свободному выбору, самостоятельности в принятии решений, способности к сотворчеству, произвольности поведения, рефлексивности, социальной адаптированности;

Успешность нововведений должна быть связана не только с позитивными изменениями в обученности, воспитанности и развитости учащихся. Об эффективности инновационной деятельности можно судить и по изменениям, происходящим в самом педагогическом коллективе - оздоровлению психологической атмосферы, росту профессионализма учителей, смене их теоретических и методических приоритетов, демократизации отношений, состоянию здоровья педагогов и т.п.

Так, реализуя идеи гуманно-личностного образования, инноваторы школы № 62 г. Тюмени отслеживали, кроме индивидуально-личностного развития учащихся, динамику обучающей деятельности учителей по функциональному и результативно-личностному аспектам (методика «Лидер» Г.И. Хозяинова), доминирующий стиль педагогической деятельности, уровень проявления педагогами оптимизма по отношению к ученикам, характер восприятия ими своих учеников (как личности, ученика, хороший/плохой), доминирующую форму общения (диалогичная, монологичная, смешанная), интенсивность деятельности учителя по упрочению субъектной позиции учащихся в учебном процессе.
Таким образом, соблюдение в целом несложных требований при разработке критериев, их показателей и индикаторов обеспечит разностороннюю и объективную оценку вводимых педагогических новшеств.

 

Следует руководствоваться при этом и определенными требованиями. Методы должны обеспечивать достаточность информации, ее объективность, достоверность и надежность, однозначность трактовки полученных результатов, их сравнимость с результатами, добытыми иными способами, и быть по возможности минимально трудоемкими. Кроме того, они должны быть удобными в сборе и последующей обработке данных и позволять отслеживать изучаемые признаки в динамике.

Стандартные методики и тесты часто полностью не удовлетворяют инноваторов, поскольку не в состоянии решать конкретные задачи и учитывать специфику нововведения. Чтобы добиться большей диагностичности (информированности) стандартных методов, адекватности целям, специфике и условиям инновационной деятельности, прибегают к их адаптации, модификации и даже к созданию новых. Приведем в несколько сокращенном виде матрицу оценки качеств ума, разработанную для гимназии № 49 г. Тюмени, которую используют и школы, работающие с одаренными детьми (см. табл. 1).

Определение уровня развития качеств ума осуществляется с помощью экспертной оценки или методом обобщения независимых характеристик на педконсилиуме. Используется 3- или 5-мерная шкала. По количеству учащихся с одинаковым уровнем развития каждого качества судят о степени его сформированности в классе в целом и принимают необходимые решения.

Несомненно, будет полезна учителям и классным руководителям адаптированная с целью определения сориентированности школьников на духовные ценности таксономия педагогических целей в аффективной области Б. Блума. Обычно для этого используют классическую методику М. Рокича, основанную на прямом ранжировании самими испытуемыми двух классов ценностей: терминальных (ценностей-целей) и инструментальных (ценностей-средств). Поэтому ее результаты целиком зависят не только от искренности ответов, но и от степени сформированности индивидуальной ценностной системы и способности школьника просто разобраться в ней.

Предлагаемый вариант таксономии целей в эффективной области содержит описание характера восприятия и усвоения учащимися культивируемых в конкретной школе духовных ценностей, число и номенклатура которых концептуально обосновывается: у В.А. Караковского их восемь -земля, Отечество, семья, труд, знание, культура, мир, человек; Н.Е. Щуркова считает, что их может быть всего три - истина, добро, красота.

 

 

Качество ума	Их важнейшие признаки
Самостоятельность	Умение увидеть вопрос, требующий решения, и найти на него ответ. Стремление творчески подходить к познанию, находить новые пути и способы открытия истины, новые факты и закономерности, выдвигать новые объяснения
Критичность	Умение не поддаваться внушающему влиянию чужих мыслей, строго и верно их оценивать, видеть сильные и слабые стороны, вскрывать ценное, что в них имеется, и допущенные ошибки. Умение действовать в условиях выбора и принятия альтернативных решений, умение сомневаться
Последовательность	Умение соблюдать логический порядок в рассмотрении вопроса, логическую обоснованность рассуждений; умение придерживаться темы размышлений, не уклоняться в сторону, не «перескакивать» с одной мысли на другую
Гибкость	Умение изменить намеченное решение или способ решения, если они оказались ошибочными, найти новые пути решения, подойти «с другой стороны» к предмету размышления; свобода от предвзятых предположений, от шаблонных приемов решения задачи; умение учитывать конкретную обстановку и те перемены в ней, которые требуют изменения в постановке вопроса, отказа от прежнего решения, принятия нового; умение найти выход из безвыходного положения
Глубина	Умение вникать в сущность вопроса, в суть дела, вскрывать причины явлений, видеть основу фактов, понимать смысл происходящего, предвидеть далеко идущие следствия. Умение рассмотреть вопрос разносторонне, понять явление в многообразии его связей и отношений
Оригинальность	Нестандартность решений, неожиданность суждений, предположений, умозаключений и выводов; своеобразие подходов и оценок

 

Уровни	Показатели
Восприятие духовных ценностей	Знание и осознание важности непреходящих духовных ценностей. Уважительное отношение к высказываниям других людей относительно важнейших объективных ценностей. Восприимчивость к окружающему миру, внимание к наиболее ценным сторонам и элементам окружающей действительности
Активный отклик на духовные ценности	Позитивная и живая эмоциональная реакция на интересную информацию о важнейших духовных ценностях. Активное участие в обсуждении вопросов, связанных с объективными ценностями. Самостоятельное знакомство с информацией, расширяющей и углубляющей представления об объективных ценностях
Усвоение отдельных духовных ценностей	Избирательное отношение к объективным ценностям. Заметное проявление субъективных предпочтений и принятие отдельных из них. Знакомство с различными точками зрения, с тем чтобы утвердиться в правоте собственного выбора и оценок. Проявление стойкости в отстаивании своих убеждений
Становление собственной системы ценностей	Формирование собственной системы ценностных ориентации на основе личностно значимых и предпочитаемых объективных ценностей. Проявление своего отношения к объектам и явлениям действительности на основе усваиваемых ценностных ориентации. Осознание своих возможностей и недостатков, выстраивание жизненных перспектив в соответствии со складывающейся системой духовных ценностей
Ориентация на собственную систему духовных ценностей	Полное усвоение ценностных ориентации, определяющих поведение учащихся, отношение к окружающему миру, образ их действий и стиль деятельности. Устойчивое проявление самостоятельности в оценках и суждениях, поступках и деятельности. Четкое проявление жизненного кредо

Сбор и обработка информации
Диагностический этап мониторинга начинается с опробования оценочных и измерительных средств. Его результаты позволяют убедиться в адекватности и надежности выбранной совокупности методов или внести в нее соответствующие поправки. Если потребность в коррекции диагностического комплекса не возникает, то полученная информация по критериям эффективности нововведения, предваряющая саму инновационную работу, может стать характеристикой исходного состояния изучаемого объекта и, следовательно, основой для сравнения с ней результатов последующих мониторинговых измерений.

Частота мониторинговых замеров зависит от содержания нововведений, но, как правило, не превышает двух раз в год - текущего и рубежного. Более частые срезы могут быть недиагностичными. Если информация собирается не вся сразу, а по частям, то число замеров в год соответственно возрастает. Длительность мониторинга определяется продолжительностью инновационной деятельности, хотя полезно проводить мониторинговые замеры и после ее завершения с целью отслеживания пролонгированных результатов нововведений.

Собранная на диагностическом этапе информация проходит первичную обработку и систематизируется, то есть приводится в определенный порядок. Она представляется в виде таблиц, графиков, профилей (гистограмм и диаграмм), «таблетных» форм и (или) различных классификаций, выполненных на основе четких оснований - сходства, различия, величины, силы выраженности каких-либо свойств и признаков и т.п. Упорядоченная подобным образом информация удобна для последующих сопоставления, сравнения, анализа и обобщения, установления причинно-следственных отношений, устойчивых связей и эмпирических зависимостей. Она намного облегчает наиболее сложную и ответственную мониторинговую процедуру - интерпретацию, т.е. объяснение вскрытых фактов, истолкование их смыслов и значений.

Интерпретация данных и прогноз дальнейшего развития инновационных процессов
Интерпретация мониторинговой информации - это своего рода диагноз реального состояния дел, сложившегося в школе на изучаемый момент вследствие нововведения. Она осуществляется с целью оценки степени его влияния на образовательный процесс, прогноза дальнейшего развития, формулирования выводов об эффективности введения нового и разработки стратегии и тактики последующей инновационной деятельности.

Интерпретация предполагает глубокое осмысление и разносторонний анализ хода и результатов инновационной работы, вскрытие причин их неполного соответствия первоначальному замыслу и возникших ошибок, мысленного взвешивания возможного эффекта последующих нововведений, а в случае необходимости активного вмешательства в проектирование и ход инновационного процесса, не дожидаясь, когда он окажется малоэффективным и приведет к нежелательным последствиям.

Концептуальные установки, ожидаемые результаты и те научные теории и отдельные теоретические положения, которые были отобраны инноваторами в качестве исходных посылок, задают направление и содержание интерпретации добытых в мониторинге фактов. Однако формулируемые оценки должны быть свободны от субъективизма, предвзятости и «подгона» фактов под теории или, наоборот, теорий - под факты. Чтобы избежать этого, следует обратить особое внимание на совпадение/несовпадение ожидаемых результатов и реально достигнутых, проследить их динамику.  

Надо, кстати, заметить, что «динамическими» данными считаются те, которые содержат более двух измерений, то есть помимо начального и конечного еще и промежуточные. Поэтому говорить, например, о положительной динамике результатов нововведения на основе только двух измерений - исходного и достигнутого - просто некорректно. Необходим хотя бы еще один промежуточный срез, проведенный с использованием аналогичных измерительных средств.

И еще одно замечание. Установленная разница между исходными и полученными от нововведения результатами может оказаться статистически не значимой. Эффект произошедших изменений можно полностью отнести за счет введенного новшества, если с помощью статистических методов будет обоснована достоверность различий этих результатов.

Процедура интерпретации результатов допускает возможность разных вариантов толкования отдельных фактов, для однозначного объяснения которых не хватает собранной информации и требуется дополнительная проверка каждой из версий. В нашей практике проведения мониторинга отмечалось на протяжении трех лет очень медленное наращивание учителями инновационных школ г. Ханты-Мансийска исследовательского опыта. Объясняя этот факт, мы предположили, что причиной могло быть или отсутствие необходимой учебы в самих школах и в целом в городе, или недостаточно интенсивная работа учителей над собственной инновационной и исследовательской компетентностью, или нехватка специальной научно-методической литературы. Собранная дополнительная информация убедила в негативном действии не одного, а всех этих факторов вместе.

Для формулирования итоговых выводов полезно не только проанализировать и объяснить, но и соотнести полученные мониторинговые данные с результатами учителей, работающих традиционно, и ответить на вопросы: как подействовали нововведения на обучение, воспитание и развитие учащихся, что изменили они в управлении школой, какие факторы благоприятствовали, а какие препятствовали использованию новшеств, при каких условиях эффективность нововведений возрастала, какую пользу можно извлечь из полученных результатов, в том числе отрицательных, что из наработанного в инновационном режиме следует распространить, где и как это сделать и т.д. Тщательный анализ фактологической информации об инновационном преобразовании школьной практики, выявление проблемного поля и наиболее острых, подлежащих разрешению проблем, зарождающихся и устойчиво проявляющихся тенденций позволят сформулировать прогноз ближайших и более отдаленных перспектив инновационной деятельности.

Прогнозирование осуществляется на основе всех предшествующих ему мониторинговых процедур и требует данных, накапливаемых в процессе длительных и повторяемых динамических наблюдений. Именно длительный характер наблюдений и оптимальность собранной информации (кстати, ученые считают, что обилие данных, как и их недостаток, одинаково снижают точность предсказаний) обеспечивают прогностическую надежность мониторинга педагогических нововведений.

Содержание прогнозных заключений касается, прежде всего, образовательного учреждения, где вводилось педагогическое новшество, однако некоторые из них могут иметь и более широкое значение. К примеру, в числе прогнозных положений, сформулированных по результатам опытно-экспериментальной работы школы № 80 г. Тюмени, были следующие:

1) преподавание одним учителем всех предметов с 1-го по 8-й класс, как это первоначально задумывалось, может привести к резкому снижению качества знаний учащихся, так как учителя даже с высшим образованием не в состоянии проводить по всем предметам занятия на одинаково высоком уровне, как этого требует российская система образования;

2) безотметочное обучение, обеспечившее психологический комфорт младших школьников, в условиях отечественных традиций и сложившихся у родителей стереотипов (они настойчиво требовали ставить детям отметки, когда те учились еще в первом классе) может спровоцировать у учащихся среднего школьного звена безответственное отношение к результатам своей учебной деятельности;

3) зарубежные инновации приживаются, если они не противоречат духу отечественного образования. Поэтому концепция школы была подкорректирована. В частности, отметочное обучение вводилось с 4-го класса; основному учителю разрешалось преподавание только двух предметов -русского языка или математики и какого-либо иного предмета, компетентность в котором позволяла ему на должном уровне обучать этому предмету учащихся 5~ 7-х классов. В качестве таковых рекомендовались предметы художественного и ремесленно-трудового циклов, география и история.

Таким образом, всесторонний анализ и адекватная оценка мониторинговых результатов введения педагогических новшеств, прогноз перспектив развития в этой связи образовательной практики дают основание для принятия обоснованных решений о продолжении инновационной деятельности, корректировке ее отдельных сторон и внесении необходимых изменений. На их основе делается и выбор приоритетных направлений последующей инновационной работы, создаются перспективные и текущие планы, содержащие организационные, методические, технологические, корректирующие, стимулирующие и даже психотерапевтические меры.