WWW.DISUS.RU

БЕСПЛАТНАЯ НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

 

Pages:     || 2 |
-- [ Страница 1 ] --

Мониторинг в образовании

А.Н. Майоров

Глава 1

Мониторинг как научно-практический феномен

1.1. Мониторинг как практическая система. Мониторинг в смежных сферах деятельности

Само понятие мониторинг представляет интерес с точки зрения его теоретического анализа, так как не имеет однозначного толкования, ибо изучается и используется в рамках различных сфер научно-практической деятельности. Сложность формулировки определения понятия мониторинг связана также с принадлежностью его как сфере науки, так и сфере практики. Он может рассматриваться и как способ исследования реальности, используемый в различных науках, и как способ обеспечения сферы управления различными видами деятельности посредством представления своевременной и качественной информации.

Самым общим образом мониторинг можно определить как "постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату или исходному положению ".

Впервые мониторинг был использован в почвоведении, затем в экологии и других смежных науках. В настоящее время он изучается как в технических, социальных науках, так и в различных сферах практической деятельности. Есть основания говорить, что осталось мало областей деятельности, где в той или иной мере не использовался бы мониторинг.

Основные сферы, применяющие мониторинг как способ научного исследования, - это экология, биология, социология, педагогика, экономика, психология, теория управления. Главная сфера практического применения мониторинга - это управление, а точнее информационное обслуживание управления в различных областях деятельности.

Мониторинг представляет собой достаточно сложное и неоднозначное явление. В различных сферах он используется с различными целями, но при этом обладает общими

характеристиками и свойствами. Однако разные системы мониторинга, обладая общими чертами, существуют и развиваются достаточно изолированно в рамках той или иной науки или области управления. Можно отметить, что степень изученности и интенсивность использования его в различных сферах деятельности неравнозначны. Так например, можно говорить об определенном уровне зрелости в решении проблем мониторинга, как на прикладном, так и на теоретическом уровнях в сфере экологии. Здесь понятие мониторинга определено и принимается большинством научного сообщества. Достаточно глубоко проработан его методологический аппарат, созданы средства измерения, адекватные поставленным задачам, существует отлаженная система реализации мониторинга, включающая в себя сбор, хранение, обработку и распространение получаемой информации, статус его закреплен на законодательном уровне.

В некоторых сферах научно-практической деятельности мониторинг только осваивается, в других его освоение находится на завершающем этапе. Такое положение дает нам достаточно уникальную возможность: исследовав теорию и практику освоения мониторинга в различных научных и практических областях, его современное состояние в системе образования России, определить пути повышения эффективности использования мониторинга для реализации поставленных нами целей.

Для наиболее полного представления о сущности мониторинга рассмотрим подробнее, что он представляет собой применительно к различным сферам его использования.

Наибольшее развитие теория и практика использования мониторинга получили в экологии и социологии. В экологии понятие мониторинг определяется как непрерывное слежение за состоянием окружающей среды с целью предупреждения нежелательных отклонений по важнейшим параметрам.

В 70-х годах Ю. А. Израэлем и И. П. Герасимовым были разработаны две альтернативные концепции экологического мониторинга.

По мнению Ю. А. Израэля, "мониторингом правильнее называть систему наблюдений, позволяющую выделить изменения состояния биосферы под влиянием человеческой деятельности...". "Мониторинг включает в себя наблюдение, оценку и прогноз состояния природной среды и не включает управление качеством окружающей среды и деятельностью человека...".

И. П. Герасимов понимает под мониторингом "систему наблюдения, контроля оценивания и управления окружающей средой, которые должны быть целеустремленны, взаимосвязаны и эффективны". При этом он отмечает, что эффективность не нацеленного на управление мониторинга низка и приводит к целому ряду недостатков, основные из которых - избыточность и недостаточность информации, ее невостребованность.

В 70-80 годах развернулась широко известная дискуссия о роли мониторинга в управлении. В результате ее была официально принята концепция мониторинга Ю. А. Израэля. Однако дальнейшее развитие событий показало, что опасения И. П. Герасимова подтвердились, и что не нацеленность мониторинга на управление действительно снижает его эффективность.

Н. Ф. Реймерс отмечает, что смысл мониторинга заключается в выполнении двух взаимосвязанных функций - наблюдения (слежения) и предупреждения и, что такой мониторинг нацелен на фиксацию отрицательных последствий хозяйственных действий и их вторичных эффектов и, таким образом, обладает низким прогностическим потенциалом. Предпринимаемые по результатам такого мониторинга действия, должны носить характер спасательных работ.

Практика реализации экологического мониторинга на Западе предусматривает его обязательную взаимосвязь с системами управления и реагирования. Обеспечение этой взаимосвязи, безусловно, целесообразно и с точки зрения повышения его собственной эффективности, и с точки зрения расширения возможностей его использования. Следует отметить, что пользователями информации, предоставляемой экологическим мониторингом, являются не только органы управления, но и та часть населения, которая непосредственно заинтересована в этой информации (например, в том случае, если ей угрожает какая-либо опасность), и все общество в целом. Таким образом, в практике использования экологического мониторинга позиция открытости и доступности предоставляемой им информации имеет принципиальное значение.



Реализация этого принципа предусматривается и в практике использования социологического мониторинга. Социологический мониторинг, по мнению Т. И. Заславской, представляет собой некоторую целостную систему отслеживания происходящих в обществе перемен на основе исследования и анализа массовых представлений о них.

Как отмечает Т. И. Заславская, - главная цель социологичес­кою мониторинга - обеспечить общество достоверной, своевременной, достаточно полной и дифференцированной социально-значимой информацией. Традиционно социологические исследования проводятся по разным темам, в разное время, в разных регионах и в рамках различных социальных групп, при помощи разнообразных социологических инструментов и методов.

Недостатком их является то, что получаемая в результате информация, как правило, трудно сопоставима. Кроме того, большая часть социологической информации поступает к пользователям, уже успев устареть.

Использование мониторинга позволяет разрешить эти проблемы в обеспечении пользователей необходимой социологической информацией. По мнению разработчиков этой системы, эффективность самого мониторинга обеспечивается соблюдением соответствующих условий:

  • наличие четкой и слаженной организации всех звеньев сбора, обработки и анализа информации;
  • использование мощной технической базы;
  • привлечение высококвалифицированных кадров;
  • наличие компетентного методического контроля, за реализацией Проекта;
  • достаточное финансирование.

Главная особенность социологического инструментария мониторинга состоит в целостности и системности, которые обеспечиваются строгой привязкой всех инструментов к общей системе индикаторов.

Каждое направление исследования и каждый инструмент опираются на специфический набор индикаторов, выбираемых из общей системы, причем эти наборы частично пересекаются. Один индикатор может операционализироваться вопросами, обращенными ко всем группам населения: и к экспертам, и к предпринимателям и т. д. При этом осуществляется контроль, за тем, чтобы в исследовании были задействованы если не все, то подавляющее большинство индикаторов, включенных в систему.

Таким образом, мониторинг дает более качественную информацию, базируется на конечном количестве системно отобранных индикаторов. В качестве объекта мониторинга выступают социологические объекты.

К особенным условиям проведения мониторинга автор относит наличие методического контроля, за реализацией проекта и слаженность процессов сбора, обработки и анализа полученной информации. Отметим, что распространение этой информации не выделяется как отдельная задача. Очевидно, считается, что решение этой проблемы не входит в компетенцию социологов, поскольку каналы, формы и методы информирования общества (можно понимать - общественного мнения) вполне ясны. Однако в таком случае вряд ли можно рассчитывать на использование получаемой в ходе мониторинга информации в реальном процессе управления.

В рамках социологии мониторинг может использоваться для решения различного рода задач. Например, И. В. Бестужев-Лада рассматривает мониторинг как средство обеспечения эффективного функционирования системы прогнозирования. Представленная им система построения прогноза основана на систематическом, специально организованном опросе экспертов. При этом он отмечает, что прогнозирование не сводится к безусловным предсказаниям, а ставит целью заблаговременное взвешивание возможных последствий принимаемых решений с помощью сугубо условных предсказаний поискового и нормативного характера. Выделяются следующие этапы построения прогноза: исходные показатели, прогнозный фон, поисковая разработка и построение "дерева" перспективных проблем, подлежащих решению средствами управления, нормативная разработка на основе "дерева целей" по заранее заданным критериям и построение "дерева оптимальных решений". Но как только принятые решения начинают проводиться в жизнь, прогнозируемая ситуация немедленно начинает меняться. Кроме того, она меняется и объективно, под воздействием факторов прогнозного фона. По этим причинам для последующих решений "отработанный прогноз не годится, нужен новый". В идеале, как отмечает Бестужев-Лада, технологический прогноз может и должен быть непрерывным. В качестве одного из наиболее простых, дешевых и эффективных способов, обеспечивающих его непрерывность, он предлагает использовать периодический опрос

•экспертов, с учетом изменившейся ситуации. Однако при периодическом опросе одной и той же группы экспертов проводится, по сути, повторное панельное исследование со всеми его плюсами и минусами. К минусам относится инерционность мышления

•экспертов, неизбежность появления артефактов. К плюсам - "эффект самообучения", позволяющий совершенствовать

экспертные оценки с учетом результатов каждого этапа. Следует отметить, что панельные исследования доказали свою эффективность во многих отраслях социологии.

Постоянное совершенствование панельного исследования привело его к переходу в новое качество, в котором оно и может быть обозначено понятием мониторинг. Под мониторингом И. В. Бестужев-Лада предлагает понимать определение, данное К. А. Израэлем: "систематические наблюдение, оценку и прогноз состояния окружающей среды, обусловленные хозяйственной деятельностью человека". Остановив свой выбор на данном определении, он входит в противоречие с самим собой, поскольку в качестве основной характеристики прогнозного мониторинга Бестужев-Лада заявлял именно ориентацию на управление, изменение ситуации, и это изменение подразумевается самим характером работы. В то же время приведенное определение мониторинга не включает управленческой компоненты.

Представляют интерес еще два толкования понятия мониторинг в социологии. Одно из них, определяющее социально-политический мониторинг как постоянный, систематический сбор информации средствами массовой коммуникации в целях наблюдения, контроля за ходом развития какого-либо социально-политического явления или процесса и его прогнозирование, представляет ценность тем, что достаточно точно описывает основные характеристики мониторинга - систематичность, динамичность, нацеленность на прогноз.

Однако остаются дискуссионными вопросы о сведении целей мониторинга только к наблюдению за ходом процесса, не предусматривая активного вмешательства, управления им, о возможности описания социально-политического явления или процесса только на основе информации, имеющейся в средствах массовой коммуникации.

В следующем определении, данном А. В. Толстых, социологический мониторинг рассматривается как системная совокупность регулярно повторяющихся исследований, цель которых состоит в научно-информационной помощи заинтересованным организациям в реализации социальных программ, соответствующих социо-культурным характеристикам и особенностям массового сознания различных поколений населения.

В данном определении мониторинга для нас представляет интерес его толкование как средства помощи в реализации социальных программ, что предполагает обязательную его нацеленность на сферу управления.

В целях более полного освещения интересующих нас проблем коснемся той сферы деятельности, где мониторинг стал широко использоваться лишь в последние годы, а именно медицины. Здесь предметом мониторинга может быть интегральное воздействие на человека окружающей природной среды, последствия медицинских воздействий, развитие отдельных патологий. Осуществляется он с целью выявления и предупреждения критических ситуаций, опасных для здоровья человека. В медицине, более чем в какой-либо иной сфере, получили распространение различные локальные и частные системы мониторинга. Кроме этого, можно отметить, что в медицине мониторинг используется также в научных целях для доказательства тех или иных исследовательских гипотез. В качестве примера можно привести локальное прогностическое обследование на выборке в 140 человек, информация о котором представлена в статье "Иммунологический мониторинг у больных раком легкого и его прогностическое значение".

Использование мониторинга в психологии - несравненно более редкое явление. По определению А. А. Орлова, психологический мониторинг выявляет тенденции и закономерности психологического развития определенных групп людей и отдельного человека. Его предметом могут быть, например, психологическая готовность детей к школьному обучению, динамика профессионального и личностного самоопределения, динамика изменений у определенной возрастной или профессиональной группы в функционировании и развитии психических процессов или образований и др. Незначительное использование психологического мониторинга в образовании, видимо, может объясняться несколькими обстоятельствами. К их числу относятся объективно низкая динамика изменения психических процессов, индивидуальный характер развития личности, определенные трудности распространения индивидуальных результатов, полученных психодиагностикой в образовании, на социальную группу и некоторые другие. Кроме этого, в представленном определении заметно противоречие между декларацией необходимости выявления изменений у определенной группы и индивидуальным характером преобразующей деятельности психологов-практиков. Представляется маловероятной ситуация, когда управленческое решение сможет оказать целенаправленное воздействие на психику индивида.

Внимание и интерес к мониторингу проявляются и на уровне государственного управления. В указе Президента РФ от 21 апреля 1У93 года № 471 (п.1) Министерству труда России совместно с другими заинтересованными организациями Федеральной исполнительной власти поручалось подготовить и представить Правительству РФ предложения об организации Всероссийского мониторинга социально-трудовой сферы. В составе Института труда Министерства был организован центр "Труд-мониторинг". Объектами его исследования являются предприятия и учреждения, расположенные в разных районах страны. Предметом - процесс занятости как на предприятиях и в организациях, так и в рамках отдельных министерств и ведомств.

Таким образом, проблемы мониторинга во всех сферах его использования решаются одновременно и на уровне их теоретического осмысления, и на уровне его практической реализации. Сферы использования мониторинга чрезвычайно разнообразны. Многочисленные системы мониторинга обладают некоторыми общими характеристиками, что дает возможность говорить о мониторинге как целостном самостоятельном научно-практическом феномене. Различия же в толковании сущности мониторинга, в целеполагании и средствах его осуществления отражают специфику и уровень разработанности проблем мониторинга в каждой из областей его применения.

Существование большого количества различных систем мониторинга порождает необходимость их определенного упорядочивания. С этой целью мы предприняли попытку классификации существующих систем мониторинга по нескольким основаниям. В качестве одного из них можно рассматривать область применения мониторинга. Это позволяет выделить следующие его виды:

В экологии и биологии: мониторинг воздуха, воды, лесов, уровня моря, воздуха, климатической системы, климата, температуры, окружающей среды, сейсмологический мониторинг, токсических газов, шума, излучения, экологический, почвенно-химический, миграций птиц, здоровья животных и др.

В медицине: санитарно-гигиенический, медицинский, больных раком, внутриутробного развития зародыша, температуры, аритмии, сердечной деятельности, кровяного давления во время анестезии, глюкозы в крови и др.

В экономике и бизнесе: сельскохозяйственной продукции, цен, бизнеса, налогов, оборудования, доходов, рынка труда, рынка продуктов питания, строительных товаров, цен на ГКО и др.

В политике, политологии и социологии: средств массовой информации, региональных СМИ, выборов, прав человека, новостей ТВ, социально-политический мониторинг регионов. Российского законодательства, текущего законодательства, экономического законодательства, социально-экономической ситуации.

В промышленности: коррозии металлов, промышленный, каталитических процессов.

В области компьютеров и средств связи: мониторинг сетей, радиопередач, компьютерных систем, коротковолновых радиопередач, надежности данных и др.

В образовании: знаний учащихся, образовательных систем и др.

Вторым основанием для классификации систем мониторинга могут быть средства, используемые для его проведения. По этому основанию можно выделить радиолокационный, авиационный, космический, дистанционный, спутниковый, инструментальный, педагогический, психологический, социологический, медицинский, статистический виды мониторинга. Данные определения относятся в своем большинстве к системам мониторинга и в какой-то мере отражают его развитость, степень и уровень инструментовки.

В качестве третьего основания для классификации систем мониторинга можно предложить используемые в нем способы сбора информации. На основании этого существующие системы мониторинга можно подразделить на четыре группы.

В первую группу входят те виды мониторинга, в процессе осуществления которых возможно непосредственное описание объекта мониторинга без каких-либо измерений, используя технологии структуризации результатов, построения схемы и технологии сбора информации (например, мониторинг средств массовой информации, текущего законодательства, выборов).

Вторую группу составляют виды мониторинга, в процессе которых осуществляется непосредственное физическое измерение параметров объекта (например, мониторинг шума, уровня моря, налогов, коррозии металлов, компьютерных сетей, рынка продуктов).





Третья группа включает виды мониторинга, в ходе которых измерение параметров объекта проводится с использованием системы хорошо разработанных и общепринятых критериев или индикаторов (например, мониторинг качества воздуха, воды, сердечной деятельности, доходов, почвенно-химический мониторинг).

Четвертую группу составляют те виды мониторинга, в процессе которых измерение проводится опосредованно, с привлечением технологий научного исследования, с использованием системы критериев и показателей (например, мониторинг санитарно-гигиенический, социально-политический, социально-экономической ситуации). Именно к этой группе относится и изучаемый нами мониторинг образовательных систем.

Мониторинг образовательных систем принадлежит к одной группе с системами мониторинга весьма сложных социальных объектов. Однако из этого не следует, что в образовании не может быть использован мониторинг, относящийся к другим группам. Так, может быть осуществлен и реально существует мониторинг законодательной базы в области образования, мониторинг старения основных средств в системе образования и т.д. Наиболее сложными и значимыми являются проблемы социальных измерений, то есть проблемы реализации видов мониторинга, принадлежащих к четвертой группе.

Вся полученная в процессе того или иного мониторинга информация обрабатывается, структурируется и хранится.

Для тех видов мониторинга, в процессе которых осуществляется прямое измерение или накопление информации, существенную проблему может представлять структурирование и хранение полученной информации, обеспечение свободного доступа к информационным ресурсам.

Для тех видов мониторинга, в процессе которых осуществляется опосредованное измерение, в частности мониторинга образовательных систем, значительной проблемой является обеспечение высокого качества инструментария, разработка критериев оценивания, индикаторов и показателей, сам процесс измерения, статистическая обработка результатов и их адекватная интерпретация

Кроме этого, существующие системы мониторинга можно разделить на группы в соответствии с их ориентацией на конкретного пользователя. В рамках каждой из групп решаются проблемы представления и распространения информации, получаемой в процессе мониторинга, а также проблемы его финансового и организационного обеспечения.

Можно выделить три группы, отличные по количеству пользователей и интенсивности использования результатов мониторинга соответствующим пользователем.

Первую группу составляют виды мониторинга, ориентированные на общество в целом. Их целью может являться, например, формирование общественного мнения. Виды мониторинга первой группы немногочисленны. Ознакомление пользователя с результатами мониторинга в этом случае осуществляется через средства массовой информации, в том числе и электронные. Как правило, оплата такого рода мониторинга upon вводится посредством системы бюджетного финансирования.

Вторая группа включает виды мониторинга, ориентированные ни специалистов соответствующих областей деятельности. Это, помилуй, наиболее многочисленная группа. К ней принадлежит большинство существующих систем мониторинга. При этом сами (руины специалистов, для которых предназначены результаты каждого конкретного мониторинга, могут быть как достаточно малы. так и очень многочисленны. Основными способами распространения получаемой в ходе такого вида мониторинга информации являются специализированные издания, в том числе периодические, ИНТЕРНЕТ, подписка. Оплата этого вида мониторинга, как правило, производится пользователями, причем каждый пользователь оплачивает только часть расходов.

Третья группа включает виды мониторинга, пользователями которых являются конкретные органы управления, руководители, отдельные структуры. Виды мониторинга, входящие в эту группу, в литературе представлены незначительно, однако сам жанр печатного издания подразумевает достаточно массовое использование. Целый ряд фирм предлагает и реализует мониторинг по различным темам, пользователями которых являются исключительно руководители. Средством распространения информации, получаемой в ходе такого рода мониторинга, являются аналитические отчеты, рекомендации, проекты, которые обычно не имеют широкого распространения. В этом случае оплата работ производится, как правило, только заказчиком.

И, наконец, с некоторой степенью условности можно выделить еще два типа мониторинга, первый из которых направлен на реализацию задач функционирования, а второй - задач развития. Иначе говоря, одни системы мониторинга, выполнив свою конкретную задачу, прекращают свое существование, другие могут существовать неограниченно долго. Они могут осуществляться в течение не одного десятилетия или даже столетия (например, наблюдения за погодой). Причины завершения функционирования той или иной системы мониторинга могут быть двоякого рода:

1) сам объект мониторинга может прекратить свое существование (примерами таких объектов являются цены на ГКО, коррозия металлов, внутриутробное развитие зародыша и пр.);

2) объект мониторинга перестает представлять собой опасность (примеры такого рода объектов - уровень моря, в том случае если он достаточно долго остается стабильным; выборы после их завершения и анализа результатов).

Если проанализировать характер возможных объектов мониторинга, то можно отметить, что ими могут быть как сложные системные объекты (например, здоровье, климат, экологическое состояние, средства массовой информации, цены и пр.), так и достаточно локальные (например, миграции птиц, региональные выборы, качество работы конкретных сетей, кровяное давление во время анестезии и пр.). Однако есть нечто общее, что объединяет все три разнородные объекты, принадлежащие различным сферам деятельности.

Можно выделить две основные особенности объектов мониторинга.

Первая из них - это динамичность. Все объекты, изучение или обследование которых осуществляется с применением мониторинга, находятся в постоянном изменении, развитии.

Вторая особенность - это наличие или возможность существования опасности, возникающей в процессе функционирования объекта мониторинга.

Задачей мониторинга является предупреждение о том или ином неблагополучии, опасности, в широком понимании этого олова, для эффективного функционирования объекта. Причем не просто констатация факта появления изменений, представляющих опасность, а именно предупреждение о ней до того, как ситуация может стать необратимой. Тем самым создается возможность предотвратить или минимизировать возможное деструктивное развитие событий.

Динамичность объекта, возможность возникновения опасности в процессе его функционирования и размеры опасности определяют необходимость и целесообразность использования мониторинга для исследования, а также выбор той или иной конкретной системы мониторинга.

Кроме этого, необходимо отметить и еще одну особенность, распространяющуюся, правда, не на все перечисленные виды мониторинга, - возможность построения прогноза развития той или иной системы в условиях отсутствия флуктуационных отклонений или форс-мажорных обстоятельств, что придает мониторингу особую ценность и значимость с точки зрения потенциального пользователя.

Таким образом, можно сделать следующие выводы:

1. Объекты мониторинга динамичны, находятся в постоянном развитии. Они подвержены влиянию внешних воздействий, которые могут вызвать нежелательные изменения в функционировании объекта. Эти изменения могут представлять опасность для пользователя информацией, предоставляемой мониторингом.

2. Реализация мониторинга предполагает организацию, по возможности, постоянного слежения (оценку, изучение) за объектом. Мера постоянства определяется особенностями объекта и ресурсными возможностями.

3. Организация слежения предусматривает отбор обоснованных показателей и индикаторов. Слежение осуществляется путем непосредственного измерения или описания параметров объекта.

4. Мониторинг подразумевает наличие основного или одного из этапов прогноза развития (изменения состояния) объекта.

5. Каждая конкретная система мониторинга ориентирована на определенного потребителя. Таковыми могут быть: конкретный орган (органы) управления, отдельные, как правило, социально-профессиональные группы, общество в целом.

6. Существующие системы мониторинга можно классифицировать по ряду оснований. К ним относятся:

• сфера применения

• средства, используемые для сбора исходной информации

• потенциальные пользователи

• средства измерений

• способы распространения информации

• время реализации

• широта охвата.

В большинстве сфер деятельности, где необходимо производить измерения параметров динамичных объектов, появились свои системы мониторинга, в том числе и в сфере управления самого разного уровня, от федерального до уровня управления отдельными организациями и предприятиями.

Мониторингу удалось потеснить традиционные методы исследований и обследований. Причина этого - не в моде на новое понятие. Мониторинг становится отдельным самостоятельным направлением, его место с достаточной долей вероятности можно определить между измерениями, исследованиями, экспериментом, информатикой и управлением.

Хотя нашей стране и свойственны увлечения различного рода "модными направлениями" (тому немало примеров и в системе Образования - интенсификация, эффективность, демократизация, гуманизация и гуманитаризация и пр.), использование мониторинга n настоящее время широко распространено у нас, как и во всем мире, и возможности его чрезвычайно широки.

Вероятно, говоря о локальных системах мониторинга, есть основание сказать как о локальности объекта мониторинга, так и о Территориальной локальности мониторинга. То есть наряду с системами федеральными возможно создание региональных, территориальных или даже местных. Можно предположить, что для мониторинга как статистического феномена невозможно бесконечное деление: существует определенная единица объекта мониторинга, ниже которой мониторинг как явление теряет смысл.

1.2. Мониторинг - специализированная форма познавательной деятельности

Мониторинг может быть рассмотрен и как научный феномен. Как мы уже видели, системы мониторинга либо имеют значительную научную составляющую, либо могут использоваться с научными целями. Вероятно, предположить, что научная составляющая присуща тому мониторингу, который в качестве объекта имеет достаточно сложные системы. Проблема научной составляющей, конечно, в большей степени существует для мониторинга социальных систем.

Очевидно, рассуждая о мониторинге и научном познании, следует признать наличие взаимного отношения. При построении систем мониторинга возникают специфические проблемы, разрешение которых возможно только с использованием научных методов познания. Несомненно, научная составляющая мониторинга наиболее важна на этапе его разработки, проектирования, запуска, отладки.

Будучи созданным, мониторинг как технология должен обладать основными ее признаками: тиражируемостью, воспроизводимостью результатов, устойчивостью и т. д. Это относится и к мониторингу в социальной сфере.

Однако для социальных систем всегда существует опасность того, что в случае изменения социальных условий созданную систему мониторинга придется перенастраивать, постоянно совершенствовать и, в этом отношении, задача поддержки мониторинга может иметь значительную научную компоненту. С другой стороны, сам мониторинг социальных систем представляет собой научный феномен, который обладает целым рядом признаков научного исследования, однако имеет и существенные отличия. В связи с этим попытаемся определить место мониторинга в системе научного познания и рассмотрим соотношения мониторинга и исследования, мониторинга и эксперимента, мониторинга и измерения.

Если согласиться с Солбригом и предположить, что "исходная причина любого научного исследования - осознание недостаточности имеющихся знаний для удовлетворительного описания того или иного наблюдаемого явления", то причина появления мониторинга - неудовлетворенность качеством (в широком понимании этого слова) информации для удовлетворительной реализации профессиональных функций, как правило, в сфере управления.

Согласно словарному определению, исследование - характер­ный для науки, как специализированной формы познавательной деятельности, способ производства нового знания. Основными компонентами исследования являются: постановка задачи, предварительный анализ имеющейся информации, условий и методов решения задач данного класса, формулирование исходных гипотез, теоретический анализ гипотез, планирование и организация эксперимента, проведение эксперимента, анализ и обобщение полученных данных, проверка исходных гипотез на основе полученных данных, окончательная формулировка данных и законов, получение объяснений и научных предсказаний.

Отметим, что эксперимент предполагает явную фиксацию цели и средств познания, ориентируется методологическими нормами воспроизводимости результатов, их доказательности и объективности.

В основе научного метода лежат наблюдения, построение гипотез и экспериментальная проверка выводов, новые наблюдения и т. д.

Достаточно общая схема научного метода представлена ниже.

Наиболее признанным делением исследований является деление на теоретические и эмпирические. Мониторинг, имея предметом реальные объекты, наиболее близок к эмпирическим исследованиям. Отметим основные черты эмпирического познания, выделенные В. С. Швыревым.

Обязательными методами эмпирически фактуального исследования являются классификация, упорядочивание многообразия наблюдаемых объектов с помощью определенных схем. Вне данной систематизирующей функции, вне направленности на совокупность реальных объектов исследования все классифици­рующие, упорядочивающие схемы просто не имеют никакого познавательного смысла. В этом заключается существенное отличие эмпирической описательной науки от теоретической науки, конструкции которой - целостные системы теоретических идеализированных объектов - даже при наличии эмпирической интерпретации имеют свой особый смысл.

Анализ реальных, эмпирически данных вещей и явлений как объектов научного исследования осуществляется и в эмпирической науке в рамках определенной категориальной сетки. Такая сетка всегда присутствует в познавательной деятельности, являясь, наряду с чувственно-эмпирическим восприятием объектов исследования, необходимым ее условием.

По мнению В. С. Швырева, сугубо эмпирической в позитивистском смысле науки как суммирования "непосредственно данного" никогда не существовало и существовать не может, поскольку теоретический анализ и осмысление эмпирического материала всегда опосредованны определенными предпосылками философско-методологического характера, исходными "онтологическими схемами".

В этом смысле любой мониторинг является формой научного познания. Даже в самом простом своем виде он не просто накапливает данные, а структурирует, перерабатывает, прогнозирует.

Особенность эмпирической науки, как отмечает В. С. Швырев, заключается в том, что схемы выступают как средство, предпосылка анализа эмпирических данных объектов исследования, а не замещают их, не поглощают содержания, не приобретают статуса некой подлинной реальности.

С. В. Левитова и В. И. Купцов развивают идеи о взаимосвязи эмпирического и теоретического следующим образом. В любом наблюдении или эксперименте ученый исходит из того, что реальные объекты и явления, с которыми он сталкивается, причинно обусловлены. Мы в данном случае отвлекаемся от природы причинно-следственных связей, которые могут быть весьма сложны, (например, рассматривая эмпирические знания, с которыми имеет дело большинство наук).

Ученый всегда исходит из того, что все имеет свою причину, если, например, результат эксперимента не повторяется, он ищет причину этого. Исходные данные для мониторинга те же - причинная обусловленность событий, но для значительной части систем мониторинга более важным представляется сам факт неповторяемое, который может нести опасность, а не причины этой невоспроизводимости.

Как известно, результаты эксперимента требуют обязательной статистической обработки, без чего они не могут быть признаны научными. Это требование вытекает из представлений о том, какую роль в экспериментальных результатах играют ошибки измерения.

Мониторинг сложных систем невозможно представить без статистической обработки получаемых результатов, а проработка вопроса об ошибках измерения и вообще качества измерения как такового приобретает первоочередное значение. Такая ситуация связана с той ответственностью, которую несет мониторинг перед потребителями: в случае ошибок, неверных прогнозов система мониторинга просто не сможет существовать.

Обычно результаты эмпирических исследований оформим инея в виде статьи, которая, как правило, публикуется спустя некоторое время после проведения эксперимента. Здесь очевидно предположение, что эксперимент имеет значимость не только в данный момент времени, что те закономерности, которые фиксируются на эмпирическом уровне, устойчивы, неизменны, если, Конечно, речь не идет о какой-либо особой ситуации, например, о быстроменяющейся социальной области, где эта динамика специально учитывается.

Мониторинг в этом отношении имеет несколько другие приоритеты. Оперативные данные, дающие возможность для адекватного вмешательства с целью преодоления возможных опасностей, несомненно, крайне необходимы, но достаточно важны и накопленные данные. Они представляют интерес не только тем, что имеют историческую ценность, как это бывает с устаревшими результатами исследований, а и тем, что дают возможность построения прогностической модели или прогноза развития объекта мониторинга, в чем проявляется его особая ценность для пользователя. При этом, чем дольше наблюдения, тем точнее может быть прогноз.

Таким образом, эмпирическое исследование - научное исследование, направленное на получение факторов фиксирующего значения. В результате его проведения получают систему факторов и эмпирических зависимостей.

Эмпирическое исследование состоит из трех этапов:

• подготовительный (программа и инструментарий)

• полевой (сбор информации)

• систематизация, обобщение и интерпретация данных.

Несомненно, что и мониторинг включает в себя эти три этапа, правда, они могут носить нелинейный характер. Например, будучи однажды разработанным, инструментарий может использоваться довольно долго, а сбор информации, и ее обработка и анализ могут проводиться параллельно, в это же время может проходить усовершенствование инструментария, подготовка публикаций и т. д.

Эмпирическое исследование всегда предпринимается с целью подтверждения или опровержения теоретических представлений, гипотез, чего нельзя сказать о мониторинге.

Мониторинг достаточно часто отождествляют с экспериментом, что не совсем правильно.

Приведем несколько словарных определений эксперимента.

Эксперимент - (от лат. experimentum - проба, опыт.) - научно обоснованный опыт.

Эксперимент - проверка гипотезы.

Эксперимент - один из основных, наряду с наблюдением, метод научного познания. Отличается активным вмешательством в ситуацию со стороны исследователя, осуществляющего манипуляции одной или несколькими переменными и регистрацию изменений в поведении изучаемого объекта.

В любом случае эксперимент связан с проверками гипотез и подразумевает вмешательство в естественные процессы с целью посмотреть реакцию объекта измерения на вызываемые возмущения. Любой экспериментатор стремится минимизировать количество изучаемых параметров.

В этом отношении мониторинг имеет существенные отличия от эксперимента. Для мониторинга важно как можно более точно и надежно описать исследуемый объект, а сделать это ограниченным набором показателей бывает практически невозможно, хотя стремление к ограничению показателей есть и в мониторинге. Мониторинг не подразумевает вмешательства в естественное развитие объекта исследования или вообще (изменяя собственные реакции в зависимости от поведения объекта), или до тех пор, пока динамика развития объекта не станет угрожающей. При этом воздействие направлено не на изучение эффекта, вызванного этим вмешательством, а на устранение опасности, которую может представлять объект.

Эксперимент тесно связан с теми или иными теориями, которые он должен доказывать или опровергать. Несомненно, то, что мониторинг, как и эксперимент, строится на теоретических и методологических основах, однако он не имеет целью подтверждение или опровержение гипотез. В этом отношении мониторинг близок к современным тенденциям развития науки.

В течение длительного времени эксперимент рассматривался как единственный способ получения объективного знания, единственного основания, на котором или с использованием которого возможна замена устаревших представлений, теорий, знаний новыми, более совершенными. Задача эксперимента и состояла, по сути, в доказательстве преимуществ, большего совершенства новых знаний над старыми.

Современная теория экспериментов говорит о том, что "если эксперименты, которые мы проводим сегодня, являются успешными, то они нуждаются в повторении и перекрестной валидизации в другое время и в других условиях, прежде чем они могут стать признанными данными науки и получить обоснованную теоретическую интерпретацию".

Общим направлением современной социальной науки, по мнению Ундервуда, является стремление избегать критических экспериментов и заменять их исследованиями соотношений и взаимодействий разнообразных многоуровневых переменных.

Вероятно, мониторинг является, с одной стороны, отражением общего направления в науке (это отход от критических экспериментов), с другой стороны - отражением новых требований управления к качеству, объему и срокам подачи информации для принятия управленческих решений, адекватных реальному положению дел. Потребность в этом новом качестве информации может быть обусловлена как спецификой видов деятельности, так и увеличением динамичности развития социальных систем, объектов управления.

Мониторинг может являться или специфичной формой измерения, или содержать измерение как внутреннюю процедуру.

Попробуем рассмотреть вопрос о том, что же такое измерение различных, и в частности социальных систем, какие недостатки сложившихся систем измерений вызвали к жизни мониторинг.

Измерение - познавательный процесс, определение отношения одной познавательной величины (измеряемой) к другой, принятой за единицу измерения.

Измерение - процедура, посредством которой числа или порядковые величины приписываются вещам по определенным правилам. Сами правила состоят в установлении соответствия между некоторыми свойствами чисел и некоторыми свойствами вещей.

Измерение - познавательный процесс, заключающийся в сравнении путем физического эксперимента данной величины с известной величиной, принятой за единицу сравнения.

Измерение в социальных системах - способ упорядочения социальной информации, при котором системы чисел и отношений между ними ставятся в соответствие ряду измеряемых социальных фактов.

Измерение (в психологии) - выявление количественных характеристик изучаемых психических явлений.

В широком смысле измерение - это особая процедура, посредством которой цифры (или порядковые величины) приписываются вещам по определенным правилам. Сами правила гостят в установлении соответствия между некоторыми свойствами чисел и некоторыми свойствами вещей. Измерение исходит из предположения, что все, что существует, каким-то образом проявляется или на что-то воздействует. Под измерением следует понимать процедуру количественной или качественной оценки рассматриваемого свойства.

Вообще возможны измерения не только числовые, но и нечисловые (аналоговые, графические, картографические, топологические, теоретико-множественные, логические и другие). Однако эти виды измерений в большинстве случаев. Предполагают возможность адекватного численного отражения после белее или менее сложных преобразований.

Основная часть педагогических (социальных и психологических) объектов не могут быть строго фиксированы относительно мест и времени своего существования и поэтому не поддаются прямому измерению. Для измерения социальных и психологических объектов применяются, как правило, различные методы шкалирования, которые представляют собой приемы трансформации качественных характеристик в количественные переменные.

Шкалирование - определение масштаба, метод моделировании реальных процессов с помощью числовых систем, создание эмпирической системы исследуемых объектов, фиксирование типа отношений между ними и построение числовой системы, моделирующей отношения эмпирической системы объектов. Шкалирование использует четыре основных вида шкал: наименований (номинальная), порядка (ординарная), интервалов (интервальная), отношений (пропорциональная).

Для нас представляется наиболее существенным то, что измерение представляет собой суть сравнение или наложение существующей реальности (объекта, явления, факта, процесса и пр.) с тем, что может быть названо эталоном или шкалой. С точки зрения фиксации свершения (наличия) акта измерения, нет существенной разницы между его различными способами и методами, будь то прямое или косвенное измерение, сравнение с эталоном, шкалой или объектами измерения - происходит измерение материального, социального или конструктного объекта.

Не углубляясь в философские проблемы измерения, можно сказать, что мониторинг в любом своем проявлении представляет или содержит процесс измерения. Причем в зависимости от сферы его реализации, используются адекватные объекту измерения методы.

В настоящее время есть основания говорить о подъеме и преодолении кризиса в измерениях социальных систем.

Сторонники экспериментального измерения достаточно долго относили прогресс в науке только за счет того, что применялось экспериментальное измерение. Однако со временем выяснилось, что измерения в социальных системах могут оказываться бессмысленными, не воспроизводимыми, дающими незначительные результаты, а то и приводящими к ошибочным результатам. В измерении в социальных науках шла и идет борьба между количественными и качественными методами изучения социальных систем.

К моменту кризиса 60-х годов стали очевидны недостатки использования статистических норм, недостатки классической теории тестирования, экспериментирования. Эта теория не давала удовлетворительных результатов при составлении параллельных форм или вариантов и отличалась дороговизной исследований.

Преодоление этого кризиса шло по двум направлениям.

Первое - поиск новых путей создания инструмента оценивания, и, как результат, появление теории шкалирования Раша, развитие корректных многопараметрических моделей.

Второе направление - поиск новых оснований для сравнения, новых технологий реализации - и, как результат, появление мониторинга, который не только дал возможность использовать новые основания для сравнения, но и в лучших своих образцах позволил примирить сторонников количественного и качественного подхода, предложив и реализовав механизм перекрестной валидизации здравым смыслом.

По причинам уже обсуждавшимся первостепенную роль для мониторинга играет качество и точность измерения. В общем, виде точность наблюдения зависит от уровня развития науки, уровня экспериментального контроля, остроты конкуренции со стороны других теорий. В этом отношении мониторинг со времени нарождения был поставлен в условия конкурентной борьбы, что не могло не стимулировать рост точности измерений. Мониторинг выработал свои специфические приемы повышения точности в тех областях, где эта точность не соответствовала задачам практики.

Обладая большинством признаков эмпирического исследования, мониторинг, тем не менее, имеет ряд достаточно существенных отличий:

-Мониторинг и научное исследование имеют разную исходную причину: научное исследование - недостаток фактов для объяснения, мониторинг - недостаток качества имеющейся информации.

- Мониторинг, как и научное исследование, не существует мне категорий, без классификационных работ.

-Результаты мониторинга обладают ценностью, достаточно ограниченный промежуток времени, и чем больше динамика развития системы, тем меньше период ценности данных мониторинга.

-Научное исследование подразумевает минимизацию количества показателей, для мониторинга важен как можно более широкий их набор.

-Эксперимент подразумевает манипулирование некоторыми показателями для того, чтобы выяснить поведение других, мониторинг более близок наблюдению - он не предполагает на этапе проведения вмешательства в функционирование системы, за исключением того вмешательства, которое может внести любой измерительный инструмент в измеряемую систему, и это влияние необходимо

минимизировать.

-Мониторинг не имеет целью подтверждение или опровержение гипотез, в этом отношении он более похож на медицинскую диспансеризацию, в результате которой могут быть получены какие-то закономерности, выделены новые

факты, что, однако, появляется целью.

Как можно видеть, мониторинг серьезно отличается от традиционного эксперимента в социальных науках. Однако он обладает и рядом существенных признаков исследования, поэтому представляется полезным рассмотреть требования и планы построения экспериментов применительно к мониторингу в образовании.

Рассматривая методологические проблемы проведения экспериментов в социальных науках, в том числе и в педагогике, Д. Кэмпбелл в работе "Эксперименты и квазиэксперименты" формулирует требования к хорошему эксперименту. Хороший эксперимент:

- делает ясной временную последовательность;

- достаточно чувствителен и действен для того, чтобы показать, что вероятные причины и эффект взаимосвязаны (ковариантны);

-исключает возможность влияния третьих переменных, которыми можно было бы объяснить связь между причиной и эффектом;

- исключает альтернативные гипотезы о конструктах, включенных в эту связь. Кроме этого должен быть решен вопрос о корректности распространения полученных в экспериментальных условиях в данное время и на конкретной выборке результатов на иные выборки или условия (этот вопрос Кэмпбелл называет внешней валидностью). Мы не будем использовать этот термин, дабы не вводить читателя в заблуждение, относя понятие валидности к показателям качества тестов.

Все эти требования, может быть за исключением первого, являются актуальными и для мониторинга.

Говоря об эксперименте, мониторинге или более широком понятии измерений в образовании, попытаемся ответить на вопрос о том что может послужить причиной неудачи измерения (в данном случае измерения в широком понимании этого слова, а не только акта сравнения в рамках измерительной процедуры, куда мы относим цели и планирование измерения, измерительную процедуру, интерпретацию полученных результатов и их приложение).

Предварительно нужно отметить, что при проведении любого измерения в социальной сфере проблема смещения все равно остается, как остается проблема точности измерения в естественных науках. В практической работе мы можем только в максимальной степени учесть, минимизировать эти смещения.

Для большинства измерений в социальной сфере необходимо наличие инструментария, человека (лиц планирующих, проводящих измерения, обрабатывающих и интерпретирующих результаты), эталона для сравнения и объекта измерения (в качестве объекта обычно выступают группы). Кроме этого, рассматривая возможные варианты неудачи измерения, необходимо учесть фактор времени, который может оказывать существенное влияние на всю процедуру измерения.

1.3. Методические проблемы.

Факторы, смещающие истинные оценки.

Примерный список этих факторов выглядит следующим образом:

1. Качество инструментария.

2. Профессионализм и подготовленность людей.

3. Изменение людей в процессе измерения.

4. Статистическая регрессия.

5. Цикличность.

6. Отбор испытуемых.

7. Значимость индикатора и его смещение.

8. Нарушения в информационных потоках.

9. Различная мотивация участников в естественных условиях.

10. Эффект повторного измерения.

11. Изменения группы под влиянием отношений окружающих, вызванных экспериментальным воздействием.

12. Групповая фальсификация результатов.

13. Изменение группы в процессе проведения эксперимента.

14. Естественное развитие.

15. Социально-территориальные особенности групп.

16. Разные события для разных групп.

17. Различная внутренняя жизнь групп.

18. Различная скорость протекания внутригрупповых процессов.

19. Условия, вызывающие реакцию на эксперимент.

20. Интерференция воздействий.

21. Синергизм.

22. Компенсаторность.

Вряд ли этот список носит конечный характер - возможно, какие-то факторы стались за полем нашего зрения, какие-то появятся с развитием науки. В настоящее время мы можем с достаточной уверенностью говорить только о том, что учет этих факторов при проведении измерений необходим. В том случае, если их влияние не предусмотрено, вероятность получения некорректного результата значительно озрастает.

Согласно В. П. Щедровицкому, любая деятельность связана с тремя типами последствий: контролируемыми и учитываемыми, неконтролируемыми, но учитываемыми и неконтролируемыми и не учитываемыми. Задача хорошего измерения - минимизировать влияние последних, хотя, надо иметь в виду, что совсем устранить их невозможно.

Перечисленные факторы могут быть разбиты на четыре группы:

1. Контролируемые при проведении измерения.

2. Контролируемые при определенных условиях.

3. Неконтролируемые, но учитываемые.

4. Неконтролируемые и неучитываемые.

В качестве примера последней группы факторов приведем влияние солнечной активности, состояния магнитосферы и пр. Не исключено, что кому-то они покажутся несколько искусственными или экзотичными, однако оспаривать их влияние на результаты измерения в социальных системах вряд ли возможно. Если подходить строго, то влияние и этих факторов должно быть, по крайней мере, изучаемо. Однако для большинства экспериментов необходимая точность измерения достигается без их учета, для части случаев измерения (например, одномоментных) они могут считаться учтенными.

Попытаемся коротко пояснить перечисленные выше факторы.

1. Качество инструментария

Контролируемый при проведении эксперимента, достаточно широкий фактор. Поскольку при проведении мониторинга в социальной сфере могут быть использованы социологические, психологические, педагогические, статистические, медицинские методы исследования, то и требования к конкретному инструменту должны формулироваться с учетом особенностей той или иной формы обследования. Их мы выделим особо. Общеметодологическими требованиями к инструменту остаются валидность, надежность, удобство использования, соответствие целям обследования, корректность статистических процедур, стандартизированность, апробированность и другие. Если говорить о реальной практике проведения обследований, то можно назвать три основных причины, которые приводят к неудовлетворительному качеству инструментария:

- низкая квалификация разработчиков, особенно социологического инструментария; среди практиков-педагогов и управленцев сложился устойчивый стереотип, что составление анкеты - дело достаточно простое и доступное любому. Очень часто именно эта уверенность приводит к печальным результатам;

- использование инструментария для иных целей, чем те, для которых они разрабатывались. Особенно это характерно для использования психологического инструментария в образовании. Как нормальная практика рассматривается использование психологических тестов, которые создавались для выявления структуры интеллекта, отдельных психических, познавательных процессов, для отбора детей в образовательные учреждения. Печальные последствия таких измерений достаточно широко известны работникам управления образованием, руководителям учреждений образования повышенного уровня. Если говорить о физических измерениях, то никому не придет в голову использовать микрометр для измерения расстояния до соседнего города или амперметр для измерения объема. Для сегодняшней системы образования такие подмены, опыты - это скорее прискорбная норма;

- "усовершенствования" инструментария. Существует достаточно большое количество качественного инструментария, стандартизированного и нормированного. Однако его использование часто бывает слишком вольным - апофеозом можно назвать рекомендацию "педагогических диагностов" использовать тест Люшера как групповой тест для определения общего настроения класса.

2. Профессионализм и подготовленность людей

Фактор, контролируемый при проведении обследования. Процесс измерения разбивается, как правило, на несколько этапов:

создание инструментария, проведение измерения, интерпретация результатов, подготовка рекомендаций.

Вполне естественно, что эти этапы могут быть реализованы разными людьми. Наиболее проблемным остается проведение процедуры измерения. Порой возникает ситуация, когда хороший инструментарий попадает в руки неподготовленному человеку. При проведении широких обследований, к которым может быть отнесен мониторинг, эта ситуация вполне вероятна. Выход из такой ситуации известен. Чем меньший профессионализм предполагается у пользователя, тем более жесткими должны быть инструкция по проведению и контроль, за соблюдением этой процедуры.

3. Изменение людей в процессе измерения

Этот фактор относится к контролируемым при определенных условиях. В том случае, когда в процессе обследования используются экспертные оценки, в качестве метода исследования применяется наблюдение. При контент-анализе в процессе работы происходят изменения тех людей, которые участвуют в измерении. Причина этих изменений - научение, появление опыта, согласование позиций - ситуация, когда мнение более авторитетного эксперта начинает смещать оценки других экспертов.

4. Статистическая регрессия

Вариант искажения результатов в процессе проведения обследования подробно описан Кэмпбеллом. Смысл этого явления достаточно прост, несмотря на сложное доказательство величины смещения и доказательство необходимости учета этого эффекта.

Представим себе, что мы провели тестирование группы обучающихся. Часть из них выполнила тест лучше, другая часть хуже. На результативность выполнения теста отдельным учеником оказывает влияние целый ряд факторов. Среди них: собственно знание материала (уровень овладения), настроение, самочувствие, усталость, умение выполнять операции, связанные с заполнением теста, угадывание верных ответов, везение и некоторые другие. Из перечисленных нами факторов только один может не измениться к следующему тестированию - это первый перечисленных выше.

Если мы возьмем группу учащихся, лучше других справившихся с первым тестированием, и проведем повторное тестирование, то окажется, что они получили результаты ниже, чем в первом тестировании. Причина этого кроется в том, что перечисленные нами факторы в изменившихся условиях оказывают уже не то (для лучшей группы - позитивное) влияние. Протестировав повторно две группы - лучших и худших - можно прийти к выводу, что за прошедшее с предыдущего тестирования время "умные" поглупели, а "глупые" поумнели, хотя это всего лишь влияние регрессии для крайних групп. Несмотря на кажущуюся гипотетичность этого случая применительно к образованию, он все-таки достаточно вероятен.

Представим себе, что мы организуем специальное обучение для отстающих. Для того чтобы отобрать таких детей, проводится тестирование, по его результатам формируется группа, с которой проводятся занятия. Повторное тестирование показывает повышение результатов, что, естественно, служит доказательством эффективности реализованной программы по обучению отстающих. Данный вывод может оказаться ошибочным, поскольку при повторном тестировании не был учтен эффект регрессии для крайней группы, следовательно, эффективность программы таким образом доказана быть не может.

Это явление может иметь место и при оценке эффекта управленческого воздействия. "Когда управленческое решение принимается в ответ на какую-то острую проблему (резкое изменение зафиксировано каким-то социальным показателем), оно носит пожарный характер и позитивный эффект оценивания может быть смешан с регрессионным артефактом, поскольку в нестабильном ряду точки, следующие за экстремальным отклонением, располагаются ближе к линии общей тенденции."

5. Цикличность

Социальные процессы носят ярко выраженный цикличный характер, поэтому, занимаясь социальными измерениями, необходимо учитывать и эти факторы.

В образовательном учреждении существуют и реально проявляются годичный и четвертные циклы. В основе этой цикличности - вполне понятные процессы. Например, к концу четверти или года накапливается усталость и повышается раздражительность. Поэтому, изучая, скажем, отношения в педагогическом коллективе, необходимо учитывать, что измерения в конце и начале четверти будут иметь заметные отличия при прочих равных условиях.

К сожалению, цикличность в социальных системах изучена далеко недостаточно. Зафиксированы, например, достоверные факты цикличности, связанные с солнечной активностью, однако они в настоящее время могут быть отнесены только к неконтролируемым факторам.

6. Отбор испытуемых

Варианты отбора испытуемых и формирование экспериментальных групп, - несомненно, один из центральных факторов, контроль за которым позволяет не только выровнять оценки, но и решить проблему распространения результатов обследования на более широкую популяцию.

Мы еще обсуждаем проблему единицы измерения при проведении мониторинга в образовании и докажем, что такой единицей должен быть класс. В общем, виде варианты могут предусматривать порядок формирования на добровольных основах из какой-то группы, доступной на момент измерения.

Отбор испытуемых тесно связан со следующими моментами в проведении обследования: построением репрезентативной выборки (эту проблему мы будем подробно обсуждать), рандомизацией групп. Должна быть оптимальной и технология проведения самого обследования. Например, в случае необходимости проведения опроса родителей существует несколько путей. Можно провести опрос на очередном родительском собрании, почтовый опрос, посетить родителей и опросить их дома, передать инструмент с детьми, попросив вернуть заполненные анкеты на следующий день. Максимальное соотношение "цена-качество" достигается при последнем варианте, однако здесь существует опасность смещения оценок в силу жестких инструкций педагогов, бороться с которой можно, имея четкую систему инструктирования учащихся и действенную возможность ее контроля.

Иногда возникает ситуация влияния скрытых факторов при обследовании групп, официально находящихся в равных условиях. В качестве примера приведем изучение результатов работы группы педагогов начальной школы, одного учреждения, в одной параллели, где все классы были сформированы по микрорайонному принципу. Результаты, показанные учащимися одного из классов, оказались гораздо выше всех остальных. Это можно было бы отнести на счет большей эффективности работы их учителя, тем более, что и стаж этого педагога значительно отличался от стажа ее коллег. Однако при более подробном рассмотрении оказалось, что этот педагог, обладая большим стажем и авторитетом, принимал непосредственное участие в распределении учеников. Таким образом, учитель и произвел несанкционированный, скрытый отбор в свой класс. Вполне естественно, что дети этого класса показывали гораздо более высокие результаты. Разобраться в сложившейся ситуации помог индикатор, который контролировал подобного рода фактор.

7. Значимость индикатора и его смещение

В том случае, когда существует значимый для испытуемых индикатор и он им известен, то этот индикатор начинает смещаться под влиянием неосознанного или осознаваемого воздействия с их стороны.

Наглядным примером этого является средний балл аттестата, который в 70-80-х годах принимался как одна из оценок при поступлении в вуз. Смещение достигло такой величины, что от самой оценки пришлось отказаться. Такая же участь угрожает достаточно информативным индикаторам и показателям, если они известны испытуемым и используются сравнительно долго при получении значимых оценок.

8. Нарушения в информационных потоках

Проводя измерения в социальных системах, мы априори предполагаем, что объект измерения обладает какой-то значимой информацией, специальное знакомство с которой не предполагается. Но может оказаться так, что часть этой информации или отсутствует, или владение ею недостаточно. Например, при оценке эффективности различных аспектов процедуры аттестации педагогов, были получены негативные показатели по ряду позиций опроса руководителей образования. Можно было бы сделать вывод о том, что предлагаемые и апробируемые процедуры неэффективны. Однако оказалось, что эти оценки спровоцированы низкой информированностью руководителей, то есть сбоями в информационных потоках существующей системы управления.

9. Различная мотивация участников в естественных условиях

При изучении социальных систем достаточно привлекательной выглядит возможность получения информации в естественных условиях. Однако зачастую оказывается, что одни и те же действия, выполняемые в рамках управления, реализуются с различными целями.

Проводить опрос учителей можно с целью аттестации руководителя, а также затем, чтобы получить информацию для нужд администрации образовательного учреждения. Проведение того и другого опроса проходит с использованием одного и того же инструмента, однако результаты, в зависимости от важности этого опроса для респондентов, могут быть подвергнуты существенным

искажениям.

10. Эффект повторного измерения

Выполненные предварительно задания всегда оказывают влияние на повторное выполнение. Вопрос состоит только в том, при каких условиях мы можем считать эти влияния достаточно малыми с точки зрения их воздействия на конечный результат

измерения.

Причины этого явления достаточно ясны: запоминание части вопросов, научение способу работы или решению группы задач, эффект привыкания - смещения ответа при повторном многократном опросе, когда респондент отвечает так же, как и в предыдущий раз, несмотря на то, что обстоятельства или оценки изменились.

11. Изменения группы под влиянием отношений окружающих, вызванных экспериментальным воздействием

Попадая в те или иные экспериментальные условия, люди начинают оценивать свое положение относительно тех, кто в такие условия не попал. Если эти оценки активно поддерживаются окружением и референтными окружающими, то у представителей обследуемой группы вырабатывается иная система оценивания.

Педагогам достаточно широко известны эффекты "мании величия" и "казанской сироты", которые вырабатываются в классах одной параллели, когда для одного класса создают особые условия обучения. При этом не представляется существенным даже основание, по которому проводился отбор.

12. Групповая фальсификация результатов

В методологии классического эксперимента рассматривается случай, когда респонденты договариваются о том, какие оценки они будут давать. Это достаточно редкая ситуация, возникающая тогда, когда нет непосредственного личного взаимодействия между проводящим измерение и объектом измерения.

Для образования такая ситуация весьма возможна в том случае, если обследование проводится внутри образовательного учреждения.

Есть и еще один аспект данной проблемы. Он связан с целями проведения обследования. Например, если обследование проводится в рамках какой-либо аттестационной процедуры, эффект групповой фальсификации будет иметь место. Он часто носит неосознанный характер и проявляется при отсутствии предварительного сговора.

13. Изменение группы в процессе проведения эксперимента

Эти изменения носят как случайный, так и систематический характер, они могут быть естественными и спровоцированными.

Естественный характер носит выбывание участников группы по объективным причинам. Они бывают как случайными (например, болезнь), так и систематическими (отчисление и зачисление новых членов группы).

Спровоцированные изменения часто связаны с желанием, выглядеть лучше. Особенно часто это проявляется при проведении аттестационных процедур, когда под любым предлогом из обследования исключаются те, кто может дать негативные оценки.

Очень наглядный пример выбывания дает Кэмпбэлл в описании гипотетического эксперимента по изучению "количества красоты" выпускниц колледжа. Оказывается, выпускницы колледжа менее красивы, чем те, кто в него поступает. Это факт, не вызывающий сомнения. При рассмотрении данных, подтверждающих его, можно, вероятно, сделать вывод, что обучение в колледже негативно влияет на красоту девушек. Однако это утверждение неверно: просто более красивые девушки быстрее выходят замуж и выбывают из колледжа, что и приводит к снижению количества красавиц в конце обучения.

14. Естественное развитие

В процессе эксперимента происходит естественное развитие, как отдельных членов группы, так и всей группы в целом. Этот фактор наиболее важен для работы с образовательными системами, где динамика развития очень велика. Причем, чем меньше дети, тем больше динамика их развития.

Все педагоги соглашаются с тем, что результаты, полученные при тестировании учащихся в начале учебного года и в его середине, не могут быть признаны сравнимыми. К сожалению, точного ответа на вопрос о том, какой промежуток времени можно считать приемлемым для сравнения, пока нет. Можно лишь сформулировать общее требование: этот промежуток должен быть таким, чтобы оказывать минимальное искажающее воздействие на результат.

15. Социально-территориальные особенности групп

Выбирая в качестве единицы измерения класс в каком-то образовательном учреждении, необходимо учитывать его социально-демографические характеристики. Это необходимо для того, чтобы не получить смещенных оценок, а также чтобы иметь возможность корректного сравнения. Отечественная практика в данном случае отличается от западной, где территориальная стратификация районов застройки определяет и качество жизни, и качество образовательных систем. Поэтому западные специалисты в качестве единицы измерения охотно используют образовательное учреждение, считая, что внутри него социальные различия достаточно гомогенизированы. Именно поэтому они постоянно отмечают некорректность сравнения образовательных учреждений, расположенных в разных районах. У нас стратификация проходит иначе - не по районам застройки, а по отдельным образовательным учреждениям и классам. Здесь в качестве фактора, смещающего результаты измерения, могут выступать как территориальные, так и социально-демографические особенности отдельных классов. Причем это смещение может быть вызвано не только официально сложившейся системой отбора в образовательные учреждения, но и скрытым отбором.

16. Разные события для разных групп

Экспериментальные или сравнительные группы, отобранные для измерения, проживают собственную жизнь, наполненную событиями, определяющими процесс групповой динамики, и протекающую вне временной и территориальной зоны эксперимента. Кроме того, каждый член группы испытывает влияние событий частного порядка, вне группы и вне эксперимента. Значит, всегда существует опасность того, что различные воздействия в межэксперментальный период вызовут различные смещения оценок.

17. Различная внутренняя жизнь групп

Кроме внешних событий, которые могут оказать существенное влияние на результаты, существуют и объективные закономерности жизни группы, связанные с ее морфологией, определяющие ее качественные изменения, различные в каждом конкретном случае. Этот фактор может существенно сказаться на выводах, сделанных по результатам эксперимента. Приведем факт повышения конфликтности и нестабильности коллектива с началом реформирования или введением новшеств. Нестабильность коллектива характерна для всех образовательных учреждений, в которых в той или иной форме проходит реформирование. В одних коллективах противоречия реформ разрешаются эволюционно, но длятся достаточно долго, в других - революционно, эмоционально, но быстро. Конечно, измерения, связанные с определением качества отношений и удовлетворенности, в этих коллективах не могут дать сравнимых результатов.

18. Различная скорость протекания внутригрупповых процессов

Экспериментальное или управленческое воздействие на ту или иную группу может давать одинаковый эффект. Однако в одних группах этот эффект проявляется достаточно быстро, и, соответственно, его можно зафиксировать. Другие группы преодолевают довольно длительный период адаптации, прежде чем появится тот эффект, на который рассчитывали инициаторы воздействия.

Таким образом, существует реальная опасность зафиксировать отсутствие эффекта, хотя он просто еще не проявился.

19. Условия, вызывающие реакцию на эксперимент

Реальные изменения, наблюдаемые в экспериментальных условиях и возникающие вне эксперимента, могут оказаться неэквивалентными. Этот разрыв во многом объясняет тот факт, что разработанные новые учебные программы, успешно апробированные в режиме эксперимента, не приносят должного эффекта на этапе внедрения в реальную практику. Спектр, причин, приводящих к подобному "сбою", может быть достаточно широким - от неэквивалентности кадров до сокращения, в целях экономии, необходимых при внедрении технологических процессов.

При всем многообразии обозначенного ряда причин, этот фактор очень важен для оценки и прогнозирования.

20. Интерференция воздействий

Возникает в том случае, когда один и тот же испытуемый подвергается различным воздействиям, разнесенным по времени. Эффект от предыдущего воздействия не исчезает совсем, а иногда может оказаться достаточно существенным. В этом случае происходит наложение (интерференция) воздействий. Часто не удается разделить эффекты различных воздействий, что, конечно, угрожает результатам измерения.

21. Синергизм

В случае совместного проявления некоторых воздействий, одно из которых носит естественный, а другое – экспериментальный (отслеживаемый) характер, эффект может значительно превзойти предполагаемые и вероятные эффекты каждого из воздействий. Тогда появляется опасность восприятия эксперимента как неудавшегося, поиск ошибок или третьего воздействия.

22. Компенсаторность

Один эффект может компенсировать другой: два или несколько воздействий, проявляясь одновременно, могут компенсировать эффект, вызываемый иными событиями. Этот фактор достаточно хорошо изучен, однако в практике измерений он встречается не часто. Примером такого воздействия может служить повышение субъективных оценок уровня удовлетворенности заработной платой в случае высоких возможностей для творчества.

Рассмотренные факторы могут проявляться совместно, в различных сочетаниях, при этом они далеко не всегда проявляются однонаправлено, иногда они компенсируют друг друга, и тогда их эффект не проявляется явно.

Первые шесть приведенных нами факторов относятся либо к контролируемым, либо к особым случаям организации и проведения измерения: качество нструментария, профессионализм и подготовленность людей, статистическая регрессия (случай работы с крайними группами), цикличность (возможен предпроектный учет в планировании измерения), значимость индикатора и его смещение, нарушение в информационных потоках.

Знание факторов, которые могут привести к смещению оценок, важно не только для профессионалов - разработчиков систем мониторинга, где применяются косвенные измерения, но, может быть, даже в большей степени - для руководителей, которые в практической деятельности используют несколько источников информации. Им необходимо представлять ресурсы и ограничения возможности сопоставления данных этих источников, в том числе и с точки зрения возможного смещения оценок.

Планирование экспериментов достаточно подробно рассмотрено Кэмпбеллом. Им прописаны и подробно рассмотрены более 16 различных экспериментальных планов. Для нас планирование эксперимента Кэмпбелла интересно как методологический подход, который, с одной стороны, позволит провести описание мониторинга как эксперимента, а с другой, выявит существенные плюсы мониторинга в сравнении с

экспериментом.

В данном случае необходимо говорить о полноценном научном понимании процесса эксперимента, в отличие от часто встречающейся в педагогике "около-экспериментальной" образовательной деятельности.

Кратко рассмотрим несколько экспериментальных планов по методике, предложенной Кэмпбеллом. В своих рассуждениях Кэмпбелл рассматривает экспериментальные группы как статистическую, выборочную совокупность или специально созданную (отобранную) для эксперимента группу. В приложении к мониторингу в качестве группы мы должны рассматривать единицу измерения. Этот вопрос применительно к образованию более подробно мы обсудим ниже. Сейчас лишь заметим, что в качестве такой единицы должен выступать класс (или образовательное учреждение), в котором проводится сплошное исследование, а рандомизация осуществляется по значимым показателям класса даже в том случае, если в качестве единицы мы рассматриваем образовательное учреждение.

1. Исследование единичного случая (одноразовое измерение)

При проведении такого рода измерений вывод основывается на соотношении процентов или предположений. Здесь возникает широкое поле для манипулирования результатами.

"только 30 процентов опрошенных не согласились...", "каждый третий поддержал...", "только чуть больше половины не подтвердили...", "большинство горячо поддержали...".

Вероятно, социологи приучили нас ситуативно относиться к полученным цифровым данным, оценивая 30 процентов в одном случае как "много", а в другом как "мало", совершенно не соотнося эти результаты с другими данными.



Pages:     || 2 |
 





<


 
2013 www.disus.ru - «Бесплатная научная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.