Мониторинг качества обученности учащихся в региональной системе общего образования
На правах рукописи
ЧИМИТОВА ЕЛЕНА ГЕНДУНОВНА
МОНИТОРИНГ КАЧЕСТВА ОБУЧЕННОСТИ УЧАЩИХСЯ В РЕГИОНАЛЬНОЙ СИСТЕМЕ ОБЩЕГО ОБРАЗОВАНИЯ
Специальность 13.00.01 общая педагогика,
история педагогики и образования
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата педагогических наук
Улан-Удэ 2007
Работа выполнена в Восточно-Сибирском государственном технологическом университете.
| Научный руководитель: | кандидат технических наук, доцент Бильгаева Надежда Цанжиевна |
| Официальные оппоненты: | доктор педагогических наук, профессор Переломова Наталья Анатольевна кандидат физико-математических наук, доцент Халтанова Валентина Михайловна |
| Ведущая организация: | ГОУ ВПО «Иркутский государственный педагогический университет» |
Защита диссертации состоится 19 апреля 2007 года в 14.00 на заседании диссертационного совета Д 212.022.02 по защите диссертаций на соискание ученой степени доктора педагогических наук при Государственном образовательном учреждении высшего профессионального образования «Бурятский государственный университет» по адресу: 670000, г.Улан-Удэ, ул. Смолина, 24а.
С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «Бурятский государственный университет».
Автореферат разослан 19 марта 2007 г.
Ученый секретарь
диссертационного совета Моргунова И.Г.
канд.пед.наук
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследования. Концепция модернизации российского образования на период до 2010 года и решения правительства Российской Федерации, утвержденные 21 декабря 2005 года по вопросам образования, предусматривают ряд приоритетных мер по обеспечению качества образования, при этом мониторинг рассматривается как одна из организационно-педагогических мер. В этих условиях для современной педагогической науки и практики задача педагогического мониторинга, обеспечивающего непрерывное системное отслеживание состояния образовательного процесса, является одной из актуальных.
В девяностые годы прошлого века в российской общеобразовательной системе происходили сложные процессы обновления, связанные с созданием различных видов и типов образовательных учреждений, образование по содержанию стало вариативным и разноуровневым, в программы были введены новые учебные предметы в соответствии с изменившимися социально-экономическими условиями. Одним из преимуществ такого разнообразия стала возможность получения учащимися образования в соответствии со своими наклонностями и способностями. Другой позитивной тенденцией было то, что для объективной и независимой оценки знаний учащихся в российском образовании стали использовать стандартизированные педагогические измерители. Технология оценивания знаний учащихся была разработана Центром тестирования выпускников общеобразовательных учреждений. С созданием этого центра произошли существенные сдвиги в теории педагогического тестирования. Федеральным центром тестирования разработаны, апробированы и используются тесты различного целевого назначения. Естественно, что результаты тестирования можно использовать для принятия обоснованных управленческих решений органами управления образованием после их обработки и анализа.
Все эти процессы поставили перед современной школой и органами управления образованием задачу повышения качества образования. Решение этой задачи многоплановое, предусматривает повышение профессиональных компетенций работников образования и создание современной системы статистики и мониторинга качества образования, который дает возможность сопоставлять результаты образовательной деятельности на различных уровнях: общероссийском, региональном, муниципальном. На региональном уровне органы управления образованием могут анализировать состояние каждого конкретного общеобразовательного учреждения, сравнивать результаты деятельности различных типов таких учреждений, муниципальных систем образования.
Исследования в области управления качеством образования и образовательного мониторинга появились в отечественной педагогике в работах В.П.Беспалько, А.Н.Майорова, В.А.Кальней, С.Е.Шишова, Д.Ш.Матрос, Д.М.Полева и др. Они базируются на анализе содержания, принципов и функций деятельности, которые представляют собой теоретическую базу управления образованием. Различные аспекты этой проблемы были рассмотрены В.П.Симоновым, Т.И.Шамовой, П.И.Третьяковым, А.М.Моисеевым и др. В их трудах рассматриваются принципы и функции управления, содержание управленческой деятельности.
В последние десять лет в исследованиях по проблемам управления качеством образования стали использовать новые информационные технологии и образовательный мониторинг (В.П.Панасюк, М.М.Поташник, Е.А.Ямбург, Д.Ш.Матрос и др.). Эти вопросы наиболее полно рассмотрены в монографии «Управление качеством образования», изданной в 2000 г. под редакцией М.М.Поташника. В.П.Панасюк предложил методику проведения самообследования качества образования, обеспечиваемого школой, и рассматривал ее как многокомпонентную категорию, которая зависит от качества основных видов деятельности школы, ресурсов и результатов обучения. При этом его методические рекомендации в основном касаются содержания и структуры аналитического отчета о деятельности общеобразовательного учреждения. Следует также отметить, что в последние годы появляется все больше рекомендаций о необходимости применения математико-статистических методов в исследованиях по проблемам педагогики (А.Я.Найн и другие).
Анализ научной литературы показывает, что уровень образования оценивается преимущественно по результату обучения, который является показателем деятельности общеобразовательного учреждения. При оценке деятельности в основном используются количественные показатели, характерные для отчетного периода и не отражающие динамики процессов. Поэтому имеющаяся информация не обладает прогностической силой, на ее основе сложно выполнить системный анализ деятельности общеобразовательного учреждения. Кроме того, в педагогической практике недостаточно широко используется региональный мониторинг с единой информационной базой контингента учащихся. Элементы такой системы имеются в рамках технологий массового тестирования учащихся: централизованное тестирование позволяет осуществлять итоговую аттестацию выпускников различных ступеней образовательной вертикали (начальной, основной и полной средней), единый государственный экзамен охватывает выпускников полной средней школы.
В настоящее время Бурятским региональным представительством Федерального центра тестирования при Восточно-Сибирском государственном технологическом университете (ВСГТУ) собрана достаточно обширная база статистических данных об уровне учебных достижений учащихся, которая является основой регионального педагогического мониторинга. Использование статистических методов обработки результатов тестирования и их педагогическая интерпретация позволят органам управления образованием осуществлять сравнительный анализ результатов деятельности региональной системы общего образования для эффективного управления ею.
В процессе проводимых исследований были выявлены следующие противоречия, характерные для системы общего образования:
– необходимость непрерывного отслеживания качества обученности и недостаточная разработанность методов и средств оценки результатов;
– сложность объекта исследования и недостаточный уровень владения исследователями в области педагогики и психологии современными математическими и статистическими методами анализа эксперимента;
– потребность эффективного управления качеством обученности и ограниченный спрос на результаты системы оценки учебных достижений учащихся со стороны органов управления образованием в региональной системе общего образования;
– необходимость адекватного анализа качества обученности и низкий уровень применения математико-статистических методов при анализе результатов тестирования.
Приведенные противоречия выявляют проблему теоретического обоснования мониторинга в сфере образования, разработки средств и методов проведения. Подходы к решению этой проблемы исследованы в диссертационной работе «Мониторинг качества обученности учащихся в региональной системе общего образования».
Цель исследования: разработать технологию проведения мониторинга качества обученности учащихся общеобразовательных учреждений, обосновать и апробировать их на экспериментальных данных, полученных в ходе централизованного тестирования.
Объект исследования: мониторинг качества обученности учащихся.
Предмет исследования: модели, технологии и средства проведения мониторинга качества обученности учащихся.
Гипотеза: мониторинг учебных достижений учащихся предоставит органам управления образованием объективную информацию о состоянии учебной деятельности общеобразовательного учреждения, если:
1) обеспечить систематическое отслеживание качества обученности учащихся с использованием тестов, отвечающих требованиям образовательных стандартов;
2) разработать технологию педагогической интерпретации результатов мониторинга качества обученности с применением математико-статистических методов;
3) представить результаты мониторинговых исследований для принятия управленческих решений.
В соответствии с целью и гипотезой были сформулированы следующие задачи:
– изучить и определить теоретические основы проведения мониторинговых исследований;
– сформировать показатели для мониторинга качества обученности учащихся общеобразовательных учреждений;
– обосновать использование педагогических тестов для оценки учебных достижений учащихся как одного из основных средств проведения мониторинга качества обученности;
– изучить методы получения выборочной совокупности;
– разработать и апробировать технологию педагогической интерпретации результатов мониторинговых исследований качества обученности учащихся в общеобразовательных учреждениях региона, обеспечивающую возможность формирования практических рекомендаций мониторинговой службы для органов управления образованием.
Теоретико-методологической основой исследования являются концепция управления качеством образования, программные и нормативно-правовые документы системы образования, методология структурного анализа и проектирования систем; методология и методы педагогического исследования и педагогической квалиметрии (И.Я.Лернер, М.Н.Скаткин, В.П.Беспалько, Н.А.Селезнева, А.И.Субетто, В.П.Симонов); теория системно-структурного анализа и проектирования систем управления качеством образования (М.М.Поташник, В.П.Панасюк, А.О.Татур); организация и осуществление педагогического мониторинга (С.Е.Шишов, В.А.Кальней, А.Н.Майоров, Д.Ш.Матрос).
Методы исследования. Для решения поставленных задач использованы следующие методы: теоретические (анализ понятийно-терминологического аппарата); общенаучные (анализ и синтез, абстрагирование и конкретизация, классификация); эмпирические (тестирование, анкетирование, экспертные оценки); методы математической и статистической обработки экспериментальных данных.
Основные этапы исследования
На первом этапе (2000 г.) происходило теоретическое осмысление проблемы и темы исследования, изучались опыт централизованного тестирования и возможности его использования в региональной системе мониторинга качества образования.
На втором этапе (2001-2003 гг.) были уточнены цели исследования, сформулированы гипотеза и задачи исследования, изучена система показателей деятельности общеобразовательных учреждений региона, выбраны математические методы исследования.
На третьем этапе (2003-2004 гг.) обобщались результаты исследования качества обученности выпускников общеобразовательных учреждений Республики Бурятия, были выбраны методы педагогической интерпретации результатов исследования.
На четвертом этапе (2005-2006 гг.) сделаны завершающий анализ и обобщение данных, полученных в ходе исследования, разработаны рекомендации для органов управления образованием и методических объединений учителей-предметников общеобразовательных учреждений региона.
Опытно-экспериментальной базой исследования стали общеобразовательные учреждения Республики Бурятия, выпускники которых принимали участие в итоговой аттестации в рамках государственного централизованного тестирования в период с 1998 по 2006 год. Эти общеобразовательные учреждения различаются по типу, контингенту учащихся, месту расположения, технологиям обучения и другим показателям. Количество выпускников, охваченных централизованным тестированием в этот период, составило свыше 30000 человек. Они приняли участие в различных видах испытаний: в компьютерном абитуриентском тестировании, абитуриентском тестировании на бланках, итоговой аттестации выпускников младшей школы, 9 и 11 классов. Количество выпускников 9 и 11классов, принявших участие в итоговой аттестации за этот же период, составило около 10000 человек.
Научная новизна исследования
1. Применен кластерный анализ для классификации исследуемой совокупности, который обеспечивает выделение однородных групп для оценки качества обученности учащихся. Это позволит органам управления образованием применять единые управляющие воздействия для выделенных кластеров.
2. Сформирована система показателей для мониторинга качества обученности и исследовано влияние показателей на результаты образовательной деятельности.
3. Разработана и апробирована технология педагогической интерпретации результатов мониторинга качества обученности учащихся с использованием математико-статистических методов, позволяющая органам управления образованием анализировать, оценивать, контролировать и корректировать ход образовательного процесса и прогнозировать его дальнейшее развитие.
Теоретическая значимость исследования
1. Функциональная модель системы мониторинга качества обученности учащихся, разработанная с использованием CASE-технологий, в которой структурированы все информационные ресурсы, управляющие воздействия, исполнительные механизмы и педагогические процессы в их взаимодействии.
2. Система показателей с исследованием влияния каждого показателя и групп показателей на результат обучения учащихся методами многофакторного анализа.
3. Технология педагогической интерпретации результатов мониторинга качества обученности, базирующаяся на математико-статистических методах обработки экспериментальных данных.
Практическая значимость исследования заключается в использовании результатов мониторинга качества обученности при принятии решений на уровне органов управления образованием, администраций общеобразовательных учреждений, методических объединений учителей-предметников, разработке практических рекомендаций по коррекции учебного процесса в общеобразовательных учреждениях.
Достоверность результатов исследования обусловлена теоретическим обоснованием исследуемой проблемы, адекватностью используемых методов поставленной цели, задачам исследования и экспериментальным подтверждением выдвинутой гипотезы.
На защиту выносятся следующие основные положения:
1. Разработка системы показателей для мониторинга качества обученности учащихся общеобразовательных учреждений по отдельным компонентам ресурсного обеспечения, которая отвечает принципам системности и полноты.
2. Формирование выборочной совокупности на основе применения кластерного анализа и метода случайной выборки, отвечающей требованию репрезентативности исследуемых объектов.
3. Создание технологии педагогической интерпретации экспериментальных данных, на каждом этапе которой определены показатели и необходимые для интерпретации результатов мониторинга математико-статистические методы.
4. Представление системы мониторинга качества обученности учащихся в виде функциональной модели, отражающей функциональную структуру системы и обладающей необходимой полнотой описания.
Апробация и внедрение результатов исследования. Основные положения исследования докладывались и обсуждались на научно-методической конференции «Методологические проблемы контроля качества учебного процесса при переходе к инновационному образованию» (г.Улан-Удэ, 2001), II Всероссийской научно-практической конференции «Российская школа и Интернет» (г.Санкт-Петербург, 2002), региональной научно-практической конференции «Наука и преподавание дисциплин естественного цикла в образовательных учреждениях» (г.Улан-Удэ, 2002), всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (г.Улан-Удэ, 2005, 2006), международной научно-методической конференции «Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования» (г.Санкт-Петербург, 2005), II Международной конференции «Образование и глобализация» (г.Улан-Удэ, 2006). Материалы исследования использовались при разработке учебных курсов «Компьютерные технологии обучения», «Обработка экспериментальных данных на ЭВМ» для студентов Восточно-Сибирского государственного технологического университета. Были разработаны методические указания по основам вычислительной математики по теме «Методы обработки экспериментальных данных». Результаты диссертационной работы использовались в работе Кяхтинского РУО Республики Бурятия и подтверждено актом об использовании результатов диссертации.
Структура диссертации состоит из введения, двух глав, заключения, списка литературы и приложений.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность темы диссертационного исследования, формулируются цель, объект, предмет, гипотеза, основные задачи и методы исследования, кратко излагаются основные положения, выносимые на защиту, их научная новизна, теоретическая и практическая значимость полученных результатов.
Первая глава работы посвящена описанию проблемной области. Выполнен теоретический анализ мониторинговых исследований по оценке учебных достижений учащихся общеобразовательных учреждений в региональной системе общего образования, определены и концептуально обоснованы средства проведения мониторинга, сформулированы и исследованы показатели, влияющие на качество обученности учащихся.
Мониторинг как способ научного исследования используется в различных отраслях человеческой деятельности. В настоящее время на практике широкое применение нашли различные виды мониторинга: экологический, социологический, медицинский, педагогический, экономический и др. В перечисленных видах общим является непрерывность и получение информации в динамике об объекте мониторинга. Однако каждому виду свойственны свои технологии, свои объекты исследования, свои критерии оценивания.
Мониторинг в широком смысле представляет собой специально организованные систематические наблюдения за состоянием объектов, явлений, процессов с целью их оценки, контроля и прогноза. Проблемы мониторинга в образовании исследуются в работах В.А.Кальней, Ю.А.Конаржевского, А.Н. Майорова, А.И.Макарова, А.Б.Сахарчука, Т.А.Стефановской, А.И.Субетто, С.Ч.Шишова, И.Е.Шкабара и др. В ходе исследования выявлено, что объектами мониторинга могут быть любые структурные элементы образовательных систем различных уровней, элементы образовательного процесса, характеристики коммуникативных процессов, процессы функционирования и развития образовательных систем и управления ими. Кроме того, мониторинг качества обученности на региональном уровне имеет свои особенности и осложняется различными проблемами: отсутствием системы комплексного оценивания качества образования учащихся на всех ступенях обучения; разнообразием подходов к организации мониторинга качества образования руководителями звеньев различных уровней образования; отсутствием опыта использования «обратной связи» субъектами мониторинга; использованием для оценки качества обученности нестандартизированного инструментария и другие.
В данной работе объектом мониторинговых исследований является качество обученности учащихся, которое является одним из главных критериев образовательной деятельности на различных ступенях общего образования. Под обученностью нами понимается результат овладения учащимся системой знаний, умений и навыков, установленных нормативными документами и образовательным стандартом.
В работе определены характеристики, которыми должна обладать модель системы мониторинга качества обученности:
иметь черты как педагогического, так и образовательного мониторинга;
отвечать принципам, применяемым к объектам мониторинговых исследований качества образования;
являться по характеру задач комплексным, так как объединяет в себе процесс, результат и необходимую корректировку педагогической деятельности;
– быть по территориальному признаку региональным, муниципальным и внутришкольным;
– являться по этапам обучения итоговым;
– предназначаться для различных уровней образования (среднее общее образование, основное общее, начальное);
– относиться по масштабу целей образования к стратегическому, тактическому и оперативному;
– обеспечивать локальный, выборочный и, возможно, сплошной охват объектов наблюдения;
– являться по частоте периодическим.
Проведение мониторинга качества обученности в регионе позволит получить:
1) оперативную информацию о фактическом качестве обученности учащихся;
2) информацию о качестве процесса обучения;
3) обобщенные данные уровня обученности для сопоставления результатов образовательной деятельности в различных разрезах;
4) информационную базу для принятия управленческих решений.
Для проведения мониторинга качества обученности учащихся региона использованы предметные тесты, разработанные на научной основе Федеральным центром тестирования, прошедшие экспертизу качества, обладающие известными значениями валидности и надежности, что подтверждается этапом их сертификации. Объективность результатов тестирования достигается за счет использования стандартизированной процедуры тестирования, стандартизированных процедур обработки результатов, их шкалирования, интерпретации, процедуры апелляции и т.д.
В данный момент педагогическая наука не может точно назвать параметры, критерии, показатели, по которым можно было бы определить качество и эффективность образовательной деятельности. Отсутствие единого подхода к вопросу качества подготовки учащихся затрудняет решение вопроса о выборе показателей качества образования. Разработка единой научно обоснованной системы показателей качества подготовки учащихся является сложной задачей, зависящей от свойств и региональных особенностей системы общего образования. Для определения критериев и показателей оценки качества школьного образования существует два подхода:
1) базируется на оценке образования по одному критерию, чаще всего по образовательным результатам и его показателям. В этом случае качество образования предстает лишь в одной своей характеристике – качестве результатов;
2) связан с оценкой качества образования в его широком понимании, включающем критерии оценки образовательных результатов, оценки качества образовательного процесса и условий его реализации.
Для формирования системы показателей нами выбран второй подход, так как образовательная среда рассматривается как целостная система. Кроме того, в рамках этого подхода значительно слабее представлены показатели, чаще всего они количественные и малоинформативные. Стандартизированные технология и средства оценки дали возможность выявить систему показателей для мониторинга и определить критерии. Основным критерием оценки качества обученности является степень соответствия знаний, умений и навыков учащегося требованиям Государственного стандарта. Однако оно зависит и от косвенных критериев, основными из которых являются соответствие охвата учебного материала минимуму содержания учебного предмета; соотношения «ученик-учитель» нормативному минимуму; педагога квалификационным требованиям; уровня материально-технической базы требованиям нормативных документов и другие. Критерии зависят от показателей, поэтому отбор их осуществлялся в соответствии с принципами мониторинга качества обученности, к которым относятся удовлетворение потребностей пользователей информации, сбалансированность и сопоставимость системы показателей, определение по каждому показателю источников получения соответствующей информации и другие.
Из большого числа показателей в диссертационном исследовании были выделены те, которые относятся к отдельным компонентам ресурсного обеспечения общеобразовательного учреждения. В качестве компонентов, показатели которых существенно влияют на результаты обучения учащихся, выбраны контингент учащихся и оценки их итоговой аттестации, педагогический состав и его профессиональные достижения, а также сведения об общеобразовательном учреждении.
С этих позиций построена система показателей качества обученности в виде многоуровневой иерархической структуры (или дерева), охватывающая каждую группу характеристик. Первые два уровня и подгруппа показателей по контингенту учащихся дерева показателей представлены на рис.1. В системе показателей исследовано взаимовлияние показателей и влияние каждого показателя на результат образовательной деятельности методами многофакторного анализа.
Рис. 1. Подсистема «Контингент учащихся» в системе показателей качества обученности
Таким образом, разработанная система обоснована и включает основные показатели отдельных компонентов ресурсного обеспечения общеобразовательного учреждения. Она апробирована при мониторинговых исследованиях качества обученности учащихся в системе общего образования, что позволило оценить результаты деятельности общеобразовательных учреждений по данной системе показателей.
Во второй главе описана разработанные технология мониторинга качества обученности и функциональная модель системы мониторинга. Технология мониторинга включает технологию формирования репрезентативной выборочной совокупности с применением методов случайной выборки и кластерного анализа, технологию педагогической интерпретации результатов мониторинга. Также приведены некоторые результаты практической реализации разработанной технологии.
В последнее десятилетие для педагогической науки характерно расширение ее границ за счет внедрения кибернетических и математических методов оценки и измерения педагогических явлений, установления количественных зависимостей между ними, что соответствует рекомендациям ученых-педагогов. Обработка количественных данных и полученные при этом выводы дают возможность объективно доказать или опровергнуть правильность предположений, сделанных при исследовании педагогических процессов и явлений.
В связи с этим в работе применяется математико-статистический аппарат, методы которого используются почти на всех этапах предложенной в работе технологии мониторинга качества обученности.
Технология мониторинговых исследований качества обученности
I. Подготовительный этап. Определяются цель, субъекты и объекты исследования, сроки проведения, организационные мероприятия и инструментарий для выполнения работ.
Основными целями мониторинга качества обученности на региональном уровне являются анализ состояния обученности учащихся в регионе и выработка рекомендаций, предложений по его улучшению.
Субъекты мониторинга – региональный орган управления образованием; районные и городские органы управления образованием; региональный институт повышения квалификации работников образования; общеобразовательные учреждения; различные аттестующие организации (центры тестирования, аттестационно-диагностические центры, научно-методические центры и другие).
Объекты мониторинга – образовательные учреждения региона, которые должны исследоваться в соответствии с разработанной системой показателей. Для выбора объектов мониторингового исследования разработана технология получения выборочной совокупности.
Технология формирования выборочной совокупности. В терминах статистического анализа контингент учащихся представляет собой генеральную совокупность. Ее объем в Республике Бурятия в настоящее время составляет более 200 тысяч учащихся. Формирование выборочной совокупности из генеральной в диссертационной работе проводится двумя методами: случайной выборки и кластерного анализа.
Экспериментальные данные получены на ограниченном контингенте учащихся, принявших участие в централизованном тестировании и представляющих собой выборку из генеральной совокупности. Эта выборка формируется случайным образом, так как в централизованном тестировании может участвовать любой учащийся по собственному желанию. Из математической статистики известно, что метод случайного отбора элементов генеральной совокупности обеспечивает ее репрезентативность. Кроме того, практика проведения исследований показывает, что обычно обоснованный объем выборочной совокупности составляет от 400 до 2000 единиц наблюдения, которых достаточно для получения надежной и обоснованной информации. Количественный состав участников централизованного тестирования подтверждает репрезентативность выборки.
Наряду со случайным выборочным методом для анализа качества обученности учащихся использован метод кластерного анализа. Он применен для определения репрезентативной выборочной совокупности путем классификации общеобразовательных учреждений и выделения однородных групп с целью выработки управляющих воздействий для каждой группы.
Ниже приводится описание разработанного алгоритма классификации общеобразовательных учреждений с помощью метода кластерного анализа.
Рис. 2. Иерархическая структура базовых признаков совокупности группы «Общеобразовательное учреждение»
В качестве базовых признаков были использованы ступени образования и месторасположение общеобразовательного учреждения. Иерархическая структура базовых признаков показана на рис.2.
Генеральная совокупность имеет иерархическую структуру, состоящую из двух ступеней. К таким совокупностям обычно применяют многоступенчатый отбор. Для обеспечения репрезентативности данных можно определить объем выборки в 10%. Все дальнейшие вычисления были проведены для этого объема выборочной совокупности. Согласно одному из критериев стратификации общеобразовательные учреждения подразделяются на городские и сельские. На второй ступени были определены объемы выборки городских и сельских образовательных учреждений исходя из их общего количества: городских школ – 9, сельских – 31.
Затем выполнен типический отбор сельских и городских учебных учреждений. Принцип кластеризации предполагает, что генеральная совокупность разбивается на однотипные группы. В качестве критерия кластерного анализа для элементов генеральной совокупности использовано количество учащихся. Для формирования типических групп (кластеров), однородных в количественном отношении, для школ выделено 6 кластеров, которые приведены в Приложении 1 диссертационной работы. Расчеты выполнены в среде пакета Statistica – интегрированной системы статистического анализа и обработки данных (фирма StatSoft Inc., США).
Для включения конкретных школ в каждый кластер были выбраны школы, имеющие минимальное отклонение от среднего значения. После выбора школ определены объемы выборки учащихся по школам, вошедшим в кластера (в процентном соотношении). Результаты вычислений показаны в табл.1.
Таблица 1 Распределение объемов выборки школ и учащихся по кластерам
| Кластер | Количество школ | Объем выборки школ | Выборка учащихся | |||
| кол-во | % от суммы | сельских | городских | сельских | городских | |
| 1 | 13 | 3 | 1 | 25 | ||
| 2 | 24 | 6 | 1 | 50 | ||
| 3 | 51 | 13 | 4 | 1 | 62 | 43 |
| 4 | 60 | 15 | 5 | 1 | 73 | 50 |
| 5 | 120 | 30 | 10 | 2 | 148 | 102 |
| 6 | 136 | 33 | 12 | 3 | 165 | 115 |
| ИТОГО | 404 | 100 | 31 | 9 | 342 | 491 |
Далее доказывается репрезентативность выборочной совокупности, представленной в табл.1. Ошибки, возникающие при использовании выборочных данных, показывают, насколько хорошо характеристики выборки представляют соответствующие характеристики генеральной совокупности, и поэтому называются ошибками представительности (репрезентативности).
Величина ошибки выборки представляет собой разность между генеральной и выборочной средними. Средняя арифметическая ошибка типической выборки рассчитывается по формуле
 , |
где k – количество типических групп (6 кластеров);
- средняя арифметическая выборка из i-й типической группы;
N – объем генеральной совокупности, который равен 404 общеобразовательным учреждениям;
Ni – объем i-й типической группы.
Для вычисления средней ошибки выборки при типическом методе отбора объемов выборки, пропорциональных объемам типических групп при бесповторном отборе, используется следующая формула:
,
где - средняя ошибка выборки;
i – среднее квадратическое отклонение i-й типической группы, которое вычисляется по формуле:
.
В результате вычислений по вышеприведенным формулам было получено значение средней ошибки выборки, равное 64,966, которое дает некоторое представление об ошибке репрезентативности, т. е. об ошибке, с которой выборочная средняя представляет действительное значение генеральной средней.
Предельная ошибка вычисляется на основе знания средней ошибки по формуле = t, где t – величина, определяемая с помощью специальной таблицы. Для ее определения необходимо задать надежность (вероятность) результатов выборочного исследования. При исследованиях социальных систем обычно задаются надежностью (вероятностью), равной 0,68; 0,95 или 0, 99. При значениях надежности 0,95 значение t = 2, тогда = 129,933. Предельная ошибка указывает пределы для генеральной средней. Выборочная средняя 
отличается от генеральной средней не более чем на, т.е. 
. Так как в нашем случае
= 412,666 – среднее значение количества учащихся в общеобразовательных учреждениях республики (генеральной совокупности),
= 392,875 – среднее значение количества учащихся в общеобразовательных учреждениях, выбранных для мониторинговых исследований,
=129,933,
то данное условие 412,666 - 392,875=19,791< выполняется. Это означает, что выборочная совокупность репрезентативна.
Таким образом, использованные методы получения выборочной совокупности обеспечивают репрезентативность выборок. Случайный выборочный метод используется при анализе состояния системы общего образования, получения общих характеристик функционирования объектов системы. Применение кластерного анализа позволяет, во-первых, выделить однородные группы по заданным критериям кластеризации, внутри групп выполнить отбор и распространить полученные результаты на всю группу; во-вторых, подвергнуть мониторингу качества обученности сформированные выборки групп и по результатам мониторинга сформулировать рекомендации мониторинговой службы по отношению к каждой группе для принятия решений органами управления образованием.
II. Этап сбора информации. На данном этапе используются прямые методы получения информации на базе применения квалиметрических (оценочно-измерительных) технологий: тестирование и анкетирование. В качестве базы данных используются результаты централизованного тестирования. Для проведения анкетирования составлены анкеты, приведенные в Приложении 2 диссертационной работы.
III.Этап обработки и анализа полученной информации. Для реализации данного этапа разработана технология педагогической интерпретации результатов мониторинга качества обученности учащихся общеобразовательных учреждений, в основу которой легли статистические методы обработки и анализа экспериментальных данных.
Технология педагогической интерпретации результатов мониторинга качества обученности. Использован ряд числовых характеристик и методов статистического анализа. Наиболее значимыми из них являются математическое ожидание (или среднее арифметическое значение выборки), мода, медиана, дисперсия, среднеквадратичное отклонение от среднего, размах вариации. Приведенные числовые характеристики были использованы в следующих методах статистического анализа при разработке технологии педагогической интерпретации мониторинга качества обученности:
1) группировка первичных данных как один из основных методов решения задачи классификации и основа всей дальнейшей работы с экспериментальными данными;
2) кластерный и дискриминантный анализы как методы классификации исследуемых совокупностей объектов на группы, в определенном смысле однородные, применяющиеся при наличии нескольких признаков;
3) системный анализ для изучения взаимосвязей в многомерной совокупности на основе представлений о связях между отдельной зависимой переменной и группой влияющих на нее показателей, что осуществлено посредством множественного корреляционного анализа;
4) факторный анализ для исследования процессов функционирования объектов, которые характеризуются множеством исходных признаков; эти методы позволяют отбирать наиболее существенные признаки и изучать меньший набор показателей;
5) методы множественной регрессии для детального исследования взаимозависимости признаков, их соподчиненности, силы корреляционного взаимодействия. В множественных моделях зависимая переменная y рассматривается как функция от независимых факторов х1, х2,..., хn. При отборе признаков, подлежащих включению в множественную модель, особое значение придавалось педагогическому анализу, в ходе которого выявляется сущность, направленность и теснота связи между факторами.
Основные стадии технологии педагогической интерпретации:
1. Определение центральной тенденции совокупности экспериментальных данных. Для получения первого представления о совокупности экспериментальных данных необходимо рассчитать показатели, т.е. математическое ожидание (или среднее арифметическое значение выборки), моду, медиану, дисперсию, среднеквадратичное отклонение от среднего, размах вариации, которые определяют центральную тенденцию ряда.
На основе этих характеристик:
- рассчитывается интегральная оценка уровня усвоения учебного материала и операционального уровня овладения знаниями;
- ранжируются общеобразовательные учреждения, что позволяет выявить рейтинг общеобразовательного учреждения в системе общего образования в регионе;
- проводится первичный сравнительный анализ успешности школ;
- определяется предварительное суждение об уровне преподавания и уровне учебных достижений любого учащегося в классе и школе.
2. Первичное исследование групп данных. Для формирования групп используются методы интервальной группировки и кластерного анализа. Внутри сформированных групп выполняются процессы первой стадии на основе анализа статистических показателей.
3. Углубленное исследование групп данных. На данной стадии применяются методы корреляционного анализа, множественной регрессии, факторного анализа, экспертный метод. Корреляционный анализ используется для определения парной зависимости между показателями. Метод множественной регрессии и экспертный метод позволяют оценить степень зависимости показателей, т.е. определить наиболее значимые показатели, влияющие на уровень обученности учащихся.
4. Содержательный анализ результатов выполнения тестов. В рамках данной стадии по каждому предмету и/или в разрезе вариантов теста строятся зависимости между тестовым заданием и процентом учащихся, выполнивших это тестовое задание. Построенные зависимости позволяют определить качество обученности по отдельным содержательным линиям рассматриваемого предмета и/или по каждому испытуемому. Кроме того, полученные результаты позволяют определить:
– успешность школ;
– уровень преподавания предметов в школе;
– уровень учебных достижений любого учащегося в классе и школе;
– структуру знаний конкретного учащегося по рассматриваемому предмету.
5. Формирование отчетов и разработка практических рекомендаций по категориям потребителей информации.
По разработанной технологии был выполнен анализ результатов экспериментальных данных. На первой стадии были вычислены показатели, определяющие центральную тенденцию функционирования и развития региональной системы общего образования. Так, вычисленный средний тестовый балл по предмету позволил:
– сравнить результаты итоговой аттестации, проведенной в традиционной форме, и итогового централизованного тестирования. Анализ показал согласованность результатов, т.е. адекватность оценок, полученных в итоговом централизованном тестировании;
– сравнить результаты тестирования учащихся республики с аналогичными данными по России: показатели по основным предметам находятся примерно на уровне общероссийских, кроме химии (разница в 6,6 балла). Если принять средний показатель по России за «стандарт», то полученные результаты показывают необходимость повышения уровня знаний по химии;
– выявить динамику качества обученности по предмету (табл. 2 и рис.3).
Таблица 2 Полученные баллы итогового тестирования по основной школе по годам |
Рис. 3. Результаты итогового тестирования по основной школе по годам |
Из табл.2 видно, что показатели по русскому языку в 2005 и 2006 гг. значительно снизились, что характерно для всех испытуемых и связано с изменением структуры тестов.
На второй стадии кластеризация школ по признаку местоположения позволила выполнить сравнительный анализ результатов итогового тестирования выпускников средней школы по годам в каждом кластере. Полученные данные (рис.4) показывают, что качество обученности выпускников городских школ выше, чем в сельских школах.
Рис.4. Результаты итогового централизованного тестирования по годам
На третьей стадии в процессе исследования проведен сбор данных по разработанной системе показателей.
Использование многофакторного анализа, множественной регрессии и экспертных методов при обработке результатов анкетирования выявили факторы, влияющие как на уровень учебных достижений, так и степень их влияния на конечный результат, причем было установлено влияние отдельных факторов, а затем совместный эффект группы факторов. В результате этих исследований было получено уравнение связи результата обучения y от факторов Х(системы показателей), имеющее вид:
y = 0,685x1 – 0,212х2 – 1,4х3 + 1,2х4 + 1,03х5, где
y – качество обученности,
xi – факторы:
x1 – доля учителей, имеющих высшее образование, а1= 0,685,
x2 – средняя нагрузка учителя, а2= – 0,212,
x3 – количество учащихся на 1 учителя, а3 = – 1,4,
x4 – количество учащихся, участвовавших в олимпиадах, а4 = 1,2,
x5 – охват учебного материала по предмету, а5 = 1,03.
Необходимо отметить, что полученное уравнение регрессии позволяет прогнозировать результаты процесса обучения. Влияние полученной группы факторов на конечный результат было оценено коэффициентом множественной регрессии R, значение которого равно 0,87. Это означает, что степень влияния на результаты обучения полученной группы факторов является сильной.
На основе полученных данных можно сделать вывод, что несмотря на вариативность образовательных программ уровень учебных достижений учащихся в первую очередь зависит от личности учителя, его квалификации, опыта, уровня его профессиональной компетентности.
Четвертая стадия – содержательный анализ результатов тестирования по предметам, который позволяет оценить качественный уровень знаний учащихся по предмету в целом, по каждому тестовому заданию, а также по содержательным линиям: знание понятий и основных законов, теоретические знания и их практическое применение и др. Для содержательного анализа качества обученности учащихся была использована информация о структуре тестов, содержании и уровнях трудности тестовых заданий, тестовых баллах, средних значениях тестовых баллов выпускников по предметам, процентах выполнения заданий теста различными группами учащихся.
Из рис.5 видно, что наблюдается определенная тенденция успешности выполнения тестовых заданий независимо от вариантов. Это означает, что усвоение школьного курса по математике учащимися проходит примерно на одинаковом уровне. Также виден неравномерный характер знаний тестируемых. Например, 7-е задание почти во всех рассматриваемых вариантах выполнило около 30% тестируемых. В данном случае требуется обратить внимание на тему тестового задания и осуществить коррекцию учебного процесса при изучении этой темы.
Рис.5. График выполнения тестовых заданий по математике (7 вариантов)
Разработанная технология педагогической интерпретации может эффективно использоваться при обработке результатов массового тестирования.
IV. Этап обратной связи. На данном этапе формируются отчеты мониторинговых исследований и рекомендации, необходимые органам управления образованием для коррекции образовательной деятельности. В работе представлены примерные рекомендации мониторинговой службы.
Таким образом, разработанная технология мониторинга качества обученности обеспечивает анализ учебных достижений учащихся Республики Бурятия.
Функциональная модель системы мониторинга качества обученности
При разработке функциональной модели системы мониторинга качества обученности использована современная диаграммная техника SADT (Structured Analysis and Design Technique) – наиболее распространенный метод структурного анализа и проектирования, который применяется в различных предметных областях, в том числе и педагогике. Метод SADT представляет собой совокупность правил и процедур, предназначенных для построения функциональной модели исследуемой предметной области.
Система педагогического мониторинга является сложной, содержит большое количество функций, процессов, элементов данных и сложные взаимосвязи между ними, обладает значительной временной протяженностью.
Отсутствие полных аналогов ограничивает возможность использования типовых систем мониторинга. Поэтому разработана функциональная модель системы мониторинга качества обученности в региональной системе общего образования с использованием описанного ранее метода SADT. Модель имеет иерархическую структуру, содержит бизнес-процессы, необходимые ресурсы для их выполнения, получаемые результаты на каждом уровне, исполнителей бизнес-процессов и потоки информации, под управлением которых они выполняются. На рис.6 показано три уровня дерева процессов.
Все процессы пятиуровневой функциональной модели системы описаны в работе. В дальнейшем данная модель может использоваться в качестве основы для проектирования информационной системы мониторинга качества обученности учащихся.
Рис.6. Функциональная модель мониторинга качества обученности учащихся
В процессе диссертационного исследования получены следующие основные результаты:
1. Исследована проблема качества обученности учащихся региональной системы общего образования и обосновано применение мониторинга как метода педагогического исследования проблемы, обеспечивающего данными для педагогического прогнозирования и принятия эффективных управленческих решений, направленных на улучшение результатов образовательного процесса. Это позволяет утверждать, что педагогический мониторинг качества обученности учащихся является одним из необходимых инструментов управления региональной системой общего образования на современном этапе.
2. Выявлена и обоснована система показателей по отдельным компонентам ресурсного обеспечения общеобразовательного учреждения, исследовано с привлечением методов многофакторного анализа влияние каждого показателя на результат образовательной деятельности, выделены показатели, существенно влияющие на качество обученности учащихся.
3. Показано, что педагогические тесты, являясь одним из средств измерения уровня обученности учащихся, составляют основу мониторинга для получения объективных результатов. Анализ полученных результатов обеспечивает возможность сравнения качества обученности в различных типах общеобразовательных учреждений в регионе, отслеживания результатов педагогической деятельности и осуществления коррекции учебного процесса.
4. Использованы методы кластерного анализа и случайной выборки для формирования выборки из генеральной совокупности для проведения мониторинговых исследований. Оба метода обеспечивают репрезентативность выборочной совокупности.
5. Обоснованы и экспериментально проверены основные статистические показатели и математико-статистические методы применительно к технологии педагогической интерпретации результатов образовательного процесса. При этом определены статистические показатели и математико-статистические методы для каждого этапа технологии педагогической интерпретации результатов мониторинга.
6. Разработана функциональная модель системы мониторинга качества обученности учащихся в региональной системе общего образования, в которой определены бизнес-процессы и необходимые ресурсы для их выполнения; результаты, получаемые в ходе выполнения каждого процесса; исполнители бизнес-процессов; потоки информации, под управлением которых выполняются бизнес-процессы. Педагогический мониторинг является сложной системой, содержащей достаточно большое количество функций, процессов, элементов данных и сложные взаимосвязи между ними, а также обладающей значительной временной протяженностью. Функциональная модель, разработанная в виде пространственной иерархии диаграмм, позволила наглядно представить и структурировать работу этой сложной системы.
7. Полученные результаты мониторинговых исследований использованы некоторыми органами управления образованием для качественного дидактического и содержательного анализа по всем ступеням образовательной вертикали согласно разработанной технологии педагогической интерпретации. Результатами качественного анализа явились выводы, заключения, практические и методические рекомендации, на основе которых принимаются управленческие решения.
В результате выполненной работы можно сделать вывод о том, что цель исследования достигнута, гипотеза подтверждена, поставленные задачи решены. Полученные результаты имеют теоретическую и практическую значимость и могут быть применены в работе системы общего образования с целью повышения качества обученности, а также для разработки диагностических тестов по предметам и содержательным линиям, по которым наблюдается недостаточно высокое качество обученности. Диагностические тесты позволят в дальнейшем определить причины низкого уровня и скорректировать учебно-воспитательный процесс.
Результаты диссертации отражены:
а) в рецензируемых научных изданиях:
1. Чимитова, Е.Г. Мониторинг качества образования в общеобразовательных учреждениях региона [Текст] / Е.Г. Чимитова, Н.Ц. Бильгаева / Вестник Бурятского университета. Сер.7: Педагогика. Вып.14 Улан-Удэ: Изд-во Бурятского госуниверситета, 2006. С.159-167. ISBN 5-85213-420-1
б) в других научных и научно-методических изданиях:
1. Чимитова, Е.Г. Мониторинг как инструмент управления качеством общего образования [Текст] / Е.Г. Чимитова, Н.Ц. Бильгаева // Единство обучения и воспитания в профессиональной подготовке студента: сб. науч-метод. ст. Вып. 13 Улан-Удэ, 2007. С.65-68.
2. Чимитова, Е.Г. Кластерный анализ региональной системы общего образования [Текст] / Е.Г. Чимитова, Н.Ц. Бильгаева, С.Д. Данилова // Теоретические и прикладные вопросы современных информационных технологий: материалы VII всерос. науч-тех. конф. Улан-Удэ, 2006. С.282-287.
3. Чимитова, Е.Г. Статистический подход к анализу региональной системы образования [Текст] / Е.Г. Чимитова, Н.Ц. Бильгаева // Образование и глобализация: материалы II Байкальской междунар.конф.: в 2 ч. – Ч.2 – Улан-Удэ: Изд-во Бурятского госуниверситета, 2006. – С.146-149.
4. Чимитова, Е.Г. Функциональная модель мониторинга качества обучения на региональном уровне [Текст] / Е.Г. Чимитова // Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования. – СПб., 2005. С.110-112.
5. Чимитова, Е.Г. Мониторинг готовности выпускников общеобразовательных учреждений Республики Бурятия к участию в ЕГЭ [Текст] / Е.Г. Чимитова, Н.Ц. Бильгаева // Теоретические и прикладные вопросы современных информационных технологий: материалы VI всерос. науч-тех. конф. Улан-Удэ, 2005. С. 345-349.
6. Чимитова, Е.Г. Использование элементов информационных технологий в самостоятельной работе студентов [Текст] / Е.Г. Чимитова // Современные технологии проведения самостоятельной работы в вузе: материалы науч-метод. конф. Вып.11 – Улан-Удэ, 2004. – С.150-152.
7. Чимитова, Е.Г. Методические основы использования информационных ресурсов в реальном учебном процессе на основе применения интернет-технологий [Текст] / Е.Г. Чимитова, И.С. Евдокимова // Российская школа и Интернет: материалы II Всерос. науч-практ. конф. СПб, 2002. – С.27-28.
8. Чимитова, Е.Г. Методика проектирования мультимедийных обучающих систем [Текст] / Е.Г. Чимитова, Л.В. Найханова, Ю.А. Атутов // Теоретические и прикладные вопросы современных информационных технологий: материалы всерос. науч-тех. конф. – Улан-Удэ, 2001. – С.277-282.
9. Чимитова, Е.Г. Методы обработки экспериментальных данных: метод. указания по курсу "Основы вычислительной математики". Вып. 4. [Текст] / Е.Г. Чимитова, Д.Ш. Ширапов. – Улан-Удэ: Изд-во ВСГТУ, 1998. – 43с.
Подписано в печать 16.03.2007. Формат бумаги 6084 1/16.
Усл. печ. л. 1,2. Тираж 100 экз. Заказ № 2025
Издательство Бурятского госуниверситета
670000, г. Улан-Удэ, ул.Смолина, 24а
