Теоретические основы построения автоматизированной системы сертификации работников отрасли образования
На правах рукописи
БОЯШОВА СВЕТЛАНА АНАТОЛЬЕВНА
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ
АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ СЕРТИФИКАЦИИ
РАБОТНИКОВ ОТРАСЛИ ОБРАЗОВАНИЯ
Специальность: 05.13.06 – Автоматизация и управление технологическими процессами и производствами (образование)
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
доктора технических наук
Санкт-Петербург
2010
Работа выполнена в Головном центре мониторинга и сертификации Отраслевой системы ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики»
Научный консультант:
Заслуженный деятель науки
Российской Федерации
доктор технических наук, профессор
Васильев Владимир Николаевич
Официальные оппоненты:
доктор технических наук, профессор
Бухановский Александр Валерьевич
доктор технических наук, профессор
Ястребов Анатолий Павлович
доктор технических наук, профессор
Розенберг Владимир Яковлевич
Ведущая организация: Санкт-Петербургский государственный
политехнический университет
Защита состоится «25» декабря 2010 года в 15. 00 часов на заседании диссертационного совета Д 212.227.06 при ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики» по адресу: 197101, Санкт-Петербург, Кронверкский пр., 49
С диссертацией можно ознакомиться в библиотеке ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики»
Автореферат разослан «____»_________2010 года
Ученый секретарь диссертационного совета Л.С. Лисицына
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследования. В настоящее время Российская система профессионального образования находится в состоянии системных преобразований. Одним из приоритетных направлений модернизации системы является повышение квалификации работников отрасли образования в трех основных областях: специальная профессиональная подготовка, социальное взаимодействие, новые информационно-коммуникационные технологии (ИКТ). Основные требования к уровню квалификации работников отрасли образования определены в Едином квалификационном справочнике (ЕКС)[1].
Современные исследования грамотности и компетентности работников отрасли образования в области ИКТ демонстрируют, что количество преподавателей общеобразовательных учреждений, свободно использующих компьютер в профессиональной деятельности, не превышает 25%, современные средства ИКТ – не более 30%, возможности сервисов сети Интернет – не более 35%. Аналогичная ситуация наблюдается и в других областях деятельности работников отрасли образования[2].
Противоречие, обусловленное несоответствием уровня квалификации работников отрасли образования единым квалификационным требованиям в заданных областях компетенций (профессиональной, правовой, коммуникационной, информационной), ставит задачу пересмотра целевой и содержательной части подготовки кадров, а также методов и средств контроля уровня их грамотности и компетентности.
Установление соответствия уровня грамотности и компетентности работников отрасли квалификационным требованиям, как правило, происходит на основе использования технологий тестирования и сертификации.
В России наиболее распространенной считается вендорная сертификация, которая проводится через государственные и негосударственные образовательные учреждения[3].
Научные основы построения автоматизированных систем тестирования (АСТ), используемых при различных видах сертификации, заложены работами таких специалистов, как Аванесова В. С., Васильева В. Н., Колесникова Ю. Л., Королева А. А., Кузнецова В. Г., Лисицыной Л. С., Лямина А. В., Майорова А. Н., Неймана Ю. М., Розенберга В. Я., Стафеева С. К., Скуратова А. К., Татура Ю. Г., Тихонова А. Н. Хлебникова В.А. и др.
Опыт показывает, что при практической реализации существующих моделей АСТ в системах сертификации специалистов возникает ряд существенных проблем:
- наиболее распространенные вендорные системы ориентированы на интересы отдельных производителей и не могут способствовать решению государственных задач в области управления качеством подготовки работника;
- ни одна из существующих систем не обеспечивает измерения грамотности и компетентности с заданной степенью валидности, надежности и достоверности (наиболее близкая к решению этой задачи система ECDL)[4] ;
- ни одна из существующих систем в должной мере не обеспечивает выполнение метрологических требований (единство измерений).
Как следствие, дальнейшее развитие АСТ и систем сертификации тесно связано развитием подходов к измерению грамотности и компетентности работника как объективного процесса. В связи с этим возникает необходимость в поиске новых методов и средств обеспечения единства педагогических измерений в системах сертификации работников, что и определяет актуальность данного исследования.
Объект диссертационного исследования – отраслевые системы автоматизированной сертификации, обеспечивающие технологический контроль уровня подготовки работников в соответствии с квалификационными требованиями, государственными и международными стандартами.
Предмет исследования – теоретические основы, средства, методики и алгоритмы в составе промышленной технологии создания АСТ для сертификации грамотности и компетентности работников в отрасли образования.
Цель исследования – разработка теоретических основ построения автоматизированной системы сертификации работников отрасли образования в рамках обеспечения принципа единства педагогических измерений.
Задачи исследования:
- разработать формализованную модель системы объективного педагогического измерения, позволяющую автоматизировать процессы сертификации в образовании;
- обосновать концептуальную модель автоматизированной организационно-технологической системы отраслевой сертификации грамотности и компетентности работников отрасли образования на основе единых квалификационных требований с использованием объективных педагогических измерений;
- разработать и реализовать методики автоматизации измерения формализованных сертификационных показателей (грамотности и компетентности работников отрасли образования) в рамках модели автоматизированной организационно-технологической системы;
- разработать методику автоматизированной экспертной оценки компетентности работника отрасли образования на основе количественного анализа сертификационных показателей;
- провести исследование эффективности многоуровневой автоматизированной организационно-технологической системы сертификации работников отрасли образования в процессе ее опытной эксплуатации;
- разработать образовательную программу повышения квалификации, ориентированную на развитие инновационной деятельности работников отрасли образования.
Гипотеза исследования. Автоматизированная организационно-технологическая система отраслевой сертификации, разработанная на новой теоретической основе, позволяет объективно[5] оценить результаты подготовки работников образования в системе повышения квалификации в целях модернизации образовательных программ, тем самым обеспечивая соответствие уровня квалификации работников отраслевым квалификационным требованиям.
Методы исследования. В ходе выполнения работы были использованы методы теории сложных систем, методы математической статистики, методы инженерии знаний (включая анкетирование), методы проектирования и разработки программного обеспечения, методы психологического и педагогического тестирования, методы оптимизации и оценки эффективности систем.
Научная новизна результатов исследований заключается в том, что в работе впервые предложен научно обоснованный метрологический подход к проведению объективных педагогических измерений. Данный подход позволяет перейти от формального тестирования испытуемых к объективному педагогическому измерению количественных характеристик грамотности и компетентности, обеспечивая единообразие единиц измеряемых педагогических величин и их мер, тем самым достигается сопоставимость результатов измерений.
На основе предложенного формализма педагогических измерений разработана, обоснована и практически внедрена новая концептуальная модель автоматизированной организационно-технологической системы отраслевой сертификации, которая позволяет унифицировать кодификаторы, базы данных тестовых заданий, средства измерения, проведение измерений в режиме реального времени, обработку данных измерений, а также выдачу и каталогизацию сертификатов.
В целом новизна результатов диссертационной работы достигнута за счет совокупного использования существующих ранее моделей сертификации в рамках целостной модели автоматизированной организационно-технологической системы контроля грамотности и компетентности работников отрасли образования, адаптации методов физических измерений к задачам отрасли образования, а также формирования целостного комплекса технического, организационного, правового и программного обеспечения.
Практическая значимость. На основе обоснованных в диссертации теоретических положений разработан и внедрен в опытную эксплуатацию программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования.
Опытная эксплуатация комплекса проведена в семнадцати регионах РФ (Санкт-Петербург, Ленинградская область, Пермь, Калининград, Новокузнецк, Владимир, Воронеж, Калуга, Краснодар, Новосибирск, Псков, Омск, Самара, Ставрополь, Тамбов, Чувашия, Пермь).
Результаты мониторинга грамотности и компетентности работников на основе применения нового комплекса позволяют вырабатывать управленческие решения в области оценки эффективности системы повышения квалификации и тем самым обеспечить отрасль образования квалифицированными специалистами.
В ходе практической реализации и внедрения результатов работы разработана образовательная программа (инновационная составляющая) повышения квалификации работников отрасли образования, построенная на основе единых квалификационных требований и включающая в себя четыре основных модуля: «Педагогическое проектирование в отрасли образования», «Теория и практика педагогических измерений», «Педагогическая метрология как основа педагогических измерений», «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».
На защиту выносятся:
- Теоретическая модель педагогических измерений как основа процессов автоматизации сертификации, определяющая способы формализации педагогических понятий, систему педагогических величин и их единиц, методы, процедуры, средства выполнения, анализа и контроля результатов.
- Концептуальная модель автоматизированной организационно-технологической системы сертификации работников отрасли образования, систематизирующая кодификаторы квалификационных требований, систему оценки квалификации, систему мониторинга сертификационных показателей, систему оценки качества самой сертификации, а также соответствующую технологическую и организационную инфраструктуру.
- Способы, процедуры и алгоритмы автоматизации процессов педагогического измерения и экспертизы грамотности и компетентности работников отрасли образования, отражающие порядок структуризации автоматизированной системы измерения (АСИ), ограничения к ее применению, архитектуру системного уровня (включая базы данных), правила проведения измерений в режиме удаленного доступа, принципы обработки данных измерений и анализа полученных результатов.
- Набор методик и инструментальных средств, используемых в автоматизированной организационно-технологической системе сертификации, а также средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.
- Результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.
Достоверность результатов работы обеспечивается:
- корректностью совокупного использования теоретических положений теории общих систем, метрологии, информатики, педагогики, психологии;
- адекватностью информационно-логических моделей реальным процессам, подтвержденной результатами статистической обработки результатов экспериментальных исследований;
- положительным результатом опытной эксплуатации программно-аппаратного комплекса в процессе оценки качества подготовки специалистов на всех ступенях непрерывного образования;
- апробацией основных положений докторской диссертации на научно-практических конференциях различного уровня и в печатных изданиях.
Внедрение результатов работы. Результаты теоретических исследований использованы при выполнении 2 НИОКР в рамках Федеральной целевой программы развития образования по заказу Министерства образования и науки РФ и четырех НИОКР по заказу Комитета по образованию Санкт-Петербурга. Программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования внедрен в Лицее №273 Колпинского района Санкт-Петербурга, в ФГУ ГНИИ «Информика», а также в образовательный процесс СПбГУ ИТМО.
Апробация работы. Материалы диссертационного исследования обсуждались на 6 международных, 8 всероссийских, 5 межрегиональных и 4 межвузовских конференциях, в том числе «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России» (СПб., Смольный, 2000-2004 гг.); «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов» (СПб, ВМИРЭ, 2001-2005 гг.); «Телематика» (СПб., ГРОЦ, 2003-2009 гг.); «Новые технологии в образовании» (Воронеж, ВГПУ, 2003, 2004 гг.); «Развитие тестовых технологий в России» (М., Центр тестирования, 2005-2007 гг.); Международный оптический конгресс «Оптика XXI век» (СПб., СПбГУ ИТМО, 2008 г.); «Уткинские чтения» (СПб., Военмех., 2008, 2009 гг.) «Измерения в современном мире» (СПб, Политехнический университет, 2009 г.) и др., а также на совещании в Департаменте государственной политики в образовании (2008 г); на рабочем совещании в Российской Академии образования (2009 г); на научно-практических семинарах по опытно-экспериментальной работе в Колпинском районе СПб (Лицей №273, 2005-2009 гг.); на предметно-методических и научно-практических конференциях, организованных в рамках УМО «Приборостроение» (СПбГУ ИТМО 2006-2009 гг.).
Публикации. По теме диссертации опубликовано 44 печатных работы, из них - 9 статей в изданиях, рекомендованных ВАК Министерства образования и науки РФ, 1 монография.
Личный вклад автора в работах, выполненных в соавторстве, заключается в постановке задач педагогических измерений, разработке и обосновании концептуальной модели системы сертификации, разработке соответствующего математического аппарата, интерпретации результатов и в формулировке общих закономерностей.
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, и восьми приложений. Основная часть работы изложена на 370 страницах машинописного текста. Работа содержит 52 рисунка и 83 таблицы.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность исследования, формулируются его цели и задачи, выдвигается гипотеза, характеризуется новизна и практическая значимость, раскрываются основные положения, выносимые на защиту, указывается теоретико-методологическая база исследования.
В первой главе проводится исследование существующих Российских и международных систем сертификации кадров. В процессе анализа было установлено, что в настоящее время в мировой практике различают два основных вида систем сертификации: вендорные (например, в области ИКТ –Microsoft, IBM, Oracle, и др.) и независимые (ПоZнание», ECDL и др.).
В процессе исследования выявлено, что в существующих системах сертификации объективность оценки уровня подготовки испытуемого в определенных областях знаний достигается в большей степени за счет массовых экспертных оценок, автоматизированные элементы в основном обеспечивают только процедуру тестирования. Данный факт существенно влияет на объективность и достоверность измерений.
Новая концептуальная модель автоматизированной организационно-технологической системы сертификации грамотности и компетентности работников отрасли образования, разработанная в диссертации и описанная в данной главе, позволяет с известной степенью вероятности определить значения сертификационных показателей, полученных в процессе объективного педагогического измерения, оценить погрешность результатов, сравнить результаты измерения с результатами экспертиз.
Основные составляющие компоненты концептуальной модели автоматизированной организационно-технологической системы сертификации грамотности и компетентности работников, в свою очередь, сами представляют собой сложноорганизованные системы.
Компоненты модели представлены в виде блок-схемы (рис. 1):
Рис. 1. Блок-схема концептуальной модели системы сертификации
Первый блок – квалификационные требования к работнику (КТР).
В блоке КТР представлены кодификаторы понятий и компетенций, которыми должны обладать работники в соответствии с едиными квалификационными требованиями.
Второй блок – образовательные программы повышения квалификации, составленные в соответствии с квалификационными требованиями (ОППК). Каждый образовательный модуль ОППК разделен на блоки (всего 120 блоков).
Третий блок – система оценки квалификации (СОК), разработанная в соответствии с образовательной программой повышения квалификации и КТР.
Оценка уровня квалификации работника проводится с использованием автоматизированной системы измерений, обеспечивающей их единство, при котором результаты измерений выражаются в единых узаконенных единицах педагогических величин, погрешность результатов педагогических измерений известна с заданной вероятностью, и не выходит за рамки установленных пределов. Совместно с объективным измерением в СОК проводится экспертиза компетентности работника. Данные экспертизы обрабатываются с использованием современных информационных технологий. Результаты измерений и экспертизы являются основой для выдачи сертификата.
Четвертый блок – система мониторинга квалификации работников (СМК). Данная система выполняет функции сбора, обработки, хранения и распространения информации о результатах функционирования системы сертификации. По результатам мониторинга принимаются управленческие решения по оптимизации и повышению эффективности системы сертификации в отрасли образования.
Пятый блок – система оценки качества самой системы сертификации (СОКСС). Основным показателем качества системы является ее эффективность и оптимальность. Оценка эффективности проводится методом последовательных уступок, так как он учитывает приоритет системы по тому или иному показателю и взаимосвязь показателей.
Технологическая инфраструктура отраслевой сертификации построена на базе современных и высокопроизводительных и надежных решений. Компьютеры, обслуживающие систему, объединены в локальную сеть, имеющую выход в Интернет.
Организационная инфраструктура сертификации представлена на рис. 2
Рис. 2. Организационная структура отраслевой сертификации
Во второй главе диссертационного исследования разработана и описана обобщенная структура учебного модуля, а также набор методик и инструментальных средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.
В соответствии с данной структурой разработаны три инновационных учебных модуля повышения квалификации работников двух основных категорий: «Руководители» и «Педагогический персонал образовательного учреждения». Для этих и всех других категорий работников разработан инновационный учебный модуль «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».
Обобщенная структура инновационного учебного модуля представлена на рис.3.
Рис. 3. Обобщенная структура учебного модуля
Далее на примере инновационного учебного модуля «Педагогическая метрология как основа педагогических измерений» описаны методики и инструментальные средства разработки системы понятий, как основы отбора содержания учебных модулей и соответствующих учебно-методических комплексов и оценочных средств.
В третий главе представлена новая теоретическая модель системы педагогических измерений как основа педагогической метрологии. Модель включает в себя три основных компоненты.
Описание объектов исследования в педагогической метрологии. К объектам исследования отнесены: системы, функционирующие в отрасли образования, процессы и явления, которые развиваются и наблюдаются в данных системах. В диссертации исследованы: «система образования» «педагогическая система», «система обучения», «учение человека как процесс и как явление», «преподавание как процесс и как явление», «учебная деятельность».
Система педагогических величин и их единиц. По результатам исследования перечисленных выше систем и процессов были формализованы педагогические понятия: знание, умение, навык, грамотность, компетентность и введена система педагогических величин, разработанная по существующим метрологическим правилам[6]
Система педагогических величин (СПВ) – это совокупность педагогических величин, образованная в соответствии с принятыми принципами из основных (независимых) и производных (функционально зависящих от основных) педагогических величин (табл. 1).
Таблица 1. СПВ
| Основные величины | Буквенное обозначение | Размерность | Единица величины |
| Объем ЗУН |  | ЗУН | понятие (п) |
| Объем понятий учебной дисциплины |  |  | понятие (п) |
| Время |  | Т | секунда (с) |
| Производные величины | |||
| Буквенное обозначение | Размерность | Единица величины | |
| Обученность |  | ЗУН | понятие (п) |
| Коэффициент грамотности |  | Безразмерный коэффициент | |
| Скорость мышления |  |  |  , |
| Компетентность |   |  |  , |
Система педагогических величин обеспечивает единообразие единиц измеряемых педагогических величин и их мер, позволяет вещественно воспроизводить эти величины с требуемой точностью, тем самым достигается сопоставимость результатов измерения при сертификации работников.
Система педагогического измерения включает в себя: конкретизированные цели, принцип измерения, методы и средства, математические методы обработки данных измерения, математические методы анализа данных измерения, определение понятия эталонов педагогического измерения, способ разработки эталонов понятий, способ разработки эталон-шкалы измерения грамотности, способ измерения компетентности, способ разработки эталон-шкалы измерения компетентности. Обобщенно теоретическая модель системы измерения представлена на рис 4.
Рис. 4. Теоретическая модель системы педагогических измерений
В четвертой главе описана методика измерения грамотности и компетентности работников отрасли образования, разработанная на основе теоретической модели педагогического измерения. В методике отражены способы, процедуры и алгоритмы автоматизации процессов педагогического измерения. Методика конкретизирована для измерения икт-грамотности и икт-компетентности работников отрасли образования.
Выбор объектов измерения обусловлен тем, что грамотность и компетентность в области информационно-коммуникационных технологий является инвариантной для всех категорий работников.
Под «икт-грамотностью» понимается свойство психической системы испытуемого (работника), количественной мерой которого является объем усвоенных им понятий научной области «Информационно-коммуникационные технологии» в виде соответствующей системы знаний, умений, навыков (ЗУН).
Под «информационно-коммуникационной компетентностью» понимается свойство психической системы испытуемого, количественной мерой которого является скорость операций усвоенными понятиями научной области «Информационно-коммуникационные технологии».
Основной целью измерения является определение действительного значения икт-грамотности и икт-компетентности испытуемого. Чем выше уровень развития мышления испытуемого (работника) на индуктивной основе, тем выше действительные значения исследуемых величин.
В качестве основного метода измерения икт-грамотности и икт-компетентности применяется «метод сравнения с мерой», при котором измеряемую величину сравнивают с величиной, воспроизводимой мерой.
Процесс разработки эталонов (мер) измерения состоит из трех основных шагов: формирование кодификатора; формирование эталонов; установление сертификационных норм.
Кодификатор представляет собой структурную содержательную матрицу, включающую в себя системы понятий и их структурные составляющие, подлежащие обязательному усвоению испытуемым в исследуемой области компетенций – «Информационно-коммуникационные технологии».
В соответствии с кодификатором формируется эталонное распределение понятий исследуемой области компетенций по блокам, которое является эталонным распределением наивысшего класса точности, обладающим 100% валидностью относительно кодификатора рис. 5.
Рис. 5. Пример эталонного распределения понятий по блокам
В каждом следующем по классу точности эталоне количество понятий в блоке уменьшается на единицу.
Далее устанавливаются значения коэффициента грамотности испытуемого, исходя из того, что в процессе тестирования испытуемый должен воспроизводить предметно-специфические понятия кодификатора не ниже заданного эталона точности. Пример эталонных распределений понятий приводится в табл. 2.
Таблица 2. Эталонные распределения коэффициента грамотности
| Эталоны | 1 блок | 2 блок | 3 блок | 4 блок | 5 блок | среднее |
| Эталонные распределения коэффициента грамотности | ||||||
| Первичный эталон | 1 | 1 | 1 | 1 | 1 | 1 |
| 1-го разряда | 0,80 | 0,88 | 0,89 | 0,90 | 0,89 | 0,87 |
| 2-го разряда | 0,60 | 0,75 | 0,78 | 0,80 | 0,78 | 0,74 |
| 3-го разряда | 0,40 | 0,63 | 0,67 | 0,70 | 0,67 | 0,61 |
| 4-го разряда | 0,25 | 0,5 | 0,56 | 0,60 | 0,56 | 0,49 |
= 
(эталон заданного разряда точности)/
(первичный эталон).
На следующем шаге рассчитываются средние (сертификационные) значения коэффициента грамотности по модулям и погрешность среднего значения для каждого эталона. В данном примере число наблюдений признака – 
. Доверительная вероятность – P = 0,95. t-Стьюдента – 
= 2,77.
Пример расчета погрешности эталона коэффициента грамотности приводится в табл. 3.
Таблица 3. Эталон первого разряда
 |  |  |  |  |  | ±  |  ±  |  |
| 0,80 | 0,872 | 0,072 | 0,005184 | 0,025846 | 0,008173 | 0,02264 | 0,87 ± 0,02 | 0,02 (2%) |
| 0,88 | -0,008 | 6,4E-05 | ||||||
| 0,89 | -0,018 | 0,000324 | ||||||
| 0,90 | -0,028 | 0,000784 | ||||||
| 0,89 | -0,018 | 0,000324 | ||||||
| Среднее: 0,001336 | ||||||||
Чтобы сформировать эталоны максимальной скорости мышления задается время, в течение которого проводится измерение.
С учетом свойств психической системы человека (ее способности удерживать внимание) следует ограничить время измерения двумя астрономическими часами (7200 с). Полагается, что при проведении измерения испытуемый в промежутке времени, равном двум астрономическим часам, воспроизводит понятия равномерно. Рассчитывается значение максимальной скорости равномерного мышления испытуемого без учета коэффициентов сложности воспроизводимых им понятий (для четырех эталонов понятий).
Пример получаемых результатов расчета приводится в табл. 4
Таблица 4. Эталонные значения максимальной скорости мышления
| Эталон | Общее число воспроизводимых понятий | Время измерения (с) | Максимальная скорость мышления (п/с) |
| Первичный | 41 | 7200 | 0,005694 ± 0,000139 |
| 1-го разряда | 36 | 7200 | 0,005000 ± 0,000139 |
| 2-го разряда | 31 | 7200 | 0,004306 ± 0,000139 |
| 3-го разряда | 26 | 7200 | 0,003611± 0,000139 |
| 4-го разряда | 21 | 7200 | 0,002917± 0,000139 |
Расчет погрешности косвенного измерения максимальной скорости мышления проводится по формуле:
. 
0 (погрешностью можно пренебречь). 
.
Сертификационные нормы икт-грамотности и икт-компетентности устанавливаются в соответствии с целями измерения и с учетом эталонных значений коэффициента грамотности и максимальной скорости мышления.
Пример получаемых результатов расчета эталонных значений сертификационных показателей представлен в табл. 5.
Таблица 5. Эталонные значения сертификационных показателей
| Эталон | Коэффициент грамотности | Время измерения (с) | Максимальная скорость мышления (п/с) |
| Первичный | 1 ± 0 | 7200 | 0,005694± 0,000139 |
| 1-го разряда | 0,87 ± 0,02 | ||
| 2-го разряда | 0,74 ± 0,05 | ||
| 3-го разряда | 0,61 ± 0,07 | ||
| 4-го разряда | 0,49 ± 0,08 |
Выбор эталона зависит от того, с какой точностью (погрешностью) проводятся педагогические исследования.
В качестве рабочего средства в АСИ измерения используются тесты, которые формируются в соответствии с первичным эталоном измерения.
Тесты могут быть составлены в системе из тестовых заданий минимального уровня сложности (knowledge-based test), и более сложных имитационных заданий (performance-based test).
Измерение икт-грамотности и икт-компетентности происходит в процессе тестирования, основанного на использовании автоматизированной системы измерений. В процессе тестирования испытуемый выполняет тест, формируемый АСИ непосредственно в процессе измерения. Тест формируется методом типического бесповоротного отбора из базы тестовых заданий.
Последовательность операций, проводимых в процессе педагогического измерения, состоит из совокупности четырех основных шагов.
Шаг первый. Результаты прямого измерения объема понятий, усвоенных испытуемым, фиксируются в тестовой матрице.
Шаг второй. По данным прямого измерения первичного бала, который наблюдается по тестовой матрице, АСИ строит экспериментальное распределение коэффициента икт-грамотности.
Вначале система сравнивает количество правильно воспроизведенных испытуемым понятий с количеством понятий, определенным в первичном эталоне. Далее рассчитываются значения коэффициента икт-грамотности по блокам, определяется среднее значение показателя и погрешность среднего при заданной вероятности. Если среднее значение коэффициента грамотности испытуемого 
попадает в интервал сертификационного значения 
точности, но вместе с тем наблюдается отличие доверительных интервалов для среднего, то в этом случае следует установить, есть ли существенное статистическое различие между двумя выборками.
Принимается нулевая гипотеза о сходстве уровня подготовленности испытуемого стандарту как верная, и если она отклоняется, то тем самым обосновывается гипотеза о различии.
Нулевая гипотеза записывается так: 
.
Это означает, что средние и дисперсии первой и второй выборок статистически однородны. Альтернативная гипотеза записывается так: 
.
Это означает, что средние не однородны, а дисперсии однородны, или средние однородны, а дисперсии не однородны, или не однородны и средние и дисперсии. Любые из трёх несовместимых вариантов являются достаточным условием для отклонения гипотезы о сходстве в пользу гипотезы о различии. Для проверки гипотез используют парные критерии Стьюдента и Фишера. Распределение Стьюдента (критерий для сравнения средних): 
. Распределение Фишера (критерий для сравнения дисперсий): 
распределение Фишера-Снедекора (критерий для сравнения дисперсий). 
.
Шаг третий. АСИ рассчитывает значение скорости правильного мышления испытуемого (икт-компетентность).
.
Расчет абсолютной погрешности измерения компетентности проводится по правилам расчета погрешности косвенного измерения.
.
Шаг четвертый. Формирование сертификационного заключения в АСИ производится по результатам измерения (табл. 6).
Таблица 6. Пример расчетов. Сравнение проводится с эталоном 1-го разряда.
| Блоки | Результаты измерений и расчетов | ||||
| 1 | 2 | 3 | 4 | 5 | |
Экспериментальное распределение | |||||
| 0,93 | 0,78 | 0,50 | 0,80 | 0,82 |  = 0,77 ± 0,09 |
| Заданное АСИ значение максимальной скорости оперирования понятиями |  = 0,005694± 0,000139 (п/с) | ||||
| Значение компетентности испытуемого |  = 0,004384 ± 0,000618 (п/с) | ||||
| Коэффициент компетентности испытуемого |  =  =  = 0,77 ± 0,12 | ||||
Продолжение таблицы 6
| Расчеты погрешностей косвенных измерений |  .  Относительная погрешность   .  |
По результатам измерения икт-грамотности и икт-компетентности формируется сертификационное заключение.
СЕРТИФИКАЦИОННОЕ ЗАКЛЮЧЕНИЕ
|
= 0,0043 ± 0,0006 (п/с) Относительная погрешность измерения компетентности испытуемого равна 16%.
, с доверительной вероятностью P = 0,95. Измерение сертификационных показателей проводится в режиме реального времени (on-lain тестирование) на сайте testcentre.ru.
При исследовании компетентности испытуемого усложняется содержание заданий и одновременно проводится измерение времени выполнения заданий по каждому отдельному блоку.
Система предусматривает перестройку методов и приемов автоматизации в соответствии с новыми возможностями ИКТ. Данное свойство предполагает минимальную затрату времени и средств на ее перестройку и получение экономического, социального или иного эффекта автоматизации.
Система позволяет решать три основные класса задач: 1) расчетные задачи, которые реализуются на основе расчетных моделей (результат – числовое значение); 2) информационные задачи, которые реализуются на основе информационных моделей (результат – смысловой текст, график, рисунок); 3) модельные задачи, которые реализуются на основе моделей знаний о предметной области (результат – модель объекта или процесса).
Разработанная и описанная выше методика является универсальной, она может быть адаптирована к измерению других составляющих грамотности и компетентности работников отрасли образования.
Автоматизированные элементы системы измерений представлены в виде обобщенной блок-схемы рис. 6.
Рис. 6. Общая структура АСИ
В пятой главе диссертационного исследования описана новая методика экспертной оценки компетентности работников отрасли образования по всем ее составляющим. В методике отражены способы, процедуры и алгоритмы автоматизации экспертизы компетентности.
Количественной мерой компетентности работника является относительный показатель – коэффициент компетентности 
.
Коэффициент компетентности 
равен отношению объема усвоенных работником всех составляющих видов деятельности к объему заданному квалификационными требованиями: 
Основной целью экспертной оценки является установление соответствия выполняемых работником функций (видов деятельности) квалификационным требованиям. Чем выше уровень квалификации работника, тем выше значение коэффициента его компетентности.
Данный принцип экспертной оценки определяет основной метод исследования как «метод сравнения с мерой», при котором измеряемую величину сравнивают с величиной, заданной мерой.
Процесс разработки эталонов (мер) экспертной оценки, как и процесс объективного педагогического измерения, состоит из трех основных шагов: формирование кодификатора компетенций; формирование эталонов; установление сертификационных норм.
Основным рабочим средством экспертизы является машиночитаемая карточка эксперта в форме бланка, который составляется в соответствии с кодификатором компетенций.
При разработке машиночитаемой формы такого бланка предусмотрены поля для ввода измеряемых параметров и поля для ввода данных о работнике, а также разработана инструкция по его заполнению.
Основание экспертизы. Экспертиза проводится на единой нормативной и организационно-методической основе (квалификационные требования к работникам отрасли образования).
Предмет исследования. Как было отмечено выше, целью и содержанием экспертизы является установление соответствия квалификации работника квалификационным требованиям.
В процессе проведения экспертизы определяются значения коэффициента компетентности работника, исследуемого для каждой составляющей области компетенций.
Форма проведения. Под формой проведения экспертизы понимается время, место и организационные условия ее проведения.
В системе сертификации рекомендованы такие формы как: анализ экспертом портфолио работника (без участия работника), устное собеседование. Время экспертизы устанавливается по согласованию с работником.
Критерии экспертизы. Под критериями понимаются значения показателей, коэффициента компетентности работника и их соответствие коэффициентам компетенции, которые заданы эталонами.
Самообследование. Перед началом экспертизы работник проводит самообследование своей деятельности по заданным кодификаторам компетенций и подтверждает результаты выполнения своих трудовых функций.
Результаты самообследования передаются эксперту.
Экспертное обследование. Эксперт знакомится с результатами самообследования работника и заполняет машиночитаемый бланк (карточку обследования). Бланк сканируется и обрабатывается с помощью специальных или типовых компьютерных программ. По результатам экспертизы выдается сертификат, который передается в аттестационную комиссию для принятия управленческого решения о присвоении работнику соответствующей категории. Система сбора и обработки данных в системе отраслевой сертификации удовлетворяет нижеперечисленным техническим требованиям: 1) поддерживает корректность и целостность данных; 2) обеспечивает шифрование информации; 3) поддерживает данные, необходимые для формирования базовых отчетных форм.
Экспертное заключение формируется в автоматическом режиме и предоставляется испытуемому в виде бланка (рис. 7).
Рис. 7. Образец экспертного заключения
В шестой главе описан процесс внедрения системы сертификации работников отрасли образования, разработанной на новой теоретической основе, и экспериментальное исследование ее характеристик.
В описании отражены результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.
Исследование основных элементов системы сертификации было разделено на две составляющие в зависимости от уровня системы повышения квалификации.
Первый уровень – локальный (Лицей № 273 Колпинского района Санкт-Петербурга).
Второй – межрегиональный (экспериментальное исследование икт-грамотности и икт-компетентности работников отрасли образования с использованием АСИ в 17 регионах РФ).
Исследование грамотности и компетентности работников Лицея
Данные исследования результатов измерения грамотности и компетентности работников Лицея категории «Руководители» и «Педагогические работники» показывают, что грамотность и компетентность испытуемых растет по мере внедрения инновационных учебных модулей в процессе повышения квалификации, реализуемой в рамках проведения опытно-экспериментальной работы. Средние значения исследуемых показателей представлены в табл. 7.
Таблица 7. Средние значения показателей
 |  |  |  |  |  |
| Первый этап | Второй этап | Третий этап | |||
| 0,37 | 0,28 | 0,45 | 0,33 | 0,64 | 0,47 |
Распределение исследуемых показателей по этапам эксперимента  | |||||
Проверка статистической гипотезы о наличии различия между выборками по этапам исследования позволяет сделать вывод, что исследуемые выборки 
и 
являются статистически неоднородными. Следовательно, по мере повышения квалификации работников выделенных категорий с использованием инновационных учебных модулей в процессе педагогической деятельности грамотность и компетентность испытуемых повышается. Результаты дисперсионного анализа полученных данных позволили установить факт влияния внедрения инновационных учебных модулей в процесс повышения квалификации работников Лицея.
Экспертиза экспертизы компетентности работников Лицея проводилось на последнем, заключительном этапе эксперимента по методике, описанной в главе 5 настоящего диссертационного исследования.
В процессе анализа результатов устанавливалась корреляционная зависимость между данными, полученными при измерении коэффициента компетентности и данными, полученными при экспертизе (табл. 8).
Таблица 8. Результаты сравнения коэффициента компетентности 
| Испытуемые | Измерение  | Экспертиза  | Квалификационная категория работника | |
| Третий этап | ||||
| 1 | 2 | 3 | 4 | |
| 1ЗР1 | 0,31 ±0,04 | 0,62 ±0,41 | 1 | первая |
| 2ЗР2 | 0,42 ±0,13 | 0,73 ±0,24 | 1 | высшая |
Продолжение таблицы 8
| 1 | 2 | 3 | 4 | |
| 3ЗР3 | 0,39 ±0,20 | 0,52 ±0,310 | 1 | вторая |
| 4ЗР4 | 0,43 ±0,14 | 0,54 ±0,49 | 2 | первая |
| 5ЗР5 | 0,34 ±0,16 | 0,58 ±0,48 | 2 | первая |
| 6ЗР6 | 0,57 ±0,09 | 0,85 ±0,29 | 2 | высшая |
| 7РЛ1 | 0,49 ±0,13 | 0,64 ±0,46 | 3 | первая |
| 8РЛ2 | 0,44 ±0,16 | 0,72 ±0,29 | 3 | высшая |
| 9РЛ3 | 0,56 ±0,21 | 0,67 ±0,33 | 3 | высшая |
| 10РЛ4 | 0,42 ±0,13 | 0,59 ±0,43 | 4 | первая |
| 11РЛ5 | 0,39 ±0,08 | 0,48 ±0,42 | 4 | вторая |
| 12ОД1 | 0,46 ±0,06 | 0,67 ±0,28 | 4 | высшая |
| 13ОД2 | 0,58 ±0,14 | 0,83 ±0,27 | 5 | высшая |
| 14ОД3 | 0,40 ±0,21 | 0,54 ±0,49 | 5 | вторая |
| 15ИТ1 | 0,39 ±0,04 | 0,64 ±0,38 | 5 | первая |
| 16ИТ2 | 0,69 ±0,11 | 0,75 ±0,23 | 6 | высшая |
| 17ИН1 | 0,63 ±0,23 | 0,84 ±0,27 | 7 | высшая |
| 18ИН2 | 0,43 ±0,09 | 0,60 ±0,39 | 6 | первая |
| 18ИН3 | 0,52 ±0,16 | 0,73 ±0,22 | 8 | высшая |
| 20ЕН1 | 0,67 ±0,24 | 0,69 ±0,38 | 9 | высшая |
| 21ЕН2 | 0,59 ±0,11 | 0,61 ±0,40 | 7 | первая |
| 22ЕН3 | 0,41 ±0,09 | 0,52 ±0,41 | 6 | вторая |
| 23ЕН4 | 0,42 ±0,16 | 0,79 ±0,23 | 10 | высшая |
| 24АГ1 | 0,34 ±0,13 | 0,63 ±0,36 | 8 | первая |
| 25АГ2 | 0,65 ±0,10 | 0,78 ±0,25 | 11 | высшая |
| 26НШ1 | 0,57 ±0,09 | 0,82 ±0,24 | 12 | высшая |
| 27НШ2 | 0,46 ±0,13 | 0,65 ±0,33 | 13 | высшая |
| 28НШ3 | 0,42 ±0,18 | 0,59 ±0,44 | 9 | первая |
| 29ДО1 | 0,36 ±0,04 | 0,71 ±0,20 | 14 | высшая |
| 30ДО2 | 0,40 ±0,17 | 0,62 ±0,31 | 10 | первая |
Примечание:
1) 1ЗР1: 1 – порядковый номер испытуемого; ЗР – должность (заместитель руководителя); 1 – порядковый номер в должности.
2) РЛ – учитель русского языка и литературы; ОД – учитель общественных дисциплин; ИТ – учитель информатики; ИН – учитель иностранного языка; ЕН ИТ – учитель естественнонаучных дисциплин; АГ – учитель математики; НШ – учитель начальной школы; ДО – педагог дополнительного образования.
Коэффициент корреляции между двумя выборками значений коэффициента компетентности равен: 
= 0,62 ± 0,12, что указывает на явно выраженную корреляцию.
Таким образом, исследование результатов экспертизы показало, что между результатами измерения коэффициента компетентности и экспертной оценкой существует прямая, явно выраженная корреляция. Вместе с тем, погрешность результата измерения компетентности методом экспертизы значительно выше, чем погрешность измерения той же величины с использованием АСИ. Кроме того, применение АСИ обеспечивает более объективное и технологическое измерение, которое может происходить на больших выборках испытуемых.
Экспериментальное исследование компьютерной грамотности в отрасли образования (первый этап эксперимента)
Для проведения педагогических измерений компьютерной грамотности испытуемых в каждом регионе были сформированы три фокус-группы испытуемых численностью тридцать человек каждая в соответствии с требованиями государственного заказа (минимальная статистическая выборка).
Выборка преподавателей средних общеобразовательных школ состояла из преподавателей всех предметов, согласно типовому штатному расписанию среднего общеобразовательного учреждения.
Выборка административных работников средних общеобразовательных школ – из директоров, заместителей директоров и администраторов школьной информационной сети.
Выборка студентов – из учащихся педагогических вузов или университетов (педагогические специальности).
Характеристики выборок представлены в табл. 9.
Таблица 9. Распределение испытуемых по и возрасту
| № | Регион | Возраст | |||||||||||
| До 30 | До 45 | До 55 | Старше | ||||||||||
| 1 | Калининград | 41 | 37 | 11 | 1 | ||||||||
| 2 | Новокузнецк | 45 | 28 | 17 | 0 | ||||||||
| 3 | Санкт-Петербург | 39 | 37 | 14 | 0 | ||||||||
| 4 | Ленинградская область | 34 | 38 | 17 | 1 | ||||||||
| 5 | Пермь | 33 | 46 | 11 | 0 | ||||||||
| Итого испытуемых: 450 | 192 | 186 | 70 | 2 | |||||||||
| Распределение испытуемых по и возрасту (%) | |||||||||||||
| № | Регион | Возраст | |||||||||||
| До 30 | До 45 | До 55 | Старше | ||||||||||
| 1 | Калининград | 46 | 41 | 13 | 0 | ||||||||
| 2 | Новокузнецк | 50 | 31 | 19 | 0 | ||||||||
| 3 | Санкт-Петербург | 43 | 41 | 16 | 0 | ||||||||
| 4 | Ленинградская область | 38 | 43 | 19 | 0 | ||||||||
| 5 | Пермь | 36 | 51 | 13 | 0 | ||||||||
| Распределение испытуемых по категориям | |||||||||||||
| № | Регион | Категория | |||||||||||
| Студенты | Преподаватели | Администрация ОУ | |||||||||||
| 1 | Калининград | 30 | 30 | 30 | |||||||||
| 2 | Новокузнецк | 30 | 30 | 30 | |||||||||
| 3 | Санкт-Петербург | 30 | 30 | 30 | |||||||||
| 4 | Ленинградская область | 30 | 30 | 30 | |||||||||
| 5 | Пермь | 30 | 30 | 30 | |||||||||
Педагогические измерения компьютерной грамотности в рамках экспериментального исследования проводились на основе методики, разработанной в главе 3 с использованием АСИ.
В основу разработки эталонов измерения были положены кодификаторы понятий и их систем, составленные на основе ФГОС начального общего, среднего общего (полного), высшего профессионального педагогического (ступень бакалавра) образования область – «Информатика».
Установление сертификационных норм проводилось в соответствии с основными метрологическими правилами, при проведении измерений не рекомендовалось использовать эталоны ниже, чем 4-го разряда точности.
По результатам тестирования выделенных категорий испытуемых были получены следующие результаты (табл. 10).
Таблица 10. Распределение сертификатов по регионам и категориям
| Регион | Не сертифицировано | Сертифицировано | % сертификатов КГ | |
| Калининград | Преподаватели | 11 | 19 | 63 |
| Администрация | 9 | 21 | 70 | |
| Студенты | 6 | 24 | 80 | |
| Новокузнецк | Преподаватели | 13 | 17 | 57 (min) |
| Администрация | 7 | 23 | 77 | |
| Студенты | 3 | 27 | 90 | |
| Санкт-Петербург | Преподаватели | 11 | 19 | 63 |
| Администрация | 13 | 17 | 57 (min) | |
| Студенты | 0 | 30 | 100 (max) | |
| Ленинградская область | Преподаватели | 12 | 18 | 60 |
| Администрация | 10 | 20 | 67 | |
| Студенты | 2 | 28 | 93 | |
| Пермь | Преподаватели | 2 | 28 | 93 |
| Администрация | 3 | 27 | 90 | |
| Студенты | 0 | 30 | 100 (max) | |
Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными в области «Информатика» являются студенты педагогических вузов, испытуемые в возрасте до 30 лет, менее подготовленными – преподаватели средних общеобразовательных учреждений.
Можно предположить, что отличие в результатах связано с наличием проблем в системе профессионального дополнительного образования и повышения квалификации специалистов в области «Информатика».
Экспериментальное исследование компьютерной грамотности и икт-компетентности в отрасли образования (второй этап эксперимента)
Для проведения исследования компьютерной грамотности и икт-компетентности на данном этапе были сформированы фокус-группы по принципам добровольности и принадлежности испытуемого к одной из названных выше категорий.
Общие характеристики выборок: фокус-группа – 15 испытуемых; региональная выборка – 180 испытуемых; общая выборка – 2160 испытуемых.
Результаты обработки данных измерений компьютерной грамотности, приводятся в табл. 11.
Таблица 11. Распределение сертификатов компьютерной грамотности
| Категории | Регионы | |||||||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | итого | % | |
| НПО | ||||||||||||||
| Учащиеся | 3 | 6 | 6 | 8 | 7 | 8 | 5 | 2 | 3 | 7 | 5 | 10 | 70 | 39% |
| Преподаватели | 0 | 0 | 1 | 1 | 2 | 1 | 1 | 0 | 0 | 0 | 0 | 3 | 9 | 5% (min) |
| Администрация | 4 | 4 | 4 | 6 | 8 | 4 | 3 | 3 | 2 | 5 | 3 | 6 | 52 | 29% |
| СПО | ||||||||||||||
| Учащиеся | 2 | 5 | 7 | 7 | 13 | 4 | 7 | 4 | 3 | 4 | 4 | 5 | 65 | 36% |
| Преподаватели | 1 | 0 | 2 | 3 | 3 | 3 | 1 | 1 | 0 | 2 | 0 | 2 | 18 | 10% |
| Администрация | 4 | 4 | 5 | 9 | 9 | 7 | 6 | 5 | 2 | 3 | 3 | 7 | 64 | 36% |
| СОШ | ||||||||||||||
| Учащиеся | 11 | 11 | 13 | 13 | 13 | 13 | 12 | 11 | 11 | 4 | 4 | 5 | 121 | 67% |
| Преподаватели | 1 | 2 | 3 | 4 | 4 | 2 | 2 | 0 | 0 | 0 | 0 | 4 | 22 | 12% |
| Администрация | 9 | 7 | 9 | 10 | 11 | 11 | 9 | 8 | 7 | 7 | 7 | 9 | 104 | 58% |
| ВПО | ||||||||||||||
| Студенты | 12 | 10 | 11 | 13 | 11 | 12 | 13 | 10 | 11 | 11 | 10 | 13 | 137 | 76% (max) |
| Преподаватели | 9 | 7 | 10 | 7 | 9 | 8 | 10 | 7 | 7 | 6 | 6 | 10 | 96 | 53% |
| Администрация | 8 | 5 | 5 | 9 | 10 | 8 | 7 | 7 | 4 | 4 | 6 | 8 | 81 | 45% |
Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными являются студенты, менее подготовленными преподаватели НПО. Таким образом, наблюдается та же закономерность, что и при проведении экспериментального исследования компьютерной грамотности испытуемых на первом этапе эксперимента. Результаты обработки данных измерений икт-компетентности приводятся в табл. 12.
Таблица 12. Распределение сертификатов икт-компетентности
| Категории | Регионы | |||||||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | итого | % | |
| НПО | ||||||||||||||
| Учащиеся | 0 | 1 | 1 | 1 | 2 | 0 | 2 | 0 | 1 | 2 | 1 | 0 | 11 | 6% |
| Преподаватели | 0 | 3 | 6 | 5 | 4 | 4 | 4 | 7 | 4 | 2 | 5 | 4 | 48 | 27% |
| Администрация | 0 | 2 | 2 | 1 | 1 | 0 | 0 | 0 | 0 | 2 | 0 | 4 | 12 | 7% |
| СПО | ||||||||||||||
| Учащиеся | 0 | 0 | 2 | 1 | 1 | 1 | 0 | 1 | 0 | 1 | 1 | 2 | 10 | 6% |
| Преподаватели | 0 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 6 | 3% |
| Администрация | 3 | 1 | 1 | 2 | 5 | 2 | 0 | 0 | 1 | 1 | 2 | 2 | 20 | 11% |
| СОШ | ||||||||||||||
| Учащиеся | 0 | 3 | 6 | 5 | 4 | 4 | 4 | 7 | 4 | 2 | 5 | 4 | 48 | 27% |
| Преподаватели | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1% (min) |
| Администрация | 3 | 1 | 1 | 9 | 5 | 2 | 3 | 3 | 2 | 4 | 2 | 6 | 41 | 23% |
| ВПО | ||||||||||||||
| Студенты | 7 | 9 | 10 | 12 | 7 | 12 | 9 | 9 | 6 | 7 | 8 | 10 | 106 | 59% (max) |
| Преподаватели | 5 | 0 | 3 | 6 | 6 | 3 | 7 | 5 | 6 | 3 | 5 | 7 | 56 | 31% |
| Администрация | 1 | 5 | 0 | 9 | 2 | 2 | 1 | 4 | 1 | 2 | 2 | 4 | 33 | 18% |
Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными являются студенты, менее подготовленными – преподаватели.
На основании результатов исследования компьютерной грамотности и икт-компетентности были сделаны выводы о необходимости повышения уровня обученности учащихся и уровня квалификации работников в области «Информатика и ИКТ», и о необходимости модернизации системы подготовки специалиста на всех ступенях непрерывного образования.
Распределение сертификатов компьютерной грамотности и икт-компетентности позволяет сравнить результаты тестовых испытаний по всем категориям испытуемых и по всем регионам, и может быть использовано в дальнейшем для принятия управленческих решений (рис. 8).
Рис. 8. Распределение сертификатов по категориям испытуемых
У – Учащиеся, П – Преподаватели, А – Административные работники
Из распределения видно, что проблема повышения качества подготовки учащихся и работников отрасли образования в области «Информатика и ИКТ» является актуальной и требует системного решения.
Для этого необходимо: 1) разработать новые образовательные стандарты, отвечающие современным мировым стандартам и требованиям рынка труда (ФГОС-3); 2) разработать новые образовательные программы, как основного, так и дополнительного образования, ориентированные на новые стандарты; 3) оптимизировать сеть образовательных учреждений, реализующих данные образовательные программы; 4) повысить эффективность органов управления образованием за счет своевременного и оперативного принятия решений по результатам мониторинга компьютерной грамотности и икт-компетентности с использованием АСИ.
Экспериментальное исследование эффективности автоматизированной системы измерения (АСИ)
В системе сертификации работников отрасли образования исследование качества АСИ проводится на основании оценки ее абсолютной эффективности. Под абсолютной эффективностью понимается ее влияние на достижение (при прочих равных условиях) конечной цели измерения – установление соответствия уровня подготовки работников отрасли образования квалификационным требованиям, а также степень ее автоматизации.
Показатель абсолютной эффективности АСИ – 
является численной мерой, количественно характеризующей степень выполнения системой цели функционирования, и определяется функциональной зависимостью:
где 
– избранный показатель эффективности;
– вид функции, связывающей показатель эффективности с аргументом;
– совокупность параметров, характеризующих свойства системы; 
– совокупность параметров, характеризующих степень ее автоматизации; 
– совокупность параметров, характеризующих среду. Полагая 
=1 (влияние параметров, характеризующих среду, не исследуется), преобразуем формулу расчета абсолютной эффективности к виду:
Критерий эффективности АСИ определяется по значению показателя эффективности 
.
Оценка эффективности АСИ проводилась методом последовательных уступок, так как он учитывает приоритет системы по тому или иному показателю и взаимосвязь показателей. Сущность метода раскрывается в последовательности проводимых операций.
1. С помощью моделирования или методов экспертных оценок производится качественный анализ относительной важности показателей эффективности.
2. Показатели располагаются и нумеруются в порядке убывания важности: 
.
3. Максимизируется первый показатель 
и определяется его наибольшее значение 
.
4. Определяется (назначается) величина допустимого снижения (уступки) показателя 
и наибольшее значение второго показателя 
– 
при условии, что значение первого показателя должно быть не меньше, чем 
.
5. Определяется (назначается) величина уступки, но уже по второму показателю – 
, которая используется при нахождении условного максимума 
третьего показателя 
и т. д.
6. Максимизируется последний показатель 
при условии, что 
предыдущих показателей должны быть не менее соответствующих величин 
.
Полученная в результате совокупность показателей соответствует оптимальной системе или варианту ее построения. Математическое решение задачи определяется следующей совокупностью последовательных действий:
1)  2)  при  ; …………………………………………… n)  при  |  |
где 
; 
– множество значений характеристик; 
– значения характеристик, обеспечивающих соответствующие значения показателей эффективности.
В результате 
шагов определяется совокупность характеристик, обеспечивающих рациональные значения показателей эффективности системы.
Модернизированная в процессе исследования система сравнивается с исходной системой.
В результате решения задачи получается номер оптимальной системы, которой соответствуют оптимальные технические характеристики.
В диссертационном исследовании оценка эффективности АСИ проводилась по пяти основным группам показателей, характеризующим систему: 1) актуальность выбранной формы сертификации; 2) качество средств измерения; 3) качество процедуры измерения; 4) качество представления результатов тестирования; 5) уровень автоматизации процесса тестирования.
Для определения показателей в качестве экспертов привлекались преподаватели (специалисты в области ИКТ), администраторы информационных сетей, административные работники, методисты.
Общее количество экспертов 300 человек (по 150 экспертов на каждый год эксперимента). Перечень показателей, расположенных в порядке уменьшения важности, был представлен в анкете эксперта.
Полагалось, что АСИ является максимально эффективной, если все основные исследуемые показатели равны – 1. Далее сравнивались показатели эффективности АСИ, полученные эмпирически с показателями, соответствующими оптимальному варианту ее построения (табл. 13).
Таблица 13. Сравнение систем
| Первый этап исследования 2006 г. | Второй этап исследования 2008 г. | |||
| Экспериментальная система | Оптимальная система | Экспериментальная система | Оптимальная система | |
| 1 | 0,93 | 0,93 | 0,98 | 0,98 |
| 0,42 | 0,92 | 0,66 | 0,97 | |
| 2 | 0,38 | 0,91 | 0,47 | 0,96 |
| 0,19 | 0,9 | 0,95 | 0,95 | |
| 0,44 | 0,89 | 0,52 | 0,94 | |
| 0,24 | 0,88 | 0,67 | 0,93 | |
| 0,17 | 0,87 | 0,34 | 0,92 | |
| 0,87 | 0,86 | 0,91 | 0,91 | |
| 0,63 | 0,85 | 0,81 | 0,9 | |
| 0,73 | 0,84 | 0,75 | 0,89 | |
| 0,9 | 0,83 | 0,96 | 0,88 | |
| 0,96 | 0,82 | 0,91 | 0,87 | |
| 4 | 0,21 | 0,81 | 0,89 | 0,86 |
| 0,12 | 0,8 | 1 | 0,85 | |
| 0,27 | 0,79 | 0,83 | 0,84 | |
| 0,17 | 0,78 | 0,79 | 0,83 | |
| 5 | 0,05 | 0,77 | 0,27 | 0,82 |
Исследование АСИ показало, что ее эффективность возрастает по мере внедрения и усовершенствования. Вместе с тем, по-прежнему сохраняется проблема ее оптимизации.
Оценка характеристик средства измерения (теста) как целостной системы и характеристик отдельных тестовых заданий не описывается в автореферате в силу существующего ограничения объема. В диссертационном исследовании использовались общепринятые методики.
Исследование качественных характеристик АСИ в структуре сертификации работников отрасли установило, что они соответствуют международным стандартам тестирования (табл. 14).
Таблица 14. Качественные характеристики АСИ
| Наличие основных элементов | ||
| Часть I Конструирование тестов. Обработка (оценка) и документация: | ||
| Валидность; | 100%. | |
| Надежность и ошибки измерения; | Относительная погрешность измерения не превышает 20%. | |
| Разработка и усовершенствование тестов; | Проводится автоматически. Тестовые задания составляются экспертами в соответствии кодификаторам, разработанным на основе ФГОС или квалификационных требований. | |
| Шкалирование, нормирование, стандарты и сравнимость показателей; | Проводится в соответствии ФГОС и квалификационным требованиям. Основным методом сравнения является сравнение с эталонной мерой (используется эталон-шкала). Наличие различия с эталоном проводится с помощью дисперсионного анализа с применением критерия Фишера-Снедекора. | |
| Проведение тестов, подсчет баллов и их представление; | Педагогические измерения проводятся в режиме on-lain, расчет баллов и сертификационных показателей проводится автоматически и представляется испытуемому сразу после завершения процесса в виде таблицы и столбиковой диаграммы. | |
| Сопроводительная документация для теста. | Представлена на сайте Отраслевого центра сертификации и включает в себя описание процедуры сертификации, демо-версию теста, информацию о выданных сертификатах. | |
| Часть II. Законность в тестировании: | ||
| Честность в подготовке и проведении тестов; | Все процессы (формирование варианта теста, проведение тестирования, обработка результатов) автоматизированы. Система сертификации соответствует требованиям информационной безопасности | |
| Права и ответственность тестируемых; | Сертификация проводится добровольно по личному договору испытуемого с Отраслевым центром. | |
| Тестирование лиц на неродном языке; | Сертификация проводится на родном (русском) языке. | |
| Тестирование недееспособных лиц | Не проводится. | |
| Часть III. Применение тестов: | ||
| Ответственность пользователей тестов; | Регулируется договором. | |
| Психологическое тестирование и оценивание; | Не проводится. | |
| Образовательное тестирование и оценивание; | Не проводится. | |
Продолжение таблицы 14
| Тестирование при приеме на работу, лицензирование и аккредитация; | Проводится по договоренности с региональными органами управления образованием. |
| Тестирование в оценке программ и государственной политики. | Результаты сертификации в обобщенном виде представляются федеральным и региональными органами управления образованием по их заявке. |
В заключении отмечается, что разработанные в диссертационном исследовании теоретические основы построения новой системы сертификации позволяют практически полностью автоматизировать систему оценки уровня квалификации работников отрасли образования и перейти от экспертизы к объективному измерению сертификационных показателей (функции экспертов минимизированы, хотя полностью не исключены).
Внедрение системы автоматизированной сертификации позволит повысить качество измерений, и, как следствие, перейти к научно обоснованному управлению процессами подготовки и повышения квалификации кадров в отрасли образования за счет научно обоснованного принятия решений по статистическим данным измерений грамотности и компетентности работников.
Созданная в процессе теоретической разработки и широкого практического внедрения система автоматизированной сертификации отвечает современным мировым тенденциям развития принципов построения и архитектуры автоматизированных сред, логической организации систем, методов, форм, средств, методик применения новых информационных технологий в практику оценки учебных достижений специалистов.
Научные публикации по теме диссертационного исследования
- Бояшова С. А. Учебно-методический комплекс как средство обеспечения преемственности образовательных программ «школа-вуз». / С. А. Бояшова, С. В. Николаев. // Материалы III межрегиональной НПК: “Дополнительное профессиональное образование. Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России”. – СПб. : Изд-во Смольный, 2000.
- Бояшова С. А. Системный подход к проблеме качества обучения учебному предмету. / С. А. Бояшова. //Материалы IV межрегиональной НПК: “Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте реформирования образования”. – СПб. : Изд-во Смольный, 2001.
- Бояшова С. А. Системный подход к выбору педагогических технологий. / С. А. Бояшова, С. В. Николаев. // Материалы 12-й межвузовской НТК: “Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов”. – СПб. : Изд-во ВМИРЭ, 2001.
- Бояшова С. А. Проблема качества обучения и образования. / С. А. Бояшова. //Материалы V межрегиональной НПК: “Качество образования. Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте модернизации образования”. – СПб. : Изд-во Смольный, 2002.
- Бояшова С. А. О качестве обучения. / С. А. Бояшова, С. В. Николаев. //Материалы 13-й межвузовской НТК: “Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов”. – СПб. : Изд-во ВМИРЭ, 2002.
- Бояшова С. А. Система учебных элементов в подготовке курсантов и учащихся военно-специализированных классов. / С. А. Бояшова. //Межвузовский информационно-методический сборник по проблемам военного образования. – СПб. : Изд-во ВМИ, 2002.
- Бояшова С. А. Методические рекомендации к составлению тестов по естественнонаучным дисциплинам. / С. А. Бояшова. //Материалы 14-й межвузовской НТК: “Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов”. – СПб. : Изд-во ВМИРЭ, 2003.
- Бояшова С. А. Проектирование УМК по учебной дисциплине. / С. А. Бояшова //Материалы VI Международной научно-практической конференции: “Санкт-Петербург в образовательном пространстве России”. – СПб. : Изд-во Смольный, 2003.
- Бояшова С. А. Оценка качества результатов педагогической деятельности в системе аттестации и аккредитации школ Санкт-Петербурга. / С. А. Бояшова. //Материалы X Всероссийской научно-методической конференции: “Телематика 2003”. – СПб. : Изд-во ГРОЦ, 2003.
- Бояшова С. А. Проектирование учебно-методического комплекса по учебной дисциплине для решения проблем управления обучением в системе «школа-вуз». / С. А. Бояшова. //Материалы VI международной электронной научной конференции: “Новые технологии в образовании”. – Воронеж : Изд-во ВГПУ, 2003.
- Бояшова С. А. Оценка качества результатов обучения предметам естественнонаучного цикла в школах Санкт-Петербурга. / С. А. Бояшова. //10 межвузовский сборник научных трудов из серии «Образовательные технологии». – Воронеж : Изд-во ВГПУ, 2003.
- Бояшова С. А. Рационализация предметного обучения в системе непрерывного профессионального образования ВМФ. / С. А. Бояшова. автореф. дисс. …канд. пед. наук. – СПб.: Изд-во ВМИРЭ, 2004. – 28 с.
- Бояшова С. А. Проектирование контрольно-измерительных материалов для новой версии системы аттестации общеобразовательных школ Санкт-Петербурга : учебно-методическое пособие. / С. А. Бояшова. СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2004. 64 с.
- Бояшова С. А. Проектирование контрольно-измерительных материалов для системы аттестации учреждений среднего общего образования как предмет деятельности регионального ресурсного центра в ОСОКО. / С. А. Бояшова, И. С. Пахомов. //Материалы Всероссийской научно-методической конференции «Развитие тестовых технологий в России». М. : Изд-во Центр тестирования, 2005. 161 с.
- Бояшова С. А. Средства контроля качества обучения в структуре учебно-методического комплекса (УМК) по физике. / С. А. Бояшова. //Материалы Всероссийской научно-методической конференции «Развитие тестовых технологий в России». М. : Изд-во Центр тестирования, 2005. 126 с.
- Бояшова С. А. Оценка качества результатов педагогической деятельности в системе аттестации и аккредитации школ Санкт-Петербурга. / С. А. Бояшова. //Материалы XI Всероссийской научно-методической конференции: “Телематика 2004”. – СПб. : Изд-во ГРОЦ, 2004.
- Бояшова С. А. Оценка эффективности моделей обучения в педагогической метрологии. / С. А. Бояшова. //Материалы XII Всероссийской научно-методической конференции: “Телематика 2005”. – СПб. : Изд-во ГРОЦ, 2005.
- Бояшова С. А. Метрологический подход к понятию компетентности. / С. А. Бояшова. //Материалы XIII Всероссийской научно-методической конференции: “Телематика 2006”. ”. – СПб. : Изд-во ГРОЦ, 2006.
- Бояшова С. А. Национальная система сертификации компьютерной грамотности и ИКТ-компетентности – важнейший элемент информатизации управления образованием / С. А. Бояшова. А. К. Скуратов, Е. К. Хеннер, В. А. Перевалов //Материалы IV Всероссийской научно-методической конференции. – Псков, 2007.
- Бояшова С. А Создание многоуровневой системы сертификации и тестирования компьютерной грамотности и ИКТ-компетентности. / С. А. Бояшова. //Материалы Международного оптического конгресса «Оптика XXI век». – СПб. : Изд-во СПбГУ ИТМО, 2007.
- Бояшова С. А. Национальный центр тестирования компьютерной грамотности и ИКТ-компетентности – актуальная потребность системы образования РФ. / С. А. Бояшова. //Материалы ХIV Всероссийской научно-методической конференции “Телематика – 2007” – СПб. : Изд-во ГРОЦ, 2007.
- Бояшова С. А. Оценка эффективности управления процессом подготовки специалистов как механизм повышения качества системы высшего профессионального образования. / С. А. Бояшова. //Материалы Международного оптического конгресса «Оптика XXI век». – СПб. : Изд-во СПбГУ ИТМО. 2008.
- Бояшова С. А. Метрология в курсе школьной физики: учебно-методическое пособие. / С. А. Бояшова. – СПб. : Изд-во СПБГУ, 2004. – 52 с.
- Бояшова С. А. Физические величины и единицы физических величин : справочное пособие. / С. А. Бояшова. – СПб. : Изд-во СПбГУ, 2000. – 31 с.
- Бояшова С. А. Проектирование контрольно-измерительных материалов для новой версии системы аттестации общеобразовательных школ Санкт-Петербурга : учебно-методическое пособие. / С. А. Бояшова. – СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2004. – 61 с.
- Бояшова С. А.. Что должен знать и уметь школьный тестолог : методическое пособие. / С. А. Бояшова, С. В. Николаев. – СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2003. – 40 с.
- Бояшова С. А. Технологии массового тестирования в системе оценки качества обучения школьников : учебно-методическое пособие. / С. А. Бояшова. СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2005. 35с.
- Бояшова С. А. Тестовые задания как структурные элементы теста, их отличительные особенности и характеристики : учебно-методическое пособие. / С. А. Бояшова. СПб. : Изд-во СПбГУ ИТМО, 2008. 16с.
- Бояшова С. А. Учебно-методический комплекс по учебной дисциплине : учебно-методическое пособие. / С. А. Бояшова. СПб. : Изд-во СПбГУ ИТМО, 2008. 16с.
- Бояшова С. А. Методика разработки теста как средства педагогического измерения, обладающего валидностью и надежностью : учебно-методическое пособие. / С. А. Бояшова. СПб. : Изд-во СПбГУ ИТМО, 2008. 32с.
- Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов : монография. / С. А. Бояшова СПб. : Изд-во СПбГУ ИТМО, 2007. – 199 с.
- Бояшова С. А. Улучшение качества оценки профессиональной подготовки специалистов. / С. А. Бояшова. // Материалы Международной научно-технической конференции. СПб. : Изд-во Балтийский ГТУ «Военмех»., 2008. С 17-21.
- Бояшова С. А. Планирование и организация новых форм образовательного процесса специалистов информационного противоборства в современных условиях. / С. А. Бояшова, С. В. Николаев. // Материалы Международной научно-технической конференции. Четвертые Уткинские чтения. СПб. : Изд-во Балтийский ГТУ «Военмех»., 2009. Т.2. С 143-146.
- Бояшова С. А. Система отраслевой сертификации / С. А. Бояшова Труды Международной научно-технической конференции. Четвертые Уткинские чтения. СПб. : Изд-во Балтийский ГТУ «Военмех»., 2009. №5, С 115-118.
- Бояшова С. А. Метрологический и системный подходы к измерению грамотности и компетентности / С. А. Бояшова Сборник научных трудов международной научно-практической конференции «Измерения в современном мире». СПб. : Изд-во Политехнического университета, 2009. №5, С 222 -224.
Публикации в журналах, рекомендованных перечнем ВАК
- Бояшова С. А. Национальный центр мониторинга и сертификации компьютерной грамотности и ИКТ-компетентности в системе образования российской федерации. / С. А. Бояшова, А. К. Скуратов, Е. К. Хеннер, М. Ю. Богданов, И.С. Пахомов, А. В. Хорошилов, В. В. Ярных В. А. Перевалов, С. И. Макаров. // Открытое образование. Информационные технологии в образовании и экономике. – М. : Изд-во МЭСИ, №5(64) 2007. – С. 12–18.
- Бояшова С. А. Разработка эталонных средств измерения как структурного элемента автоматизированных систем тестирования, обеспечивающих сертификацию специалистов в области информатики и информационно-коммуникационных технологий. / С. А. Бояшова. // Качество инновации образование. – М. : Изд-во МИЭМ, №4 2009. – С. 10–16.
- Бояшова С. А. Методика разработки тестов для автоматизированных систем тестирования, обеспечивающих сертификацию специалистов в области информатики и информационно-коммуникационных технологий. / С. А. Бояшова. // Качество инновации образование. – М. : Изд-во МИЭМ, №5 2009. – С. 12–16.
- Бояшова С. А Психолого-педагогические подходы к процессу оценки уровня подготовки специалистов в области информатики и информационно-коммуникационных технологий с использованием автоматизированных систем тестирования. / С. А. Бояшова. // Качество инновации образование. – М. : Изд-во МИЭМ, №6 2009. – С. 11–16.
- Бояшова С. А Методика обработки данных педагогических измерений в сертификационных автоматизированных системах тестирования. / С. А. Бояшова. // Качество инновации образование. – М. : Изд-во МИЭМ, №7 2009. – С. 15–19.
- Бояшова С. А. Измерение коэффициента грамотности специалиста в области информационного противоборства. / С. А. Бояшова, С. В. Николаев. // Научно-теоретический журнал «Ученые записки университета имени П. Ф. Лесгафта». – СПб. : Изд-во СПбГУ им Лесгафта, №5(39), 2008. С. 2326.
- Бояшова С. А. Учебно-методический комплекс по интегрированным дисциплинам как средство повышения качества подготовки специалиста в области информационного противоборства. Научно-теоретический журнал «Ученые записки университета имени П. Ф. Лесгафта». – СПб. : Изд-во СПбГУ им Лесгафта, №9(43), 2008. С. 6569.
- Бояшова С. А. Метрологический подход к определению понятия профессиональной компетентности специалиста. / С. А. Бояшова. // Известия вузов. Приборостроение. – СПб. : Изд-во СПбГУ ИТМО, №9, 2009. С. 8284 Бояшова С. А. Метрологическая основа построения автоматизированной системы тестирования. / С. А. Бояшова. // Известия вузов. Приборостроение. – СПб. : Изд-во СПбГУ ИТМО, №5, 2009. С. 8285 с.
- Бояшова С. А. Метрологическая основа построения автоматизированной системы тестирования. / С. А. Бояшова. // Известия вузов. Приборостроение– СПб. : Изд-во СПбГУ ИТМО, №5, 2009. С. 8285 с.
Монография
- Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов. – СПб. : Изд-во СПбГУ ИТМО, 2007.199 с.
[1] ЕКС разработан с учетом приказа Министерства здравоохранения и социального развития Российской Федерации от 5 мая 2008 г. № 216н «Об утверждении профессиональных квалификационных групп должностей работников образования» (зарегистрирован в Министерстве юстиции Российской Федерации 22 мая 2008 г., регистрационный № 11731).
[2] «Создание многоуровневой системы мониторинга и тестирования компьютерной грамотности и икт-компетентности» (2006-2007гг.) и «Разработка организационной, методической, технической документации отраслевой системы мониторинга и сертификации компьютерной грамотности и икт-компетентности» (2008-2009 гг.)».
[3] Например, в области ИКТ в России наиболее распространенной считается вендорная сертификация Cisco, Microsoft, Oracle, IBM, которая проводится через государственные и негосударственные образовательные учреждения такие, как: Центр компьютерного обучения «Специалист» при МГТУ им. Баумана; общество «Знание»; компании Softline и 1Cи др. и независимая – European Computer Driving License (ECDL)
[4] В существующих системах объективный контроль валидности, надежности и достоверности невозможен в силу отсутствия адекватных методов измерений.
[5] С вероятностью, определяемой условиями проведения процесса проведения сертификации
[6] ГС. ГСИ. Метрология. Основные термины и определения. МИ 2247-93. СПб, 1994.
