WWW.DISUS.RU

БЕСПЛАТНАЯ НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

 

Научно-методические подходы к автоматизации оценки качества обучающих тестов (на примере обучения учителей математики)

На правах рукописи

КОКШАРОВА Елена Александровна

Научно-методические подходы к автоматизации оценки качества обучающих тестов (на примере обучения учителей математики)

13.00.02 – теория и методика обучения и воспитания

(информатизация образования)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата педагогических наук

Москва – 2010

Работа выполнена в ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия», на кафедре педагогики.

Научный руководитель: доктор педагогических наук, профессор

Гейн Александр Георгиевич

Официальные оппоненты: доктор педагогических наук, профессор

Пак Николай Инсебович;

кандидат педагогических наук

Волков Петр Дмитриевич

Ведущая организация: ГОУ ВПО «Челябинский государственный педагогический университет»

Защита состоится «30» сентября 2010 года в 15.00 часов на заседании диссертационного совета Д 008.004.01 при Учреждении Российской академии образования «Институт информатизации образования» по адресу:

119 121, г  Москва, ул. Погодинская, д. 8.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии образования «Институт информатизации образования».

Текст автореферата размещен на сайте <http://www.iiorao.ru>.

Автореферат разослан «__» августа 2010 г.

Ученый секретарь

диссертационного совета Г.Л. Ежова

ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ

Актуальность исследования. Современный этап информатизации образования характеризуется переходом на качественно новый уровень, связанный с активным внедрением средств информационных и коммуникационных технологий (ИКТ) в процесс обучения. Этот процесс инициирует использование тестовых технологий в процессе обучения (Роберт И.В. ).

Одним из приоритетных направлений информатизации образования является реализация возможностей информационных технологий в качестве средства автоматизации процессов контроля, коррекции результатов учебной деятельности, педагогического тестирования и психодиагностики, в качестве средства автоматизации процессов обработки результатов педагогического тестирования (Роберт И.В.).

Контроль результатов обучения и оценка качества обученности инициируют использование тестовых технологий в учебном процессе (Ивлиев М.К., Пак Н.И., Рудинский И.Д., Челышкова М.Б., Шаров А.Г., Шатова И.В. и др.). Реализация возможностей тестовых технологий обеспечивает получение объективной информации о достижении учащимися базового уровня знаний по учебным дисциплинам, объективное определение степени усвоения ими отдельных элементов знаний. В связи с этим тесты рассматриваются как один из основных инструментов контроля качества образования. В течение многих десятилетий тесты активно применяются в мировой педагогической практике (Анастази А., Гласс Дж. и Стэнли Дж., Ингекамп К., Клайн П. и др.), а в настоящее время занимают все более прочные позиции и в российском образовании (Грабарь М.И., Лихтциндер Б.Я., Михайлычев Е.А., Михеев В.И., Сафонцев С.А. и др.).

В современном образовательном процессе наряду с использованием контролирующего тестирования активно развивается такое направление педагогических тестовых технологий как обучающее тестирование (Кадневский В.М., Каплун О.А., Михайлова Д.А., Сеногноева Н.А., Углев В.А., Федоров Е.Б. и др.). Вслед за Кадневским В.М. под обучающим тестированием будем понимать совокупность мероприятий, обеспечивающих разработку и использование независимых и объективных средств оценки уровня развития индивидуальных способностей испытуемых к обучению, а также обработку и анализ полученных результатов.

Связано это с тем, что обучающее тестирование позволяет оценить не только правильность конечного результата, но и сам путь, который выбрал учащийся для получения ответа на тестовое задание, что дает в результате объективную картину об уровне знаний учащегося, а также предоставляет возможность выявления общих и индивидуальных пробелов в знаниях обучающегося. Кроме того, в данной разновидности теста заложена необходимость самостоятельного выбора учащимися пути решения задачи с рефлексией этого выбора, а не просто ответа на нее, как это предусмотрено в традиционных моделях теста контроля результатов обучения.

Основываясь на исследованиях Аванесова В.С., Майорова А.Н., Кадневского В.М., Сеногноевой Н.А., под обучающим тестом применительно к предметной области «математика» будем понимать педагогический инструмент (Майоров А.Н.), позволяющий диагностировать правильность построения учащимся пути решения учебной задачи до получения верного ответа на нее.

Однако, несмотря на указанные позитивные моменты, применение обучающих тестов в педагогической практике сдерживается из-за недостаточной проработанности ряда принципиальных вопросов, одним из которых является оценка качества обучающих тестов, используемых в образовательном процессе. Это связано с недостаточно развитыми научно-методическими подходами к решению вопроса о выборе параметров качества обучающего теста, что в свою очередь, обусловлено неоднозначным толкованием самого понятия «качество обучающего теста».

В работах по контролирующему тестированию (Аванесов В.С., Ильина Т.А., Майоров А.Н., Челышкова М.Б. и др.) принципиальной позицией, занимаемой всеми указанными авторами, является определение характеристик качества контролирующего теста – валидности и надежности – исключительно на основе апостериорных оценок, т.е. таких, которые могут быть получены только после проведения широкой апробации. Что же касается обучающих тестов, то одним из достижений данного направления тестирования было выделение ряда параметров, позволяющих судить о педагогических свойствах теста до того, как он будет апробирован на репрезентативной группе обучаемых (Сеногноева Н.А.).

Однако вопрос о полноте выявленной совокупности параметров качества обучающего теста и об их взаимном влиянии также остается нерешенным. Кроме того, разработка любого обучающего теста сопровождается неоднократной обработкой данных теста и вычислением каждый раз значительного числа (более десяти) параметров (Кадневский В.М., Сеногноева Н.А., Федоров Е.Б. и др.), что весьма затруднительно осуществлять без привлечения средств автоматизации. Надо также отметить, что улучшение по одному из параметров нередко ведет к понижению значения по другому, а представление данных теста содержит графические составляющие, что делает эту процедуру еще более трудоемкой.

Учитывая вышеизложенное, под качеством обучающего теста будем понимать величину, описывающую совокупность взаимосвязанных параметров обучающего теста, характеризующих его свойства: нормативность, валидность, надежность, направленность теста на обучение. Вопросы оценки качества в области контролирующего тестирования нашли свое отражение в работах Гласса Дж., Максимовой О.А., Неймана Ю.М., Челышковой М.Б., Черепанова В.С. и др. В них также рассмотрены подходы к использованию средств информационных технологий к оценке качества контрольно-тестовых материалов. Вместе с тем не уделяется должного внимания реализации возможностей информационных технологий в области оценки качества обучающих тестов.

Современный этап информатизации образования характеризуется использованием средств автоматизации (Данилюк С.Г., Павлов А.А., Романенко Ю.А., Рудинский И.Д., Сердюков В.И. и др.), в том числе и для процессов оценки качества тестов (Окладникова С.В., Перескокова О.И., Плавинский С.Л. и др.). В исследованиях этих специалистов показано, что достижение заданного уровня качества применяемых тестов целесообразно применение средств автоматизации процессов сбора и обработки формализованной информации. Таким образом, достижение заданного уровня качества обучающих тестов базируется на формализованных параметрах, лежащих в основе автоматизации оценки качества обучающих тестов, под которой будем понимать процесс обработки на базе информационных технологий значений параметров качества обучающих тестов для установления наилучшего сочетания их значений и вывода оценки качества.

В настоящее время также ощущается дефицит специалистов в области оценки качества обучающих тестов, так как на сегодняшний день педагоги не имеют того уровня обученности в данной области, который позволил бы им уверенно применять обучающие тесты в своей работе. Вместе с тем следует констатировать тот факт, что научно-методические подходы, ориентированные на обучение учителей в области оценки качества обучающих тестов с использованием средств автоматизации также недостаточно раскрыты в современных исследованиях. В этой связи необходимо обучение учителей оценке качества обучающих тестов, а также теории и практике оценки качества обучающих тестов с использованием средств автоматизации.

Вместе с тем необходимо отметить, что анализ средств автоматизации, используемых для обучения, позволяет говорить о необходимости методической поддержки для обеспечения комфортной работы пользователя в области обучения, графического компонента для наглядного представления данных, а также функции сбора и хранения данных.

В нашем исследовании мы рассматриваем обучение учителей с использованием автоматизированной системы оценки качества обучающего теста, под которым будем понимать процесс освоения теории и практики оценки качества обучающих тестов на базе информационных технологий, направленный на объективную оценку знаний учащихся.

В связи с вышеизложенным, проблема исследования обусловлена противоречием между потенциальными возможностями информационных технологий в области автоматизации процессов выбора наилучшего сочетания значений параметров качества обучающего теста и недостаточной их реализацией в обучающем тестировании, а также недостаточной разработанностью научно-методических подходов к обучению учителей в данной области.

Таким образом, актуальность исследования заключается в необходимости реализации возможностей информационных технологий для автоматизации процесса оценки качества обучающих тестов, характеризующей нормативность, валидность, надежность, направленность теста на обучение, и методических подходов к обучению учителей в области автоматизации оценки качества обучающих тестов.

Объект исследования оценка качества обучающих тестов, осуществляемая на базе информационных технологий.

Предмет исследования – теоретические подходы к оценке качества обучающих тестов, осуществляемой на базе информационных технологий, и методические подходы к обучению учителей математики в данной области.

Цель исследования заключается в научном обосновании состава и требований к параметрам характеристик качества обучающих тестов, в разработке структуры автоматизированной системы оценки качества обучающих тестов и создании программного обеспечения ее функционирования, а также методических подходов к обучению учителей математики в области автоматизации оценки качества обучающих тестов.

Гипотеза исследования: если научно-методические подходы к обучению учителей математики в области автоматизации оценки качества обучающих тестов будут ориентированы на формирование знаний в области определения состава параметров характеристик качества обучающего теста по математике и требований к их значениям, а также умений применять автоматизированную систему для оценки качества обучающих тестов в соответствии с методическими рекомендациями, то это повысит уровень обученности учителей в данной области.

В соответствии с целью и выдвинутой гипотезой сформулированы задачи исследования:

  1. Провести анализ научно-методических исследований в области современного состояния, перспектив разработки и использования средств оценивания качества педагогических тестов, реализованных на базе информационных технологий.
  2. Теоретически обосновать состав параметров характеристик качества обучающего теста и сформулировать требования к значениям параметров.
  3. Сформулировать требования к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов и разработать ее программную реализацию
  4. Разработать структуру и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов.
  5. Разработать методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов.
  6. Экспериментально проверить уровень обученности учителей математики в области оценки качества обучающих тестов на базе автоматизированной системы.

Методологическую основу исследования составляют работы в области педагогики и психологии (Бабанский Ю.К., Беспалько В.П., Гальперин П.Я., Давыдов В.В., Лернер И.Я., Никандров Н.Д., Талызина Н.Ф. и др.); тестовых технологий (Аванесов В.С., Анастази А., Гласс Дж., Грунлунд Н., Ингекамп К., Кадневский В.М., Клайн П., Майоров А.Н., Матрос Д.Ш., Михайлычев Е.А., Сеногноева Н.А., Стэнли Дж., Федоров Е.Б., Хлебников В.А., Цатурова И.А., Челышкова М.Б., и др.); теории и методики информатизации образования (Ваграменко Я.А., Вострокнутов И.Е., Козлов О.А., Лапчик М.П., Латышев В.Л., Манушин Э.А., Мартиросян Л.П., Пак Н.И., Роберт И.В., Рудинский И.Д. и др.); разработки и использования автоматизированных обучающих систем (Волков П.Д., Данилюк С.Г., Кудинов В.А., Надеждин Е.Н., Павлов А.А., Романенко Ю.А., Сердюков В.И., Троицкая Е.А. и др.)

Методы исследования: анализ и обобщение психолого-педагогической, дидактической и методической литературы по проблеме исследования; анализ опыта по разработке и использованию возможностей информационных технологий для оценки качества педагогических тестов; анкетирование учителей; организация педагогического эксперимента и анализ полученных результатов; наблюдение за ходом внедрения автоматизированной системы оценки качества обучающих тестов в учебный процесс.

Научная новизна и теоретическая значимость исследования заключается в: определении основных направлений использования средств информационных технологий в области педагогического тестирования; обосновании состава параметров характеристик качества обучающего теста и в формулировании требований к их значениям; разработке требований к значениям параметров обучающего теста, характеризующих нормативность, валидность, надежность и направленность теста на обучение; обосновании требований к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов; разработке требований к уровню обученности учителей математики в области оценки качества обучающих тестов.

Практическая значимость состоит в: программной реализации автоматизированной системы оценки качества обучающих тестов; разработке структуры и содержания курса обучения учителей математики в области оценки качества обучающих тестов с использованием автоматизированной системы; разработке методических рекомендаций по использованию автоматизированной системы оценки качества обучающих тестов.

Разработанные материалы могут быть использованы в процессе обучения будущих учителей математики, а также в процессе подготовки, переподготовки и повышения квалификации учителей-предметников.

Этапы исследования. Исследование проводилось в три этапа.

I этап (2007 – 2008 гг.) анализ научно-методических разработок в области оценки качества педагогических тестов, реализованных на базе информационных технологий, а также методических подходов к автоматизации процесса оценки качества обучающих тестов; обоснование состава параметров характеристик качества обучающего теста и требований к их значениям.

II этап (2008 – 2009 гг.) – выявление требований к структуре и функционированию компонентов автоматизированной системы и педагогико-эргономических требований к ее программной реализации; программная реализация автоматизированной системы оценки качества обучающих тестов; разработка структуры содержания курса обучения «Автоматизированная оценка качества обучающих тестов».

III этап (2009 – 2010 гг.) – проведение экспериментального обучения учителей математики в рамках разработанного курса, а также тестирования учителей МОУ СОШ №23 г. Нижнего Тагила, будущих учителей математики на физико-математическом факультете ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия», учителей на факультете повышения квалификации преподавателей естественных наук в ГОУ ВПО «Уральский государственный университет им. А.М. Горького», статистическая обработка полученных экспериментальных данных и интерпретация результатов диссертационного исследования, формулировка выводов и разработка методических рекомендаций по применению автоматизированной системы оценки качества обучающих тестов.

Апробация результатов исследования осуществлялась на: всероссийской научно-практической конференции в Челябинске (2008 г.), форуме молодых ученых в рамках третьей межвузовской олимпиады аспирантов в Санкт-Петербурге (2009 г.), международной конференции в Новосибирске (2009 г.), VIII международном научно-творческом форуме в Челябинске (2009 г.). Результаты исследования докладывались и обсуждались на заседаниях кафедры педагогики, кафедры математики и методики обучения математики ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия» (2007 – 2010 гг.). Результаты работы подтверждены свидетельствами о регистрации: в Отраслевом фонде алгоритмов и программ при ФГНУ «Государственный координационный центр информационных технологий» Федерального агентства по образованию, в объединенном фонде электронных ресурсов «Наука и образование» при Государственной академии наук Российской академии образования.

Внедрение результатов исследования. Результаты исследования внедрены и используются в рамках учебного процесса ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия» на физико-математическом факультете по двум специальностям, в ГОУ ВПО «Уральский государственный университет им. А.М. Горького» на факультете повышения квалификации преподавателей естественных наук, в МОУ СОШ №23 г. Нижнего Тагила.

Обоснованность и достоверность проведенного исследования, его результатов и выводов определяются: теоретической и методологической обоснованностью исходных данных; опорой на теоретические разработки в области психологии и педагогики; использованием средств информационных технологий; применением комплекса методов, соответствующих целям и задачам исследования; разносторонними экспериментальными данными; соблюдением логики эксперимента; математико-статистической обработкой полученных данных; согласованностью полученных выводов с основными положениями современной концепции информатизации образования.

Положения, выносимые на защиту:

  1. Теоретические аспекты автоматизации оценки качества обучающего теста основаны на реализации требований к составу параметров характеристик качества тестов и к их значениям, а также требований к структуре и функционированию компонентов автоматизированной системы.
  2. Методические подходы к обучению учителей в области автоматизации оценки качества обучающих тестов, основаны на реализации требований к уровню обученности учителей в области оценки качества обучающих тестов с использованием автоматизированной системы, структуры и содержания курса обучения учителей в данной области и опираются на методические рекомендации по применению автоматизированной системы.

Структура диссертации.

Диссертация состоит из введения, двух глав, заключения, библиографии и приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы исследования, выявлена проблема исследования, определены его объект, предмет, сформулирована цель, выдвинута гипотеза, определены задачи, научная новизна, теоретическая и практическая значимости работы, сформулированы положения, выносимые на защиту.

В первой главе содержится анализ научно-методической литературы в области оценки качества педагогических тестов, реализованных на базе информационных технологий, который выявил, что большинство разработок для оценки качества педагогических тестов, реализованных на базе информационных технологий, применяются лишь на этапе заключительной обработки экспериментальных данных, так как качество контролирующего тестового материала может быть выявлено только после широкой апробации на испытуемых. Что же касается обучающего тестирования, то параметры обучающих тестов (уровень сложности минимальный – это минимальное значение из уровней сложности путей теста, уровень сложности максимальный – это максимальное значение из уровней сложности путей теста, степень равномерности – это разность между максимальным и минимальным уровнями свернутости теста, уровень альтернативности минимальный – это минимальное значение из отношений числа верных альтернатив действия к их общему числу в этом действии, уровень альтернативности максимальный – это максимальное значение из отношений числа верных альтернатив действия к их общему числу в этом действии), определяющие валидность и надежность обучающего теста, могут быть вычислены априорно.

Кроме валидности и надежности для обучающих тестов рассмотрена группа параметров, связанная с уровнем и характером усвоения учащимися изучаемого материала, а также группа параметров, определяющих нормативность обучающего теста. В число параметров этих групп входят: минимальный уровень свернутости теста – это наименьшее число из уровней свернутости действия; максимальный уровень свернутости теста – это наибольшее число из уровней свернутости действия; длина теста – это число, равное сумме уровней свернутости всех шагов действий теста; ширина теста – это максимальный шаг действия; степень разветвленности теста – это количество путей в тесте и ряд других характеристик.

Выявление характеристик, не только учитывающих структуру процесса обучения, но и отвечающих в обучающих тестах за степень обученности, является необходимым условием для определения качества обучающего теста. Для построения параметра, описывающего данную характеристику, в описании альтернатив, предлагаемых учащемуся для построения пути решения задачи, выделены шаги, на которых реализуются II и III этапы формирования умственных действий (по Гальперину П.Я.), поэтому в качестве значения параметра, названного нами направленностью теста на обучение, взято отношение числа вопросов, относящихся к указанным этапам, к общему числу вопросов в тесте. Таким образом, обоснован состав параметров характеристик качества обучающего теста по математике и требования к их значениям.

На основании проведенного анализа методических подходов к автоматизации процесса оценки качества обучающих тестов теоретически обоснована необходимость разработки системы, обеспечивающей автоматизированную оценку качества обучающих тестовых материалов, а также необходимость обучения учителей математики ее использованию для получения качественных тестовых материалов, используемых в своей практической деятельности.

На основании технологических разработок в области оценки качества тестовых материалов и научно-педагогических исследований, посвященных обучению специалистов, сформулированы требования к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов. Определены педагогико-эргономические требования к автоматизированной системе, которые заключаются в следующем: информационное наполнение системы сообразно целям ее использования; обеспечение возможности автоматизации процессов сбора, обработки и накопления информации; возможность индивидуального темпа работы с системой; централизованное хранение разработанных тестовых материалов; автоматизация вывода информации о тесте в печатном виде.

С учетом требований была разработана система автоматизированной оценки качества обучающих тестов, обеспечивающая разработку и диагностику качества обучающих тестов и являющаяся основным средством, используемым для подготовки учителей. Ее структура представлена двумя функциональными блоками: администрирования и пользовательским, включающими в себя технологические модули, отвечающие за отдельные функции системы, что позволяет осуществлять технологическую адаптацию интерфейса и разделить функциональные возможности. Программная реализация автоматизированной системы представлена в тексте диссертационного исследования.

Во второй главе с целью формирования структуры содержания курса обучения учителей математики сформулированы требования к знаниям и умениям, отвечающим целям и задачам подготовки в данной области: а) умения в области разработки обучающих тестов, используя знания о параметрах качества, влияющих на эффективность использования тестов; б) знания в области принципов разработки обучающих тестов и параметров, влияющих на качество тестов; в) владение навыками оценки качества обучающих тестов на базе автоматизированной системы и использование методических рекомендаций по его улучшению.

На основе вышеизложенного была разработана линейная структура содержания подготовки учителей в области оценки качества обучающих тестов на базе автоматизированной системы на примере курса «Автоматизация оценки качества обучающих тестов», включающая изучение следующих тематических разделов: основные теоретические подходы к рассмотрению обучающих тестов; параметры качества обучающих тестов и их определение; интерпретация результатов оценки качества обучающих тестов и их анализ для эффективного использования тестов в образовательном процессе; методика работы с автоматизированной системой оценки качества; разработка и оценка качества обучающих тестов на базе автоматизированной системы.

Разработаны методические рекомендации по использованию автоматизированной системы для оценки качества обучающих тестов состоящие из: рекомендаций по установке и настройке системы; рекомендаций по содержательному наполнению обучающих тестов и структурированию заданий в тесте; рекомендаций по использованию обучающего теста в зависимости от значений параметров качества и вывода резюме системы, а также описание как пользоваться сведениями системы о направлениях корректировки качества разработанных обучающих тестов на примере одного из тестов.

Экспериментальная проверка уровня обученности учителей математики в области оценки качества обучающих тестов на базе автоматизированной системы в рамках курса «Автоматизация оценки качества обучающих тестов» проводилась на базе МОУ СОШ № 23 г. Нижнего Тагила, ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия», ГОУ ВПО «Уральский государственный университет им. А.М. Горького» на факультете повышения квалификации преподавателей естественных наук, в три этапа. В эксперименте участвовало 27 учителей из экспериментальной группы и 19 из контрольной. Для оценки результатов подготовки по разработаному курсу, адаптировав предложенную В.П. Беспалько систему уровней освоения действий, были заданы теоретические уровни обученности: репродуктивный, адаптивный, эвристический и творческий, выражающиеся в требованиях к знаниям, умениям и навыкам.

На первом, констатирующем, этапе эксперимента был определен первоначальный уровень подготовки обучаемых в области оценки качества обучающих тестов. В качестве метода для определения уровня подготовки применялось тестирование, включающее два блока вопросов, которые оценивались по 10-балльной шкале. Вопросы первого блока (с 1 по 10) были направлены на проверку теоретических знаний, необходимых для овладения прохождения курса обучения. Вопросы 2 блока (с 11 по 20) были направлены на проверку практических навыков в конструировании обучающих тестов.

Анализ полученных в результате тестирования данных показал, что уровень теоретических и практических знаний большинства обучаемых является недостаточным для разработки качественных обучающих тестов для их эффективного использования в практической деятельности. Это позволило сделать вывод о целесообразности обучения учителей математики оценке качества обучающих тестов с использованием автоматизированной системы.

Обучающий этап эксперимента состоял в обучении учителей математики контрольной и экспериментальной групп в рамках курса «Автоматизация оценки качества обучающих тестов». В контрольной группе обучение проводилось по такой же программе, как и в экспериментальной, но без использования на практических занятиях автоматизированной системы оценки качества обучающих тестов. В экспериментальной группе учителя для оценки качества создаваемых ими тестов, пользовались системой и следовали ее рекомендациям в случае неудовлетворительного качества теста. На контрольном этапе эксперимента для оценки достигнутого учителями уровня обученности в экспериментальной группе использовались два вида итогового контроля: тест и учебный проект по оценке качества обучающего теста и его корректировке с помощью функциональных возможностей автоматизированной системы, а в контрольной использовали только тест, поскольку работа над качеством обучающего теста на базе автоматизированной системы была исключена из их подготовки. Тест был рассчитан на 2 часа и содержал 10 заданий по практическому контролю знаний, умений и навыков, соответствующих адаптивному и эвристическому уровню обученности учителей в области оценки качества обучающих тестов. Оценивалось количество полностью выполненных заданий, при этом максимальная оценка за работу составляла 10 баллов.

С помощью критерия Вилкоксона-Манна-Уитни показано, что после обучающего этапа эксперимента уровень обученности учителей в экспериментальной группе отличается от уровня обученности учителей в контрольной. При уровне значимости = 0,05; n1 = 19; n2 = 27; Wнабл = 95,16 область принятия гипотезы H0 [112,1; 247,89]). Исходя из этого, для определения группы с более высоким уровнем обученности было произведено сравнение средних баллов, набранных учителями в контрольной () и экспериментальной () группах в результате контрольного тестирования, поэтому можно говорить о том, что обучение с применением автоматизированной системы повышает уровень обученности учителей. Помимо этого, для оценки уровня практических умений и навыков учителей в экспериментальной группе, а так же их готовности к применению автоматизированной системы в профессиональной деятельности был осуществлен итоговый контроль в форме учебного проекта. При выполнении учебного проекта обучаемые самостоятельно проводили корректировку своих обучающих тестов в соответствии с указанным системой направлением корректировки, а также разрабатывали обучающие тесты в соответствии с требованиями к их разработке, а также психолого-педагогических и методических требований к их использованию. Результатами такой работы являются новые обучающие тесты в банке автоматизированной системы, а также описание направления их применения в сфере образования. Каждый разработанный обучающий тест оценивался по 10-ти балльной шкале по параметрам, отражающим требования к их разработке: обучаемый получал до 5 баллов, если обучающий тест соответствовал психолого-педагогическим, методическим требованиям к его качеству, а также до 5 баллов оценивалось содержательное наполнение обучающего теста и качество рекомендаций по применению разработанного теста.

Средний балл, набранный всеми учителями в экспериментальной группе за учебный проект, составил . Количество учителей, получивших за учебный проект более 7 баллов, составило 23 человека из общего количества 27 человек, что составляет 85 % и свидетельствует о достижении большинством учителей эвристического уровня обученности. Для оценки показателя обученности учителей генеральной совокупности на основании проведенного выборочного исследования была рассчитана ошибка репрезентативности выборки и с использованием критерия Стьюдента tтабл вычислена вероятность достижения ими эвристического уровня обученности Pген = Pвыб ± tтабл*mp = 85 % ± 14,1 % на уровне значимости 0,05.

Таким образом, эксперимент показал, что в результате прохождения курса «Автоматизированная оценка качества обучающих тестов» большинство учителей математики достигли необходимого уровня обученности и получили необходимый базовый запас знаний, умений и навыков, необходимый для самообразования в данной области.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

  1. Проведенный анализ научно-методических исследований в области современного состояния, перспектив разработки и использования средств оценивания качества педагогических тестов, реализованных на базе информационных технологий показал, что основная часть разработок в данной области направлена на осуществление автоматизации процесса некоторых промежуточных задач процедуры оценки качества, основанных преимущественно на обработке апостериорных данных, полученных после проведения апробации тестовых материалов на испытуемых. Установлено, что в области обучающего тестирования подобные системы оценки пока не разрабатывались. Выявлена необходимость разработки автоматизированной системы оценки качества обучающих тестов, назначением которой является обеспечение автоматизации деятельности по сбору, обработке и использованию информации в области оценки качества обучающих тестов.
  2. Теоретически обоснован состав параметров характеристик качества обучающего теста и сформулированы требования к их значениям. Для понятий надежности и валидности сделано уточнение их содержания применительно к обучающим тестам и обоснованы соответствующие параметры, отвечающие за уровень и характер усвоения учащимися изучаемого материала: уровень сложности, степень равномерности, уровень альтернативности; а также группа параметров, характеризующих нормативность обучающего теста: уровень свернутости теста, длина, ширина, степень разветвленности и степень направленности теста на обучение. Разработаны требования к значениям этих параметров. В результате проведенного анализа научных исследований в области педагогического тестирования определено содержание понятий «обучающий тест» и «оценка качества обучающего теста».
  3. Сформулированы требования к структуре автоматизированной системы оценки качества обучающих тестов и обоснованы требования к содержательному наполнению модулей автоматизированной системы оценки качества обучающих тестов. Содержательной базой автоматизированной системы являются следующие источники: опубликованные издания, результаты нашего диссертационного исследования, информация экспертов в данной области. Обоснованы требования к функционированию системы, обеспечивающей реализацию следующих действий: ввод-вывод, прием-передача необходимой информации от пользователей и администратора; обеспечение вариативности в наглядном представлении информации; методическая поддержка для использования автоматизированной системы; назначение прав доступа к функциям и ресурсам.

Разработана программная реализация автоматизированной системы оценки качества обучающих тестов, основанная на модульной структуре и функционирующая на базе объектно-ориентированного языка программирования.

4. Разработана структура и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов, состоящая из следующих разделов: основные теоретические подходы к рассмотрению обучающих тестов; параметры качества обучающих тестов и их определение; интерпретация результатов оценки качества обучающих тестов и их анализ для эффективного использования тестов в образовательном процессе; методика работы с автоматизированной системой оценки качества; разработка и оценка качества обучающих тестов на базе автоматизированной системы.

5. Сформулированы требования к уровню обученности учителей математики в области применения автоматизации оценки качества обучающих тестов, определяющие основные: а) знания в области принципов разработки обучающих тестов и параметров, влияющих на качество тестов; б) умения в области разработки обучающих тестов, используя знания о параметрах качества, влияющих на эффективность использования тестов; в) владение навыками оценки качества обучающих тестов на базе автоматизированной системы и использование методических рекомендаций по его улучшению.

6. Разработаны методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов, содержащие: рекомендации по содержательному наполнению обучающих тестов и структурированию заданий в тесте, рекомендации по использованию обучающего теста в зависимости от значений параметров качества, а также описание направлений корректировки разработанных обучающих тестов.

7. Экспериментальная проверка уровня обученности учителей математики в области оценки качества обучающих тестов в условиях использования автоматизированной системы показала, что применение разработанных методических подходов к обучению учителей в рамках данного курса обеспечивает достижение большинством обучаемых (более 70 %) базового уровня обученности в данной области, с чем согласуется расчет репрезентативности выборки Pген = 85 % ± 14,1 % на уровне значимости = 0,05. Изучение данного курса позволило большинству обучаемых получить необходимый запас знаний, умений и навыков в области автоматизации оценки качества обучающих тестов, о чем свидетельствуют результаты педагогического эксперимента. Это позволяет сделать вывод о том, что применение курса позволяет повысить уровень обученности учителей в области оценки качества обучающих тестов по математике на базе автоматизированной системы.

Основное содержание диссертационного исследования отражено в следующих публикациях:

Статьи, опубликованные в ведущих рецензируемых научных журналах, определенных ВАК Минобрнауки РФ

  1. Кокшарова, Е.А. Педагогическая экспертная система как средство оценки качества обучающих тестов / Е.А. Кокшарова // Вестник Челябинского государственного педагогического университета. – 2008. – №12. – Челябинск: 2008. – С. 79 – 86, (0,4).
  2. Кокшарова, Е.А. Адаптация существующих понятий качества теста к обучающим тестам различных видов / Е.А. Кокшарова // Стандарты и мониторинг в образовании. – 2009. – №3. – Москва: 2009. – С. 26 – 29, (0,5).
  3. Кокшарова, Е.А. Выбор критериев эффективности для педагогической экспертной системы, осуществляющей оценку качества обучающих тестов / Е.А. Кокшарова // Вестник Адыгейского государственного университета. – 2009. – №12. – Майкоп: 2009. – С. 64 – 67, (0,2).
  4. Гейн, А.Г., Кокшарова, Е.А. Использование педагогической экспертной системы для оценки качества обучающих тестов / А.Г. Гейн, Е.А. Кокшарова // Информатика и образование. – 2010. – №3. – Москва: 2010. – С. 121 – 123, (0,2).

Статьи, опубликованные в других изданиях

  1. Кокшарова, Е.А. Сравнительный анализ использования педагогической экспертной системы с точки зрения программного обеспечения / Е.А. Кокшарова // Теоретико-методологические основы совершенствования естественнонаучного и технологического образования в основной, средней школе и педвузе: Сб. статей III Всерос. науч. – практ. конф. – Челябинск, 2008. – С. 135 – 137, (0,13).
  2. Кокшарова, Е.А. Исторический обзор тестирования как средства психолого-педагогического измерения / Е.А. Кокшарова // Аспирант и соискатель №3. – Москва, 2008. – С. 57 – 61, (0,4).
  3. Кокшарова, Е.А. Экспертные системы как средство повышения профессиональной компетенции педагога / Е.А. Кокшарова // Педагогические науки №6 (28). – Москва, 2007. – С. 53 – 54, (0,14).
  4. Кокшарова, Е.А. Экспертная система как средство повышения качества образовательного процесса / Е.А. Кокшарова // Искусственный интеллект в XXI веке. Решения в условиях неопределенности: Сб. статей V Всеросс. науч. – технич. конф. – Пенза, 2007. – С. 86 – 87, (0,1).
  5. Кокшарова, Е.А. Информационные технологии как средство повышения качества образовательного процесса / Е.А. Кокшарова // Проблемы образования в современной России и на постсоветском пространстве: Сб. статей X Междунар. науч. – практич. конф. – Пенза, 2007. – С. 398 – 400, (0,1).
  6. Кокшарова, Е.А. Применение информационных технологий как средства личностно-ориентированного подхода в подготовке преподавателей / Е.А. Кокшарова // Технологии совершенствования подготовки педагогических кадров: теория и практика. Выпуск 12: сб. науч. тр. – Казань, 2008. – С. 26 – 28, (0,14).

Опубликованные тезисы конференций

  1. Кокшарова, Е.А. Педагогическая экспертная система управления качеством обучающих тестов / Е.А. Кокшарова // Применение новых технологий в образовании: материалы XX междунар. конф. – Троицк, 2009. – С. 407 – 408, (0,13).
  2. Гейн, А.Г., Кокшарова, Е.А. Проект педагогической экспертной системы оценивания качества обучающих тестов / А.Г. Гейн, Е.А. Кокшарова // Перспективы систем информатики: сб. тезисов VII междунар. конф. памяти акад. А.П. Ершова – Новосибирск, 2009. – С. 37 – 38, (0,12).


 



<
 
2013 www.disus.ru - «Бесплатная научная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.