Методика конструирования тестов для диагностики профессиональных компетенций обучающихся в системе колледж-вуз агропромышленного профиля

На правах рукописи

Белова Галина Михайловна

МЕТОДИКА КОНСТРУИРОВАНИЯ ТЕСТОВ ДЛЯ ДИАГНОСТИКИ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ ОБУЧАЮЩИХСЯ

В СИСТЕМЕ «КОЛЛЕДЖ-ВУЗ» АГРОПРОМЫШЛЕННОГО ПРОФИЛЯ

13.00.08 – теория и методика профессионального образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата педагогических наук

Ижевск 2011

Работа выполнена на кафедре «Профессиональная педагогика»

ГОУ ВПО «Ижевский государственный технический университет»

Научный руководитель -	доктор педагогических наук, профессор Черепанов Вячеслав Сергеевич ГОУ ВПО «Ижевский государственный технический университет» (г. Ижевск)
Официальные оппоненты:	доктор педагогических наук, профессор Овечкин Владимир Петрович ГОУ ВПО «Удмуртский государственный университет» (г. Ижевск) кандидат педагогических наук Масальских Сергей Петрович ГОУ ВПО «Машиностроительный лицей №8» (г. Ижевск)
Ведущая организация -	ФГОУ ВПО «Московский государственный агроинженерный университет имени В.П. Горячкина» (г. Москва)

Защита диссертации состоится 26 марта 2011 г. в 10 часов на заседании диссертационного совета ДМ 212.275.02 по защите докторских и кандидатских диссертаций при ГОУ ВПО «Удмуртский государственный университет» по адресу: 426034 г. Ижевск, ул. Университетская, 1,УдГУ, корпус 1, ауд. 003.

С диссертацией можно ознакомиться в библиотеке Удмуртского государственного университета (г. Ижевск, ул. Университетская,1,УдГУ, корпус 2)

Автореферат диссертации размещен на официальном сайте

http://v4.udsu.ru/science/abstract ГОУ ВПО «Удмуртский государственный университет»

Автореферат разослан « 24 » февраля 2011 г.

Ученый секретарь диссертационного совета кандидат психологических наук, доцент

Э.Р.Хакимов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. В условиях модернизации российского образования главной задачей является повышение качества образования, для чего необходимы систематический анализ объективных данных о результатах обучения учащихся и студентов, преемственность содержания образования по специальности, применение новых технологий диагностики в условиях многоуровневого образования.

Подготовка специалистов в системе «колледж-вуз» в последние годы получила широкое распространение как экономически целесообразная форма обучения в вузе с учетом предшествующего профессионального образования. Это вызвано потребностями общества в специалистах, адаптированных к современным социально - экономическим условиям, умеющих квалифицированно осуществлять профессиональную деятельность, владеть профессиональными компетенциями. Для решения этих задач необходим этап определения исходного уровня предметных знаний, логически предшествующих новым, входящим в цель обучения, и степени сформированности профессиональных компетенций.

Профессиональные компетенции - это способность и готовность применять знания и умения, полученные в процессе обучения при решении профессиональных задач, готовность к изменяющимся условиям рынка труда. Компетентность, как сложное и интегрированное качество личности, трудно поддается измерению. Однако отдельные её составляющие могут быть измерены. В качестве средств измерения уровня профессиональных компетенций можно использовать интегративные тесты, позволяющие оценить степень подготовленности выпускников. В этой связи разработка методики конструирования тестов для диагностики профессиональных компетенций обучающихся в системе непрерывного профессионального образования приобретает особую актуальность.

В ходе анализа научно - педагогической литературы установлено, что в контексте рассматриваемой темы выполнен ряд исследований:

• по обоснованию необходимости непрерывного образования и проблемам взаимодействия среднего и высшего профессионального образования (С.Я. Батышев, А.В. Владиславлев, М.И. Махмутов, Г.М. Романцев и др.);

• по стандартизации в профессиональном образовании и разработке дидактических средств (В.И. Байденко, Н.А. Селезнева, В.М. Соколов, А.И. Субетто и др.);

• по теории и практике проектирования педагогических систем (С.И. Архангельский, В.П. Беспалько, А.А. Кирсанов и др.);

• по формированию содержания образования, вопросов отбора, структурирования и анализа учебного материала (В.В. Краевский, В.С. Леднев, И.Я. Лернер, М.Н. Скаткин и др.);

• по оценке качества образования на основе компетентностного подхода (В.И. Байденко, И.Г. Галямина, Э.Ф. Зеер, И.А. Зимняя, Я.И. Кузьминова, Ю.Г. Татур, А.В. Хуторской, В.Д. Шадриков, и др.).

Однако остаются неразработанными вопросы организации, содержания и методики диагностики профессиональных компетенций специалистов в сельскохозяйственной сфере, в том числе в образовательных структурах типа « колледж-вуз» агропромышленного профиля.

В процессе исследования выявлены некоторые противоречия:

1) между сложившейся системой подготовки студентов технических специальностей агропромышленного профиля, не учитывающей компетентностную парадигму образования, с одной стороны, и требованиями государственных образовательных стандартов в период перехода к компетентностной модели образования, с другой стороны;

2) между необходимостью диагностики профессиональных компетенций будущих специалистов агропромышленного профиля и неразработанностью методики оценивания профессиональных компетенций обучающихся в системе «колледж-вуз» сельскохозяйственного направления.

Данные противоречия обусловили проблему исследования: какова должна быть методика диагностики профессиональных компетенций обучающихся по направлению «Агроинженерия»?

Актуальность проблемы и ее практическая значимость определили тему исследования: «Методика конструирования тестов для диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» агропромышленного профиля».

Объект исследования - процесс профессиональной подготовки обучающихся по направлению «Агроинженерия».

Предмет исследования – методика конструирования тестов для диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» агропромышленного профиля.

Целью исследования является разработка методики конструирования тестов для диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» агропромышленного профиля; теоретическое обоснование и экспериментальная проверка её эффективности.

Ключевые понятия исследования:

профессиональные компетенции обучающихся в системе «колледж-вуз» агропромышленного профиля – способность и готовность применять знания и умения, полученные в процессе обучения в системе «колледж-вуз» при решении профессиональных агроинженерных задач, адаптированность к изменяющимся условиям рынка труда в сельскохозяйственной отрасли;

интегративный учебный тезаурус электротехнических дисциплин – тезаурус, включающий в себя учебные элементы изучаемых дисциплин, в соответствии с профилем обучения в системе СПО и ВПО;

профессионально-ориентированные тестовые задания - междисциплинарные задания, составленные на основе интегративных тезаурусов изучаемых дисциплин, базирующиеся на содержании ГОС по нескольким ключевым специальным дисциплинам и ориентированные на профессиональную деятельность специалиста.

Гипотеза исследования состоит в том, что оценка профессиональных компетенций обучающихся в системе «колледж-вуз» будет валидной и объективной, если использовать тесты, методика конструирования которых предусматривает:

а) обоснование схемы диагностики, алгоритмизацию и использование метода групповых экспертных оценок;

б) выявление адаптивной и вариативной составляющих интегративного тезауруса в соответствии с направлением подготовки и с учетом преемственности обучения в системе «колледж-вуз» агропромышленного профиля; обоснование целесообразности использования интегративного тезауруса для определения содержательной области диагностики профессиональных компетенций в системе «колледж-вуз»;

в) создание таксономической модели уровней сформированности профессиональных компетенций;

г) обоснование структуры теста в зависимости от вида контроля обучающихся в системе «колледж-вуз».

В соответствии с объектом, предметом, целью и гипотезой были определены следующие задачи исследования:

1) разработать и обосновать методику диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» с учетом преемственности обучения;

2) разработать методику отбора и структурирования диагностируемого материала на основе интегративного учебного тезауруса методом групповых экспертных оценок;

3) создать таксономическую модель уровней сформированности профессиональных компетенций обучающихся в системе «колледж-вуз»;

4) сконструировать профессионально-ориентированные тесты для оценки сформированности профессиональных компетенций обучающихся в системе «колледж-вуз» сельскохозяйственного направления и экспериментально проверить эффективность предложенной методики конструирования тестов при изучении электротехнических дисциплин.

Методологической основой исследования является системный подход и принципы преемственности, идеи педагогической квалиметрии.

Теоретическую основу исследования составили:

• основные положения теории содержания непрерывного профессионального образования (С.Я. Батышев, П.Ф. Кубрушко, В.С. Леднев, А.М. Новиков, И.П. Смирнов, Е.В. Ткаченко, В.А. Федоров и др.);

• теоретические идеи педагогической квалиметрии; таксономический и тезаурусный подходы (А.С. Казаринов, М.В. Кларин, Н.И.Максимов, В.П. Мизинцев, А.А. Мирошниченко, В.И. Михеев,Т.А. Снигирева, А.И. Субетто, Л.Т. Турбович, В.С. Черепанов и др.);

• положения педагогической тестологии (В.С. Аванесов, В.П. Беспалько, Е.А. Михайлычев, Ю.М. Нейман, В.А. Хлебников, М.Б. Челышкова, А. Бирнбаум, Б. Блум, Р. Гагне, К. Ингенкамп, Г. Раш и др.);

• идеи компетентностного подхода (В.И. Байденко, И.А. Зимняя, Ю.Г. Татур, В.Д. Шадриков, А.И.Субетто, О.Ф. Шихова и др.).

Для решения поставленных задач и проверки гипотезы применялись следующие методы исследования:

• теоретические – изучение и анализ педагогической, научно-методи-ческой и специальной литературы по проблеме исследования, анализ государственных образовательных стандартов, программ и методических материалов; обобщение, систематизация, синтез, моделирование;

• эмпирические – методы педагогической диагностики: опрос, тестирование, анкетирование, метод групповых экспертных оценок; педагогический эксперимент; методы математической статистики при обработке результатов эксперимента и их анализе.

Экспериментальная база исследования. ФГОУ ВПО «Ижевская государственная сельскохозяйственная академия» (факультет непрерывного профессионального образования); ФГОУ СПО «Глазовский технический колледж»; ФГОУ СПО «Асановский аграрно-технический техникум»; ФГОУ СПО «Сарапульский техникум машиностроения и информационных технологий»; ФГОУ СПО «Ижевский государственный политехнический техникум».

Этапы исследования.

Первый этап (2002-2004 гг.) – теоретический. Проводился анализ научно-педагогической литературы по проблеме диагностики в системе непрерывного профессионального образования.

Второй этап (2004-2006 гг.) – исследовательский. Разрабатывались таксономическая, информационно-семантическая модели и модель диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» агропромышленного профиля; была создана методика конструирования тестовых измерителей для диагностики профессиональных компетенций обучающихся.

Третий этап (2006-2010 гг.) – заключительный. Проводилась проверка эффективности разработанной методики в учебном процессе. Осуществлялись анализ и обобщение результатов исследования. Формулировались выводы.

Научная новизна результатов заключается в том, что:

1) разработаны и обоснованы схема и алгоритм методики диагностики, позволяющие создавать профессионально-ориентированные тесты в системе «колледж-вуз»;

2) предложена структура интегративного тезауруса учебной дисциплины вуза, включающего в себя:

· адаптивную часть, учитывающую преемственность обучения в системе «колледж-вуз» агропромышленного профиля;

· вариативную часть, учитывающую направление подготовки обучающихся в системе «колледж-вуз» агропромышленного профиля.

Разработана методика определения содержательной области диагностики

профессиональных компетенций на основе интегративного тезауруса.

3) предложена таксономическая модель уровней сформированности компетенций обучающихся, соотнесенная с их содержанием;

4) обоснована структура теста для диагностики профессиональных компетенций, зависящая от вида контроля обучающихся в системе «колледж-вуз».

Теоретическая значимость исследования.

• уточнено содержание понятий «профессиональные компетенции», «интегративный учебный тезаурус», «профессионально-ориентированные тестовые задания» применительно к системе «колледж-вуз» агропромышленного профиля, что способствовало расширению категориального аппарата педагогической науки; • обоснована структура, содержание и формы тестовых заданий для диагностики профессиональных компетенций студентов сельскохозяйственного вуза, что вносит вклад в теорию профессионального образования;

• научно обоснована методика разработки интегративного тезауруса как основы определения содержательной области теста для диагностики сформированности профессиональных компетенций студентов сельскохозяйственного вуза.

Практическая значимость исследования определяется тем, что:

• разработанная методика конструирования тестов для диагностики профессиональных компетенций применительно к изучаемым дисциплинам в системе «колледж-вуз» на основе интегративного тезауруса с учетом направления подготовки используется в учебном процессе ряда учебных заведений Удмуртской Республики (факультет непрерывного профессионального образования ФГОУ ВПО Ижевская ГСХА, ФГОУ СПО «Глазовский технический колледж»; ФГОУ СПО «Асановский аграрно-технический техникум»; ФГОУ СПО «Сарапульский техникум машиностроения и информационных технологий»; ФГОУ СПО «Ижевский государственный политехнический техникум») для специальностей - 110301 «Механизация сельского хозяйства».

• подготовленные по результатам исследования методические пособия и дидактические материалы применяются в учебном процессе ряда образовательных учреждений Удмуртской Республики сельскохозяйственного направления, а также могут быть использованы при создании аналогичных разработок по другим отраслевым специализациям сельскохозяйственного профиля.

Достоверность и обоснованность полученных в исследовании результатов обеспечиваются методологической аргументированностью исходных теоретических положений, выбором методов исследования, соответствующих его цели и задачам, проведением научных исследований в единстве с практической деятельностью; опытно-экспериментальной проверкой, показавшей эффективность предлагаемой методики конструирования тестов для диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» агропромышленного профиля.

Основные положения, выносимые на защиту:

1. Схема методики диагностики профессиональных компетенций включает в себя три группы характеристик:

I – структурирующая, учитывает: требования государственных образовательных стандартов СПО и ВПО по соответствующей учебной дисциплине и их программы; таксономическую модель уровней обученности и типологию профессиональных компетенций (табл.1);

II – диагностирующая, отражает процедуру диагностики профессиональных компетенций: определение содержательной области диагностики на основе интегративного тезауруса с учетом типологии профессиональных компетенций; разработку тестовых измерителей для входного, текущего и итогового видов контроля с учетом целей диагностики;

III – управляющая и корректирующая, дополняет и связывает все элементы методики диагностики профессиональных компетенций. Степень корректировки зависит от результатов оценки сформированности профессиональных компетенций.

2. Интегративный тезаурус изучаемых дисциплин, состоящий из сопряженных адаптивной и вариативной частей, дал возможность определить наиболее значимые классы дескрипторов электротехнических дисциплин для каждой категории обучающихся в системе «колледж-вуз» и содержательную основу тестовых измерителей для выявления их профессиональных компетенций.

3. Разработана методика конструирования тестов для диагностики профессиональных компетенций, отличие которой от существующих заключается, во-первых, в обосновании таксономической модели профессиональных компетенций обучающихся в компетентностном формате с учетом ФГОС; во-вторых, в разработке интегративного учебного тезауруса изучаемых дисциплин (на примере электротехнического профиля) для определения содержательной области теста; в-третьих, в использовании профессионально-ориентированных тестов как для обучения, так и для педагогического контроля.

4. Методика диагностики профессиональных компетенций способствует развитию общетехнических, общепрофессиональных, специальных компетенций обучающихся, если она разрабатывается с учетом межпредметных связей; повышает роль самостоятельной работы и мотивации за счет использования комплекта профессионально-ориентированных тестовых заданий.

Апробация результатов исследования. Основные положения и результаты исследования докладывались и обсуждались на конференциях разного уровня: международной («Инновационные процессы в сфере образования и проблемы повышения подготовки специалистов»), всероссийской («Научное обеспечение инновационного развития АПК», региональной («Инновации в профессиональном и технологическом образовании: квалиметрия, деонтология, тестология» научно-практических (г. Ижевск 2005-2010гг.). Основные положения и выводы настоящего диссертационного исследования докладывались и обсуждались на ежегодных семинарах, проходивших в ГОУ ВПО «Ижевский государственный технический университет» на кафедре профессиональной педагогики (2004-2010 гг.).

Исследование проводилось в рамках плана научно-исследовательской программы Уральского отделения РАО по комплексной программе «Образование в Уральском регионе: научные основы развития и инноваций» на 2006-2010 гг. (раздел 3 «Организация и развитие профессиональных образовательных систем», п.3.24).

Результаты исследования используются в учебном процессе ряда учебных заведений Удмуртской Республики и в ГОУ ВПО «Мордовский государственный университет им. Н.П. Огарева».

Структура и объем диссертации. Работа состоит из введения, двух глав,

выводов, заключения, библиографического списка, включающего 150 источников, приложений; содержит 21 таблицу и 14 рисунков.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность проблемы исследования, сформулированы его цель, объект, предмет, гипотеза и задачи исследования, раскрыты методологические и теоретические основы, показана научная новизна и практическая значимость работы, выделены этапы исследования, изложены основные положения, выносимые на защиту.

В первой главе «Методологические основы профессиональной подготовки студентов технического профиля» рассмотрены цели и задачи непрерывного профессионального образования, проанализированы дидактические принципы педагогического контроля, раскрыто содержание понятия «профессиональные компетенции», описано разнообразие таксономических моделей в педагогике, обозначены проблемы отбора содержания и структурирования учебного материала.

В настоящее время система непрерывного образования выступает в качестве объекта целенаправленного изучения, прогнозирования и управления (Г.А. Бордовский, А.А. Вербицкий, А.В. Владиславлев, В.В. Карпов, М.Л. Левицкий и др.) по двум причинам: во-первых, информация, знания, а также мотивация к их постоянному обновлению и навыки, необходимые для этого, становятся решающим фактором развития общества и с этой точки зрения востребованы им; во-вторых, требования конкурентоспособности и эффективного трудоустройства понятны большинству граждан и являются мотивом для их образования.

Профессиональное образование предусматривает формирование личности, способной к эффективной реализации себя в сфере будущей профессиональной деятельности, к осуществлению и выполнению полного спектра профессиональных функций. Различные концепции непрерывного профессионального образования рассмотрены в работах С.Я. Батышева, В.С. Безруковой, Ю.А. Кустова, А.М. Новикова, Г.М. Романцева, Е.В.Ткаченко и др.

В настоящее время в России сложилась определенная система учреждений профессионального образования разного уровня: начального (ПТУ, лицей), среднего (техникум, колледж) и высшего (институты, академии, университеты).

В Государственных образовательных стандартах высшего профессионального образования нового поколения требования к профессии превращаются в своего рода «пакеты компетенций» (В.И. Байденко), а на рынке труда востребованы не сами по себе знания, а способность выполнять определенные функции. Компетентностный подход призван решить ряд проблем в образовательном процессе, которые на основе существующих в практике профессионального образования технологий до сих пор остаются нерешенными.

Вместе с тем, как показал анализ литературных источников, компетентностный подход углубляет и расширяет знаниевый подход. Он более соответствует условиям рыночной экономики, так как предполагает ориентацию на формирование и развитие универсальных способностей (ключевых компетенций) с учетом рыночных отношений. Обращение к оценке качества образования через понятие «компетенция» означает, что образование тесно связывается с трудовой деятельностью.

Задачи деятельности выпускника требуют от него обладания определенными компетенциями, основанными на знаниях и умениях, которыми выпускник может овладеть при изучении конкретных циклов дисциплин. Социально-личностные, экономические и организационно-управленческие, профессиональные (общенаучные, общепрофессиональные и специальные) компетенции служат фундаментом, позволяющим выпускнику гибко ориентироваться на рынке труда. Структурная схема компетенций специалиста с высшим образованием представлена на рисунке 1.

Рис.1. Структурная схема владения компетенциями агроинженера в системе «колледж-вуз»

Концепция непрерывного профессионального образования является научной основой проектирования методики диагностики профессиональных компетенций на различных этапах обучения в учреждениях профессионального образования разного уровня. Проблемы педагогического контроля, его основные функции, дидактические принципы, преимущества и недостатки различных его видов и форм, педагогические аспекты оценивания знаний обучающихся рассматриваются в исследованиях таких ученых, как В.С. Аванесов, В.П. Беспалько, З.Д. Жуковская, Г.А. Клюева, Е.А. Михайлычев, В.М. Соколов, Н.А. Селезнева, Ю.Г.Татур, Н.Ф. Тылызина, Т.И.Шамова и др.

В работе обоснована целесообразность использования для диагностики общенаучных, общепрофессиональных, специальных компетенций тестовых технологий оценивания. Анализ работ, посвященных проблемам тестирования (В.С. Аванесова, А.Н. Майорова, А.А. Макарова, Ю.М. Неймана, А.И. Самыловского, В.А. Хлебникова, М.Б. Челышковой, К. Ингепкампа и др.) позволил сделать вывод, что для целей диагностики уровня сформированности общенаучных, общепрофессиональных, специальных компетенций обучающихся следует использовать профессионально-ориентированные тесты. В качестве критерия может выступать уровень сформированности профессиональных знаний и умений, составляющих основу компетенций. Применение тестов в оценивании уровня компетенций выпускников вузов вызывает определенные сложности, поскольку компетенции являются многоплановыми характеристиками качества подготовки, которые трудно в полной мере стандартизировать. Компетенции нельзя рассматривать только как сумму предметных знаний и умений, которые, как правило, носят межпредметный характер. Для оценки компетенций целесообразно использовать междисциплинарные тесты, нацеленные на обобщенную итоговую диагностику. При конструировании тестов такого типа приобретают важность вопросы правильного отбора контролируемого содержания и корректного отображения этого содержания в тестовых заданиях.

Вопросам структурирования, отбора и анализа учебной информации посвящены работы Т.В. Машаровой, А.А. Мирошниченко, А.М. Сохора и др. В последнее время структурирование учебного материала стало проводиться на основе информационно-семантической модели обучения с использованием понятия учебного тезауруса (Ю.Н. Семин, Т.А. Снигирева и др.).

Для определения содержательной основы тестов перспективно использование интегративного тезауруса, разработанного на основе метода групповых экспертных оценок (А.С. Казаринов, В.С. Черепанов). Вместе с тем, как показал анализ литературных источников, вопросы по определению содержательной основы тестов для диагностики профессиональных компетенций недостаточно разработаны.

Во второй главе «Научно-практические основы разработки методики диагностики профессиональных компетенций в системе «колледж-вуз» агропромышленного профиля» приводятся: таксономическая модель уровней сформированности профессиональных компетенций; обоснование основных теоретических и практических положений определения содержательной области диагностики на основе интегративного тезауруса дисциплины; разработан алгоритм методики диагностики профессиональных компетенций обучающихся в системе «колледж – вуз» агропромышленного профиля.

Формирование национальной системы оценки качества образования в России предполагает развитие новых педагогических технологий, так называемых квалитативных технологий, разработанных на основе квалиметрического и тезаурусного подходов и включающих в себя диагностику профессиональных компетенций. Кроме того возникает необходимость в разработке методики диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» (Рис.2). Разработанная методика включает в себя три группы характеристик. I – структурирующая, учитывает:

• требования государственных образовательных стандартов СПО и ВПО по соответствующей учебной дисциплине и их программы;

• таксономическую модель уровней обученности и типологию профессиональных компетенций (табл.1);

• учебные тезаурусы изучаемых учебных дисциплин, разработанные методом групповых экспертных оценок на основе таксономических моделей;

• интегративный тезаурус.

II – диагностирующая, отражает процедуру диагностики профессиональных компетенций:

• определение содержательной области диагностики на основе интегративного тезауруса с учетом типологии профессиональных компетенций;

• разработку тестовых измерителей для входного, текущего и итогового видов контроля с учетом целей диагностики;

• учет уровней сформированности общенаучных и общепрофессиональных компетенций, полученных в СПО (стартовые компетенции);

• определение общепрофессиональных и специальных компетенции с использованием профессионально - ориентированных тестов при текущем и итоговом контроле.

III – управляющая и корректирующая, дополняет и связывает все элементы методики диагностики профессиональных компетенций. Степень корректировки зависит от результатов оценки сформированности профессиональных компетенций.

Рис 2. Схема методики диагностики профессиональных компетенций

обучающихся в системе «колледж-вуз» агропромышленного профиля

Таблица 1. Таксономическая модель уровней сформированности компетенций

обучающихся (на примере курса электротехники в системе «колледж-вуз»)

№ п/п	Уровни сформированности компетенций	Содержание уровней компетенций	Уровни обученности	Содержание уровней обученности
1.	Минимально допустимый	Характеризуется знанием дескрипторов адаптивной части тезауруса электротехники и отсутствием знаний о действиях, относящихся к реализации профессиональных функций агроинженера (компетенция – знание)	1-й - уровень узнавания и представления	Репродуктивный, с подсказкой: предусматривает узнавание объектов, законов и формул, свойств, методов; знание констант и основных табличных данных по электротехнике
2.	Базовый	Предполагает наличие знаний о действиях, необходимых для выполнения профессиональных задач, способность и готовность использовать навыки расчета электрических цепей, электрических машин и аппаратов на основе знаний законов электротехники, умение разрабатывать и использовать графическую техническую документацию, владение стандартными программами для расчетов электрических цепей (компетенция – способность)	2-й - уровень репродук- тивного воспроизведения	Уровень репродуктивного воспроизведения знаний, который предусматривает умение формулировать и классифицировать понятия; давать качественную и количественную оценку электрических явлений; воспроизводить основные формулы по памяти; проводить типовые расчеты
3.	Продвинутый	Характеризуется осознанностью выполняемых действий, способностью и готовностью использовать навыки проведения измерительного эксперимента, готовностью к использованию методов анализа и синтеза электрических цепей и устройств; способностью решать общеинженерные задачи (например, диагностика электрических систем автомобильных двигателей) (компетенция – готовность)	3-й - уровень продуктив- ной деятельности	Уровень продуктивной деятельности предполагает применение знания законов, свойств, явлений в практических условиях; решение задач, требующих аналитического мышления, умения самостоятельно разрабатывать алгоритм, использовать межпредметные связи, например, при расчете режимов электрических цепей разного назначения
4.	Углубленный	Предполагает устойчивую мотивацию к совершенствованию своей деятельности, обобщению опыта, к творческому исполнению своих функций агроинженера, способность выполнять операции контроля качества (компетенция – соответствие)	4-й - уровень творческой деятельности	Продуктивная творческая деятельность на любом множестве объектов путем самостоятельного конструирования новой программы деятельности, в этом случае добывается объективно новая информация.

При составлении интегративного учебного тезауруса по курсу электротехники учитывались особенности субъекта диагностики – обучающегося в системе «колледж-вуз», который на момент обучения в вузе обладает тезаурусом личности, характеризующимся определенным уровнем семантического содержания тезауруса электротехники для СПО.

Процесс обучения по дисциплине интерпретируется как расширение тезауруса личности обучающегося за счет усвоения учебного тезауруса курса электротехники для ВПО (рис.3).

Рис.3. Информационно-семантическая модель диагностики уровней

сформированности стартовых профессиональных компетенций

обучающихся в системе «колледж-вуз»

Методика конструирования тестов для диагностики профессиональных компетенций включает в себя:

- анализ содержания учебной дисциплины и отбор содержания, которое будет включено в тест;

- разработку тестовых заданий;

- анализ заданий и их компоновку в систему, представляющую собой тест;

- установление стандартов выполнения теста.

Тест для диагностики профессиональных компетенций междисциплинарный профессионально-ориентированный, каждое задание теста базируется на содержании ФГОС по нескольким учебным дисциплинам и ориентировано на профессиональную деятельность специалиста.

При разработке профессионально-ориентированных тестов для оценки сформированности профессиональных компетенций методика анализа учебной дисциплины имеет определенную специфику. В настоящем исследовании для структурирования и отбора содержания использовался интегративный тезаурус, разработанный методом групповых экспертных оценок. Рабочая группа на основе анализа тезаурусов электротехники для СПО и ВПО выделила адаптивную часть информационно-семантической структуры интегративного учебного тезауруса и организовала ее экспертизу. При обработке заполненных экспертами (преподавателями курса электротехники вуза и техникумов) анкет была определена коллективная экспертная оценка дескрипторов. На основе анализа учебного тезауруса электротехники и тезаурусов ряда специальных дисциплин («Тракторы и автомобили», «Надежность и ремонт», «Эксплуатация машинно-тракторного парка», «Техническая эксплуатация автотранспортных средств») рабочая группа выделила вариативную часть интегративного тезауруса. В экспертизе приняли участие преподаватели курса электротехники и специальных дисциплин ИжГСХА. По результатам экспертизы был построен интегративный учебный тезаурус курса электротехники. В интегративном тезаурусе курса электротехники вуза (462 дескриптора) были выделены: адаптивная часть – дескрипторы, изучаемые в курсе электротехники СПО (265 дескрипторов) и вариативная часть – дескрипторы, которые используются при изучении специальных дисциплин ВПО (197 дескрипторов). Структура интегративного тезауруса зависит от направления подготовки.

Анализ интегративного тезауруса показал, что 57 % дескрипторов электротехники, изучаемых в ИжГСХА, ранее изучались студентами в колледже. Они составляют содержательную область теста для входного контроля. Дескрипторы вариативной части интегративного тезауруса электротехники для ВПО диагностировались тестами для текущего и итогового контроля.

Определение содержательной основы диагностики профессиональных компетенций зависит от вида контроля. Для определения стартового уровня профессиональных компетенций при изучении курса электротехники проводился отбор из адаптивной части интегративного тезауруса курса электротехники дескрипторов, базирующихся на дескрипторах физики и математики.

Таблица 2. Анкета по отбору учебного материала для диагностики

сформированности общенаучных компетенций при изучении курса

электротехники (фрагмент)

Дескрипторы электротехники	УК	Дескрипторы физики, на которых базируются дескрипторы электротехники	УК	Дескрипторы математики, на которых базируются дескрипторы электротехники	УК
Метод контурных токов		Законы Кирхгофа Электрическая мощность		Система линейных уравнений Определители Правило Крамера
Резонанс токов		Индуктивность и емкость Колебательный контур Резонансная частота		Решение квадратного уравнения Комплексные числа Сложение векторов

УК – уровень компетенций

При разработке профессионально-ориентированных тестов для текущего и итогового контроля из вариативной части интегративного тезауруса отбирались дескрипторы специальных дисциплин, базирующиеся на дескрипторах электротехники.

При обработке анкет определялись частотные и весовые коэффициенты и рейтинг дескрипторов.

Частота использования i-го дескриптора дисциплины определялась по формуле: i = ni / (N-1), (1)

где N – общее число экспертов; ni – число экспертов, высказавшихся за включение i-го дескриптора по дисциплине в тест (i =1, … m, m – число дескрипторов).

Экспертным путем устанавливались коэффициенты значимости уровней профессиональных компетенций. В рамках 3-х уровневой модели они равны: К1 = 0,1; К2 = 0,3; К3 = 0,6.

После определения значений i вычислялись весовые коэффициенты дескрипторов Vi по формуле:

Vi = i Si / S, (2)

где S= Si - общая сумма оценок всех дескрипторов; Si=Sij- сумма оценки i- го дескриптора всеми ni экспертами.

Погрешность коллективной экспертной оценки при определении уровней компетенций (УК) дескрипторов составила 15% при значении доверительной вероятности 0,9. Нормированные значения весовых коэффициентов дескрипторов, учитывающие частоту их использования, уровень усвоения, установленный экспертами, и коэффициенты компетентности экспертов, получились в диапазоне (0,1;0,4).

В основе методики разработки тестов для диагностики сформированности профессиональных компетенций лежит спецификация теста, которая представляет собой набор описательных схем, позволяющих установить соответствие между ТЗ и областью содержания теста.

Спецификация теста для диагностики сформированности профессиональных компетенций включала в себя:

- общее описание теста;

- характеристику таксономической модели уровней сформированности профессиональных компетенций (табл.1);

- характеристику содержания ТЗ, соответствующего интегративному тезаурусу дисциплины;

- план теста;

- характеристику форм ТЗ и примеры инструкций к ним;

- классификацию учебных целей, учитываемых при разработке ТЗ различных уровней компетенций и примеры перехода от содержания профессиональных компетенций к формулировке ТЗ;

- рейтинг ТЗ.

В план теста включались дескрипторы с наибольшими весовыми коэффициентами. План представляет собой матрицу, в которой на одной оси расположены содержательные структуры, а на другой – уровни требований к сформированным профессиональным компетенциям. Число заданий, выделяемых для проверки единицы структуры профессиональных компетенций на требуемом уровне сформированности (Li), зависит от её важности в изучении дисциплины (весового коэффициента Vi ).

Li = Vi Ls (3)

Общее число ТЗ (Ls) определялось временем тестирования (тест для определения профессиональных компетенций студентов был рассчитан на два академических часа). При выявлении экспертным путем среднего времени на выполнение одного ТЗ для каждого уровня сформированности, определялось общее число заданий в тесте.

Таблица 3. План итогового теста для диагностики профессиональных

компетенций обучающихся в системе «колледж-вуз»

Дескрипторы вариативной части интегративного тезауруса ЭТ	Дескрипторы специальных дисциплин, опирающихся на ЭТ	Весовой коэффициент	Число ТЗ Li	Форма ТЗ	Уровни компетенций
					1	2	3
Машины постоянного тока	Электрооборудование тракторов и автомобилей (стартер, регуляторы дискретного действия для регулирования генераторов постоянного тока)	0,20	10	Тем,С,З.	4	4	2
Машины переменного тока	Электрооборудование тракторов и автомобилей (генераторы переменного тока с электромагнитным возбуждением)	0,30	15	Сит, Тем, З, С	5	7	3
	Комплексная диагностика бензиновых двигателей с контактной системой зажигания
Асинхронные двигатели	Электропривод транспортеров, кормоприготовительных машин, кормораздатчиков, электростригальных агрегатов	0,10	5	З,Тем	1	3	1
Основы электроники (полупроводниковые диоды, стабилитроны, транзисторы, тиристоры,)	Электрооборудование тракторов и автомобилей (регуляторы напряжения, системы зажигания, системы электроснабжения и пуска тракторов и автомобилей)	0,40	20	Тем, Сит, З, С, П	6	10	4
Итого		1	50		16	24	10

Для диагностики профессиональных компетенций использовались как традиционные формы тестовых заданий: открытая (От.), закрытая (З), на соответствие (С), на установление правильной последовательности (П), так и тематические (Тем) и ситуационные (Сит) задания.

Требования к составлению заданий в тестовой форме для диагностики уровней обученности сформулированы в работах В.С.Аванесова, М.Б.Челышковой и др. Отличие тестовых заданий, предназначенных для диагностики уровней профессиональных компетенций при изучении электротехники, заключается в том, что содержательная основа задания формулируется с учетом дескрипторов специальных дисциплин, базирующихся на курсе ЭТ, или задач профессиональной деятельности. Такой подход позволяет оценить способность и готовность обучающихся применять знания курса электротехники для решения профессиональных задач. Варианты ответов формулируются на основе дескрипторов ЭТ. При формулировке тестовых заданий была предусмотрена возможность получения в ответах студентов исчерпывающей информации как о уровне приобретенных и усвоенных знаний компетенций, так и о способности и готовности оперировать ими, об овладении логическими приемами мышления (анализа и синтеза, доказательства, аналогий и противопоставления, индукции и дедукции и др.). С этой целью разрабатывались задания для диагностики второго и третьего уровней сформированности компетенций, приведенные в табл.1.

Первоначальный анализ качества тестовых заданий проводился экспертными методами.

Тест для входного контроля состоял из трёх частей: 1) задания для оценки стартовой компетенции, которые выявляют способность студентов применять знания электротехники, полученные в СПО, для решения профессиональных задач; 2) задания для оценки сформированности общенаучных компетенций, проверяющие способность студентов применять знания физики и математики для решения электротехнических задач; 3) задания для оценки уровня подготовки студентов по отдельным модулям курса электротехники – всего 30 заданий.

Тест для итогового контроля состоял из 50 профессионально - ориентированных заданий.

Педагогический эксперимент проводился в три этапа:

Первый этап – подготовительный. 1) этап организации экспертизы диагностики профессиональных компетенций. Оптимальная численность экспертной группы, определенная из условия обеспечения доверительной вероятности = 0,9, составила 14 человек. С учетом того, что на разных этапах эксперимента в экспертизе участвовали представители разных блоков дисциплин, в экспертную группу было включено 21 человек (по 7 представителей от фундаментальных, обще профессиональных и специальных дисциплин). 2) конструирование тестов для диагностики профессиональных компетенций и разработка методического обеспечения.

Второй этап – диагностирующий. Проведение входного контроля – определение стартового уровня общенаучных, общепрофессиональных компетенций в системе «колледж-вуз». Корректировка учебных программ, организация самостоятельной работы студентов по разработанному методическому обеспечению для ликвидации пробелов в профессиональных компетенциях.

Применение профессионально-ориентированных тестов для текущего контроля сформированности профессиональных компетенций. Повышение мотивации к изучению дисциплины. Итоговый контроль сформированности профессиональных компетенций.

Третий этап – заключительный. Анализ полученных результатов. Оценка динамики в структуре профессиональных компетенций.

Для проведения эксперимента из общего числа случайно отобранных студентов факультета непрерывного профессионального образования Ижевской ГСХА выпускников «Глазовского технического колледжа», «Асановского аграрно-технического техникума», «Сарапульского техникума машиностроения и информационных технологий», «Ижевского государственного политехнического техникума» и др. по специальности – «Механизация сельского хозяйства» были сформированы контрольная и экспериментальная группы по 100 человек в каждой. Для оценки однородности выборок контрольной и экспериментальной групп на начало эксперимента использовались результаты экзамена по электротехнике, проводимого в колледжах. Обучение в контрольной группе проводилось по типовой программе курса, а в экспериментальной – с корректировкой типовой программы с учетом результатов входного контроля и применением в процессе обучения профессионально - ориентированных тестов для текущего контроля. Результаты входного контроля экспериментальной группы при изучении электротехники в Ижевской государственной сельскохозяйственной академии представлены на рис.4.

Рис.4. Результаты усвоения модулей курса электротехники студентами

экспериментальной группы при входном контроле

Как видно из диаграммы (рис.4.), низкая базовая подготовка студентов выявилась по следующим модулям курса электротехники «Цепи постоянного тока» (М1) и «Однофазные цепи» (М2), «Синхронные машины» (М8).

По результатам диагностики была проведена корректировка рабочей программы курса электротехники и календарно-тематического плана, разработано методическое обеспечение курса, позволяющее организовать дифференцированное обучение студентов, была организована обратная связь с преподавателями курса электротехники СПО, изданы методические материалы для самоподготовки к входному контролю с целью ликвидации выявленных пробелов в знаниях.

При анализе результатов входного контроля студентов экспериментальной группы при изучении курса электротехники выявилось, что 46,7 % дескрипторов, изучаемых ранее в СПО, усвоены большинством студентов (более 2/3) и в повторении не нуждаются. В результате появилась возможность в условиях дефицита времени организовать обучение студентов на более высоком продуктивном уровне. Стартовый уровень общенаучных и обще профессиональных компетенций находился в пределах 50–70 %. Полученные матрицы тестовых результатов обрабатывались с использованием программы RLATENT и электронной таблицы приложения Microsoft Excel. Результаты итогового контроля после изучения полного курса электротехники за 2008-2009 учебный год представлены на рис. 5.

Рис. 5. Результаты итогового контроля по курсу электротехники

Достоверность результатов эксперимента определялась на основании критерия Пирсона (2). Результаты вычислений подтвердили нашу гипотезу на уровне значимости не менее 0,05 о том, что применение предлагаемой методики диагностики профессиональных компетенций дает повышение качества подготовки специалистов агропромышленного профиля в системе непрерывного профессионального образования по электротехническим дисциплинам.

Таким образом, считаем, что в ходе опытно-экспериментальной работы подтверждена гипотеза, достигнута цель и решены задачи представленного диссертационного исследования.

В целом проведенная опытно – экспериментальная работа по методике конструирования тестов для диагностики профессиональных компетенций позволила в заключение сделать следующие выводы:

1. Разработанная с позиции квалиметрического подхода методика диагностики общенаучных, общепрофессиональных, специальных компетенций включает в себя следующие этапы: подготовительный (определение необходимых профессиональных компетенций, реализуемых в системе «колледж-вуз»); определение структуры интегративного тезауруса изучаемых дисциплин; отбор и структурирование диагностируемого материала с учетом таксономической модели обучения; конструирование тестов для оценки сформированности профессиональных компетенций в соответствии со структурой интегративного тезауруса и таксономической моделью профессиональных компетенций; диагностика сформированности профессиональных компетенций и обработка резуль-

татов эксперимента.

2. Определение содержательной области диагностики профессиональных компетенций на основе интегративного тезауруса с учетом взаимосвязи между содержанием учебных дисциплин (общематематических и естественно - научных, общепрофессиональных, специальных) и использованием таксономической модели обучения позволило выполнить основные дидактические принципы отбора содержания: преемственность, значимость, научная достоверность, репрезентативность, системность, комплексность и сбалансированность.

3. Для диагностики сформированности профессиональных компетенций обучающихся в системе «колледж-вуз» использовались междисциплинарные профессионально - ориентированные тесты для входного, текущего и итогового контроля:

стартовые компетенции учитывают уровни сформированности общенучных и профессиональных компетенций в СПО и определялись при входном контроле в вузе;

общие профессиональные и специальные компетенции определялись профессионально ориентированными тестами при текущем и итоговом контроле.

Сконструированные в соответствии с применением тезаурусного и квалиметрического подходов тесты обеспечили валидность, надежность и объективность диагностики профессиональных компетенций обучающихся в системе «колледж-вуз» агропромышленного профиля.

4. Эффективность методики диагностики профессиональных компетенций подтверждена выявленной на последнем этапе позитивной динамикой показателей сформированности профессиональных компетенций студентов экспериментальной группы. Сформированность профессиональных компетенций на продвинутом уровне увеличилась с 3% до 15% ; на базовом уровне – с 25% до 30%.

Проведенное исследование не исчерпывает всего многообразия вопросов, связанных с диагностикой уровня сформированности компетенций обучающихся в системе «колледж-вуз». Дальнейшее направление исследований может быть связано с разработкой системы мониторинга динамики формирования всего комплекса компетенций обучающихся в условиях реализации ФГОС.

Основные содержание диссертационного исследования и полученные результаты отражены в следующих публикациях:

Статьи в изданиях, рекомендованных ВАК Министерства образования и

науки Российской Федерации

1. Белова, Г.М. Проектирование тестов для оценки сформированности

профессиональных компетенций обучающихся в системе непрерывного агроинженерного образования на основе интегративного тезауруса /Г.М. Белова, Т.А. Родыгина, В.С. Черепанов// Вестник ФГОУ ВПО «Московский государственный агроинженерный университет имени В.П. Горячкина».- Вып. 6(37). Теория и методика профессионального образования: науч. журнал / под ред. П.Ф. Кубрушко. – М.: ФГОУ ВПО МГАУ, 2009. - С. 81-85. (авт.1/3).

2. Белова, Г.М. Квалиметрическая технология диагностики уровней обученности в системе непрерывного профессионального образования /Г.М. Белова, Т.А. Родыгина, В.С. Черепанов// Вестник Ижевского государственного технического университета.- 2008.- №3(39).- С. 154 - 157. (авт.1/3).

3. Белова, Г.М. Тезаурусный подход к диагностике уровней обученности в системе непрерывного профессионального образования /Г.М. Белова, Т.А. Родыгина // Среднее профессиональное образование. – 2007. - № 10. - С. 62 - 65. (авт.1/2).

Публикации в других изданиях

4. Белова, Г.М. Квалиметрический подход к структурированию учебного материала для диагностики профессиональных компетенций / Г.М. Белова, Т.А. Родыгина // Научное обеспечение инновационного развития АПК: материалы Всерос. науч.-практ. конф. – Ижевск: Ижевская ГСХА, 2010. - С. 232-238.(авт. 1/2).

5. Белова, Г.М. Организация уровней обученности в системе непрерывного профессионального образования./Г.М. Белова, Т.А. Родыгина, В.С. Черепанов // Проблемы квалиметрии образования и дидактической тестологии: сб. тр. направления «Измерения в педагогике». – Вып. 2 – Ижевск: ИжГТУ, 2009. – С.100-106. (авт. 1/3).

6. Белова, Г.М. Определение содержания теста для входного контроля при изучении курса электротехники в системе «колледж-вуз» / Т.А. Родыгина, Г.М. Белова // Инновационное развитие АПК. Итоги и перспективы: материалы Всерос. науч.- практ. конф. – Ижевск: Ижевская ГСХА, 2007. - Т.3. – С.159 -165. (авт.1/2).

7. Белова, Г.М. Информационно-семантическая модель диагностики уровней обученности студентов факультета непрерывного профессионального образования / Г.М. Белова // Инновации в профессиональном и технологическом образовании: квалиметрия, деонтология, тестология: материалы региональной науч.-метод. конф. - Ижевск: ИжГТУ, 2007. - С. 118 - 121.

8. Белова, Г.М. Тестовые технологии диагностики уровней обученности студентов в системе непрерывного профессионального образования / Г.М. Белова // Инновационные процессы в сфере образования и проблемы повышения качества подготовки специалистов: сб. материалов междунар. научно-практ. конф. - Ижевск: Удмуртский университет, 2005.- Т. 2. - С. 22 - 24.

9. Белова, Г.М. Об использовании результатов диагностики «стартового уровня» обученности студентов (на примере курса «Электротехника») / Г.М. Белова // Новые методы и формы обучения студентов. Преемственность и традиции преподавания: тез. докл.VII науч.- метод. конф.- Ижевск: Ижевская ГСХА, 1995. - С. 66 - 67.

10. Белова, Г.М. Методические рекомендации по составлению тестов для оценки сформированности профессиональных компетенций студентов /Г.М. Белова. – ФГОУ ВПО «Ижевская государственная сельскохозяйственная академия», 2010. – 41 с.

11. Белова, Г.М. Тестовые задания для самоподготовки к итоговому контролю по курсу «Электротехника и электроника»: учеб-метод. пособие для агроинженерных специальностей /Г.М. Белова, Т.А. Родыгина - Ижевск: Ижевская ГСХА, 2008 - 20 с. (авт.1/2).

12. Белова, Г.М. Тестовые задания для самоподготовки к входному контролю по курсу «Электротехника и электроника»: учеб.-метод. пособие для студентов ФНПО специальностей «Механизация сельского хозяйства»/ Г.М. Белова - Ижевск: Ижевская ГСХА, 2007 - 23 с.

Отпечатано с оригинал-макета заказчика

Подписано в печать 18.02.11.Формат 60х84 1/16

Тираж 100 экз. Заказ №

Типография ФГОУ ВПО

«Ижевская государственная сельскохозяйственная академия»

426069, Ижевск, ул. Студенческая, 11.