«Проект Регламент ...»
Рис. 1. Соотношение образовательных результатов
и внутренних ресурсов работника на рынке труда.
Профессиональная компетенция представляет собой способность успешно выполнять конкретную трудовую функцию. И так же, как в профессиональной деятельности трудовые функции дифференцируются на трудовые действия, профессиональная компетенция может быть декомпозирована на субкомпетенции (а не на знания и умения, опыт практической деятельности).
Этот факт означает, что невозможно, оценив по отдельности знания и умения обучающегося, сделать вывод о наличии компетенции. Человек может прекрасно знать оптимальную последовательность действий (алгоритм), перечень необходимых средств и предметов труда, но на практике не воспроизвести технологию деятельности.
Необходимость в декомпозиции профессиональной компетенции на субкомпетенции возникает тогда, когда ее содержание многосоставно и сложно, а потому не может быть сформировано (и / или диагностировано) в одной трудовой ситуации, одномоментно. Субкомпетенция – это составляющая компетенции, сохраняющая все ее свойства, соотносимые с деятельностью. Поэтому формирование профессиональной компетенции возможно посредством последовательного освоения субкомпетенций. В отдельных случаях при принципиальной невозможности оценить компетенцию, в целом, диагностические процедуры могут быть также организованы как поэтапное оценивание субкомпетенций с последующим агрегированием оценки.
Квалификация – это готовность субъекта деятельности к выполнению определенного вида профессиональной деятельности или конкретных трудовых функций, подтвержденная официальным признанием (в виде сертификата).
В массовой образовательной практике понятие квалификации применяется также в рамках официального подтверждения в форме диплома и / или сертификата факта завершения основной или дополнительной профессиональной образовательной программы.
Таким образом, квалификация понимается, с одной стороны, как подтверждение права человека на осуществление конкретной профессиональной деятельности в рамках установленных процедур. С другой стороны, она выступает личным капиталом (собственностью) ее носителя при условии подтверждения соответствия компетенций, которыми овладел человек, установленным стандартам.
В программах дополнительного профессионального образования, как правило, объектом освоения выступают профессиональные компетенции. Общие компетенции включаются в основные профессиональные образовательные программы государством как заказчиком образования для выполнения человеком универсальных социально- и личностно-значимых функций: самообразования и саморазвития, коллективной деятельности, проявлений гражданского самосознания и т.д.
Даже общие компетенции, связанные с поиском и обработкой информации, в программах ДПО приобретают профессиональную направленность: способность осуществлять профессиональную деятельность с использованием отраслевых информационно-коммуникационных технологий с указанием на конкретные IT-ресурсы (например, CAD / CAM / CAE-системы – для профессий технического профиля).
2.3. Организационная структура процесса оценивания образовательных результатов по программам дополнительного профессионального образования.
Организационная структура процесса оценивания включает в себя следующие компоненты:
цель оценивания;
субъекты оценивания (эксперты-оценщики и соискатели оценки[20] );
объекты и предметы оценивания (в том числе компетенции, наличие которых демонстрирует соискатель);
оценочные материалы (в том числе оценочные средства, то есть непосредственно диагностический инструментарий, организационно-методические средства и т.д.);
результаты оценивания.
Цель оценивания – установление соответствия (по показателям / критериям) достигнутых образовательных результатов (профессиональных компетенций) тем, которые были заявлены (запланированы) в рамках программы ДПО.
Объект оценивания - некоторые материально существующие объекты (продукты деятельности соискателя оценки или процесс его деятельности, а также документы, содержащие свидетельства / доказательства наличия компетенции).
Предмет оценивания - совокупность определенных свойств объекта оценивания (показателей), на основании которых по специальным критериям (основаниям) можно установить (идентифицировать) наличие компетенции соискателя (как способности / готовности к выполнению трудовой функции или вида профессиональной деятельности).
Например, объектом оценивания может выступать выполненный соискателем чертеж, составленная дефектная ведомость, обработанная деталь, настроенное оборудование и т.д. Предмет оценивания – определенные характеристики (свойства) чертежа (детали), по которым можно установить, что выполненная трудовая функция соответствует некоторому эталону, стандарту, установленной норме. Важно иметь в виду, что в одном и том же объекте возможно несколько различных предметов оценки. Так, итоговая выпускная работа (проект) может оцениваться с точки зрения и профессиональных, и общих компетенций (разные предметы).
Субъект (субъекты) оценивания – эксперт (эксперты), устанавливающие связь между объектом оценки и предметом оценки. Соискатель тоже выступает как субъект оценивания (в процедурах самооценки).
Результат оценивания – оценка, то есть суждение (решение) о наличие / отсутствии конкретной компетенции соискателя, определенное в установленном порядке конкретным экспертом (экспертами). В самом широком смысле оценка - это мера, представленная количественно (числом) или качественно (семантически), которая выражает соотнесенность измеренных основных характеристик объекта с базой (эталонный уровень, норма, стандарт).
Для того чтобы результат оценивания минимально зависел от субъекта оценивания (полностью субъективность устранить невозможно), все условия его получения максимально регламентируют, материалы - унифицируют, а оценочные средства – стандартизуют. Реализуется правило «тот, кто обучал, не оценивает» (внешняя оценка). Важные и значимые процедуры оценивания проводятся несколькими экспертами (комиссией) в целях объективизации результатов.
Таким образом, компетентностно-ориентированное оценивание - процесс, включающий в себя совокупность взаимосвязанных видов деятельности и регламентированных процедур, которые реализуются на основе стандартизованных оценочных материалов. Посредством указанных процедур уполномоченный орган (эксперт, преподаватель, комиссия) устанавливает степень соответствия достигнутых образовательных результатов обучающихся тем, которые планировались в рамках программы дополнительного профессионального образования.
Как было показано в предыдущих разделах, для программ дополнительного профессионального образования не существует государственных образовательных стандартов. Только в случае профессиональной переподготовки с целью получения дополнительной квалификации соответствующим федеральным органом исполнительной власти устанавливается Перечень таких квалификаций и государственные требования к ним для подтверждения квалификации дипломом государственного образца.
Повышение квалификации и переподготовка персонала предприятий чаще всего является процессом и результатом, относительно которых достигнут консенсус между производителем образовательной услуги (образовательной организацией) и ее заказчиком (работодателем). До начала обучения заказчик и исполнитель образовательной услуги согласовывают планируемые образовательные результаты (профессиональные компетенции), а также показатели и критерии их оценки.
Квалификационные дефициты, конвертируемые в планируемые образовательные результаты по программе, устанавливаются совместно службой по персоналу предприятия и производителями услуги (представителями учебного заведения) на основе изучения программы технико-технологического перевооружения производства, стратегических планов развития, перспективных требований рабочих мест и т.д. Этот этап разработки образовательной программы ДПО является одним из наиболее значимых. От качества его реализации зависит результативность программы.
Таким образом, нормативной базой для постановки целей и организации оценочных процедур по завершению программы дополнительного профессионального образования является перечень планируемых образовательных результатов (профессиональных компетенций) с показателями и критериями их оценки.
Предметом оценивания по завершению прохождения каждого профессионального модуля выступают освоенные выпускниками программ ДПО профессиональные компетенции.
2.4. Оценочные материалы по программе дополнительного профессионального образования.
Программы дополнительного профессионального образования состоят из одного или нескольких модулей, каждый из которых предназначен для освоения вида профессиональной деятельности или отдельных компетенций.
При присвоении профессиональной квалификации определенного уровня оценивается способность (готовность) соискателя выполнять определенный вид профессиональной деятельности, который в свою очередь проверяется через оценку компетенций, необходимых для реализации совокупности трудовых функций, составляющих вид профессиональной деятельности.
Как принято в рамках модульно-компетентностного подхода, оценочные процедуры проводятся в рамках квалификационного экзамена непосредственно после завершения освоения каждого модуля с последующим агрегированием оценок по всем модулям (при необходимости). Квалификационный экзамен представляет собой совокупность регламентированных процедур, организационную форму процесса оценивания, посредством которого экспертами-экзаменаторами производится оценка профессиональных компетенций (квалификации) соискателя одним или несколькими способами.
В программах профессиональной переподготовки, если профессиональные модули соответствуют нескольким трудовым функциям, в сумме составляющим вид профессиональной деятельности, возможна (но не обязательна) итоговая процедура, рассчитанная на оценивание готовности к выполнению вида профессиональной деятельности в целом (как правило, защита итоговой квалификационной работы)[21].
В терминологическом оформлении проблематики оценочных процедур все еще не достигнуто единое толкование основных понятий. Одновременно используются (как синонимы) термины «контрольно-измерительные материалы», «оценочные средства» и т.д. В то же время, в ходе введения федеральных государственных образовательных стандартов нового поколения утвердилось представление о том, что термин «контрольно-измерительные материалы» подразумевает тестовые задания и используется для оценки знаний и когнитивных умений (там, где нужна количественная шкала оценок). Для оценивания компетенций целесообразно применять понятие «оценочные средства» («контрольно-оценочные средства»).
Большинство исследователей солидарны в том, что компетенции следует оценивать в рамках дихотомической шкалы «соответствует / не соответствует» (в терминах педагогического контроля - «зачет / незачет»). Итоговая оценка по профессиональному модулю программы дополнительного профессионального образования: «вид профессиональной деятельности / трудовая функция освоен (а) / не освоен (а)».
Оценочные материалы по профессиональному модулю включают в себя следующие компоненты:
спецификация оценочных средств (техническое задание для разработки и обновления диагностического инструментария по модулю);
собственно оценочные средства (инструментарий оценки с инструкциями для экспертов и соискателей);
организационно-методические и информационные материалы, регламентирующие условия и критерии оценки, методики обработки результатов оценивания, экспертные документы и т.д.
2.4.1. Спецификация компетентностно-ориентированных оценочных средств.
Спецификация оценочных средств представляет собой техническое задание для разработки диагностического инструментария как одной из процедур оценки профессиональных квалификаций по завершению освоения профессиональных модулей программ ДПО. Спецификация – это своеобразный план и структура комплектов оценочных средств. В данном документе представлен перечень трудовых функций, составляющих вид профессиональной деятельности, готовность к реализации которых оценивается. Спецификацию комплектов оценочных средств по программе можно рассматривать как интерфейс, задающий переход от планируемых образовательных результатов к диагностическому инструментарию оценочных процедур.
Установленных требований к содержанию спецификаций для программ ДПО нет. Как правило, в их структуру включается следующая информация:
перечень трудовых функций в составе вида профессиональной деятельности, для освоения которого предназначена данная программа профессиональной переподготовки (отдельных трудовых функций - для программ повышения квалификации)[22] ;
список объектов оценивания в процедуре итоговой аттестации по программе в целом (и в разрезе отдельных модулей);
описание значимых для выбора оценочных процедур условий оценивания.
Спецификации нужны для того, чтобы стандартизовать процессы оценки, унифицировать условия проведения диагностических процедур, то есть минимизировать действие субъективных факторов, связанных с человеческой составляющей оценочных процедур по профессиональному модулю. Именно спецификации оценочных средств (а не фонды оценочных средств) целесообразно согласовывать с заказчиками дополнительных профессиональных образовательных программ, поскольку в них содержатся все значимые вопросы процедур оценивания: перечни компетенций, предъявляемых к оценке, объекты и условия оценивания, определяющие его формы и методы[23].
Спецификации оценочных средств создаются на этапе формирования образовательной программы (в условиях постоянных консультаций с работодателями, направляющими работников на повышение квалификации, переподготовку). Их составителями выступают специалисты, которые разрабатывают программу, что связано с необходимостью корректировки планируемых итоговых образовательных результатов (компетенций) в случае, если они не поддаются педагогической диагностике (известно, что то, что невозможно диагностировать педагогическими средствами, не может быть образовательным результатом). Спецификации адресованы разработчикам оценочных средств (как правило, это преподаватели по профессиональному модулю как структурной единице программы ДПО и / или методисты образовательной организации).
2.4.2. Состав и структура компетентностно-ориентированных оценочных средств по профессиональному модулю.
Основными типами компетентностно-ориентированных оценочных средств для образовательных программ технического профиля являются комплексные задания (практические и проектные).
Практическое задание предназначено для оценки выполнения соискателем нескольких трудовых действий в составе трудовой функции (предмет оценки - субкомпетенции).
Комплексное практическое задание представляет собой совокупность особым образом организованных заданий по оценке трудовой функции или в отдельных случаях - вида профессиональной деятельности в целом. Предметом оценки в комплексном практическом задании выступает профессиональная компетенция или квалификация (как совокупность профессиональных компетенций).
Структура практического задания включает в себя стимульный материал (описание конкретной производственной ситуации максимально приближенной к реальной профессиональной деятельности), задачную формулировку (требование выполнить трудовые действия) и условия их выполнения. Например, провести измерения; осуществить сборку, разборку, наладку машин и механизмов; определить причины неисправности, настроить прибор; разработать техническую документацию; изготовить конкретное изделие и т.д. К заданию (при необходимости) прикладываются бланки и формы, которые нужно заполнять.
Проектное задание - это связанная общей профессиональной ситуацией серия задач профессионально-трудового содержания, соответствующих оцениваемым компетенциям (субкомпетенциям), которые необходимы для их решения. Этот тип компетентностно-ориентированных оценочных средств используется при усложнении профессиональной деятельности (увеличении степени ответственности и самостоятельности), а также при возрастании роли внутренней (интеллектуальной) деятельности. В большей степени это характерно для наукоемких видов профессиональной деятельности технической направленности. Наиболее широко проектные задания используются в профессиях гуманитарного профиля.
Специфика разработки проектных заданий как измерителей заключается в конструировании интегрирующей «сюжетной линии», объединяющей различные профессиональные задачи. При этом формулировке задач предшествует описание профессионально-трудовой ситуации. Часто в описании представлена не вся необходимая для решения задач информация, ее необходимо найти в справочниках, использовать Интернет-поиск, сделать информационные запросы и т.д. В этом основное отличие проектов от комплексных практических заданий, которые, как правило, содержат всю необходимую информацию и оформлены в виде «бессюжетной» последовательности заданий.
Таким образом, деятельность по выполнению проектного задания включает в качестве составного компонента самостоятельный поиск и обработку профессионально-значимой информации и презентацию проектных результатов (при этом параллельно могут оцениваться коммуникативные, информационные, управленческие и другие общие компетенции, если они включены в состав образовательных результатов по программе ДПО).
В качестве дополнительного способа оценки компетенций может использоваться портфолио - набор свидетельств, подтверждающих индивидуальные достижения соискателя в части освоения профессиональных компетенций, составляющих квалификацию. В системе оценивания рассматривается как вариант накопительной системы оценки профессиональных достижений.
Портфолио представляет собой папку-накопитель, содержащую отзывы и рекомендации авторитетных лиц, знакомых с профессиональными достижениями соискателя; выполненные им в различное время творческие и исследовательские работы (бизнес-планы, технологические разработки, дизайнерские проекты, технические расчеты и т.д.); другие доказательства профессиональной квалификации.
Портфолио, как правило, используется для видов деятельности высоких квалификационных уровней, когда в процедуре комплексного практического задания за ограниченное время (одномоментно) сложно оценить все необходимые проявления компетенций соискателя. Следует иметь в виду, что отсроченная и опосредованная оценка результатов деятельности соискателя связана с такими рисками как невозможность полностью исключить факты плагиата и компиляции, а также оценить уровень самостоятельности выполнения работ. Обычно анализ и оценка заранее составленного соискателем портфолио дополняется выполнением практических заданий в процедуре квалификационного экзамена под наблюдением экспертов-оценщиков.
Комплексное практическое задание хорошо «вписывается» в процедуру квалификационного экзамена по результатам освоения каждого профессионального модуля программы ДПО, соответствующего виду профессиональной деятельности. Использование проектного задания как компетентностно-ориентированного оценочного средства в процедуре квалификационного экзамена имеет определенные (и существенные) ограничения. Поскольку деятельность по выполнению проекта включает в качестве составного компонента самостоятельный поиск и обработку профессионально-значимой информации и презентацию проектных результатов, этот измерительный инструмент требует значительного временного ресурса и не всегда «укладывается» в ограниченную по времени процедуру аттестации по профессиональному модулю.
Одним из вариантов применения диагностических проектных заданий является включение заключительной части (защиты) проекта в итоговую квалификационную аттестацию по программе ДПО в целом. При этом основная часть деятельности по выполнению проектного задания и оценка выполненного проекта экспертами с представлением экспертных заключений пройдет в период до защиты итоговой работы. Используется также вариант курсовой работы по модулю, когда на квалификационном экзамене происходит ее защита, а выполнение – в процессе освоения модуля.
Таким образом, комплексные практические и проектные задания (в том числе разнесенные во времени выполнения) составляют содержание квалификационного экзамена по профессиональному модулю программы ДПО. Для большинства видов профессиональной деятельности технического профиля проведение оценочных процедур требует наличия специального оборудования, тренажеров, стендов. Как свидетельствует опыт, часто квалификационный экзамен проводят в специально оборудованном месте или в реальных производственных условиях (на площадях работодателей, в учебных центрах внутрифирменной системы подготовки).
Если профессиональные компетенция оцениваются в специально смоделированной среде, связанной с организацией ролевых игр, работой с кейсами и другими формами имитации реальной профессиональной деятельности, квалификационные испытания могут проводиться в обычной аудитории с большим контингентом соискателей одновременно (до 25 чел.). В этом заключаются безусловные ресурсные преимущества модельных ситуаций при оценивании компетенций (оценочные средства могут быть реализованы и в компьютерном варианте, что позволяет значительно сократить время на обработку результатов и оформление итоговых заключений).
В то же время, особенности программ дополнительного профессионального образования требуют максимальной приближенности оценочных процедур к реальным рабочим местам и производственным условиям. Поэтому наиболее эффективным вариантом следует признать проведение квалификационного экзамена на предприятии – заказчике кадров и при непосредственном участии специалистов компании в качестве экспертов-оценщиков. Очевидно, что согласования с работодателями требуют и оценочные материалы.
2.4.3. Организационно-методические и информационные материалы для участников процедур оценивания компетенций.
Эти материалы описывают применяемые правила, процедуры, методы и выполняют функцию унификации и стандартизации всех действий и процедур оценивания. В состав данных материалов могут входить:
Положение о квалификационном экзамене по профессиональному модулю программы ДПО;
Положение о выпускной квалификационной работе (проекте) в программе ДПО;
регламент и рекомендации по проведению различных этапов квалификационного экзамена по профессиональному модулю;
инструкции по работе с оборудованием (компьютерными программами) при проведении квалификационного экзамена по профессиональному модулю;
инструкции по технике безопасности при работе с оборудованием во время квалификационного экзамена по профессиональному модулю;
описание рабочего места при проведении квалификационного экзамена по профессиональному модулю;
перечень используемых предметов и средств труда при проведении квалификационного экзамена по профессиональному модулю;
перечень применяемых в оценочных процедурах нормативов и т.д.
В оценке компетенций используются такие экспертные документы как экзаменационные / оценочные таблицы, экзаменационные протоколы и листы наблюдения, экспертные заключения и отчеты и т.д.
В состав инструктивно-справочных материалов входят также описания критериев оценки и методик обработки результатов оценочных процедур.
Критерии оценки - это признаки (основания), по которым осуществляется оценка компетенций. Как правило, в качестве критериев выступают стандарты, нормы, эталоны, документально установленные регламенты (о показателях и критериях подробно - в Разделе 3.3.2).
Следует особо отметить, что формы и методы компетентностно-ориентированного оценивания по профессиональному модулю, а также примерные оценочные материалы и критерии оценки должны быть доведены до сведения обучающихся в начале обучения. Целесообразно, чтобы они размещались на сайте образовательной организации и были доступны для всех заинтересованных сторон.
3. Технология разработки оценочных материалов для программ дополнительного профессионального образования.
3.1. Разработчики компетентностно-ориентированных оценочных средств.
Для разработки компетентностно-ориентированных оценочных средств целесообразно организовать совместную деятельность трех целевых групп специалистов:
преподавателей профессиональных модулей программы ДПО;
специалистов предприятий, направивших персонал на повышение квалификации (профессиональную переподготовку), имеющих достаточный практический опыт в данной области (виде) профессиональной деятельности (в том случае, когда квалификационный экзамен планируется проводить на территории предприятия, например, в помещениях и на учебных полигонах структур внутрифирменной подготовки кадров);
методистов образовательной организации - провайдера услуги, которые имеют опыт в области методики оценки компетенций.
Осуществление оценочной деятельности (в том числе разработки оценочных материалов) требует специальной подготовки. Не случайно во многих странах с давними традициями компетентностно-ориентированного обучения преподавателям разрешается проводить оценку компетенций обучающихся только после успешного завершения специальной учебной программы и получения квалификации «эксперт по оценке» («assessor»).
Формирование комплектов оценочных средств потребует от разработчиков знания методик оценки, навыков структурирования содержания учебного материала на основе компетентностного и деятельностного подходов, умений стандартизации оценочных процедур.
Для работы потребуется современная информационная база. Дополнительными источниками информации о компетенциях и квалификациях могут выступать:
базы данных по профессиональным и корпоративным стандартам, квалификационным характеристикам, иным квалификационным требованиям в соответствующей области (виде) профессиональной деятельности;
нормативно-методические документы, регламентирующие квалификационные структуры в РФ (Национальная рамка квалификаций РФ, Отраслевая рамка квалификаций (если имеется в данной отрасли), Общероссийский классификатор профессий рабочих, должностей служащих и тарифных разрядов (ОК 016-94), Единый тарифно-квалификационного справочник работ и профессий рабочих (ЕТКС) и т.д.);
специальные Интернет-сайты с обновляющейся информацией о квалификациях (например, http://www.instrukciy.narod.ru/etkc.html, http://eduscan.net/standart/, http://www.lexed.ru/form/ и др.);
Атлас профессий [Электронный ресурс]. // Режим доступа: http://atlas.rosminzdrav.ru/.
3.2. Методологические основания разработки компетентностно-ориентированных оценочных средств.
Профессиональные компетенции формируются в деятельности и, соответственно, оцениваться должны также в ситуациях деятельности. При этом возможны два варианта:
прямые доказательства наличия компетенций (эксперт-оценщик (комиссия) наблюдает профессиональную или квазипрофессиональную[24]
деятельность обучающегося и / или оценивает качество продукта, полученного в результате этой деятельности);
косвенные доказательства наличия компетенций (специально собранные и документально подтвержденные свидетельства о достижениях обучающегося в соответствующих видах деятельности: рекомендация, характеристика, отзыв, рецензия).
Кроме того, в исключительных случаях при отсутствии возможности собрать доказательства в реальных условиях, представляется допустимым смоделировать ситуацию, в соответствии с которой обучающийся в виртуальном режиме будет описывать, обосновывать, аргументировать свои действия и профессиональное поведение. Это профессионально-значимая информация о деятельности, которая, конечно, не является объективным доказательством готовности к выполнению трудовой функции, однако дает некоторые основания для экспертных суждений.
Для идентификации компетенций используются следующие объекты оценивания:
1. Материальный или интеллектуальный продукт деятельности обучающегося. В данном контексте продукт рассматривается как вещественный или нематериальный результат человеческого труда (предмет, услуга, идея и т.д.), который может существовать независимо от создателя. Определенные параметры и характеристики продукта (предмет оценивания) свидетельствуют о готовности соискателю к выполнению соответствующей трудовой функции.
2. Процесс деятельности (когда результат деятельности не оформлен как продукт или принципиально важно оценить параметры самого процесса). Деятельность соискателя может разворачиваться в реальных производственных условиях (профессиональная деятельность) или модельных условиях, максимально приближенных к реальным (квазипрофессиональная деятельность). Определенные параметры и характеристики деятельности (предмет оценивания), которые фиксируются наблюдателями, служат доказательствами освоения соответствующей компетенции.
3. Оценивается и продукт, и процесс деятельности.
Основаниями для выбора объекта оценивания выступают, прежде всего, содержание вида профессиональной деятельности, используемый набор средств и предметов труда, а также востребованные ресурсы процедур оценки (временные, кадровые, материально-технические и т.д.). Программы дополнительного профессионального образования технической направленности предназначены для формирования готовности обучающегося (как правило, это взрослый человек) к выполнению трудовых функций, связанных с техническими объектами и системами. Чаще всего, для таких трудовых функций характерны требования не только к продукту, но и к процессу деятельности (соблюдения техники безопасности, технологической дисциплины, скорость, ритмичность и т.д.).
Технология оценки продукта деятельности представляет собой сравнение его отдельных характеристик с эталоном на основе совокупности заранее выработанных и согласованных с работодателями показателей и критериев оценки. Эталоном в данном случае выступают образец правильно настроенного измерительного прибора; отвечающая нормам схема размещения техники на скважине; оформленные в соответствии с принятым регламентом дефектная ведомость, технический отчет и т.д. Сравнение как вариант экспертной оценки может происходить визуально, на основании расчетов, с помощью измерений отдельных параметров продукта, путем тестирования продукта и т.д.
Компетентностно-ориентированные оценочные средства для оценки продуктов деятельности включают в себя практические задания и проекты. Последний метод практикуется, если есть возможность использовать длительные и рассредоточенные во времени процедуры оценивания.
Выбор в качестве объекта оценивания процесса деятельности обычно осуществляется, когда технически сложно обеспечить оценку продукта деятельности (например, не разрушая его, в силу масштабов конструкции) или принципиально важна технология реализации трудовой функции и сопутствующие условия деятельности.
Технология оценки процесса деятельности представляет собой сравнение результатов наблюдения - зафиксированных параметров деятельности соискателя - с эталонной технологией (технологической картой) на основе совокупности заранее выработанных и согласованных с работодателями показателей и критериев оценки. Среди них могут быть:
качественные показатели: технологически обоснованная последовательность трудовых действий, целесообразный выбор инструментов, правильность выполнения приемов работы, рациональность организации труда и рабочего места, соблюдение технических требований и правил техники безопасности, степень самостоятельности, другие регламентированные документами работодателя условия деятельности и процедуры;
количественные показатели: заданная скорость работ, выполнение норм выработки, другие установленные работодателем количественные нормы и стандарты.
Оценка процесса деятельности осуществляется с помощью формализованного наблюдения - совокупности стандартизованных и унифицированных процедур, реализуемых в естественных он-лайн условиях (включенное наблюдение) или в виде просмотра видеозаписи. Профессиональная или квазипрофессиональная деятельность соискателей при этом осуществляется в реальных или имитируемых производственных ситуациях (например, в ролевой игре). Таким образом, формализованное наблюдение представляет собой специально организованное (целенаправленное и систематизированное) отслеживание деятельности соискателя на рабочем месте (или его имитации) в реальном времени (или в видеозаписи).
Модельные ситуации и имитации обычно используются при оценке компетенций в случаях, когда масштабы вида профессиональной деятельности и / или габариты используемого оборудования не позволяют организовать компактную процедуру оценки (например, для оценки профессиональной компетенции «Расставлять спецтехнику для проведения исследования скважины»). Имитация требуется и для оценки компетенций «Организовывать и проводить производственные совещания», «Предотвращать и разрешать производственные конфликты», которые входят в состав образовательных результатов по многим программам дополнительного профессионального образования (вид профессиональной деятельности «Осуществлять руководство первичным трудовым коллективом»).
Кроме того, достаточно распространены ситуации, для которых сущностных отличий между реальными производственными и учебно-модельными условиями нет. Обычно это характерно для трудовых функций, в которых используются интеллектуальные средства труда (например, компетенция «Выбирать тип измерительного прибора в соответствии с техническими условиями скважины»).
Очевидно, что демонстрировать способность выбирать тип прибора не обязательно на реальной буровой площадке. Можно описать любую производственную ситуацию в соответствующем диагностическом кейсе. В случае контрольно-измерительных приборов целесообразно представить в учебной мастерской (лаборатории) заведомо избыточный набор приборов для обоснованного выбора необходимых в соответствии с заданными техническими параметрами. Проведение оценки в модельных условиях существенно снижает ресурсоемкость и организационные затраты оценочных процедур.
Если технологические процессы в рамках профессии растянуты во времени на дни и недели (например, в видах деятельности, связанных с сельскохозяйственным производством), то ограничения в способах оценки компетенций также неминуемы. Отдельные профессиональные компетенции придется оценивать поэтапно как субкомпетенции, а также, возможно, в форме интеллектуальных (а не предметно-прикладных) способов деятельности (например, с помощью специальных компьютерных программ, в которых имитируются производственные циклы) с последующим агрегированием оценок.
Кроме того, модельные ситуации в процедурах компетентностно-ориентированной оценки целесообразны, если вопросы безопасности не позволяют ставить под угрозу здоровье соискателя и эксперта-оценщика (использование химикатов, тушение пожара, другие аварийные ситуации). И, наконец, такой выбор может быть обоснован в случае оценки трудовых действий с дорогостоящим, уникальным производственным оборудованием, инструментами, поскольку «цена ошибки» в данном случае велика.
Таким образом, выбор объектов оценивания и условий (реальных или модельных) оценки чаще всего - это задача оптимизации, которая решается в каждом конкретном случае с учетом всех значимых факторов и оснований.
3.3. Порядок действий при разработке оценочных материалов для программ дополнительного профессионального образования.
3.3.1. Составление спецификации компетентностно-ориентированных оценочных средств.
Целесообразная последовательность действий по составлению спецификации оценочных средств включает в себя два основных этапа.
Составление спецификации оценочных средств начинается с формирования полного перечня трудовых функций, которые должны быть освоены обучающимися в составе вида профессиональной деятельности. Исходными материалами при этом выступает утвержденный заказчиком программы ДПО список планируемых образовательных результатов, в котором поименованы профессиональные компетенции как итоговые результаты образовательной программы или ее компонентов.
Для примера рассмотрим дополнительную квалификацию «Монтажник каркасно-обшивных конструкций», для освоения которой на основе соответствующего профессионального стандарта[25]
разработана программа профессиональной переподготовки. По завершению программы должна быть проведена оценка квалификации ее выпускников на соответствие сертификату КНАУФ.
Полный перечень всех трудовых функций в составе четырех видов профессиональной деятельности, владение которыми необходимо продемонстрировать в рамках квалификационного экзамена, будет включать следующий их набор (см. Пример 1). Чтобы установить соответствие полученной квалификации требованиям сертификата КНАУФ, необходимо подтвердить факт освоения соискателем 16 профессиональных компетенций.
Пример 1
Перечень профессиональных компетенций (ПК),
необходимых для выполнения трудовых функций в составе видов профессиональной деятельности (ВПД)
| Шифр | Наименование |
| ВПД 1 | Выполнение подготовительных работ |
| ПК 1.1 | Производить разметку поверхностей. |
| ПК 1.2 | Готовить монтажные, клеевые, гидроизоляционные штукатурные, шпаклевочные и другие растворы и смеси. |
| ВПД 2 | Устройство ограждающих конструкций, перегородок, отделка внутренних и наружных поверхностей помещений с использованием комплектных систем, листовых материалов, панелей, плит, готовых строительных смесей |
| ПК 2.1 | Подготавливать материалы для монтажа каркасов. |
| ПК 2.2 | Производить монтаж элементов металлических и деревянных каркасов, выполнение обрамления дверных, оконных и других проемов. |
| ПК 2.3 | Производить монтаж пазогребневых плит. |
| ПК 2.4 | Подготавливать листовые материалы к монтажу. |
| ПК 2.5 | Выполнять установку листовых материалов в проектное положение, с укладкой теплозвукоизоляционных материалов. |
| ПК 2.6 | Выполнять устройство бескаркасных облицовок. |
| ПК 2.7 | Производить внутренние и наружные штукатурные работы с использованием сухих строительных смесей. |
| ПК 2.8 | Производить монтаж сухих сборных стяжек оснований пола. |
| ВПД 3 | Подготовка поверхностей под чистовую отделку |
| ПК 3.1 | Выполнять заделку стыков, мест сопряжений, неровностей и т.п.; производить шпаклевание. |
| ВПД 4 | Создание криволинейных и ломаных поверхностей с использованием гипсокартонных листов и цементно-минеральных панелей типа «аквапанель» |
| ПК 4.1 | Подготавливать материалы для монтажа каркасов сложной геометрической формы. |
| ПК 4.2 | Выполнять установку элементов каркаса сложных конструкций. |
| ПК 4.3 | Изготавливать шаблоны под криволинейные элементы обшивки каркасов. |
| ПК 4.4 | Изготавливать элементы обшивки каркасов сложной геометрической формы. |
| ПК 4.5 | Производить установку элементов обшивки каркасов сложной геометрической формы в проектное положение. |
Опыт структурно-функционального анализа трудовой деятельности и, в частности, разработки профессиональных стандартов в России и за рубежом свидетельствует о том, что трудовые функции, составляющие вид профессиональной деятельности, как правило, имеют различный статус в ее составе. Некоторые из них являются более значимыми, другие – не столь важны для успешности деятельности.
При разработке программы ДПО совместно с работодателями – заказчиками кадров может быть произведено их ранжирование, то есть формирование рейтинга трудовых функций по значимости и частоте их использования работником на данном рабочем месте в повседневной профессиональной деятельности. Ранжирование производится на основе специальной обработки результатов анкетирования (анкет) экспертов из числа работников предприятия, персонал которого проходит повышение квалификации, или специалистов системы внутрифирменной подготовки (если она есть). Для этого существует специальная методика ранжирования. Результаты ранжирования (весовые коэффициенты каждой функции) далее используются при разработке структуры программы (определении трудоемкости профессиональных модулей) и комплектов оценочных средств.
Однако обязательного требования ранжирования трудовых функций и представления этих результатов в структуре программы дополнительного профессионального образования не существует. Поэтому в большинстве случаев (в том числе, когда разработчики оценочных средств используют в своей деятельности готовые профессиональные стандарты или квалификационные характеристики, предоставленные службой по персоналу предприятия) приходится исходить из допущения, что все трудовые функции в составе вида профессиональной деятельности - равнозначны. Соответственно, профессиональные компетенции соискателя рассматриваются как одинаковые по значимости, то есть вносящие равные «вклады» в его квалификацию. Этот факт отражается в спецификации оценочных средств.
В Примере 2 приводится фрагмент спецификации оценочных средств по рассматриваемой профессиональной квалификации «Монтажник каркасно-обшивных конструкций».
Первый этап разработки спецификации оценочных средств завершается заполнением разделов 1-3 спецификации. В приведенном примере для квалификационного экзамена необходимо подготовить четыре Комплекта компетентностно-ориентированных оценочных средств по видам профессиональной деятельности ВПД 1,2,3,4 (нумерация Комплектов совпадает с шифром ВПД).
Второй этап составления спецификации нацелен на определение объектов и условий оценивания профессиональных компетенций соискателя по каждому Комплекту компетентностно-ориентированных средств. Здесь формируется структура Комплектов, и заполняются разделы 4-5 спецификации (см. Пример 2).
Пример 2
Спецификация оценочных средств
для оценки дополнительной квалификации
«Монтажник каркасно-обшивных конструкций»
(сертификат КНАУФ)
1. Общие положения
Компетентностно-ориентированные оценочные средства (КОС) являются инструментом оценки соответствия профессиональных компетенций соискателя требованиям профессиональной деятельности, представленным в программе профессиональной переподготовки, разработанной на основе действующего профессионального стандарта «Монтажник каркасно-обшивных конструкций 3-6 разрядов».
Используемые сокращения:
ВПД – вид профессиональной деятельности;
ОС – оценочные средства;
ПМ – профессиональный модуль.
2. Документы, определяющие содержание оценочных средств и процедуры оценки:
А) действующий профессиональный стандарт «Монтажник каркасно-обшивных конструкций 3-6 разрядов»;
Б) образовательная программа дополнительного профессионального образования (профессиональной переподготовки).
3. Перечень освоенных ВПД (комплектов КОС по ПМ)
| Код комплекта КОС | Наименование ВПД (профессиональных модулей) | Весовой коэффициент ВПД, % |
| 1 | Выполнение подготовительных работ | 25 |
| 2 | Устройство ограждающих конструкций, перегородок, отделка внутренних и наружных поверхностей помещений с использованием комплектных систем, листовых материалов, панелей, плит, готовых строительных смесей | 25 |
| 3 | Подготовка поверхностей под чистовую отделку | 25 |
| 4 | Создание криволинейных и ломаных поверхностей с использованием гипсокартонных листов и цементно-минеральных панелей типа «аквапанель» | 25 |
| Всего | 100 |
4. Структура комплектов КОС
| Код комплекта КОС | Код и наименование ПК | Объекты оценивания | Условия оценивания | ||
| Продукт деятельности | Процесс деятельности | Проф.-значимая информация | |||
| 1 | 1.2. Производить разметку поверхностей | х | На рабочем месте | ||
| 1.4. Готовить монтажные, клеевые, гидроизоляционные штукатурные, шпаклевочные и другие растворы и смеси | х | х | На рабочем месте, в модельной ситуации | ||
2 | 2.1. Подготавливать материалы для монтажа каркасов | х | В модельной ситуации | ||
| 2.2. Производить монтаж элементов металлических и деревянных каркасов, выполнение обрамления дверных, оконных и других проемов | х | х | На рабочем месте, в модельной ситуации | ||
| 2.3. Производить монтаж пазогребневых плит | х | На рабочем месте | |||
| 2.4. Подготавливать листовые материалы к монтажу | х | В модельной ситуации | |||
| 2.5. Выполнять установку листовых материалов в проектное положение, с укладкой теплозвукоизоляционных материалов | х | На рабочем месте | |||
| 2.6. Выполнять устройство бескаркасных облицовок | х | На рабочем месте | |||
| 2.7. Производить внутренние и наружние штукатурные работы с использованием сухих строительных смесей | х | На рабочем месте | |||
| 2.8. Производить монтаж сухих сборных стяжек оснований пола | х | На рабочем месте | |||
| 3 | 3.1. Выполнять заделку стыков, мест сопряжений, неровностей и т.п.; производить шпаклевание | х | На рабочем месте | ||
| 4 | 4.1. Подготавливать материалы для монтажа каркасов сложной геометрической формы. | х | В модельной ситуации | ||
| 4.2. Выполнять установку элементов каркаса сложных конструкций. | х | На рабочем месте | |||
| 4.3. Изготавливать шаблоны под криволинейные элементы обшивки каркасов. | х | На рабочем месте | |||
| 4.4. Изготавливать элементы обшивки каркасов сложной геометрической формы. | х | На рабочем месте | |||
| 4.5. Производить установку элементов обшивки каркасов сложной геометрической формы в проектное положение. | х | х | На рабочем месте, в модельной ситуации | ||
5. Результаты оценивания компетенций по виду профессиональной деятельности.
Итоговая оценка по виду профессиональной деятельности рассчитывается по формуле:
где - показатель значимости (весовой коэффициент), присвоенный iой трудовой функции в составе вида профессиональной деятельности (в случае равнозначности всех трудовых функций = 1),
- оценка j -ого соискателя по трудовой функции;
п - количество комплектов ОС по виду профессиональной деятельности.
Какие факторы следует учитывать при выборе конкретных объектов и условий оценивания профессиональных компетенций?
Во-первых, способ оценки должен отвечать квалификационному уровню вида профессиональной деятельности, который осваивается в рамках программы, в Национальной рамке квалификаций Российской Федерации (далее - НРК РФ)[26].
В НРК РФ, фрагмент которой приведен в Приложении 1, включены характеристики (дескрипторы) 9 квалификационных уровней, стандартизованных по трем обобщенным показателям профессиональной деятельности работника: 1) широта полномочий и ответственность; 2) сложность деятельности; 3) наукоемкость деятельности.
Чем выше располагается квалификационный уровень на «шкале» квалификаций, тем более сложными должны быть измерительные инструменты, поскольку возрастают требуемые уровни перечисленных выше показателей профессиональной деятельности. Для квалифицированного рабочего (3-4 уровень по НРК РФ) преимущественное значение имеют практико-ориентированные (прикладные) умения и навыки. Следовательно, существенную часть комплектов оценочных средств должны занимать практические задания (демонстрация компетенций при работе с оборудованием, инструментами, техническими системами и т.д.).
Для уровня СПО более характерно определенное сочетание практической и интеллектуальной деятельности. В этом случае практические виды работ могут дополняться заданиями на обобщение информации, выявление закономерностей, причин событий (явлений), систематизацию, классификацию и т.д.
Если в данной области профессиональной деятельности разработаны отраслевые рамки квалификаций, то с их помощью можно еще точнее определить «рамочные» параметры квалификации, которая подвергается оценке.
Вторым основанием выбора выступает тип профессиональной среды, который в соответствии с типологией Дж. Л. Голланда, характеризуется доминирующим классом решаемых профессиональных задач (реалистический, исследовательский, артистический, социальный, предпринимательский, конвенциальный).
Профессиональным квалификациям технического профиля (для уровней с 1 по 7 по НРК РФ) соответствует реалистический тип профессиональный среды, который описывает деятельность, связанную с манипулированием инструментами, техникой. Соответственно, в деятельности профессионала преобладает выполнение предметных функций, которым соответствуют практические задания.
Начиная с 5 уровня квалификации по НРК РФ, возможен исследовательский тип профессиональной среды (5 уровень соответствует программам для специалистов среднего звена – СПО), характеризующийся увеличением (на 5 квалификационном уровне – еще не значительным) доли интеллектуальной составляющей в деятельности (анализ, синтез, оценка). Такому типу профессиональной среды в большей степени соответствуют проектные задания.
Третьим фактором, определяющим выбор объектов и условий оценивания является содержательное наполнение трудовой функции, готовность к выполнению которой проявляется как профессиональная компетенция и является предметом оценивания. Существуют виды деятельности, в которых практически невозможно оценить квалификацию работника в реальных условиях. В этом случае компетенции оцениваются через когнитивные и практические умения соискателя в модельных ситуациях на учебных полигонах, в аудитории. Часто они выступают предметом оценки в процедурах промежуточной аттестации по междисциплинарному курсу или практике в составе профессионального модуля. Тогда промежуточная оценка может быть отражена в портфолио соискателя (отзыв, рекомендация) и учтена при агрегировании итоговой оценки.
Указанная информация должна быть отражена в последнем столбце Таблицы Раздела 4 Спецификации компетентностно-ориентированных (см. Пример 2).
В-четвертых, перечень средств и предметов труда в трудовой функции также является основанием для выбора объекта и метода оценивания. Если профессионал работает с дорогостоящим, уникальным оборудованием (инструментами), вряд ли возможно оценить его компетенции в «натуре». Разработчики оценочных средств, скорее всего, выберут способ проверки, связанный с когнитивными умениями, а также отдельными практическими навыками, которые можно продемонстрировать на тренажере, симуляторе.
Наконец, выбор объекта и метода оценивания, как правило, определяется и востребованными ресурсами процедур аттестации по профессиональному модулю (временные, кадровые, материально-технические). Если технологические процессы в рамках вида профессиональной деятельности растянуты во времени на дни и недели, то ограничения в способах оценки профессиональных компетенций также неминуемы. Значительную часть субкомпетенций придется проверять в форме знаний и когнитивных (а не практико-прикладных) способов деятельности (например, с помощью специальных компьютерных программ, в которых имитируются производственные циклы).
Таким образом, спецификация компетентностно-ориентированных оценочных средств задает следующие параметры диагностического инструментария для квалификационного экзамена:
количество и наименование Комплектов компетентностно-ориентированных оценочных средств (по числу и названию видов профессиональной деятельности и трудовых функций, предъявляемых к оценке);
целесообразные объекты и условия оценки каждой компетенции, входящей в состав квалификации (продукт деятельности и / или процесс деятельности);
условия проведения оценивания (на рабочем месте / в модельной ситуации).
Спецификация оценочных средств в обязательном порядке согласовывается с работодателем – заказчиком программы ДПО (или носителем профессионального контекста) и выступает для разработчиков диагностического инструментария в качестве технического задания при формировании фонда оценочных средств по программе, его последующем обновлении.
3.3.2. Разработка комплектов оценочных средств для оценки итоговых образовательных результатов по профессиональному модулю и программе дополнительного профессионального образования.
Можно выделить следующую примерную последовательность действий разработчиков по созданию диагностического инструментария для оценки профессиональных компетенций в рамках каждого вида профессиональной деятельности, который осваивается в профессиональном модуле.
На первом этапе необходимо определиться с общим планом работ. Для этого в Спецификации компетентностно-ориентированных оценочных средств, которая должна быть разработана при формировании образовательной программы (см. Раздел 3.3.1 настоящего Руководства), анализируется перечень профессиональных компетенций и рекомендуемые составителями спецификации объекты и условия оценивания. Данная информация заносится в Таблицу 1 Макета Комплекта компетентностно-ориентированных оценочных средств для итоговой оценки образовательных результатов по профессиональному модулю в составе образовательной программы дополнительного профессионального образования.
Таблица 1
| Профессиональные компетенции | Субкомпетенции | Критерии оценки результата | Формы и методы оценки |
| ПК 1 | |||
| … | |||
| ПК N |
