РЕЙТИНГ ЕСТЬ - ПРОБЛЕМЫ ОСТАЮТСЯ
Аронов Д.В., Машегов П.Н., Садков В.Г.
Орловский государственный технический университет, Орел, Россия
Проблемы определения рейтинга вуза, а говоря иными словами, ранжирование вуза по системе формализованных показателей с момента появления понятия рейтинга остаются постоянной темой, дискутируемой в научном сообществе. Авторы настоящей статьи предлагают читателю как собственную точку зрения на теоретические основы построения системы рейтинга, так и анализ действующих методик с предложений по их совершенствованию, сформулированных с учетом проходящей реформы системы российского высшего образования и присоединения России к «болонскому процессу.
«Было бы желательно установить более разумное соотношение между требуемым и выполнимым; ведь цель, достигнуть которой невозможно, и поставлена, очевидно, неправильно».
М. Монтень (Опыты. Кн. 3. Гл. IX)
Вместо предисловия
Авторы настоящей статьи не только вполне согласны со словами Монтеня, избранными в качестве эпиграфа, но и вполне отдают себе отчет в том, что сама статья является для них дополнительным основанием «сопоставить свои мысли и поступки с велениями законов», хотя и тешат себя мыслью о том, что и благодарный читатель, и суровый критик «примут во внимание приносимую ими пользу» и не будут настаивать на крайних мерах, а примут приглашение к дискуссии, которую и призвана инициировать настоящая статья.
От того, примет ли научное и педагогическое сообщество активное участие в разработке той мерки, по которой предлагается в самом ближайшем будущем измерять плоды его труда или вновь отдаст его на откуп представителям управленческих структур во многом будет зависеть не только абстрактное, хотя и немаловажное понятие престижа вуза или прохождение им формализованной процедуры аттестации, но и вполне весомое, грубое, зримое распределение тех недостаточных финансовых госбюджетных потоков, которые обещает государство системе высшего образования.
Соответственно главным предметом настоящей статьи стали разнообразные проблемы, которые возникают в ходе разработки, применения, толкования результатов и последующей корректировке методики определения рейтинга вузов. Следуя латинской поговорке «ab ovo usque ad mala»[1] авторы надеются, что начав с основы основ рейтинга – яйца (но не в попытках найти в нем иголку, на конце которой смерть российского высшего образования), они в итоге придут к яблоку как плоду познания с дерева добра и зла.
Системные основы оценки качества образования[2]
Думается, что наиболее логичным будет использование в качестве научной основы выработки требований к методике определения рейтинга вуза, тех же системных основ, которые представляется целесообразным применять к оценке качества образования в целом. Соответственно они должна охватывать:
- оценку качества «конечного продукта», причем по нескольким временным срезам после окончания высших учебных заведений;
- оценку качества самого образовательного процесса;
- оценку качества подготовки абитуриентов (исходного «материала») для последующего сравнения «того, что получилось» после выхода из высшего учебного заведения с «тем, что было», с тем, какой состав и качество подготовки абитуриентов имели место вначале, «на старте».
Безусловно, важнейшей составляющей частью оценки качества образования является оценка качества «конечного продукта».
Концептуально-методическая основа для оценки качества образования выпускников должна включать следующие основные направления (блоки):
- фундаментальность образования, позволяющая иметь широту кругозора выпускников в соответствующих сферах знаний;
- целевая специализация образования, позволяющая быстро адаптироваться и успешно осуществлять конкретные обязанности;
- наличие творческих навыков и способности к генерации нововведений;
- умение и способности реализации знаний и инновационно-инвестиционных проектов в производственной и социальной сферах;
- общественно-нравственные качества выпускников и уровень образования в социально-политической и гуманитарной сфере.
Оценка качества образования в соответствии с представленными направлениями должна далее предполагать обоснование системы критериев, шкал, методики, организации и информатизации оценки, являющихся составными элементами мониторинга качества образования.
Синтезируя результаты различных подходов к оценке качества образования можно утверждать, что методики оценки качества образования в современных условиях должны включать два этапа:
- этап оценки качества образования на основе отчетной информации о деятельности вуза по всем указанным ранее аспектам;
- этап оценки качества образования на основе комплексной (многоаспектной) экспертно-социологической информации о выпускниках вузов и их деловых, творческих и общественных карьерах:
- со стороны внешних профильных экспертов при завершении обучения и защитах дипломных работ;
- со стороны работодателей;
- со стороны самих выпускников после нескольких лет их трудовой и общественной деятельности в динамике.
Наложение результатов оценок качества образования в соответствии и указанными этапами позволяет получить интегральную оценку качества образования в разрезе каждого из вузов региона.[3],[4],[5] Безусловно, для этого должен быть создан банк данных информационных паспортов высших учебных заведений.
Стратегические задачи, выполняемые рейтингом вузов.
Думается, что любому представителю научно-педагогического сообщества, хотя бы единожды принимавшему участие в процедуре определения рейтинга родного (или чужого) учебного заведения не составит труда с большей или меньшей степенью полноты (и эмоциональной окрашенности) сформулировать основные задачи, выполняемые посредством методики применения рейтинговой оценки деятельности вуза.
В качестве сухого остатка представляется возможным выделить следующие пункты:
- определение соответствия вуза действующим в отечественном законодательстве критериям, предъявляемым к учебному заведению, претендующему на реализацию образовательных программ высшего и послевузовского образования;
- ранжирование вузов по различным критериям, избранных органами управления высшим образованием в качестве значимых при отнесении вуза к определенной категории;
- обеспечение минимально допустимого уровня базовых показателей учебной, научной, инновационной и производственной деятельности.
В перспективе, в свете разрабатываемых сегодня реформ высшего образования, роль рейтинга будет возрастать, как в связи с идеей привязать к нему объемы госбюджетного финансирования вузов, так и в связи с реально реализуемой и неоднозначной по своим последствиям идеей о включении российских вузов в «болонский процесс», посредством их привязки к западной системе стандартизированных показателей деятельности учебных заведений. О данном аспекте рейтинговых методик речь пойдет во второй части настоящей статьи, а общая позиция авторов по данной проблеме выражена в ряде их предыдущих работ.[6]
Недостатки системы оценки качества образования.[7]
Основным инструментом оценки выпускников в настоящее время являются их оценки в дипломе. Однако необходимо четкое взаимодействие с потребителями (причем потребителями не только «сегодняшнего дня», но и работающими «на будущее»), которые и должны давать оценку выпускникам. Один американский университет, а теперь и Министерство образования и науки РФ предлагают оценивать качество подготовки специалистов по уровню зарплаты, который устанавливали им на фирмах. Конечно, это может быть использовано (в том числе положение, которое занимают на фирмах выпускники вузов) хотя, очевидно, без абсолютизации этого подхода. Фирмы бывают совсем разные, в том числе и богатые чисто посреденические.
Не все потребители хотят, чтобы выпускник вуза был способен творчески мыслить, решать нестандартные задачи, имел компьютерную подготовку, умел общаться, обладал определенным культурным уровнем, знал иностранные языки. Некоторым вполне достаточно традиционных знаний и текущих навыков.
Таким образом, отрицательные моменты в системе оценки качества образования в настоящее время следующие:
- отсутствует четкая терминология, то есть однозначное определение «качество образования»;
- соответственно отсутствуют цель и задачи оценки качества образования;
- показатели, оценивающие качество образования несистемны, разрозненны (в зависимости от разработчика), отсутствует их количественная оценка;
- показатели в рассмотренных методиках не учитывают один из главнейших факторов – комплексные требования работодателей и необходимости знаний и умений для будущего общества, не только на сегодняшний и ближайшие годы;
- не учитывается способность студентов к самостоятельной работе (принятию решений, инновационным подходам, обработке необходимой литературы и выбору оптимального решения);
- в рассмотренных методиках если и рассчитывается какой-либо определенный показатель, то отдельно, то есть отсутствует комплексная оценка специалистов.
Естественно, что отсутствие единых критериев и понятий применительно к качеству образования вообще, неизбежно отражается и на его формализованном выражении – в методике определения рейтинга вуза, где эти недостатки получаются более заметными в силу той же неизбежной стандартизации требований, применяемой к очень различным объектам.
Недостатки действующей системы определения рейтинга вуза и его структуры.
В настоящее время рейтинг вузов (официальный) определяется на основе методики Министерства образования и науки РФ (Приказ Министерства образования РФ № 631 от 26.01.2001 «О рейтинге высших учебных заведений»). Следуя основной мысли эпиграфа, избранного авторами для настоящей статьи, мы очень далеки от мысли сделать основной акцент на критике действующей сегодня методики. Однако, даже следуя принципу преемственности в реформировании отечественного образования, о верности которому авторы неоднократно заявляли в своих предыдущих статьях, и кладя в основу предлагаемых ими преобразований применяемую сегодня методику, нельзя не остановиться на тех моментах, которые должны на наш взгляд, как минимум, стать предметом широкой дискуссии в научной и педагогической среде. В тезисном виде они могут быть представлены следующим образом.
Таблица 1
Существующая система показателей определения рейтинга вуза
| Код | Показатель | Примечания | |
| Профессорско-преподавательский состав (без совместителей) | |||
| Д01 | Лица, имеющие ученую степень доктора наук | ||
| Д02 | Лица, имеющие ученое звание профессора, без учета Д01 | ||
| Д03 | Доктора наук, профессора в возрасте до 50 лет | ||
| Д04 | Лица, имеющие ученую степень кандидата наук, без учета 01 – 03 | ||
| Д05 | В том числе в возрасте до 30 лет | ||
| Д06 | Члены и член – корреспонденты Российской академии наук | ||
| Д07 | Члены и члены–корреспонденты других государственных академий России без учета Д06 | ||
| Д08 | Члены и члены–корреспонденты общественных академий России без учета Д06-Д07 | ||
| Д09 | Общее количество штатных преподавателей | ||
| Профессорско-преподавательский состав (совместимость) | |||
| Д10 | Лица, имеющие ученую степень доктора наук | ||
| Д11 | Лица, имеющие ученое звание профессора, без учета Д10 | ||
| Д12 | Члены и член – корреспонденты Российской академии наук | ||
| Д13 | Члены других государственных академий России без учета Д12 | ||
| Д14 | Общее количество преподавателей, работающих по совместительству | ||
| Студенты и аспиранты | |||
| Д15 | Студенты очной формы обучения | ||
| Д16 | Студенты очно-заочной формы обучения | ||
| Д17 | Студенты заочной формы обучения | ||
| Д18 | Аспиранты очной формы обучения | ||
| Д19 | Аспиранты заочной формы обучения | ||
| Д20 | Иностранные граждане, обучавшиеся в вузе | ||
| Д21 | Иностранные граждане, обучавшиеся в вузе на контрактной основе | ||
| Д22 | Студенты и аспиранты, находившиеся в зарубежных командировках (слово «командировках» заменить словами «на учебной стажировке») | Дополнить указанием на число студентов поступивших в аспирантуру и продолживших работу в вузе в качестве преподавателя, с выделением коэффициента для «своего» и «чужого» вуза | |
| Работа диссертационных советов вуза | |||
| Д23 | Рассмотренные на советах за последние три года (изменить на пять лет) докторские диссертации | Установить критерии связи с формированием «научно-педагогических школ».
| |
| Д24 | Рассмотренные на советах за последние три года кандидатские диссертации | ||
| Объем научных исследований | |||
| Д25 | Объем госбюджетных работ, выполненных собственными силами (тыс. рублей) | ||
| Д26 | Объем хоздоговорных работ, выполненных собственными силами (тыс. рублей) | ||
| Издательская деятельность | |||
| Д27 | Изданные за рубежом учебники и учебные пособия за последние два года | Разделить страны дальнего зарубежья (повышающий коэффициент) и СНГ. Установить критерии связи с формированием «научно-педагогических школ» | |
| Д28 | Учебники, изданные в России за последние два года | ||
| Д29 | Монографии, изданные в России за последние два года (изменить на пять лет) | Установить критерии связи с формированием «научно-педагогических школ» | |
| Д30 | Учебные пособия, изданные в России за последние два года (изменить на пять лет) | ||
| Бюджетные ассигнования и основные фонды | |||
| Д31 | Сумма бюджетных ассигнований на отчетный год без учета Д25 | ||
| Д32 | Общая стоимость основных фондов по состоянию на 01.01. следующего за отчетным года | ||
| Д33 | Общая стоимость машин и оборудования по состоянию на 01.01. следующего за отчетным года | Дополнить указанием на общую стоимость машин и оборудования с истекшим сроком амортизации. Указание на наличие лицензионного программного обеспечения | |
| Д34 | Общая площадь учебно-лабораторной базы (тыс. кв. м) | ||
| Д35 | Общее количество персональных компьютеров в вузе | В т.ч. с истекшим сроком амортизации и морально устаревших с разбивкой по показателям | |
| Д36 | Общее количество терминалов в системах коллективного пользования без учета Д35 | ||
| Д37 | Общее количество единиц хранения библиотечного фонда | Дифференцировать по специальностям. Разработать методику применения коэффициента, учитывающего скорость обновления знаний для различных групп специальностей | |
| Финансовая деятельность | |||
| Д38 | Средства, перечисленные вузу физическими и юридическими лицами с учетом Д39 | ||
| Д39 | Средства, перечисленные вузу физическими и юридическими лицами за подготовку специалистов | ||
| Д40 | Средства, полученные вузом за подготовку иностранных граждан | ||
| Социальные и бытовые условия | |||
| Д41 | Обеспеченность иногородних студентов общежитием | ||
| Д42 | Обеспеченность местами в предприятиях общественного питания | ||
| Д43 | Количество мест в санаториях-профилакториях | ||
| Д44 | Общая полезная площадь крытых спортивных сооружений | ||
| Д45 | Количество больничных коек и стоматологических кресел | исключить | |
| Методика определения рейтинга специальности[8] | |||
| Д25 | Количество преподавателей кафедры, имеющих ученые степени и (или) ученые звания | ||
| Д26 | Количество сотрудников кафедры в возрасте до 35 лет, имеющих ученые степени и (или) ученые звания | ||
| Д27 | Количество выпускников очной формы обучения в отчетном году | ||
| Д28 | Количество выпускников очно-заочной формы обучения в отчетном году | ||
| Д29 | Количество выпускников заочной формы обучения в отчетном году | ||
| Д30 | Количество аспирантов очной формы обучения | ||
| Д31 | Количество аспирантов заочной формы обучения | ||
| Д32 | Стоимость машин и оборудования кафедры (тыс. рублей) | ||
| Д33 | Рассмотренные на советах по представлению кафедры докторские диссертации за последние пять лет | ||
| Д34 | Рассмотренные на советах по представлению кафедры кандидатские диссертации за последние пять лет | ||
| Д35 | Докторские диссертации, защищенные сотрудниками кафедры за последние 5 лет | ||
| Д36 | Кандидатские диссертации, защищенные сотрудниками кафедры за последние 5 лет | ||
| Д37 | Количество сотрудников кафедры – членов специализированных советов | ||
| Д38 | Объем госбюджетного финансирования НИР и грантов (тыс. рублей) | ||
| Д39 | Объем хоздороговных НИР (тыс. руб.) | ||
| Д40 | Объем в п.л. монографий, учебников и учебных пособий | ||
| Д41 | Объем средств, полученных кафедрой за подготовку специалистов по контрактам (тыс. руб) | ||
| Д42 | Объем средств, полученных кафедрой от коммерческой деятельности без учета Д41 (тыс. руб) | ||
| Д43 | Конкурс по поданным заявкам | ||
| Д44 | Процент «хор» и «отл» оценок на вступительных экзаменах | исключить | |
| Д45 | Процент «хор» и «отл» оценок по блоку гуманитарных и социально-экономических дисциплин | исключить | |
| Д46 | Процент «хор» и «отл» оценок по блоку общематематических и естественнонаучных дисциплин | исключить | |
| Д47 | Процент «хор» и «отл» оценок по блоку общепрофессиональных дисциплин | исключить | |
| Д48 | Процент «хор» и «отл» оценок по блоку специальных дисциплин | исключить | |
| Д49 | Процент «хор» и «отл» оценок на госэкзаменах | исключить | |
| Д50 | Процент дипломных работ и (или) проектов, оцененных ГЭК на «отлично» | исключить | |
| Д51 | Процент выпускников с гарантированным трудоустройством | ||
Предложения по совершенствованию действующей методики определения рейтинга вуза.
О том, каким именно должен быть, и по каким методикам должен исчисляться интегральный рейтинг вуза сказано довольно много. Хочется надеяться, что представленный материал станет компромиссом между существующими жесткими методиками исчисления рейтинга вуза, основанными сугубо на формальных показателях, и прогрессивными методиками, в основе которых лежит исчисление показателей не только в настоящее время не существующих, но и сбор которых вообще представляется проблемным.
Системное представление метода оценки рейтинга ВУЗа должно основываться на необходимости комплексного охвата всех компонентов системной триады «вход – процесс – выход». Таким образом, состав блоков локальных оценочных показателей должен включать перечень представленный в таблице 2.
Таблица 2
Блоки локальных оценочных показателей
| Группа | Блок | Показатели |
| 1 Контингент абитуриентов | 1.1 Уровень школьной подготовки | Наличие золотых и серебряных медалей; Средний балл по аттестату; Количество победителей олимпиад различного уровня |
| 1.2 Входное вузовское тестирование | Средний бал на вступительных экзаменах; Количество поданных заявлений (конкурс по специальностям); Средний проходной балл (для различных категорий поступающих) | |
| 1.3 Прочие характеристики | Соотношение поступивших по категориям: бюджетные места – коммерческие – целевая подготовка Количество отчисленных после первого курса по причине неуспеваемости | |
| 2 Информационное обеспечение учебного процесса и научно-инновационной деятельности | 2.1 Наличие информационной инфраструктуры | Наличие интранета и степень охваченности им компьютеров университета Технические характеристики университетской сети (архитектура, скорость, система администрирования и безопасности) Наличие систем обеспечивающих сбор, обработку и хранение информации о функционировании университета (корпоративная информационная система) |
| 2.2 Наличие программного обеспечения | В натуральных и денежных единицах: - «современного», - лицензионного, - специализированного, - собственной разработки; Участие в партнерских программах по использованию программного обеспечения; Использование программного обеспечения в учебном процессе (включенность в программы подготовки) | |
| 2. 3 Наличие доступа банкам информации | Количество компьютеров имеющих доступ к сети интернет, в т.ч. доступных для студентов (учебные классы) Наличие и характер договоров на доступ к платным информационным ресурсам – наличие учета и объемы использования ресурсов Наличие и характер договоров на доступ к условно-бесплатным информационным ресурсам – наличие учета и объемы использования ресурсов Наличие информационных ресурсов внутреннего пользования порядок доступа к ним Наличие единого каталога и службы доступа к информационным ресурсам | |
| 3. Потенциал ВУЗа | 3.1 Профессорско-преподавательский состав | Общее количество штатных преподавателей Лица, имеющие ученую степень доктора наук Лица, имеющие ученое звание профессора (без учета совместителей) Доктора наук, профессора в возрасте до 50 лет Лица, имеющие ученую степень кандидата наук Кандидаты наук в возрасте до 30 лет Члены и член – корреспонденты Российской академии наук Члены и члены–корреспонденты других государственных академий России Члены и члены–корреспонденты общественных академий России Члены и члены–корреспонденты зарубежных академий То же для совместителей |
| 3.2 Материальная база | Общая стоимость основных фондов по состоянию на 01.01. следующего за отчетным года (в т.ч. уровень износа и коэффициент обновления, за последние 3. года) Общая стоимость машин и оборудования по состоянию на 01.01. следующего за отчетным года (в т.ч. специализированного; уровень износа и коэффициент обновления, за последние 3. года Общая площадь учебно-лабораторной базы (тыс. кв. м) (всего и на одного учащегося) Соответствие используемых площадей соответствующим ГОСТам | |
| 3.3 Собственная информационная база | Общее количество персональных компьютеров в вузе (всего и на одного учащегося) Распределение компьютеров по «степени современности» Общее количество единиц хранения библиотечного фонда (всего и на одного учащегося, в т.ч. по укрупненным тематическим разделам) | |
| 3.4 Социальная инфраструктура | Обеспеченность иногородних студентов общежитием Обеспеченность местами в предприятиях общественного питания Количество мест в санаториях-профилакториях Общая полезная площадь крытых спортивных сооружений Количество (доля) персонала прошедших диспансеризацию и воспользовавшихся услугами социальной инфраструктуры | |
| 4 Структура учебно-научно-инновационного комплекса и система управления | 4.1 Наличие подразделения и систем маркетинга | Наличие подразделения охватывающего весь цикл маркетинга в цепочке «образование – исследование – продукция» Наличие маркетинговых исследований соответствующих рыночных сегментов и их мониторинга |
| 4.2 Наличие подразделения и систем стратегического менеджмента | Наличие подразделения ответственного за разработку и реализацию стратегии комплекса как единого экономического субъекта Наличие сформулированной миссии и вовлеченности в процесс стратегического планирования всей управленческой вертикали | |
| 4.3 Наличие подразделения и систем менеджмента качества и инновационной деятельности с упреждающим управлением и контуром обратной связи | Наличие подразделения по менеджменту качества Наличие системы документации Прохождении сертификации системы менеджмента качества | |
| 4.4 Наличие в структуре университетского комплекса НИИ, КБ, КТБ (в т.ч. по перспективным направлениям) | НИИ, КБ, КТБ в структуре по количеству наименований; Величина основных фондов НИИ, КБ, КТБ Объем выполненных работ НИИ, КБ, КТБ Прочие характеристики деятельности НИИ, КБ, КТБ – наличие патентов, «степень монополизма» в исследуемой области и пр. | |
| 4.5 Наличие в структуре университетского комплекса эффективно действующих технопарков и бизнес-инкубаторов (включая студенческие) | Технопарки и бизнес-инкубаторы в структуре по количеству наименований; Площади и основные фонды технопарков и бизнес-инкубаторов Количество занятых в системе технопарков и бизнес-инкубаторов; Количество бизнес единиц в системе технопарков и бизнес-инкубаторов (сейчас и работавших в течение последних пяти лет) Объем реализации товаров / услуг бизнес единицами в системе технопарков и бизнес-инкубаторов | |
| 4.6 Наличие эффективно действующей сети малых инновационных предприятий | Малые предприятия в системе комплекса по количеству наименований; Объем работ/услуг малых инновационных предприятий, в т.ч. реализуемых за пределы комплекса; Величина основных фондов малых инновационных предприятий; Рентабельность функционирования малых инновационных предприятий | |
| 4.7 Наличие эффективной системы управления комплексом – холдингом в условиях включения в него юридических лиц различных форм собственности | Наличие единого центра координации Сведения о перексрестном владении имуществом и участии в управлении Наличие договоров о стратегическом партнерстве Динамика партнерских взаимоотношений («устойчивость сети») университетского комплекса Степень тесноты взаимосвязей (объемы продукции/ услуг производимых и потребляемых внутри холдинга) | |
| 4.8 Наличие в структуре университетского комплекса – эффективно действующих финансово-кредитных, страховых, пенсионных рыночных инфраструктурных подразделений | Величина активов финансово-кредитных организаций Объемы финансовых сделок финансово-кредитных организаций, в т.ч. реализованных внутри комплекса и «на сторону» Рентабельность функционирования финансово-кредитных организаций | |
| 5 Результаты и активность | 5.1 Количество специальностей и объемы подготовки | Студенты очной формы обучения Студенты очно-заочной формы обучения Студенты заочной формы обучения Аспиранты очной формы обучения Аспиранты заочной формы обучения Иностранные граждане, обучавшиеся в вузе Иностранные граждане, обучавшиеся в вузе на контрактной основе Студенты и аспиранты, находившиеся на зарубежных стажировках Студенты – аспиранты проходящие обучение в рамках целевой подготовки Студенты – аспиранты обучающиеся на коммерческой основе Лица проходящие повышение квалификации в рамках государственных программ; в инициативном порядке; в рамках международных программ и пр |
| 5.2 качество образования | ||
| 5.2.1 Оценка работодателей | Результаты опросов, результаты мониторинга карьеры и доходов | |
| 5.2.2 Оценка обществом | Наличие среди выпускников общественных деятелей, имеющих государственные награды, выборные должности и звания | |
| 5.2.3 Оценка выпускником | Формализованный опрос на 3, 5 курсах, через год, 5 и 10 лет после выпуска | |
| 5.3 Результаты научной деятельности | Подготовлено и утверждено за последние пять лет докторские диссертаций, в т.ч. в собственных диссоветах; Подготовлено и утверждено за последние пять лет кандиддатских диссертаций, в т.ч. в собственных диссоветах; Объем госбюджетных работ, выполненных собственными силами (тыс. рублей); Объем хоздоговорных работ, выполненных собственными силами (тыс. рублей;) Изданные в дальнем и ближнем зарубежье учебники и учебные пособия, монографии за последние пять лет; Учебники, изданные в России за последние пять лет; Монографии, изданные в России за последние пять лет; Учебные пособия, изданные в России за последние пять лет; Полученные патенты; Свидетельства с выставок; Участие в конференциях и организация конференций различного уровня за два года; Публикация статей (в том числе по списку ВАК) за два года; Индекс цитируемости (по кругу специализированных изданий за два года; Организация периодических изданий (в том числе электронных сетевых журналов); Участие в международных совместных проектах по количеству наименований и по привлеченным суммам. | |
| 5.4 Результаты инновационно-производственной деятельности | Объемы реализации товаров и услуг, в т.ч. инновационного характера и по приоритетным направлениям деятельности | |
| 5.5 Результаты финансово-экономической деятельности | Объемы государственного финансирования Коммерческие образовательные услуги (в т.ч. по категориям студенты – аспиранты – повышение квалификации) Финансирования в рамках образовательных программ (в т.ч. международных) Результаты от реализации товаров (работ / услуг) не образовательного характера (консалтинг, НИР, ОКР) Объемы государственного финансирования полученные в рамках фандрайзинга (спонсоры, благотворительность и пр.) |
Прежде всего, необходимо отказаться от «всеобщей и единообразной» методики расчета рейтинга для вузов всех профилей. Слишком разнообразно современное знание, слишком различны методы его формирования и средства для этого используемые. Если для проведения философского семинара обычно достаточно наличия стульев и помещения защищающего от непогоды, то занятие по информатике в отсутствие компьютеров выглядят по крайней мере странно. Соответственно, предлагается выделить как минимум три группы специальностей: технические, гуманитарные и творческие. Именно по ним (в виде соответствующих структурных подразделений вузов) и производится оценка – формируется рейтинг, который будет представлять не рейтинг вуза, а рейтинг уровня подготовки по конкретным видам специальностей. В случае необходимости расчета рейтинга вуза «в целом» можно воспользоваться формулой 1 позволяющий рассчитать сводный рейтинг на основе частных с учетом специфики рейтинга и специализации вуза.
Для определения рейтинга группы специальностей предлагается использовать хорошо известный метод сведения частных показателей к общему на основе группировки показателей и установления весов показателей и групп. Именно веса групп и показателей в группах будут отражать специфику группы специальностей. Очевидно, что для гуманитариев вес, такого показателя как «наличие специализированного лабораторного оборудования» не может быть выше нежели для будущих инженеров. Несмотря на то, что учет мнения учащихся и выпускников безусловно важен, вследствие высокого субъективизма данной группы показателей ее вес не может быть значительными. Таким образом, рейтинг специальности – это сумма взвешенных бальных оценок отдельных показателей (формула 2).
Нормирование показателей (предлагается по десятибалльной шкале) осуществляется по методу мини-макса (формула 3). Учет динамики показателей деятельности вузов в рейтинге предполагается осуществлять за счет умножения на коэффициент позитивной динамики.
Балльная оценка показателя рассчитывается на основе скорректированного фактического значения по релевантности и сопоставимости (формула 4). Так очевидно, что выпускники столичных вузов имеют гораздо больше шансов получить более высокооплачиваемую работу, а доход менеджера низшего звена (бригадира) в сельском хозяйстве существенно ниже, чем бригадира на стройке при сходных обязанностях и необходимом количестве специальных знаний. Поэтому, в случае необходимости предполагается корректировка показателей по сопоставимости. Применительно к приведенному примеру через соотношение средней заработной платы в различных регионах (столица – провинция) и отраслях (строительство – сельское хозяйство). Корректировка показателей по релевантности осуществляется путем сопоставления данных полученных различными способами. Например, проведение теста на остаточные знания вузом самостоятельно и в присутствии комиссии. Если отклонение не превышает величины статистической ошибки (например, 10%), то берется среднее значение показателя для расчета рейтинга; если отклонение существенно (11 – 20%) при вычислении больший вес отдается более «надежному» показателю; в случае более существенных расхождений – результаты самообследования не учитываются. Такая корректировка по результатам проверок возможна не только для «качественных» показателей, но и для «количественных», например, таких как «обеспеченность методическими пособиями и учебной литературой» может быть скорректирована по году издания и наличию грифов.
Переход к регулярному комплексному мониторингу деятельности образовательных учреждений позволит решить целый ряд проблем, в том числе проблему строительства потемкинских деревень, когда вопросы, касающиеся качества образования возникают сугубо перед проведением аттестации. Все это в совокупности позволит превратить рейтинг из канцелярской процедуры в живой, постоянно меняющийся показатель – некий аналог курса акций компаний котирующихся на бирже. Биржевой курс, конечно, не способен дать полную исчерпывающую информацию о компании, но вполне способен отразить некую траекторию ее развития.
Наиболее существенной проблемой при внедрении предложенной модели рейтинга, видимо, станет не обоснование конкретных значений весовых показателей для групп специальностей, а возможность рассмотрения «замены показателей». То есть учета того, что заниженное значение одного показателя может быть компенсировано повышением другого, но в определенных пределах. Так, например, очевидно, что обеспечение доступа студентов к статистической информации в рамках «Университетской информационной системы» гораздо лучше, нежели закупка на каждого подборки статистических сборников. Поэтому в современных условиях и в перспективе должно иметь место увеличение веса показателей отражающих применение новых технологий информационного обеспечения.
(1)
где RV – рейтинг вуза
RS – рейтинг вуза по группе специальностей;
NS – количество вузов участвующих в рейтинге по специальности;
NV – количество вузов участвующих в рейтинге всего;
UV – количество учащихся в вузе;
US – количество учащихся в вузе по группе специальностей
(2)
где RS – рейтинг группы специальностей;
kg – веса групп показателей, 
;
kP – веса показателей в группе, 
;
BP – значение показателя в баллах.
(3)
Pmin – минимальное значение показателя в совокупности;
Pmax – минимальное значение показателя в совокупности;
kd – надбавка за динамику.
Величина корректирующего коэффициента учета динамики не должна быть слишком большой. Дело в том, что иногда «молодые» вузы имеют хорошую динамику, но общая база у них не велика. Поэтому, мы рекомендуем величину коэффициента kd установить в пределах 1,25 – 1,35.
(4)
где PF – фактическое значение показателя
kK – корректирующие коэффициенты;
PFM – фактические значения показателя полученные различными методами.
На рисунке 1 представлен алгоритм расчета рейтинга вуза, то есть графическое представления последовательности проведения расчетов по вышеприведенным формулам.
Таким образом, при корректировке модели оценки рейтинга ВУЗов необходимо, как минимум, следующее.
1. Исключение из позиций рейтинга всех показателей, ориентирующих вуз на снижение объективности при осуществлении учебной деятельности, как то процент «красных» дипломов (Д49, Д50)[9], количество студентом охваченных НИРС). Такие показатели как «научные школы» и «научно-педагогические школы» можно сохранить при условии определения единых объективных критериев.[10] (таблица 1).
2. Интеграция в мировое сообщество (2.3.). Данный глобальный критерий требует не просто уточнения, а принципиальной разработки методики определения данного показателя, тем более, что в настоящее время отсутствуют как общеевропейские, так и общероссийские критерии определения степени вовлечения страны в т.н. «болонский процесс».[11]
Рисунок 1. Алгоритм расчета рейтинга вуза
Дополнить показатель Д22 «Студенты и аспиранты, находившиеся в зарубежных командировках»[12] указанием на количество студентов, поступивших в аспирантуру данного вуза и аспирантов, продолживших работу в качестве преподавателей. Для каждой из данных категорий можно ввести повышающий коэффициент. Слово «в командировках» заменить на слова «на учебной стажировке»
Дополнить показатель Д27 «Изданные за рубежом учебники и учебные пособия за последние два года» монографиями и научными статьями, в контексте соотнесения данного показателя с требованиями к формированию «научно-педагогической школы», а также разделив данный показатель на две части, отделив страны дальнего зарубежья от стран СНГ, введя для первых повышающий коэффициент.
Показатели Д23, Д24 (рассмотренные на советах за последние три года докторские и кандидатские диссертации), Д28, Д.29 (учебники и монографии, изданные в России за два последние года) расширить до пяти лет в контексте соотнесения данного показателя с требованиями к формированию «научно-педагогической школы».
Показатель Д33 дополнить указанием на общую стоимость машин и оборудования, с истекшим сроком амортизации.[13] В контексте борьбы с контрафактным товаром и расширения контактов с европейскими партнерами в рамках «болонского процесса» нам очевидно не избежать указания на наличие лицензионного программного обеспечения.
Показатель Д37 «Общее количество единиц хранения библиотечного фонда» в обязательном порядке должен быть дифференцирован по специальностям, а между ними необходимо ввести коэффициент, учитывающий скорость обновления знаний для различных групп специальностей.
Вряд ли значим показатель Д45 «Количество больничных коек и стоматологических кресел» в части количества «больничных коек», хотя в ряде военизированных вузов существуют собственные стационары, связанные с проблемой нахождения слушателей в периметре вуза, расчетом и перечислением т.н. «пайковых денег» и т.д., но применительно к общему рейтингу вуза данный показатель представляется второстепенным.
3. В той части рейтинга, где речь идет о фундаментальности образования представляется целесообразным для рассмотрения в порядке научной дискуссии такого показателя, как количество выпускников вуза, получивших высшие награды (премии и т.д.) в сфере науки и образования.
4. Ориентированность вуза на трудоустройство выпускника может рассматриваться двояко. Простейшим (с чего очевидно и следует начинать) будет показатель трудоустройства выпускников по специальности (с разбивкой – на территории и вне территории региона). Более сложным, но не лишенным своей логики будет связь данного показателя с фундаментальностью образования, когда сам факт трудоустройства не по специальности, не является отрицательным, по крайней мере в рамках определенного процента выпускников в течении определенного временного периода.[14] На практике данный порог может быть примерно вычислен по удельному весу в российской бизнес-элите и высшей управленческой страте выпускников элитных технических вузов.
5. Следует разработать и ввести в действие комплексные «Паспорта вуза» для обеспечения его полной идентичности с формализованной частью, представляемой для определения рейтинга в Министерство образования и науки и Межрегиональное негосударственное агентство аудита образования.
6. Все изменения в методике расчета рейтинга производить после внесения необходимых изменений в российскую статистику высшего образования, обеспечивающих ее достоверность и максимально возможное, в контексте имеющихся расхождений с методикой сбора статистики в сфере образования, разработанной ЮНЕСКО, сближение с международными стандартами.[15]
Особенно актуально в настоящее время дополнение действующей статистики по труду данными о наличии на предприятиях и дефицитах специалистов по конкретным группам специальностей. Сейчас эти сведения полностью исключены из форм отчетов по труду, что в корне неверно.
О влиянии «болонского процесса» на структуру и показатели рейтинга вузов России.
Пытаясь сформулировать свои взгляды по данной проблеме авторы столкнулись прежде всего с проблемой определения предмета обсуждения. С одной стороны, принимая «болонский процесс» в качестве «реальности данной нам в ощущениях» мы изначально исходим из неизбежности процесса нашей интеграции в европейское общеобразовательное пространство. Соответственно, составители рейтинга должны были бы приветствовать все то, что уже сегодня сближает вузы России и Европы и с помощью соответствующих позиций стимулировать вузы к активизации соответствующей деятельности. Надо отметить, что достаточно сильно акцент на данные показатели нашел свое отражение в методике подготовки материалов для участия вузов в конкурсном отборе на присвоение статуса инновационного вуза.
Вместе с тем, как мы отмечали в ряде предыдущих работ, Россия в очередной раз пытается в «болонском процессе» бежать впереди паровоза. В этом случае побуждение (а если быть до откровенности точным – понукание) вузов по обеспечению мифических показателей сближения с Европой, которая до настоящего времени еще не выработала сколь-нибудь приемлемую системную модель образовательной интеграции может оказаться очередной фикцией вроде научных школ, которые словно по мановению волшебной палочки дружно возникают в преддверии очередной аттестационно-аккредитационной кампании.
Соответственно мы бы предостерегли всех ревнителей ускоренной интеграции с миражом общеевропейского образовательного пространства от попытки угадать, что от нас потребуется для интеграции реальной, а соответственно от введения в рейтинговую методику оценки вузов чего-либо принципиально выходящего за рамки традиционной оценки международных контактов вуза.
Учет регионального компонента качества образования в контексте расчетов рейтингов.
Как уже отмечалось выше, когда мы говорили о системных недостатках в определении характеристик такого понятия как «качество образования», необходим учет регионального компонента в деятельности вуза. Здесь мы не только вступаем в малоисследованную сферу, но и попадаем в своеобразную логическую ловушку, т.к. несколько ранее если и не прямо говорили, то весьма прозрачно намекали на то обстоятельство, что российские вузы, как впрочем и всю Россию «аршином общим не измерить». Соответственно возникает вопрос о принципиальной возможности введения в рейтинг вузов показателей, характеризующих региональную компоненту оценки качества образования.
Думается, что данная задача может быть выполнима при соблюдении следующих базовых условий. Прежде всего это разработка общефедеральных базовых показателей для учета региональной компоненты, что призвано обеспечить такое базовое требование к рейтингу как единообразие методики и сравнимость полученных результатов. И, наконец, как нам представляется, полноценная реализация задачи по учету региональной компоненты в рейтинге вузов возможна только на базе создания в регионах Региональных центров качества образования, в задачи которых и будет вменена обязанность по учету особенностей регионов, обработке и интеграции необходимых статистических данных и т.д. и т.п.[16]
Придание рейтингу юридического значения.
Не за горами и следующий шаг – придание рейтингу вуза конкретного, грубого, зримого юридического значения. Каким ему быть ? Полагаем, что в настоящее время вопрос остается открытым. Пока не определены основные характеристики рейтинга, методики его применения, говорить о его принципиально новом статусе наверное преждевременно. Хотя в свете предлагаемых изменений в систему финансирования вузов просто напрашивается определение их взаимосвязи и взаимозависимости. Например, в форме указания на то, что «вузы занимающие первые места в рейтинге получают 100% бюджетное финансирование таких-то статей расходов, занявшие …. и т.д. Думается, что эта схема ничего, кроме отмашки флажком, означающей начало «гонки за рейтингом вверх по лестнице – ведущей вниз» не принесет.
В этой же плоскости, как представляется, лежат и иные перспективы использования рейтинговых показателей в правовых процедурах осуществляемых уполномоченными федеральными и региональными органами в отношении вуза (начало процедуры ликвидации, подтверждение статуса, получение определенных бонусов (например, налоговых льгот) и т.д. и т.п.
Минимально необходимым условием здесь выступает широкая дискуссия в научно-педагогической среде, результаты которой целесообразно представить на съезде ректоров, решения которого считать обязательными.
Не будем ограничиваться ставшей трюизмом фразой, о том, что «демократия имеет массу недостатков, но ничего лучшего люди пока еще не придумали». Опыт подсказывает, что все проходившие на наших глазах (и по нашим телам) реформы, базовые параметры которых определялись кем угодно, кроме тех, кого они непосредственно касались, порождали новые дополнительные проблемы. Пора признать за научно-педагогическим сообществом, университетской корпорацией (названия могут быть разными, сущность понятия от этого принципиально не изменяется), право определять те правила по которым она будет жить, работать, и если уж на то пошло, отвечать перед обществом за взятый на себя труд по формированию интеллектуального будущего нации.
[1] От яйца до яблок – древние римляне обед начинали с яиц и заканчивали яблоками.
[2] ОТЧЕТ по проекту: РАЗРАБОТКА ПРОЕКТА ИНТЕГРИРОВАННОГО ЦЕНТРА УПРАВЛЕНИЯ ОБРАЗОВАНИЕМ В РЕГИОНАХ РОССИИ ведомственной научной программы «Развитие научного потенциала высшей школы»; раздел 4.5: «Научно-методическое обеспечение управления образованием: прогнозирование развития образования, мониторинг, статистика. Развитие технологий информационного общества». Вид отчета: промежуточный. Код проекта: 74063. № госрегистрации 0120.0. 504139. С. 33-34.
[3] Коротков Э. Система комплексной оценки качества образования специалиста // Высшее образование в России. 1995. № 2. С. 72-78
[4] Аветисов А.А. О системологическом подходе в теории оценки и управления качеством образования // Квалиметрия человека и образования: методология и практика. Национальная система оценки качества образования в России. Пятый симпозиум. М., 1996. С. 54.
[5] Садков В.Г., Голенков В.А., Брехова Т.Б., Вайдерова Т.Г., Степанов Ю.С., Аронов Д.В. Управление качеством образования в регионах России. М.: «Прогресс», 2004. 168 с.
[6] Аронов Д.В., Садков В.Г., Машегов П.Н. О повышении качества диссертаций и проблемах вхождения России в единое европейское образовательное пространство (статья) // Образование и общество. 2004. № 1. С. 22-27; Аронов Д.В., Садков В.Г., Машегов П.Н. Еще раз о качестве образования, ученых степенях и званиях и вхождении в европейское образовательное пространство // Alma mater. 2005. № 1. С. 27-31; Аронов Д.В., Садков В.Г. О пределах и темпах интеграции системы высшего образования России в единое европейское образовательное // Образование и общество. 2005. № 3. С.16-19 и др.
[7] ОТЧЕТ по проекту: РАЗРАБОТКА ПРОЕКТА ИНТЕГРИРОВАННОГО ЦЕНТРА УПРАВЛЕНИЯ ОБРАЗОВАНИЕМ В РЕГИОНАХ РОССИИ ведомственной научной программы «Развитие научного потенциала высшей школы»; раздел 4.5: «Научно-методическое обеспечение управления образованием: прогнозирование развития образования, мониторинг, статистика. Развитие технологий информационного общества». Вид отчета: промежуточный. Код проекта: 74063. № госрегистрации 0120.0. 504139. С. 26-27.
[8] Методика определения рейтинга специальности по большей части совпадает с методикой оценки рейтинга вуза - в таблице представлен лишь раздел «данные выпускающей кафедры».
[9] Приказ Министерства образования РФ № 631 от 26.01.2001 «О рейтинге высших учебных заведений».
[10] Садков В.Г., Аронов Д.В. К проблеме определения понятий «научная (научно-педагогическая) школа». // Alma mater. 2003. № 6. С. 8-13.
[11] Садков В.Г., Аронов Д.В. О пределах и темпах интеграции системы высшего образования России в единое европейское образовательное пространство // Образование и общество. 2005. № 3. С. 16-19.
[12] Приказ Министерства образования РФ № 631 от 26.01.2001 «О рейтинге высших учебных заведений».
[13] Возможно разнесение оборудования по срокам амортизации советского периода и срокам морального устаревания применяемых в современной экономике, иначе компьютеры, срок амортизации которых по ряду нормативных документов может составлять до 10 лет, могут дать искаженную картину для ряда качественных показателей обеспеченности вуза, например по показателю Д35 «Общее количество персональных компьютеров в вузе».
[14] Очевидно можно соотнести этот период с расчетным периодом обновления знаний и необходимости переквалификации. При этом смену специальности внутри направления можно рассматривать не как смену профиля, а как признак фундаментальности.
[15] Гохберг Л.М., Ковалева Н.В., Соколов А.В. Российская статистика образования: актуальные проблемы и направления модернизации // Вопросы статистики. 2002. № 2. С. 41-48.
[16] Разработку системных основ деятельности подобных центров, типовых структур и нормативных документов, определяющих их деятельность проводит в настоящее время коллектив ученых ОрелГТУ
