WWW.DISUS.RU

БЕСПЛАТНАЯ НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

 

Pages:     || 2 |
-- [ Страница 1 ] --


Институт "Экономическая школа"

Институт Социологии РАН

При поддержке Фонда Форда






ИССЛЕДОВАТЕЛЬСКИЙ ПРОЕКТ

«ВЫСШЕЕ ЭКОНОМИЧЕСКОЕ ОБРАЗОВАНИЕ В РОССИИ НА РУБЕЖЕ ВЕКОВ»


Заостровцев А.П.




Оценка знаний студентов по специальности

"экономическая теория"












Санкт-Петербург

2004







Содержание



Страница
I. Основной тест 3
1.1 Основания выбора теста и подходы к его формированию 3
1.2 Тестируемый контингент и площадки 5
1.3. Результаты тестирования 1.3.1 Анализ ответов 1.3.2 Сравнительный анализ учебных заведений 8 8 12
II. Свободные вопросы 17
2.1 Принципы формирования и оценки свободных вопросов 2.2 Анализ результатов ответов на свободные вопросы 2.3 Запоминание, сообразительность, профессионализм 17 22 26
Приложение А. Статистическая оценка существенности различий между факультетами (t-тест Стьюдента) 30
Приложение Б. Результаты множественного сравнения факультетов по среднему баллу по отдельным предметам 31
Приложение В. Статистические взаимосвязи итогов ответов по основному тесту и свободным вопросам. 33




I. Основной тест


1.1 Основания выбора теста и подходы к его формированию

Выбор основного теста для определения знаний студентов специальности «экономическая теория» был исходным и принципиально важным шагом проекта.

Для тестирования знаний студентов в области экономической теории признано целесообразным опираться на модифицированный в целях приспособления к реальным возможностям тестирования Graduate Record Examination in Economics (далее – GRE) 1995 года.[1] Такой подход к выбору теста был обусловлен следующими соображениями.

1. Беспристрастность. В настоящее время экономическая теория изучается студентами экономических специальностей по различным учебникам. Например, в Санкт-Петербургском Государственном университете экономики и финансов (СПбГУЭиФ) преподавание микроэкономики основывается на учебнике Гребенников П.И., Леусский А.И., Тарасевич Л.С. Микроэкономика. Изд. 2-е, перераб. и доп. СПб.: Изд-во СПбУЭФ, 1998. В Санкт-Петербургсском филиале Государственного университета – Высшая школа экономики микроэкономика (СПб ГУ-ВШЭ) курс «Микроэкономика – 2» преподается на основе переводного учебника: Вэриан Х.Г. Микроэкономика. Промежуточный уровень. Современный подход: Учебник для вузов/ Пер. с англ. – М.: ЮНИТИ, 1997. Эти учебники существенно различаются по структуре, охвату тем, методам подачи материалов. Еще большие расхождения существуют в учебниках и прочих учебных материалах, рекомендуемых к курсам макроэкономики, международной экономики, статистики и эконометрики.

В таких условиях ориентир на имеющиеся в каком-то одном учебном заведении тесты и контрольные задания по соответствующим курсам заранее обрекало бы наше исследование на необъективность и вызвало бы справедливые нарекания (вплоть до отказа сотрудничать). Graduate Record Examination in Economics полностью избавляет от подобных упреков и выполняет роль третейского судьи.

2. Качество. Вопросы для Graduate Record Examination in Economics составляются комиссией специалистов, рекомендованных Американской экономической ассоциацией (American Economic Association) и Национальной ассоциацией по экономике (National Economic Association). Экзаменаторы подбирают вопросы, которые относятся к основам экономики. Примерно 2/3 вопросов основаны на вводных и промежуточных курсах микро- и макроэкономики. Оставшаяся треть вопросов охватывает такие курсы как статистика и эконометрика, международная экономика, экономика общественного сектора и ряд других специальных курсов, углубляющих и развивающих микро- и макроэкономику.

Следует обратить внимание на то, что подобных тестов в России не существует. Охват в одном тесте ряда предметов позволяет увидеть на основе обобщения результатов тестирования полную картину подготовки студентов-экономистов в области экономической теории (economics).

Качество этих тестов подтверждает и тот факт, что они не только составлены специалистами высокой квалификации, но прошли многократную апробацию в американских университетах. Это позволяет исключить ошибки, которые неизбежно встречаются в тестах, подготовленных российскими преподавателями.

Важное значение имело также и то обстоятельство, что в используемом сборнике тестов приводились не только правильные ответы на вопросы типа «выбери правильный ответ», но и их достаточно подробные обоснования. В отдельных случаях у проводивших тесты преподавателей возникали некоторые сомнения по поводу правильности предложенных ответов на вопросы (что, впрочем, вполне естественно). В таком случае составители теста имели возможность представить развернутое обоснование выбора ответа, подтвержденное ссылкой на авторитетный источник.

3. Соответствие уровню российского бакалавра. Внимательное ознакомление с содержанием тестов GRE позволило сделать вывод, что они могут быть использованы в исследовании знаний российских студентов-экономистов, заканчивающих 4-й год обучения и готовящихся к бакалаврскому экзамену. Абсолютное большинство вопросов GRE соответствует программам ведущих экономических вузов России и требованиям государственного образовательного стандарта высшего профессионального образования по специальности 060100 «Экономическая теория».

Использовать полный тест GRE (135 вопросов в расчете на 170 минут) в российских условиях практически не представляется возможным. В этой связи составители теста пошли по пути его сокращения и модификации, руководствуясь следующими подходами.

1. Стандартные временные рамки. Тестирование необходимо уложить в 90 минут – стандартное время, отводимое на одно занятие (так называемую «пару») в российских университетах. В результате пришлось пойти по пути сокращения вопросов до 60. При этом временной лимит GRE (1,26 мин. на один вопрос) расширялся, но не очень существенно (до 1,5 мин. на один вопрос). В пользу расширения временного интервала свидетельствовали также и результаты предварительной апробации теста, состоящего из 71 вопроса. Многие студенты, как правило, не успевали ответить на последние вопросы (либо оставляли пропуски, либо прибегали к проставлению ответов наугад).

Сокращение теста имеет свои недостатки не позволяет, например, корректно провести международные сравнения результатов тестирования. Однако без сокращения времени тестирования до 90 минут апробация теста была бы невозможной в принципе.

2. Сохранение структуры и формы GRE. При сокращении теста составители старались сохранить ядро предметной структуры GRE. Все вопросы представляют четыре предметные группы: микроэкономику (23), макроэкономику (21), международную экономику (8), статистику и эконометрику (8). Эта группа вопросов сложилась после тестирования качества самого теста (о проверке качества теста докладывалось на специальной конференции по данному проекту, проведенной в ГУ-ВШЭ в октябре 2002 г.) Форма теста GRE полностью сохранена. Отвечающему нужно выбрать единственный правильный ответ на вопрос из предложенных вариантов (multiply choice).

3. Устранение вопросов с национальной спецификой. В тесте GRE в небольшом количестве встречаются вопросы, относящиеся исключительно к тем или иным событиям или фактам из экономики США. Такие вопросы, естественно, устранялись при сокращении теста. Введение же в тест вопросов по российской экономике не представлялось целесообразным, поскольку в профессиональном сообществе нет общепризнанных представлений в отношении теории переходной экономики (даже правомерность использования термина «переходная экономика» подвергается сомнению). Вопросы же типа: «Какой была инфляция в России в 1993 году?» вряд ли выявляют квалификацию экономиста.

4. Изменения в оценке результатов. Сохранен принятый в GRE главный принцип оценка положительным числом правильного ответа, нулем – отказа от ответа и отрицательным неправильного. В то же время с учетом того факта, что тестируемые не имели достаточных стимулов к интенсивной работе над ответами, увеличено «наказание» за неправильный ответ. Если в GRE правильный ответ оценивается как +1, отказ – 0 и неправильный –0,25, то в нашем случае, соответственно, +2, 0, -1.

1.2 Тестируемый контингент и площадки

Тест предназначается для проверки знаний студентов, заканчивающих 4-й год обучения по специальности «экономическая теория». Однако проблема состояла в том, что в настоящее время в России сложились две системы обучения экономистов. Одна – традиционная, когда студент учится по определенной специальности. Другая – инновационная, двухступенчатая, когда обучение осуществляется по модели «бакалавр-магистр». Во втором случае на стадии бакалавриата отсутствует деление по специальностям - бакалаврский диплом выдается по общей специальности – «экономика». Распределение по специальностям происходит на второй ступени, в магистратуре.

В этой связи появлялся интерес сравнить качество обучения по традиционной и инновационной моделям. Поэтому проверка знаний студентов проводилась как на 4-х курсах заведений, придерживающихся традиционной формы обучения, так и на 4-х курсах бакалавриата. Такой подход не представляется неправомерным, поскольку инновационной модели придерживаются наиболее сильные учебные заведения страны (как мы увидим далее, это подтвердили и результаты тестирования).

Тестирование проходило в 7 учебных заведениях в четырех городах России. Поскольку в одном из этих заведений проводилось дважды (в 2002 и 2003 годах) для разных контингентов студентов 4 курса, то в последующем результаты тестирования этих двух групп студентов учитываются раздельно. Также отдельно рассматриваются и результаты филиалов. Ниже в таблице 1 приводится число заполненных вопросников по основному тесту по отдельным учебным заведениям.

Таблица 1

Основной тест: площадки и число заполненных вопросников

Город Учебное заведение Число заполненных вопросников
Москва AX 171
BX 80
Санкт-Петербург BY 26
AY 36
Екатеринбург AZ 31
Нижний Новгород BF 84
AF 12
Итого: 441

Столь различное количество опрошенных по учебным заведениям обусловлено, главным образом, объективными различиями данных заведений. Обычно при традиционной форме обучения по специальности «экономическая теория» формируется одна учебная группа студентов.

В дальнейшем принята условная кодировка по т.н. «факультетам» (условное название, описывающее единицу тестирования). Всего – 8 факультетов (с учетом вышеупомянутого разделения на разные единицы тестирования опрошенных в различное время различных контингентов студентов в одном учебном заведении). Каждому из факультетов присваивается свой номер. Номера 1, 2, 3, 6 и 7 принадлежат инновационным учебным заведениям (факультетам). Основной признак инновационности, как уже отмечалось, использование двухступенчатой системы «бакалавр-магистр». Номера 4, 5 и 8 принадлежат традиционным учебным заведениям, обучающим студентов по специальности «экономическая теория» и не использующим двухступенчатую систему (формальное присвоение звания бакалавра после окончания четвертого курса по итогам проведения бакалаврского экзамена или защиты бакалаврской работы ничего не меняет по существу).

Стоит отметить и некоторые проблемы в организации и проведении тестирования. Они связаны как с руководством отдельных учебных заведений, отнесенных нами к т.н. «традиционному» типу, так и со студенческим контингентом.

Со стороны традиционных учебных заведений иногда наблюдалась незаинтересованность в сотрудничестве. Проведение тестирования осуществлялось в некоторых из них без уведомления официальных должностных лиц из числа руководителей вузовских подразделений. Основной механизм доступа к студенческой аудитории в таких случаях «злоупотребление» служебным положением участниками проекта и их знакомыми из числа вузовских преподавателей.

Руководители старых государственных вузов незаинтересованы в проведении подобных тестирований, поскольку, в отличие от формальных внутривузовских экзаменов, они выявляют истинный уровень знаний студентов. Сравнение этого уровня с результатами инновационных учебных заведений для них крайне невыгодно. Боязнь распространения такой информации заставляет их всячески препятствовать подобным обследованиям. Поскольку официальное обращение к ним могло бы сорвать проект, то тестирование в отдельных учебных заведениях носило «подпольный» характер.

В то же время очевидно, что неформальность повышает издержки организации тестирования. Невозможно задействовать «административный ресурс». Проводящий тестирование преподаватель должен:

а) скрывать свои действия от руководства;

б) отрывать время (в размере 2 учебных часов) от собственного курса, который может иметь мало (или, даже, вовсе ничего) общего с содержанием теста;

в) как-то стимулировать студентов, что нередко идет вразрез с задачами изучения собственного курса (например, «десять лучших получают дополнительный балл на экзамене по институциональной экономике»).

Другой набор проблем связан со студенческой аудиторией. Одна из них касается незаинтересованности в результате. При проведении тестирования возникает опасность «оппортунистического поведения» со стороны студентов. Проводящий тестирование преподаватель может пожертвовать семинарским занятием, но не располагает серьезными возможностями заставить студентов прикладывать максимум усилий (лишь в одном случае тестирование было совмещено с бакалаврским экзаменом). Мы никогда не узнаем, действительно ли студент работает над тестом с полной отдачей (так, как если бы это было задание на экзамене) или отлынивает (отвечает только на самые легкие вопросы, занимается игрой в «угадайку»).

В одном случае пришлось прибегать к стимулируемой добровольности студентов с помощью небольшой оплаты за участие в тестирование. Однако в этом варианте наименее нуждающиеся студенты могут просто отказаться от участия. В конкретном эпизоде материальное стимулирование участия подкреплялось небольшим административным ресурсом ведущего занятия преподавателя в виде тотальной проверки посещаемости.

И, наконец, проблема посещаемости, которая, конечно, снижала процент охвата. В настоящее время значительная часть студентов четвертых курсов не посещает занятия (в том числе и по причине работы в дневное время).






1.3 Результаты тестирования


1.3.1 Анализ ответов


Анализ ответов на вопросы представляет интерес для понимания уровня подготовки по отдельным предметам. Он наглядно представлен на рисунке 1.

Микроэкономика дает наибольший процент правильных ответов и наименьший процент уклонений от ответов. В то же время процент неправильных ответов – не самый низкий. Такое распределение ответов можно объяснить тем, что микроэкономика изучается студентами неоднократно. Она фактически повторяется и проходится на более глубоких уровнях в таких курсах как «Экономика отраслевых рынков», «Экономика общественного сектора», «Экономика труда». Макроэкономика, конечно, тоже воспроизводится в некоторых последующих за ней курсах (например, в курсе «Монетарная экономика»), но все-таки в этом аспекте она уступает микроэкономике. Студенты уверенно идут на ответы по самому знакомому им предмету и этим также возможно объяснить не самый низкий процент ошибок (влияет фактор излишней самоуверенности).

Более низкие результаты по макроэкономике, на первый взгляд, трудно объяснимы. Ведь опрашивались студенты 4 курса, которые проходили макроэкономику не столь давно (на третьем курсе), тогда как микроэкономику они проходят на втором. Одна из причин этого «парадокса» названа выше. Можно высказать и дополнительную объясняющую его гипотезу. Микроэкономика лучше усваивается, так как она изучает поведение отдельных экономических агентов (индивидов, фирм), которое легко представить, как бы «спроецировать на себя». Что касается поведения индивидов, то это - очевидно; в отношении же поведения фирмы нужен минимум воображения (легко вообразить себя на месте ее руководителя). Усвоение же макроэкономики, оперирующей абстрактными агрегированными понятиями, представляет более трудную задачу. Кроме того, макроэкономические модели, как правило, более сложные и громоздкие.

Наиболее неожиданным результатом является провал с международной экономикой. Как видно из рис. 1, она дала самый низкий процент правильных и самый высокий процент неправильных ответов. Изначально предполагалось, что такой результат даст статистика. Отчасти это можно объяснить и тем обстоятельством, что международная экономика включает в себя и международную макроэкономику, которая представляет собой самый сложный раздел макроэкономики (например, модель IS-LM-BP).

Что касается статистики, то здесь получен самый низкий процент неверных ответов. Возможно, это объясняется высокой «склонностью к воздержанию» (самый большой процент отказов от ответов). Последняя, как раз, легко объяснима. Многие студенты плохо усваивают статистику/эконометрику и когда видят относящиеся к этой области вопросы, то предпочитают воздерживаться (своеобразный эффект неуверенности, противоположный ситуации с микроэкономикой).

Таблица 2

Номера 10 наиболее сложных и наиболее простых вопросов (в скобках процент соответствующих ответов)

Наиболее сложные Наиболее простые
Минимум правильных Максимум неправильных Максимум правильных Минимум неправильных
16* (7,7%) 27 (75,0%) 3 (88,0%) 3 (6,1%)
37 (10,0%) 20 (71,6%) 10 (86,8%) 4 (8,0%)
20 (14,3%) 16 (69,5%) 15 (86,4%) 10 (8,6%)
27 (14,8%) 28 (58,6%) 30 (85,7%) 45 (9,3%)
28 (17,7%) 50 (58,4%) 45 (85,5%) 49 (9,5%)
50 (20,2%) 59 (55,2%) 13 (84,8%) 35 (10,9%)
42 (23,6%) 44 (51,6%) 4 (84,3%) 57 (11,1%)
53 (26,4%) 11 (49,8%) 31 (83,0%) 13 (11,4%)
34 (28,0%) 17 (44,3%) 5 (82,5%) 43 (11,6%)
17 (28,0%) 23 (42,5%) 43 (82,3%) 15 (12,0%)

* Красным цветом выделены наиболее простые и наиболее сложные вопросы, подпадающие под эту категорию сразу по двум критериям.

Представляет известный интерес отбор самых легких и самых сложных вопросов теста. Для начала выберем 10 самых простых вопросов по двум критериям: максимальное количество правильных ответов и минимальное количество неправильных ответов. Затем выберем 10 самых сложных вопросов также по двум критериям: по минимальному числу правильных ответов и максимальному числу неправильных ответов. Сводный результат анализа 10 самых простых и самых сложных вопросов представлен в таблице 2.

Очевидно, что самым трудными оказались вопросы 16, 20, 27, 28 и 50. Самыми легкими – вопросы 3, 10, 4, 45 и 15. Среди самых трудных вопросов 2 вопроса по макроэкономике, 2 – по микроэкономике и 1 – по мировой экономике. Среди самых легких вопросов 4 вопроса по микроэкономике и 1 – по статистике.

Самым сложным вопросом оказался вопрос 16 (макроэкономика), самым простым – вопрос 3 (микроэкономика). Максимальный процент неверных ответов набрал вопрос 27 (микроэкономика).

Проанализируем структуру ответов на три самых сложных вопроса – 16, 20, 27. Она представлена в таблице 3.

Таблица 3

Структура ответов на три самых сложных вопроса

Вопрос № 16 Вопрос № 20 Вопрос № 27

Частота
Частота
Частота
Нет ответа 100 Нет ответа 62 Нет ответа 45
А 111 А 3 А 15
В* 34 В 24 В 290
С 153 С* 63 С * 65
Д 30 Д 39 D 6
Е 12 Е 248 Е 19
Примечание: Звездочкой отмечен правильный ответ. Ниже приведены соответствующие вопросы (правильные ответы также отмечены звездочкой). 16. Если ставка процента высока и трансакционный спрос на деньги низок, какое из следующих утверждений будет наиболее вероятно верным? (А) Спекулятивный спрос на деньги будет расти; (В)* скорость обращения денег будет увеличиваться; (С) потребители не будут использовать кредит; (D) ФРС будет проводить политику дешевых денег; (Е) будет значительная безработица. 20. Максимизирующий прибыль монополист, сталкиваясь с совершенно конкурентным рынком ресурса, платит за ресурс: (А) сверх дополнительной выручки, которую создает нанятый ресурс; (В) больше, чем стоимость предельного продукта нанятого ресурса; (С)* меньше, чем стоимость предельного продукта нанятого ресурса; (D) меньше, чем дополнительная выручка, которую создает нанятый ресурс; (Е) сумму, равную стоимости предельного продукта нанятого ресурса. 27. Какое уравнение наилучшим образом представляет кривую безразличия между 5-ти и 10-ти долларовыми банкнотами, при условии, что мы не учитываем издержки хранения наличных денег? В этих уравнениях Х обозначает количество 10-ти долларовых банкнот, Y = 5-ти долларовые банкноты. U0 это заданный уровень полезности. (А) Y = U0 – 4X; (B) X = U0 – 2Y; (С)* Y = U0 – 2X; (D) X = U0 – Y; (E) Y = U0 – X. В вопросе 16 отвечающие действительно могли испытывать определенные трудности, но стоило обратить внимание на подчеркнутую часть вопроса. Вопрос 20 – элементарная невнимательность или незнание. Невнимательность подчеркивает абсолютное преобладание выбора варианта Е. По всей видимости, отвечающие среагировали на термин «совершенно конкурентный рынок ресурса», но забыли о том, что совершенная конкуренция на ресурсных рынках предполагает ее наличие и на рынках продукции, так как спрос на продукцию является производным от спроса на ресурсы. Вопрос 27 дал наибольшее число неправильных ответов. Надо отдать должное авторам этого вопроса – ловушка построена замечательно! Естественным порывом является выбрать с ходу вариант В (раз X – 10-ти долларовые банкноты, а Y – пятидолларовые). Однако если подумать и построить соответствующий график, то становится очевидно, что правильный выбор – вариант С. Расчет коэффициентов корреляции (таблица 4) показывает, что обнаруживается значимая взаимосвязь между итогами ответов по различным предметам внутри первой части (статистически значимые коэффициенты выделены в таблицах красным цветом). Таблица 4. Коэффициенты корреляции между итогами предметов первой части. Итоговый балл - микроэкономика Итоговый балл - макроэкономика Итоговый балл - статистика Итоговый балл - мировая экономика
Итоговый балл - микроэкономика 1
Итоговый балл - макроэкономика 0,63 1
Итоговый балл - статистика 0,48 0,44 1
Итоговый балл - мировая экономика 0,39 0,47 0,27 1

Все результаты – вполне ожидаемые. Особенно это заметно на примере мировой экономики. Вопросы по мировой экономике действительно в большей мере связаны с макроэкономикой. Раздел «международная экономика» в курсе «макроэкономика» фактически совпадает со второй частью курса «мировая экономика». Первая часть курса «мировая экономика» относится, по смысловому содержанию, к проблемам микроэкономики, но прямого совпадения рассматриваемых проблем нет.

1.3.2 Сравнительный анализ учебных заведений

Несомненно, что наибольший интерес представляют межфакультатские сравнения. В таблице 5 представлены сводные результаты межфакультетского «соревнования» по итогам ответов на вопросы основного теста (как в целом, так и по отдельным предметам). В числителе – средний балл по основному тесту, в знаменателе – занятое место в восьмерке.

Таблица 5.

Сводные результаты тестирования по основному тесту


Фак-т Все предметы Микро Макро Статистика Межд. эк-ка
1
2
3
4
5
6
7
8


Легко заметить, что победитель выиграл соревнование по микроэкономике, а по всем остальным предметам занял стабильно второе место. В то время как «серебряный призер», ненамного отставший от победителя, сумел победить в двух дисциплинах (макроэкономике и международной экономике), но зато по микроэкономике и статистике показал только четвертый результат. Очевидно, что из-за этого разброса результатов он и не сумел выиграть в общем зачете. Первое место по статистике занял бронзовый призер. У него в активе еще два третьих места и одно четвертое.

Из числа участников, не вошедших в число призеров в общем зачете, только один (факультет 6) сумел занять призовое второе место в одной из дисциплин, а именно – в микроэкономике. В итоге он получил четвертое место. Все же остальные участники, оказавшиеся за чертой «призеров» в общем зачете, не занимали «пьедестал почета» и в отдельных дисциплинах.

Что касается аутсайдеров, то факультет 4, оказавшийся в итоге на последнем месте, лишь однажды сумел уйти с восьмого места (опередив факультет 5 по микроэкономике). Любопытно отметить, что мировой экономике средний балл оказался у этого факультета отрицательным. Другой явный аутсайдер – факультет 5 выступил значительно успешнее пол макроэкономике и статистике, что позволило ему, в итоге, остаться на предпоследнем месте.

Для этого, чтобы обосновать использование средних баллов для межфакультетских сравнений необходимо сначала провести тест на нормальность распределения ответов по факультетам. Гипотезу о соответствии эмпирического распределения теоретическому, в нашем случае нормальному, проверим с помощью критерия Колмогорова-Смирнова.

По всем группам ответов существенных отклонений от нормального распределения не обнаруживается. Значения доверительных вероятностей для каждого факультета не превосходят 5%. Следовательно, для оценки существенности различий между факультетами по уровню знаний экономической теории можно применять однофакторный дисперсионный анализ (таблица 6).

По всему тесту и по отдельным предметам существуют значимые различия между значениями среднего балла. В таком случае можно выявить однородные группы средних значений, т. е. в рамках одной группы средние баллы статистически не отличаются, а между группами существуют серьезные различия, (студенты показывают разный уровень знаний).

Таблица 6.

Результаты однофакторного дисперсионного анализа.

Группы вопросов F-статистика p-критерий



Итоговый балл 48,2 0,000
Микроэкономика 46,4 0,000
Макроэкономика 24,9 0,000
Статистика 21,3 0,000
Мировая экономика 22,7 0,000

В таблице 6 и, для наглядности на рис. 2, представлены результаты множественного сравнения факультетов по среднему баллу. В таблице 6 четко прослеживается деление на четыре, а фактически – на три группы. Первая - аутсайдеры. К факультетам 4 и 5 можно присоединить и факультет 8, хотя он их значительно опережает. Однако отставание от второй группы у факультета 8 еще больше. Вторую группу образуют так называемые «пятидесятники» (набравшие более 50, но меньше 60 баллов). И, наконец, третья, лидирующая группа. Условно назовем ее «шестидесятники» (набравшие более 60 баллов). Определенный интерес представляет сопоставление факультетов 2 и 3, т. к. они представляют выборки студентов одного и того же ВУЗа 4 курса в 2002 и 2003 году. t-тест парного сравнения средних показал, что значимых различий в успеваемости студентов одного ВУЗа, но разных лет обучения, не наблюдается (см. Приложение А, таблица 1 п).
Таблица 7. Результаты множественного сравнения факультетов по итоговому среднему баллу.
Факультет
1 2 3 4

4 14,3



5 16,4



8
25,8


6

50,6

7

53,8

3

57,3

1


61,1

2


63,3

Результаты множественного сравнения факультетов по среднему баллу были получены и по каждому из предметов (см. Приложение Б, таблицы 2п-5п).

Возвращаясь к сравнению факультетов по итоговому среднему баллу, следует особо подчеркнуть то обстоятельство, что налицо разрыв между вузами традиционными и инновационными. Первые заняли три последних места.

Причины такого положения дел достаточно очевидны. Во-первых, в 90-е годы прошлого века произошло разделение на те заведения, которые взяли курс на получения выгод за счет радикального обновления программ, вестернизации и на те, которые выбрали стратегию эксплуатации «советской марки», а также накопленного и постоянно пополняемого административного ресурса. Новые «брэнды» пока не очень существенно потеснили старые, тем более, что, зачастую, эти «брэнды» находятся в разных городах и регионах страны. Однако, в Москве, например, они уживаются, хотя и конфликтуют друг с другом. В то же время С.-Петербург стал своего рода цитаделью противников «экономикс» (особо заметным этот факт стал во время обсуждения новых федеральных стандартов по экономической теории).

Во-вторых, двухступенчатая система дает те преимущества, что не загоняет студента на стадии бакалаврского курса в прокрустово ложе специальности «экономическая теория», которая, откровенно говоря, не востребована российским обществом. В традиционных же вузах конкурс на экономическую теорию – самый низкий по сравнению с другими специальностями. На отделения и факультеты экономической теории попадают (за очень редким исключением) далеко не лучшие студенты. Имеет место настоящий «отбор худших» (adverse selection). Эти студенты явно ощущают себя «неудачниками» по сравнению со студентами, обучающимися по «модным» или, точнее говоря, куда более востребованным экономическим специальностям.[2]

В-третьих, в вузах традиционной ориентации на кафедрах экономической теории доминируют бывшие преподаватели марксистско-ленинской политической экономии. Квалификация их очень низкая (если не нулевая). Даже лучшие из них способны освоить учебники экономики лишь промежуточного уровня. Многие останавливаются на учебниках начального уровня (типа Макконнелла и Брю). Значительная часть преподавателей просто выдумывает курсы, которые они способны читать, но которые не читаются нигде в мире (часто это делается под маркой отражения «национальной специфики», которая, на самом деле, призвана служить ширмой для «национальной безграмотности»). В сущности же, эти курсы являются для них «несовершенными заменителями» утраченных марксистско-лениских политэкономий, а студенты (даже если они настолько умны, что не воспринимают их всерьез) просто теряют время. Говоря экономическим языком, издержки упущенных возможностей от профессиональной деятельности таких преподавателей очень высоки.

В-четвертых, федеральный стандарт сегодня представляет собой компромисс между «инноваторами» и «традиционалистами» Мало часов отводится и на дисциплины, относящиеся к «экономикс», недостаточная математическая подготовка, мало часов отводится на эконометрику. Однако в инновационных учебных заведениях федеральные стандарты подправляются в напрвлениии вестернизации (читаются курсы микроэкономика-I и II, макроэкономика-I и II), то в традиционных – в направлении «советизации» (известен факт проведения годового спецсеминара по «Капиталу» К.Маркса). В принципе, недостатки федерального стандарта могут быть отчасти преодолены или, наоборот, усилены за счет региональной и вузовской компонент.

В-пятых, заметим, что, как правило, в традиционных вузах сохраняется и традиционный «советский» стиль менеджмента. Это означает, что внебюджетные средства используются очень неэффективно и зарплаты преподавателей остаются на крайне низком уровне. В результате дееспособный преподаватель вынужден посвящать все свободное время сторонним приработкам (доходы от которых, нередко, в несколько раз превышают официальную зарплату). Часто эти «левые работы» непосредственно не связаны с преподаванием экономической теории. Отсюда у преподавателя пропадает интерес к повышению квалификации, да и возможности уделять ей хотя бы минимум времени. Низкие зарплаты существенно тормозят обновление преподавательских кадров, толкают преподавателей на «оппортунистическое поведение» (от откровенной халтуры в преподавании и писания чужих диссертаций - до элементарной коррупции).

Все это приводит к тому, что в традиционных вузах малограмотность воспроизводится. Молодые преподаватели экономической теории, которые заканчивали традиционные вузы по этой специальности в 90-е годы, являются своего рода «инвалидами детства». Получив диплом специалиста по экономической теории они, например, не в состоянии обучаться за рубежом даже на мастерских программах без солидной дополнительной самоподготовки (не говоря уже о программах подготовки PhD). Не хватает элементарных знаний. Не случайно абсолютное большинство отвечающих современным требованиям российских экономистов-теоретиков имеют базовое физико-математическое образование.


II. Cвободные вопросы

2.1 Принципы формирования и оценки свободных вопросов


Идея дополнить стандартные вопросы из теста GRE по экономике свободными вопросами исходила из того, что знание экономической теории в широком смысле предполагает не только овладение набором базовых сведений и инструментов анализа, но и умение описывать разные жизненные ситуации, интерпретируя их на основе экономического подхода. Наличие такого умения говорит о том, что экономические знания не просто являются тем, что нужно вызубрить и, по возможности, не забывать до окончания учебы в университете, а что они стали частью миропонимания, своего рода «персональной идеологией» человека. Не стремясь противопоставить знание базовых сведений и экономическое мышление, тем не менее, заметим, что, например, далеко не всегда хороший уровень знаний математической статистики (эконометрики) гарантирует наличие способности анализировать общественную жизнь.[3]

Вдохновителем идеи разработки свободных вопросов оказался Пол Хейне, точнее, его книга «Экономический образ мышления».[4] На наш взгляд, было бы весьма полезным, чтобы изучение экономической теории начиналось с построенного на ее материале вводного учебного курса. Эта книга готовит сознание к восприятию экономических идей, которые, как правило, всегда находятся в противоречии с устойчивыми общественными предрассудками. Важно, чтобы с ними расстались выпускники экономических факультетов, которые имеют хорошие перспективы занять места в государственном управлении. Не разделяя иллюзий просветителей, тем не менее, мы полагаем, что нередко абсурдные решения власти связаны не только с ее корыстными интересами в деле извлечения бюрократической ренты, но и с искренним непониманием азбучных истин экономики. Есть разница между бюрократом, принимающим разрушительные для бизнеса решения и в то же время верящим в их общественную пользу, и тем бюрократом, который принимает такие решения в силу необходимости следовать правилам игры тотально коррумпированного общества и одновременно осознает свою неправоту как экономист. Первый – абсолютно неисправим, второй сможет вести себя по-другому, если изменятся общественные институты.

В процессе отработки теста на первом этапе исследования было принято решение сократить количество свободных вопросов до 8. Во-первых, это было связано с появлением третьей части теста, во-вторых, с признанием того факта, что этих вопросов вполне достаточно для того, чтобы оценить состояние экономического мышления.

Надо сказать, что используемый нами термин «свободные вопросы» не совсем точно отражает суть дела. Скорее всего, уместно вести о речь о неких предложенных для рассмотрения ситуациях, которые требовалось прокомментировать, дать им оценку как экономисту-теоретику. Представляется далее целесообразным привести содержание свободных вопросов, раскрыть причины выбора именно этих вопросов и привести примерные комментарии, которые разработчики вопросов сочли бы исчерпывающими.


Ситуации и ожидаемый комментарий


1. Не секрет, что некоторые политические деятели демонстрируют в своих высказываниях элементарную экономическую неграмотность, хотя и занимают высокие руководящие посты в российской власти, причем в том ее секторе, где, по идее, требуется экономическая квалификация. Грамотный экономист должен мгновенно определять такие провалы, поскольку это очень важно, например, для будущего консультанта или аналитика. На базе таких высказываний политиков можно предположить, что следует ожидать от его действий, насколько он может проводить взвешенную самостоятельную политику.

В этой связи в качестве первого вопроса было предложено оценить (с точки зрения экономиста, владеющего современной экономической теорией) следующий отрывок из интервью газете «Коммерсантъ» бывшего главы Министерства Российской Федерации по налогам и сборам Георгия Бооса.

«Сегодня у нас спрос искаженный. Платежеспособностью в России в настоящее время обладает 10% населения. Остальные 90% ею не обладают. Спрос у них, конечно, есть, но денег нет. И поэтому у нас фактически 10% населения формируют потребительский рынок. Отсюда в России высокая доля импорта».[5]

В этом отрывке из интервью, в первую очередь, бросалось в глаза непонимание принципиального различия между спросом и потребностью. Затем явно не соответствующая действительности фраза о 10% населения, которые формируют потребительский рынок. Если принять ее за истину, то далее неизбежно следует вывод о том, что 90% населения не выходят на потребительский рынок и живут исключительно за счет самообеспечения (в натуральном хозяйстве). И, наконец, непонятна связь между утверждением о 10% и высокой долей импорта. Естественно, предполагалось, что в своих комментариях (в идеале) студенты обратят внимание на все эти моменты. При этом ключевое значение при оценке комментария приобретало то, насколько рельефно в нем подчеркивается колющая глаз экономисту путаница в понятиях «спрос» и «потребность».

2. Вторая ситуация касается «братской» Белоруссии. Корреспондентка журнала «Итоги» М. Гессен в 1998 г. в статье «Реставрированный заповедник» описала целый ряд явлений, характерных для белорусской «экономики дефицита». Приводится выдержка из ее репортажа. «Горничная между тем меняет тему: “У меня муж ездил в Москву в командировку, только вернулся. Говорит, там в магазинах все есть. Что с мужика взять, даже цены не посмотрел”. Она мужу явно не верит и перепроверяет у меня: “И мясо есть?” – “Да. А у вас?” “У нас пропало. Даже в престижных магазинах, которые по ночам работают, одни свиные головы лежат. И копыта. Говорят, все мясо в Россию ушло как плата за газ. И яйца тоже пропали…”».[6] В этой связи ставился следующий вопрос: «Согласны ли вы с выводом этой горничной о причине «пропажи» товаров? И если нет, то почему?»

Оценка этой ситуации требовала не только экономической подготовки, но и необходимость продемонстрировать знание реального положения дел в экономике Белоруссии в тот период. Требовалось развитое критическое мышление, так как большинство российских СМИ пропагандируют «успехи» белорусской экономики и пытаются противопоставить стабильную Белоруссию (избежавшую «приватизацию по-Чубайсу» и гайдаровскую шоковую терапию) нестабильной России. Основу этого критического мышления составляет понимание причин «экономики дефицита» как следствия вмешательства государства в рыночное ценообразование. Кроме того, ожидалось понимание того, что рыночная экономика вовсе не предполагает исчезновение на внутреннем рынке экспортируемого товара.

3. Третье задание требовало расписать, что имел в виду автор следующего высказывания: «Государственные законы редко поддерживают конкуренцию; гораздо чаще они скорее поддерживают интересы защитников конкурентов, чем защитников конкуренции». Очевидно, здесь надо было указать на то, что государственные законы часто принимаются под влиянием групп специальных интересов, а в результате создают входные барьеры, условия для поиска ренты.

4. Затем шел следующий вопрос: «Что общего, с точки зрения экономиста, между роскошной квартирой в центре С.-Петербурга с видом на Неву и талантом футболиста из петербургского «Зенита»»? На него можно было ответить одним словом – «рента»! Стоило указать и на неэластичность предложения ресурса (линия предложение подобных квартир, как и таланта футболиста высокого класса почти вертикальна). В этом случае, как известно, рента явно превалирует над удерживающим доходом.

Этот вопрос позволял выяснить, насколько студент способен найти общее экономическое содержание в двух столь разных житейских ситуациях. В нем для этого достаточно подсказок. Во-первых, «роскошная и с видом на Неву». Ясно, что количество таких квартир не может увеличиваться сколько-нибудь быстрыми темпами (хотя бы в силу ограниченности земельных участков у Невы в центре города). Во-вторых, во многих зарубежных учебниках предложение земли сравнивают с предложением услуг звезд кино, спорта и т.п. Это сравнение должно «излечить» от представления, что земля – единственный ресурс с вертикальной линией предложения и приносящий в силу этого обстоятельства доход в виде ренты.

5. Вслед за вопросом, в котором предполагалось знание теории экономической ренты, следовал вопрос на знание теории внешних эффектов. Описывалась следующая ситуация: «Участки огородника и кроликовода граничат друг с другом. Время от время кролики проникают за ограду и поедают овощи с соседнего участка». Ставилась задача описать данную ситуацию в экономических терминах.

Основная трудность была не в определении наличия какого-либо внешнего эффекта (обычно всегда бросается в глаза отрицательный внешний эффект – «кролики поедают капусту»), а в том, чтобы заметить присутствие так называемых взаимных внешних эффектов, причем для кроликовода внешний эффект положительный.

6. Требовалось взглядом экономиста оценить одну из особенностей советской системы. «В советское время существовала очередь на вступление в КПСС. В некоторых регионах СССР за вступление в партию даже давали взятки. Объясните с помощью экономической терминологии политику КПСС на рынке труда, которая порождала спрос на членство в ней?»

Этот вопрос нацеливал на экономическое восприятие такого явления как очередь на вступление в КПСС. Компартию можно было трактовать как закрытый профсоюз особого рода, как создателя барьеров для входа в определенные сектора рынка труда и. таким образом, как создателя монопольных привилегий. Стояние в очереди на членство в партии (вкупе с общественной работой ради вступления) стоило описать как затраты ресурсов на поиск ренты.

7. В настоящее время большинство видов социальной помощи в России носит натуральный характер в виде скидок с цен определенных благ или просто бесплатного их предоставления. Из экономической теории известно, что натуральные трансферты в большей мере носят искажающей характер, чем денежные. Кроме того, они и своим реципиентам приносят, как правило, меньшее удовлетворение, чем денежный трансферт аналогичной стоимости, так как уничтожают возможность выбора.

В этой связи была поставлена следующая задача. «Вам, наверное, неоднократно приходилось слышать выражение: «Цветов не надо, возьму деньгами». Для экономиста в нем заключен глубокий смысл. Какой?».

От отвечающих ожидалось указать как раз на то, что натуральный трансферт приносит меньшее удовлетворение (за редким исключением), чем денежный. В случае выбора развернутого ответа можно было даже изобразить показать график с соответствующими бюджетными линиями и кривыми безразличия.

8. Экономическую интерпретацию возможно дать даже Моральному кодексу строителя коммунизма. По крайней мере, некоторым из его постулатов. В частности, он включал следующий постулат: «Забота каждого о сохранении и умножении общественного достояния». Предлагалось увидеть, с какой экономической проблемой столкнулась его реализация?

Краткий ответ – эффектом безбилетника. Действительно, общественное достояние можно трактовать как общественное благо, а тогда проблемы с реализацией Кодекса на практике становятся совершенно ясны.

Ответы на эти вопросы оценивались по пятибалльной системе, хотя количественная их оценка столкнулась с серьезными трудностями. Однако ее необходимость диктовалась необходимостью поиска статистических связей между различными частями теста. Далее, на примере конкретных ответов (комментариев) мы постараемся показать, как они оценивались в баллах. При этом мы, естественно, понимаем, что балльные оценки в этих случаях весьма условны (в особенности, когда речь идет о нюансах, которые отличают, например, отличный ответ от просто хорошего).

Единицей оценивались:

а) пропуск ответа;

б) не относящийся к делу ответ.

Двойкой оценивались:

а) неверный по существу ответ;

б) некритическое принятие поставленного в формулировке вопроса суждения.

Тройкой оценивался ответ, который дает неаргументированный или плохо аргументированный, но отчасти верный ответ (хотя нередко и не по существу).

Четверкой оценивается ответ, дающий экономическое обоснование и использующий экономическую терминологию. Однако высшим баллом его не позволяет оценить неполнота.

Пятеркой оценивается ответ, использующий большинство уместных экономических терминов.

Для наглядности приведем конкретные примеры оценок ответов студентов на вопрос 4 (о футболисте из «Зенита» и роскошной квартире с видом на Неву), который, как мы увидим далее, оказался самым трудным.

Студенческий ответ на 1

Данные товары идут в паре. Если женщина сможет выйти замуж за футболиста, то она получит и талант, и квартиру.

Студенческий ответ на 2

Талант футболиста из петербургского "Зенита" приносит ему такой же доход, как сдача в аренду роскошной квартиры в С.-Петербурге с видом на Неву.

Студенческий ответ на 3

И то, и другое являются капиталом, инвестиции в который могут принести дополнительный доход в будущем. Квартира в С-П. является капиталом в общепринятом понимании, тогда как талант футболиста - это человеческий капитал.

Студенческий ответ на 4

Это имущество, способное приносить доход (экономическую ренту), это блага, способные увеличить благосостояние владельца. Они могут быть предметом вложений (рост спроса на жилье/ выгоды от участия игрока в команде).

Студенческий ответ на 5

Предложение подобного рода благ неэластично по цене и абсолютно неэластично в краткосрочном периоде. Поэтому владелец этих благ получает с них рентный доход.

2.2 Анализ результатов ответов на свободные вопросы


На свободные вопросы отвечали 380 студентов (на 61 меньше, чем на основной тест).

На рис. 3 показан процент хороших и отличных ответов по каждому из вопросов. Заметим, что во многих случаях грань, разделяющая хорошие и отличные оценки, весьма тонкая, если не условная. Как мы видим, в тройку лидеров вошли вопросы 7, 3 и 5, а вопросы 4, 2 и 1 оказались самыми сложными.

Если же взять в качестве критерия процент неудачных ответов (на 1 и 2), включая отказы от ответов, то мы получим картину, представленную на рис.4. В тройке самых простых ответов по-прежнему лидирует вопрос 7, но на второе место выходит вопрос 6 (с прежнего четвертого), а вопрос 5 остается на третьем месте. А вот тройка самых сложных вопросов осталась без изменения и, вдобавок, места в ней распределились точно так же, как и в предыдущем случае – 4, 2, 1.

 И, наконец, оценка вопросов по среднему баллу (рис.5). Распределение-42

 И, наконец, оценка вопросов по среднему баллу (рис.5). Распределение-43

 И, наконец, оценка вопросов по среднему баллу (рис.5). Распределение мест-44

И, наконец, оценка вопросов по среднему баллу (рис.5). Распределение мест как в тройке лидеров, так и в тройке аутсайдеров точно такое же, как и на рис.3. Итоговый результат оценки сравнительной сложности свободных вопросов приводится в таблице 8.



Таблица 8

Оценка сравнительной сложности свободных вопросов


Самые сложные Самые простые
По количеству ответов на 4 и 5
4, 2, 1 7, 3, 5
По количеству ответов на 1 и 2
4, 2, 1 7, 6, 5
По среднему баллу
4, 2, 1 7, 3, 5


Интересны коэффициенты корреляции результатов ответов на основной тест с результатами ответов на свободные вопросы. Если ответы на вопросы первой части сгруппировать по предметам, то статистически значимые взаимосвязи с итогами по предметам обнаруживают свободные вопросы № 5 и 8 (Приложение В, таблица 6 п).

Что касается «выступления» факультетов по свободным вопросам, то здесь, прежде всего, обращает на себя внимание небольшой разрыв по сумме набранных средних баллов между лидерами и аутсайдерами (рис. 6). Результаты всех факультетов укладываются в очень небольшой интервал (от 22 до 30).

Однако наибольший интерес представляют межфакультетские сравнения результатов по двум частям теста (таблица 9). Произошла не только смена лидера, но и аутсайдеров.

Таблица 9

Ранги факультетов по итогам ответов на основной тест и

свободные вопросы


Основной тест Свободные вопросы
Место Факультет Факультет Место
1 2 6 1
2 1 3 2
3 3 2 3
4 7 5 4
5 6 4 5
6 8 1 6
7 5 7 7
8 4 8 8

Лидером становится факультет 6, занявший по результатам основного теста лишь пятое место. Зато прежний «серебряный призер» - факультет 1 – оказывается лишь на 6 месте. Прежний победитель (факультет 2) перемещается на 3 место, а прежний «бронзовый призер» (факультет 3) – на второе.

Не менее интересные изменения происходят и в стане аутсайдеров. Потерпевшие сокрушительное фиаско по основному тесту факультеты 4 и 5 становятся «крепкими середняками», а в аутсайдеры (на предпоследнее место) попадает факультет 7, занимавший по результатам основного теста четвертое место. Последнее место занимает факультет 8.

Такие существенные изменения в «расстановке сил» говорят о том, что умение анализировать конкретные ситуации на основе профессиональных знаний и сумма этих знаний – не совсем одно и то же. Ответы студентов факультетов 4 и 5 выглядят теперь вполне прилично и на фоне фаворитов. Объяснение этого факта, по всей видимости, заключается в том, что для ответов на свободные вопросы не нужно хорошо знать экономику на уровне промежуточного курса (достаточно начального), а статистика и вовсе не нужна. Что же касается начального уровня, то здесь отставание традиционных вузов не столь велико. Кроме того, ясно, что способности к анализу студентов этих вузов не слишком уступают аналогичным способностям студентам инновационных заведений. Этот вывод остается в силе несмотря на последнее место факультета 8, так как, как уже подчеркивалось ранее, разрыв между факультетами минимален.

2.3. Запоминание, сообразительность, профессионализм

Предлагаемый студентам тест включал и третью часть – так называемые «задачи на сообразительность», составленные участником проекта проф. П.А.Ватником. Однако в силу лимита времени использовались лишь четыре задачи (студенты за 90 минут должны были ответить на 8 свободных вопросов и на 4 задачи на сообразительность). В дальнейшем, при обсуждении итогов тестирования участники проекта пришли к мнению, что 4-х задач мало для оценки сообразительности и выстраивания рейтингов факультетов. Отчасти это же относится и к свободным вопросам.

В результате проф. П.А.Ватник предложил участникам проекта разделить вопросы основного теста на 3 группы. Первая группа – вопросы преимущественно на запоминание. Они представляют большинство вопросов основного теста. Вторая группа – вопросы на сообразительность (аналог задач на сообразительность). Третья группа – вопросы на профессиональную зрелость (аналог свободных вопросов). Распределение всех вопросов основного теста по этим трем группам и, одновременно, по предметам, представлено в таблице 10. Из нее видно, что распределение получилось не очень равномерное, но зато в группе «сообразительность» мы имеем 18 вопросов (вместо 4-х задач).

Покажем типичные вопросы из этих трех групп на примере микроэкономики. Например, вопрос 2, приводимый ниже, является типичным вопросом на запоминание.

Таблица 10.

Распределение вопросов основного теста по группам и предметам


Группа Номера вопросов
Запоминание (34)* 1, 2,3,4,5,,7, 8, 9,10, 11, 12,14,19, 20,22,25, 26, 30, 33,34, 35,36, 39, 40, 42, 43,44, 45,46,48,49, 54,55,60
Сообразительность (18) 6,13, 15,17,18, 27, 28, 31, 32, 37,41, 51, 50,52,56, 57,58,59
Профессионализм (8) 16,21,23,24,29,38,47,53


Pages:     || 2 |
 




<
 
2013 www.disus.ru - «Бесплатная научная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.