WWW.DISUS.RU

БЕСПЛАТНАЯ НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

 

Объективизация результатов фокус-групп с помощью семантического дифференциала

На правах рукописи

Архипова Оксана Николаевна

ОБЪЕКТИВИЗАЦИЯ РЕЗУЛЬТАТОВ ФОКУС-ГРУПП

С ПОМОЩЬЮ СЕМАНТИЧЕСКОГО ДИФФЕРЕНЦИАЛА

Специальность 19.00.01- общая психология, психология личности,

история психологии

Автореферат

диссертации на соискание ученой степени

кандидата психологических наук

Москва, 2005 г.

Работа выполнена на кафедре общей психологии и психологии труда

Московского государственного социального университета (РГСУ)

Научный руководитель: доктор философских наук,

профессор

Чвякин Владимир Алексеевич

Официальные оппоненты: доктор психологических наук,

профессор Наталья Яковлевна Карпова

кандидат психологических наук,

Гудова Татьяна Германовна

Ведущая организация: Московский государственный открытый педагогический университет им. М.А.Шолохова,

кафедра психологии

Защита состоится 20 сентября 2005 г. в 14.00 на заседании диссертационного совета Д 224.002.05 в Московском государственном социальном университете (РГСУ) по адресу: 129256, г. Москва, ул.В.Пика, д.4, к.3, конференц-зал диссертационных советов.

С диссертацией можно ознакомиться в библиотеке Московского государственного социального университета (РГСУ) по адресу: г.Москва, ул.В.Пика, д.4. к.2

Автореферат разослан 20 августа 2005 г.

Ученый секретарь

диссертационного совета

к.пс.н., доц. И.В.Шаповаленко

I. ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ

Актуальность. В современных условиях достаточно обоснованно актуализируется проблема общепсихологического обеспечения маркетинговых исследований. По мнению многих авторов, в настоящее время необходимы общепсихологические подходы, позволяющие надежно и достоверно разграничить приоритеты потребностей в условиях потребительских отношений (Петренко В.Ф., 1988, 1989, 1990, 2005; Бодалев А.А., 1983; Гамезо М.В., Ломов Б.Ф., Рубахин В.Д., 1985., Берлизон С.Б., 1985). Такие подходы предлагались многими исследователями еще в период планового ведения хозяйства в нашей стране, но практического применения тогда не получили. В системе же рыночных отношений результаты подобного рода становятся все более и более востребованными. Изучение семантического поля потенциальных потребителей позволяет наиболее разумным образом, то есть адекватно спросу, реализовывать самые различные коммерческие проекты. В таком понимании предварительное изучение семантических полей представляет собой своего рода «экономическую разведку», представителями которой выступают маркетологи.

По мнению Ф.Котлера (2002), маркетинговые исследования должны включать возможности использования достижений общей психологии. Однако маркетологи традиционно опираются на данные социологических опросов, полагая, что именно они являются вектором продвижения на рынке товаров и услуг. В то же время практика свидетельствует о том, что метод социологического опроса различных категорий населения, который широко используется многими компаниями, явно не валиден. Даже рекламная деятельность по продвижению товаров и услуг, проводимая на основе социологических опросов, порой приводит к обратному результату. Длительное время в практике маркетинга складывалась ситуация, когда предпочтение отдавалось то количественным (результаты социологических опросов), то качественным (метод фокус-групп) подходам. Поэтому одним из перспективных и научно обоснованных оценок возможностей рынка может стать методология исследования семантических пространств (Петренко В.Ф., 1988, 1989, 2005).

Объект исследования - методическая система психологического исследования разнокачественных маркетинговых явлений в условиях рыночных отношений.

Предмет исследования - использование метода семантического дифференциала в интересах объективизации результатов фокус - групп.

Цель исследования - обосновать способ объективизации результатов фокус - групп, построенный на использовании семантического дифференциала.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Исследовать методическую возможность объективизации результатов фокус - групп через поиск перекрестной валидности методом семантического дифференциала.

2. Выявить основные приемы и способы валидизации метода фокус - групп через метод семантического дифференциала.

3. Определить основные пути, приемы и способы совершенствования методической системы психологического изучения разнокачественных явлений с помощью использования методов семантического дифференциала и фокус - групп.

Гипотеза исследования – исследование семантических пространств с помощью семантического дифференциала позволит объективизировать результаты деятельности фокус-групп в системе конкурентных отношений современного рынка. Семантические поля могут быть совмещены с разнокачественными утверждениями в фокус-группах. Можно предположить то, что существует методическая основа для нахождения перекрестной валидности метода фокус-групп через метод семантического дифференциала. Наряду с общей гипотезой выдвинуты частные:

- чем больше удельный «вес» семантической шкалы, качественно соответствующей утверждениям в фокус-группе, тем выше критериальная валидность метода фокус-группы;

- чем выше степень совпадения высказываний в фокус - группе относительно изучаемого явления с оценками изучаемого явления по шкале семантического дифференциала и данными целевой группы, тем выше критериальная валидность метода фокус-групп;



- личностные особенности людей отражаются в их оценках. Оценки личностных особенностей, выявленные с помощью семантического дифференциала, можно использовать для оценки степени соответствия состава фокус-групп целевой аудитории.

Теоретико-методологической основой исследования являются общепсихологические идеи о человеке как субъекте деятельности и отношений (С.Л.Рубинштейн, Б.Г.Ананьев, В.Н.Лурия, А.В.Запорожец, В.Н.Мясищев, А.Н.Леонтьев); теоретические положения о единстве личности и деятельности (А.Н.Леонтьев, К.А.Абульханова-Славская, Б.Ф.Ломов, С.Л.Рубинштейн); психосемантический подход в изучении социальных стереотипов и установок (В.Ф.Петренко, А.Г.Шмелев, Д.Пибоди); а также фундаментальные положения философии о диалектическом понимании психики и сознания человека, всеобщей связи и взаимообусловленности законов диалектики как общепсихологических детерминант при изучении предметов, явлений, процессов объективной реальности в их преломлении к механизмам развития и формирования структуры социально-психологических отношений (Петленко В.П., Чвякин В.А.).

Научная новизна диссертационного исследования:

1. Показана принципиальная возможность объективизации результатов фокус-групп. Процесс объективизации осуществляется двумя основными путями: соотнесением однокачественных оценок, полученных в фокус- группах, с отдельными валидизированными семантическими полями и путем сопоставления всех оценок, полученных в фокус-группах, со всеми валидизированными по внешнему критерию семантическими полями. В связи с этим обоснованы методические принципы объективизации результатов фокус-групп.

2. Обоснованы последовательность, алгоритм адаптации метода семантического дифференциала к потребностям объективизации результатов фокус–групп, а также различные пути, приемы и способы объективизации результатов фокус-групп через методику семантического дифференциала.

3. Установлено, что основными путями совершенствования методической системы изучения разнокачественных явлений с помощью семантического дифференциала и фокус-групп являются: а) создание набора семантических полей, валидизированных в различных областях научных исследований; б) включение в методику фокус-групп вопросов, которые бы ориентировали обследуемых на ответы, равномерно распределенные по семантическим полям и валидизированные в конкретном семантическом пространстве (развитие психосемантической установки, по В.П.Петренко).

Положения, выносимые на защиту:

1. Семантический дифференциал может рассматриваться как метод количественной оценки психологических, маркетиновых явлений через разнокачественные семантические поля. Качественно-количественная определенность методов семантического дифференциала и фокус-групп делает принципиально возможной их методическую взаимодополняемость. При этом в методе фокус-группы ведущей характеристикой является качественная определенность, а в методе семантического дифференциала - количественная определенность. Соотнесение этих методик друг с другом позволяет уточнить каждую из них.

2. Комплекс способов и приемов достижения максимальной конгруэнтности методов фокус-групп и семантического дифференциала позволяет определить валидность метода фокус–групп. Этот комплекс определяется как перекрестная валидность.

3. Принципиальная возможность объективного оценивания результатов фокус - групп с помощью семантического дифференциала реализуется через обоснованные способы и приемы предварительной валидизации семантического дифференциала, взаимно достаточной конгруэнтности методик и классические способы нахождения перекрестной валидности. При этом получается двухуровневая валидизация методики фокус–групп: а) в рамках определенных дихотомических пар (одномерная) и б) комплексная, всесторонняя, в рамках всех использованных дихотомических пар (многомерная).

4. Валидизация метода фокус-группы через семантический дифференциал строится как на валидизации по семантическим полям, представляющим адекватно и системно качества оцениваемого явления или качественные характеристики языка, так и путем кумуляции результатов по каждому семантическому полю в отдельности и каждому высказыванию в фокус – группе в отдельности.

5. Одним из важнейших условий достижения обоснованной валидизации метода фокус-групп является их состав. Смещение состава фокус- группы от психологических или социально-демографических показателей целевой аудитории снижают объективность исследования. С помощью методики семантического дифференциала можно выбирать для проведения фокус-групп типичных представителей той или иной аудитории. Этому способствует поиск коэффициентов индивидуальности каждого обследуемого и выбор среди претендентов на участие в фокус-группе лиц, наиболее соответствующих по своим индивидуально-психологическим особенностям целевой аудитории.

6. С помощью семантического дифференциала возможна квантификация результатов качественных оценок и объективизация результатов маркетинговых исследований качественного содержания. Это достигается путем совмещения метода семантического дифференциала и фокус-групп по качественным параметрам и перевода качественных показателей по фокус-группе через семантический дифференциал в количественные.

Теоретическая значимость исследования состоит в разработке совокупности теоретических положений, выводов и рекомендаций, содержащих в себе решение научной проблемы по исследованию возможностей объективизации результатов фокус-групп с помощью семантического дифференциала. В исследовании обобщены и систематизированы научные представления о психолого-методических основах семантического исследования. Выявлены пути совершенствования применения фокус-групп и семантического дифференциала в психологических исследованиях, а также получены результаты экспериментально-психологического исследования возможностей психосемантического оценивания психологических, маркетинговых процессов с помощью фокус - групп.

Практическая значимость исследования заключается в том, что:

- появилась принципиальная возможность объективизации результатов фокус-групп в практике маркетинговых исследований. Результаты фокус-групп довольно часто дают искаженные представления о потребительском поведении населения, движении товаров и услуг в условиях рынка. Использование методологии семантического изучения достоверности результатов фокус-групп позволяет обоснованно и надежно оценивать социально-психологические особенности восприятия товаров и услуг;

- семантический дифференциал позволяет повысить не только объективность результатов, но и улучшить процедуру отбора в фокус–группы лиц, которые по своим индивидуально-психологическим особенностям существенно не отличаются от целевой аудитории. Такой подход в организационно-методическом обеспечении маркетинговых исследований позволяет существенно улучшить качественные показатели проведения фокус-групп;

- практические психологи, которые проводят социально-психологическое оценивание маркетинговых явлений в условиях современных рыночных отношений, могут значительно улучшить показатели своей деятельности, получив возможность объективизации ее результатов с помощью семантического дифференциала.

Обоснованность и достоверность полученных результатов исследования обеспечивались исходными методологическими принципами, анализом литературных данных как теоретического, так и прикладного характера, адекватностью методов исследования его целям и задачам, сравнительным анализом теоретического материала, данных собственных экспериментально-психологических исследований, репрезентативностью выборки, а также использованием методов математической статистики (критерий достоверности различий Стьюдента, коэффициенты корреляции). Обоснованность результатов обеспечивалась привлечением опытных экспертов для оценки достоверности исследования, а также проверкой полученных результатов успешностью продаж конкретных товаров.

Апробация и внедрение результатов исследований. Основные результаты исследования, теоретические и экспериментальные данные нашли свое отражение в научных докладах, статьях и тезисах, изложенных автором на IV Международном социальном конгрессе «Социальные процессы и социальные отношения» (Москва, 2004); на Всероссийской научно-практической конференции «Терроризм как экономическое, социальное, политическое явление и его прогнозы по выявлению финансовых потоков международных криминальных структур и террористических организаций» (г. Балашиха, Московской обл., 2004); на Всероссийской научно-практической конференции «Методологические и практические проблемы инновационного образования, воспитания и формирования инновационного мышления студентов в высшей школе» (г. Балашиха, Московской обл., 2005); на научно – практической конференции «Социально – психологические проблемы системы современных рыночных отношений в России» (г. Калуга, 2003). Полученные результаты обсуждались на Президиуме Академии Имиджелогии (г. Москва, 2004), а также на заседаниях кафедры общей психологии и психологии труда РГСУ в 2004 и 2005 гг.

Основные положения диссертации легли в основу методического пособия «Психолого - методические основы объективизации результатов фокус-групп с помощью семантического дифференциала» и учебно-методического пособия «Возможности объективизации результатов психологического исследования с помощью психосемантических методов», используются в учебном процессе в Московском государственном социальном университете (РГСУ), в Институте социально-экономического прогнозирования и моделирования, в Московском Региональном институте высшего социально-экономического образования. Результаты исследования внедрены в практику комплектования фокус-групп в фирмах «ЭФКО» (г. Москва), «Молочное дело» (г. Москва), «Психология и бизнес он-лайн» (г. Москва).





Материалы диссертационного исследования отражены в 11 публикациях автора.

Структура диссертации. Цели и задачи исследования определили логику изложения материала и общую структуру работы. Диссертация состоит из введения, трех глав, заключения, списка литературы, 6 приложений. В качестве иллюстраций в тексте диссертации содержится 7 таблиц и 2 рисунка

II. ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность проблемы, сформулированы цель, задачи, объект, предмет и гипотеза исследования, показаны научная новизна, теоретическая и практическая значимость полученных результатов. Определяется теоретическая база исследования существующих возможностей объективизации результатов фокус - групп с помощью семантического дифференциала.

В первой главе «Теоретический анализ психолого-методических основ объективизации результатов фокус - групп с помощью семантического дифференциала» показаны существующие возможности комплексного использования результатов фокус - групп и методов психосемантического оценивания брэндов некоторых товаров и услуг в системе рыночных отношений. Приведены данные анализа принципов объективизации результатов метода фокус групп и психологического анализа потребительского поведения в условиях целевого рынка конкретных товаров и услуг. Проанализированы возможности использования некоторых разновидностей методики семантического дифференциала в интересах объективизации результатов метода фокус - групп.

В психологии имеются сторонники количественных и качественных методов анализа. К качественным методам всегда относили фокус - группы и по этому поводу имеются сведения об их недостатках (Е.Ю.Артемьева, Е.М.Мартынов, Ю.К.Стрелков, В.П.Серкин, С.А.Белановский, Н.Н.Богомолова, О.Т.Мельникова, Т.В.Фоломеева и др.). Среди аргументов называют следующие: даже десятки человек из фокус - групп не способны отразить мнение генеральной совокупности и заменить статистические выводы; в фокус - группах чаще высказывают мысли лица более активные и со специфическими индивидуально - психологическими особенностями. Более того, считается, что работать в фокус - группах соглашаются люди с определенными акцентуациями, метапрограммами и определенным психотипом личности. В то же время многие психотипы личности, реально представленные в генеральной совокупности, просто не попадают в фокус - группы по причине своих индивидуально - психологических особенностей (В.В.Куракина, А.Г.Шмелев).

Однако споры о преимуществах и недостатках статистических и качественных методов в психологии не отменяют принципиальной возможности сосуществования таких методов исследований на практике. Практика маркетинговых исследований позволяет видеть, что каждый из данных групп методов исследования обладает своими положительными и отрицательными свойствами, что эти методы не исключают друг друга и могут применяться в комплексе. Практика маркетинговых исследований позволила также определить перспективность одновременного применения таких методов исследования как семантический дифференциал и фокус - группа в комплексе.

Сравнительный анализ на рынке товаров и услуг оперирует такими понятиями, как «качество», «цена», «известность», «надежность» и др. (набор и иерархия факторов для каждой товарной группы свой). При исследовании брэнда на первом этапе с помощью фокус - групп выявляются преимущественные критерии потребителей, используемые для описания конкретной товарной группы. В настоящее время изучаются процедуры применения фокус - групп, которые рассчитаны на интенсивное обсуждение брэнда. При анализе результатов фокус - групп для их более точной интерпретации широко применяется контент - анализ, метод межгрупповых сравнений, лингвистический анализ, дискурс - анализ, анализ видеоданных и др. В настоящее время обоснованы методические приемы и процедуры фокус - группового исследования, требования к месту и времени проведения фокус - групп. В литературе описаны методики подбора участников фокус - групп и определены функции ведущего фокус - группу, а также требования к ее модератору. Анализ данных литературы показал, что необходимо учитывать реакции модератора на высказывания респондентов и его тактику по отношению к разным категориям участников фокус - групп и т.д. Однако достаточно проблемной остается потребность в объективизации результатов фокус - групп, анализ и обработка данных, полученных в фокус - группах (Т.В.Фоломеева, Л.А.Степанова, Р.Мертон, М.Фиске, П.Кендал). Именно в проблеме объективизации результатов фокус - групп, по мнению большинства исследователей, заключен поисковый смысл наиболее удачного их использования в различных видах практической деятельности, когда возникает необходимость сравнения различных объектов друг с другом.

В настоящее время накоплен опыт использования семантического дифференциала в маркетинговых исследованиях, однако он системно не проанализирован. В то же время анализ достигнутого уже позволяет более обоснованно предлагать пути и способы использования этого метода для объективизации результатов качественных маркетинговых исследований в современных условиях рыночных отношений (Н.И.Конюхов, М.Л.Шаккум, И.Н.Маяцкая). При этом разнокачественные характеристики товара (услуги и т.д.) можно выразить в одном количественном индексе (рис.1).

 Условные индексы брэнда Это создает принципиальную возможность-0

Рис.1. Условные индексы брэнда

Это создает принципиальную возможность сравнивания между собой результатов маркетинговых исследований, полученных с помощью семантического дифференциала и фокус - групп. В настоящее время под методикой семантического дифференциала применяют различные системы разнокачественных семантических полей, с помощью которых количественно оценивают те или иные явления. Эти разновидности семантического дифференциала могут случайно отражать систему оцениваемого явления как в одной плоскости, так и системно. Системное отражение оцениваемого явления может достигаться применительно ко всей целевой группе, так и применительно к каждой конкретной личности. Семантические дифференциалы, адаптированные к индивидуально - психологическим особенностям конкретных людей, обладают достаточно высокими прогностическими возможностями. Суммирование результатов обследования этими семантическими дифференциалами по группе людей дает возможность получить модель оценок той или иной целевой группы, выделять целевые группы по тому или иному критерию (социально - демографическому, психотипологическому и др.). Это создает возможность перепроверять другие методики, в том числе и фокус - групп и через полученные результаты с помощью семантического дифференциала. Результаты исследования с помощью семантического дифференциала могут быть существенно приближены к психотипам личности, которые приняли участие в фокус - группах. Наконец, лица, принявшие участие в фокус - группах, могут отразить оцениваемое явление с помощью семантического дифференциала. Сопоставление результатов обследования различными методиками значительно повышает его надежность, достоверность и дает реальную возможность для поиска перекрестной валидности данных методик. Величина этой валидности проверяется практикой маркетинговых исследований по их конечным результатам (потребительское поведение, продвижение товара и т.д.).

Во второй главе «Экспериментально-методическое обоснование использования семантического дифференциала в маркетинговом исследовании» представлена организация всего исследования, показан алгоритм адаптации метода семантических полей к потребностям маркетингового исследования, экспериментальное обоснование возможности объективизации результатов фокус групп с помощью семантического дифференциала и организация экспериментально-психологического исследования возможностей психосемантического оценивания маркетинговых процессов с помощью фокус - групп.

Любые разновидности семантического дифференциала должны быть адаптированы к конкретному качественному исследованию с применением фокус-групп. Процесс экспериментально-психологического исследования предполагает следующую этапную последовательность выполнения проводимых мероприятий.

1. Строится система семантических полей. Количество шкал должно быть максимальным.

2. В конкретную систему семантических полей встраивается семантический дифференциал Ч.Осгуда или иной вид семантического дифференциала, с помощью которого проводится обследование массива лиц.

3. Оцениваются образы «Я» покупателя и «Я в идеале». Так определяются психотипы, которые подлежат обследованию. Наличие информации о связи самооценки с объективными характеристиками личности дает возможность в дальнейшем непосредственно выходить на психотипы личности, не связываясь с трудоемкой задачей совмещения результатов семантических оценок и психодиагностики. Образ потенциального покупателя важен, так как путем совмещения этого образа с критериями отбора становится очевидным, по каким параметрам наблюдается эффект эмоциональной идентификации, а по каким нет. Это крайне важно для рекламы, так как эффект эмоциональной идентификации детерминирует интерес (особенно его модальность) потенциального покупателя к товару.

4. Оценивается «лучший» и «худший» образ данного явления. Это может быть образ хорошей и плохой сметаны, хорошего и плохого продукта и т.д.

 Образ «лучшего» и «худшего» явления в структуре психосемантического-1

Рис.2. Образ «лучшего» и «худшего» явления в структуре психосемантического пространства

5. Формируется статистическая модель, образ, имидж лучшего и худшего продукта.

6. Затем проводится оценка конкретных разновидностей этого продукта и определяется место каждого продукта на каждой шкале семантического дифференциала.

 Место каждого продукта на каждой шкале семантического дифференциала -2

Рис.3. Место каждого продукта на каждой шкале семантического дифференциала

7. Далее совмещаются различные факторы (поиск логотипов образа, индекс брэнда, продукта и др.). Здесь может быть применен факторный, корреляционный, кластерный, дискриминантный и другие виды математического анализа при обработке полученных данных. В работе использовалась методика составления таблиц распределения. Оцененные явления располагались относительно выделенных эмоциональных центров восприятия образа товара.

8. Собранный массив статистических данных сопоставлялся с результатами психодиагностических исследований целевой группы. При этом выделяляются социально-демографические группы, а также учитывались предпочтения выборов лиц в зависимости от их психотипов.

9. Определяется процентное содержание личностных психотипов в общем массиве потенциальных потребителей конкретного товара. Так выявляляется модель исследуемого образа конкретного продукта, в пределах которой можно предсказать как изменение образа продукта скажется на предпочтения целевой аудитории и какой именно аудитории (по преобладанию в ней конкретного психотипа лиц). Так, добавление красного цвета увеличивает долю предпочтений у решительных, волевых, конфликтных личностей, кинестетиков, а голубого – у мягких личностей, у визиуалистов. Если покупателей данного продукта кинестетиков меньше, то образ товара лучше сместить в сторону большего предпочтения визуалистов.

10. Применяются и другие методы, чтобы подтвердить правомерность полученных результатов. Так, в данном исследовании проводилась работа по объективизации результатов и строился алгоритм применения методики семантического дифференциала в маркетинговых исследованиях. На каждом этапе применялись (избирательно) математические методы оценивания полученного промежуточного результата. Наиболее сложные задачи решались более сложными вариантами семантического дифференциала.

Для решения задач такого класса создана методика «Семкон». Она включает в себя как традиционный семантический дифференциала Ч.Осгуда, так и массу семантических полей, критериев, которыми пользуются личности при выборе субъективных предпочтений. Эти критерии в своей совокупности отражают большую часть критериев выбора людьми конкретного продукта на рынке потребительских товаров. Данная система семантических полей отражает основные эмоциональные центры, которые использует человек при оценке продуктов. Она не требует длительного времени заполнения (30 минут). Она не требует особой квалификации как самих респондентов, так и лиц, проводящих обследование. Одновременно эта система семантических полей содержит в себе семантический дифференциал Ч.Осгуда и семантические поля, которые составляют другие разновидности семантических дифференциалов. Это дает возможность широкого применения методов математической обработки, сопоставления различных баз данных и данных комплексной психодиагностики, в которых применен классический семантический дифференциал. Экспертные мнения относительно возможности поиска валидности проективных тестов с помощью семантического дифференциала оценивались дополнительно специалистами в области применения семантического дифференциала. В работе был использован стандартный семантический дифференциал (СД), в соответствии с которым испытуемому предлагается оценить стимул (значение) с помощью предложенного набора шкал-антонимов (табл.1).

Таблица 1.

Набор шкал-антонимов

Метод семантического дифференциала - один из методов построения субъективных семантических пространств. Он предложен американским психологом Ч. Осгудом в 1952 г. и применяется в исследованиях, связанных с восприятием и поведением человека, с анализом социальных установок и личностных смыслов, в психологии, социологии и рекламе. Данный метод является комбинацией метода контролируемых ассоциаций и процедур шкалирования. При этом измеряемые объекты (понятия, изображения, персонажи и т. д.) оцениваются по ряду биполярных градуальных (трех, - пяти - и семибалльных) шкал, полюса которых обычно задаются вербально. Основные задачи, которые можно решить с помощью исследовательской методики семантического дифференциала в брэндинге: оценка критериев выбора (на что стоит обращать внимание в рекламе продукта); выбор правильного названия, отражающего ожидания покупателя от идеального товара этой категории; описание расположения товара на фоне продуктов конкурентов в выявленном семантическом пространстве. Преимущества СД – это его компактность, возможность бланковой работы с большими группами испытуемых, стандартизация результатов и процедур сравнения результатов работы разных испытуемых и групп испытуемых, снятие речевых штампов заданными экспериментатором шкалами. Важнейшее преимущество методов семантического оценивания состоит в том, что в качестве стимула для оценивания может быть представлен почти любой объект: событие, ситуация, социальная роль, продукция, отношения и т.д. Поэтому метод СД нашел очень широкое применение во многих разделах психологии.

В третьей главе диссертации «Пути совершенствования применения фокус-групп и семантического дифференциала в психологических исследованиях» приведены результаты экспериментально-психологического исследования возможностей психосемантического оценивания маркетинговых процессов с помощью фокус-групп. Результаты исследования показали, что построить систему предпочтений к конкретным продуктам, явлениям или процессам потребительского рынка можно только исходя из индивидуальных выборов большого количества людей. Такой подход делает методику оценки явлений с помощью семантических полей перспективной в практическом отношении. Его реализация при объективизации результатов фокус-групп, показывает, что семантический дифференциал должен применяться одновременно с проведением самих фокус-групп. Такое комплексное использование двух методик закономерно повышает надежность оценок, полученных с помощью самих фокус-групп. Это повышает значимость психологических методов в маркетинговых исследованиях вообще, дает возможность применить математические методы более широко, количественные оценки в тех областях рыночных процессов потребительского спроса, которые ранее казались совсем не поддающиеся методам математической обработки. Однако не все разновидности семантического дифференциала подходят для оценки результатов качественных исследований. Этот дифференциал должен быть достаточно разнокачественным, обширным и представительным. По данным проведенного исследования для этого хорошо подходит методика «Семкон». Другие разновидности семантического дифференциала могут быть получены из нее.

Установлено также, что разнокачественные семантические поля принципиально совместимы с разнокачественными утверждениями респондентов в фокус-группах. Система семантических полей, отражающих образ лучшего и худшего оцениваемого продукта может служить основанием для определения конструктивной валидности высказываний в фокус-группах. Именно поэтому реальные продажи продуктов с использованием рекомендаций качественных маркетинговых исследований могут служить надежным критерием для оценки прогностической валидности результатов, полученных в фокус-группах. Установлено, что совместное применение метода фокус-групп и метода семантических полей само по себе повышает надежность и достоверность экспериментально-психологического исследования. Это обусловлено рядом следующих факторов. Во-первых, совместное применение различных методик уменьшает ошибку измерения. Если методики согласованы и есть предварительная уверенность, что они измеряют одно и то же, то оценка с их помощью чего-то напоминает взвешивание одного и того же на двух весах. При этом потенциально большей ошибкой обладает все же фокус-группа, так как ее результаты в большей степени, чем у семантического дифференциала зависят от ситуативных факторов (личности модератора, состава группы, условий проведения и др.). Во-вторых, у обследуемых лиц формируются однотипные условные рефлексы на вербальные стимулы в семантических полях. Но если учесть, что сами обследуемые выбирают семантические поля, которые наиболее значимы при оценке хорошего и плохого продукта, то в сознании человека актуализируются такие ассоциативные связи, которые наиболее важны для оценок в фокус-группах. Результаты выполненного исследования позволяют обосновать методические приемы совершенствования семантического дифференциала как метода маркетингового исследования. По нашему мнению, технология построения семантического пространства включает реализацию следующих последовательных этапов.

Первый этап связан с выделением семантических связей анализируемых объектов (понятий, символов, изображений и т.д.). В экспериментальной семантике, психолингвистике в качестве методик выделения семантических связей используются: - ассоциативный эксперимент, где мерой семантической связи пары объектов является сходство дистрибуций их ассоциаций; - субъективное шкалирование, где испытуемые выносят суждение о сходстве каждой пары объектов по некоторой градуальной шкале, содержание которой не задано, то есть испытуемый сам домысливает основания классификации; - семантический дифференциал, где мерой сходства объектов является сходство их оценок, данных по биполярным градуальным шкалам, содержащим в качестве полюсов прилагательные-антонимы; - методика сортировки, где семантическое сходство пары объектов пропорционально количеству объединений их в общие классы при процедуре классификации; - метод подстановки, родственный лингвистическому методу дистрибутивного анализа, где мерой сходства слов выступает количество контекстов, в которых эти слова взаимозаменяемы; - условно-рефлекторные методики, рассмотренные выше, где семантические связи устанавливаются на основе генерализации выработанного условного рефлекса - его переноса с одного объекта на другой, с ним семантически связанный.

Второй этап включает математическую обработку исходной матрицы сходства с целью выделения тех универсумов, которые лежат в ее основе.

Третий этап - это построение семантического пространства и он связан с интерпретацией выделенных структур.

По сути дела, представленный алгоритм представляет собой методические приемы создания различных разновидностей семантических дифференциалов и их обработку. Результаты исследования свидетельствуют, что при работе с семантическим дифференциалом и методом фокус-групп в центральной нервной системе человека актуализируются однотипные нейронные связи и ассоциации. Поэтому метод семантического дифференциала может рассматриваться и как способ настройки целевой аудитории на нужные и актуальные ассоциации, которые крайне необходимы для оптимальной работоспособности участников фокус-групп.

Это предположение было проверено следующим образом: у 22 фокус-групп, проводимых двумя модераторами (11+11) были проведены предварительные исследования методом семантического дифференциала, настроенного на оценку 5 брэндов. У 22 фокус-групп (11+11), которые проводили те же модераторы, перед началом определялись социально-демографические показатели и заполнялись специально разработанные опросники. По времени это занимало столько же, сколько оценка этих брэндов методом семантического дифференциала. Затем была проведена оценка эффективности фокус-групп. Оценка производилась по 10-балльной шкале, как модераторами так и сотрудниками, которые анализировали эти результаты по видеозаписи и по итоговым документам (табл.2).

Таблица 2.

Оценки эффективности фокус-групп в зависимости от предварительного использования метода семантического дифференциала

Оценка качества проведения фокус-групп без предварительного заполнения семантического дифференциала Оценка качества проведения фокус-групп с предварительным заполнением семантического дифференциала
6,9 8,3

Данные табл.2 свидетельствуют, что при проведении фокус-групп проявления индивидуально - психологических особенностей сознания во многом спонтанны, а при психосемантическом оценивании объектов стимулируются те, которые наиболее важны при его оценке. При этом иные, ситуативные стимулы как бы уходят на второй план из сознания работающего в фокус-группе человека.

Данные исследования показали, что при применении семантического дифференциала и метода фокус - групп важно учитывать влияние на результат различных факторов и стабилизировать их.

Возможно несколько путей объективизации результатов фокус–групп с помощью семантического дифференциала (табл.3).

Таблица 3.

Соотношения индексов брэндов и их продаж

Название брэнда Индекс брэнда Отношение к ведущему брэнду (100%) Процент продаж Отношение к ведущему брэнду (100%)
Сырок 1 15,1 1,0 38,3% 1,0
Сырок 4 12,8 0,85 33,7% 0,88
Сырок 5 6,8 0,45 20,1% 0,52
Сырок 3 0,9 0,06 11,3% 0,3
Сырок 2 0,3 0,02 7,4% 0,19

Путь первый. Результаты практической деятельности, развитие самого маркетинга. Так, при исследовании брэндов сырков выявлено, что индекс сырка 1 равен 15,1. Индекс сырка 4 равен 12,8, сырка 5 - 6,8, сырка 3- 0,9, а сырка 2 - 0,3. Для проверки эти сырки были выставлены в отдельно стоящем магазине по одной цене вместе, через месяц был подведен итог продаж. Оказалось, что Сырок 1 занял 38,3% всех покупок сырков. Сырок 4 составил 33,7% месячных продаж, сырок 5 - 20,1%, сырок 3 – 12% продаж, сырок 2 - 7,4%

Как видно из данных табл.3, индексы брэнда в целом отражают их покупательную привлекательность при прочих равных условиях. Однако этот индекс слишком контрастен, пропорции его не симметричны. Если творожные сырки «Божья коровка», «Солнышко», «Мишки» продавались в соответствии с индексом брэнда, то сырки под номером 1 и под названием «Машинки» продавались в иных пропорциях. Удельный вес индекс брэнда под номером один оказался в 5 раз меньше, чем удельный вес этого брэнда в продажах. А удельный вес брэнда «Машинки» оказался почти в 10 раз меньше, чем удельный вес этого брэнда в продажах.

Установлено также, что нагрузка на семантическое поле «густой - жидкий» (от +2,1 до – 2,1) оказалась меньше, чем нагрузка на семантическое поле «красивый - безобразный» (от 2,7 до –2,2). Но именно по семантическим полям «красивый - безобразный» сырок под номером 1 и сырок «Машинки» получили отрицательные значения. Они то и переместили их на последние места при индексном анализе. При этом все остальные дихотомические понятия по семантике связаны с полями «красивый - безобразный», в то время как «густой - жидкий» такой связи почти не имеет. Поэтому можно предположить, что предложенные семантические поля несколько ассиметричны реальным критериям выбора творожных сырков потребителями.

Результаты исследования показали, что прежде чем использовать семантические поля как критерий при оценке тех или иных выборов людей, важно убедиться, что эти семантические поля системно отражают реальные критерии, которыми руководствуются потребители при выборах. Экспериментальные исследования показали, что такими потенциальными возможностями обладает методика «Семкон». Семантические поля этой методики сгруппированы и по Осгуду, и по Шмелеву, и по личностному дифференциалу. Поэтому возможности применения семантического дифференциала как метода качественно-количественной оценки конкретных маркетинговых явлений достаточно расширены. Наибольший успех при применении данной методики был достигнут в комплексе с другими. По сути дела, семантический дифференциал позволяет связать между собой, сопоставить, скомплексировать качественные и количественные методы оценочного исследования. Это касается и применения качественных методов фокус-групп.

Установлено, что валидность фокус-групп может находиться как по каждому семантическому полю, так и по сумме показателей семантических шкал. При этом важно, чтобы семантические поля системно отражали факторы и даже микрофакторы, влияющие на принятие решения о покупке. В силу этого для объективизации результатов фокус-групп надо, чтобы семантические поля, включенные в семантический дифференциал, перекрывали суждения участников в фокус-группах. Данное явление близко к пониманию конструктивной валидности. В частности, речь идет о конструктивной валидности семантического дифференциала. При этом для одной фокус-группы (в зависимости от состава обследуемых, поведения модератора и множества других ситуативных факторов) будут высказывания, близкие к одним семантическим полям, в другой - к другим, но в своей совокупности – «сработают» те семантические поля, которые наиболее системно и полно отражают результаты фокус-групп (если они, конечно, проведены методически правильно). Единственным условием этого выступает наличие в системе семантических полей дихотомических понятий, которые совпадают или близки к оценкам, высказанным при обсуждении в фокус-группах. Так, если в фокус- группах высказывается мысль, что обертка слишком темная, то в семантических полях должны присутствовать дихотомические поля «темное - светлое». Это достигается с помощью повышения конструктивной валидности семантического дифференциала.

Результаты исследования свидетельствуют о том, что конструктивную валидность семантического дифференциала можно повысить следующими путями:

во-первых, путем анализа ответов участников большого количества фокус-групп, выбора оценок, сделанных в них и создания дихотомических пар в соответствии со сделанными оценками в группе;

во-вторых, путем использования уже отработанных семантических полей, использование которых в аналогичных исследованиях показало их достаточную валидность. Применение методики «Семкон» для семантической оценки образов, звуков, слов и т.д. дало положительный результат, который выразился в достоверно высоких показателях критериев экспертного прогноза. Поэтому достаточно обоснованным будет предположение, что и в других исследованиях этого типа будет достаточная надежность результатов фокус - групп;

в-третьих, для каждого конкретного исследования возможно создание своих семантических дифференциалов, исходя из имеющихся экспериментальных данных и опыта проведения подобного рода исследований. Примером такого семантического дифференциала может служить методика по исследованию различных качественных характеристик сырков, цветовых оттенков, их оберток и др;

в-четвертых, возможно включение в семантический дифференциал дихотомических пар, исходя из той или иной концепции выявленной структуры языка;

в-пятых, одним из приемов валидизации семантического дифференциала является измерение (оценка) степени важности каждого семантического поля в комплексной оценке того или иного явления на основе выявления степени контрастности оценки противоположных эмоциональных ценностей, лежащих в основе цели исследования.

Повышение надежности и эффективности применения методик фокус-групп и семантического дифференциала заключается в комплексном использовании этих методик. Результатом такого использования является новая методическая система, обладающая свойствами как качественных, так и количественных методов исследования. Ошибка измерения при этом существенно уменьшается. Кроме того, валидность фокус-групп изначально будет выше, если повысить валидность семантического дифференциала, выступающего в качестве внешнего критерия валидизации метода фокус-групп. Установлено, что валидность при качественном проведении фокус-групп и при применении «работающих» разновидностей семантического дифференциала достигает 0,8. Установлено также, что семантический дифференциал, валидность которого достигнута при оценке изучаемых явлений на целевой группе, может служить критерием для валидизации и метода фокус-групп в целом.

В заключении приводятся общие результаты исследования, сформулированы выводы, полученные на их основе, представлены возможности и направления практического использования результатов. Показано, что необходимость объективизации результатов фокус–групп с помощью семантического дифференциала востребована практикой психологического обеспечения маркетинговых исследований рынка товаров и услуг.

III. ВЫВОДЫ ПО РЕЗУЛЬТАТАМ ДИССЕРТАЦИИ

1. Разнообразие качественных параметров окружающего мира, конкретных объектов, предметов и процессов находит свое отражение в понятиях и определениях, которые могут быть результатами оценок фокус-групп. При оценке конкретных окружающих явлений или событий человек бессознательно, имплицитно использует уже существующие понятия и критерии, приближающие его к пониманию их сущности. Эти понятия можно структурировать, сделать полюсами отдельных оценок и систематизировать. Совокупность таких операций приводит к созданию семантического дифференциала, настроенного на оценку изучаемых явлений. Семантический дифференциал способен стать критерием оценки надежности и объективности результатов фокус-групп. Такая оценка принимает вид перекрестной валидности. Семантическим дифференциалом можно исследовать структуру оцениваемых явлений и таким образом объективизировать результаты, полученные с помощью фокус – групп.

2. С помощью семантического дифференциала возможна квантификация результатов качественных оценок и объективизация результатов маркетинговых исследований качественного свойства. Это достигается путем совмещения метода семантического дифференциала и фокус-группы по качественным параметрам и перевода качественных показателей по фокус-группе через семантический дифференциал в количественные. При этом валидность при качественном проведении фокус-групп и при применении «работающих» разновидностей семантического дифференциала достигает 0,8. Семантический дифференциал, валидность которого достигнута при оценке изучаемых явлений на целевой группе, может служить критерием объективизации результатов фокус-групп. Чем больше вес семантической шкалы качественно соответствующий высказыванию в фокус-группе по соотношению «хорошее – плохое» оцениваемое явление и чем выше степень совпадения высказываний в фокус-группе с оценкой изучаемого явления, тем выше конструктивная и критериальная валидность результатов использования метода фокус-группы. Чем выше величина индекса индивидуальности участников фокус - группы по отношению к личностным психотипам целевой аудитории, тем меньше вероятность того, что ответы и реакции конкретной личности в фокус-группе будут объективными.

3. Отдельные разновидности семантического дифференциала позволяют прогнозировать развитие конкретных маркетинговых явлений. Это позволяет утверждать о потенциальных возможностях использования семантического дифференциала для поиска прогностической валидности оценок фокус-групп. Семантический дифференциал как метод исследования в интересах валидизации фокус - групп неоднороден. Он включает в себя семантические дифференциалы, ориентирующие на количественную оценку конкретного явления, в том числе высказываний в фокус-группах (например, семантический дифференциал Ч.Осгуда), а так же семантические дифференциалы, нацеленные на понимание качественных характеристик оцениваемых явлений.

4. Условия методически корректного использования семантических дифференциалов в интересах объективизации результатов фокус-групп следующие: - семантические поля в используемом семантическом дифференциале должны отражать реальные потребительские и иные свойства оцениваемого явления; - они чаще прилагательные, должны быть в активном запасе слов изучаемой целевой аудитории; - каждому прилагательному (слову), которое описывает потребительские или иные свойства описываемого явления находится противоположное по значению и строится шкала порядка, чаще 7-балльная; - перед началом исследований по объективизации результатов фокус - групп находится профиль идеального и условно плохого образа оцениваемого явления. С помощью этого приема может вводиться коэффициент значимости каждого семантического поля, семантические поля на основе этого могут ранжироваться, группироваться.

5. Метод фокус–групп поддается количественному выражению через систему семантических полей. Данное количественное описание результатов применения фокус-групп имеет несколько плоскостей:

а) степень выраженности однокачественных суждений по той или иной качественно определенной шкале (это есть не что иное, как количественное выражение критериальной и прогностической валидности); б) степень разброса (стандартное отклонение) мнений в рамках однотипных, однокачественных суждений (это также характеристика критериальной, прогностической валидности); в) степень покрытия суждениями участниками фокус-групп наиболее важных качественных параметров оцениваемого явления (процент, количество семантических полей от всех, отражающих важнейшие качества оцениваемого явления). Это отражает конструктивную валидность оценок, данных в фокус-группе; г) частота высказываний в рамках того или иного семантического поля. Эта величина показывает актуализированные потребности у участников фокус-групп. Совмещение этих семантических полей по актуализированным потребностям важно для понимания факторов, которыми сознание людей объясняет то или иное явление. Это тематика, которая должна затрагиваться в первую очередь при организации PR – акций в интересах продвижения товаров и услуг в данной целевой аудитории.

6. Методики семантического дифференциала выполняют две основные функции при объективизации методики фокус-групп с помощью перекрестной валидности:

- функция валидизации отдельных высказываний участников фокус - групп,

- функция валидизации всех высказываний в фокус-группе, обобщенных выводов, полученных с их помощью.

Отдельные утверждения объективизируются путем их совмещения с той или иной дихотомической парой слов семантического дифференциала и определения положения этого утверждения на данной шкале.

7. Объективизация всех утверждений в фокус–группе происходит двумя путями:

а) путем совмещения качественной оценки высказываний с индексом того или иного образа, найденного по семантическим полям;

б) путем совмещения однотипных высказываний, сгруппированных по структуре семантических полей, со средними значениями данного образа (явления) в каждом семантическом поле. При этом определяется: - частота высказываний по каждому семантическому полю (в идеале она должна быть больше по тем семантическим полям, по которым выявлена наибольшая разность между хорошим и плохим образом оцениваемого явления); - степень противоречивости высказываний (в идеале, чем больше стандартное отклонение по каждому семантическому полю, тем выше должна быть противоречивость ответов в фокус-группах); - качественная определенность высказываний (в целом высказывания должны соотносится со значениями семантического дифференциала в зависимости от приближения среднего к тому или иному полюсу дихотомической шкалы).

Надежность результатов фокус-группы определяется степенью покрытия высказываний в ней всего семантического дифференциала, надежность и валидность которого уже проверена.

8. Семантический дифференциал позволяет повысить надежность метода фокус - групп путем отбора в него лиц, по своим психологическим особенностям не отклоняющимся от целевой аудитории. В этом случае индексы индивидуальности участников фокус-группы не должны существенно отличаться от распределения индексов индивидуальности целевой аудитории. При проведении одной фокус-группы индексы индивидуальности каждого участника должны быть близки к среднему значению индексов в целевой группе. При увеличении количества фокус групп до нескольких, а количество участников до 30 и более, распределение индексов индивидуальности у участников фокус-групп может моделировать, отражать распределение этих индексов в целевой аудитории. Если это так, то состав фокус групп максимально сбалансирован и отражает целевую группу, то есть психологические и иные особенности людей, вошедших в фокус-группу, в целом максимально отражают психологические особенности людей, поведенческие реакции и выборы которых анализируются в целях маркетинговых исследований. Распределение индексов индивидуальности оценок участников фокус-группы и изучаемой выборки могут быть сравнены по F и t – критериям, исследованы всеми методами, которыми исследуются различные выборки.

IV. ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ

        1. Метод фокус-групп как преимущественно качественный метод исследования в сфере маркетинга должен применяться комплексно с методом семантического дифференциала. В этом случае будет достигнута качественно-количественная определенность оценивания конкретных событий, процессов или явлений в сфере маркетинга.
        2. При проведении фокус-групп важно так отбирать их участников (состав), чтобы показатели по семантическому дифференциалу «Я сам(а)» совпадали с данными по выборке (целевой группе). Такой подход к комплектованию состава фокус-групп изначально обеспечит более объективные результаты.
        3. Для получения системных, быстрых и качественных результатов с помощью фокус-групп научным центрам важно накопить базу данных по оцениваемым явлениям для различных целевых групп (выборок) и в различные периоды времени. В совокупности с анализом индексов индивидуальности это даст возможность оценивать влияние на результаты фокус-групп не только состава участников, но и внешних факторов.

Список работ, опубликованных по теме диссертации

  1. Архипова О.Н. Использование в практике маркетинговых исследований метода фокус-групп с помощью семантического дифференциала.//Психология социальности.- Межвузовский сборник научных трудов/Под ред. Е.А.Петровой.- М.: РИЦ АИМ, 2005. - С. 11-13. - 0,2 п.л.
  2. Архипова О.Н. Использование метода фокус-групп с помощью семантического дифференциала в условиях трудного выбора на рынке образовательных услуг.//Психология социальности.- Межвузовский сборник научных трудов/Под ред. Е.А.Петровой. - М.: РИЦ АИМ, 2005. С.10 (0,1 п.л.)
  3. Архипова О.Н. Возможности исследования семантических пространств в условиях социального риска//Материалы Всероссийской научно-практической конференции «Терроризм как экономическое, социальное, политическое явление и его прогнозы по выявлению финансовых потоков международных криминальных структур и террористических организаций». – Балашиха: ИСЭПиМ, 2005. – С.61-62. (0,15 п.л.).
  4. Архипова О.Н. Возможности объективизации результатов психологического исследования с помощью психосемантических методов/Учебно-методическое пособие к изучению курса «Актуальные вопросы общей психологии». – М.: РГСУ, 2005. – 3,9 п.л.
  5. Архипова О.Н., Чвякин В.А. Объективизация результатов фокус-групп методом психосемантических исследований в структуре глубинного имиджирования товаров потребительского спроса//Известия Академии Имиджелогии. – М..: РИЦ АИМ, 2005. – Т.1. – С.235-238. (авт.уч.-0,25 п.л.).
  6. Архипова О.Н. Повышение эффективности сравнительных исследований с помощью использования качественно – количественного метода семантический дифференциал//Маркетинг в России и за рубежом. – М.: Дело и Сервис, 2005.- №1. – С.71-75. (0,4 п.л.).
  7. Архипова О.Н., Иванова Е.Н. Научно-теоретический анализ основных положений теории когнитивного диссонанса как основы психолого-педагогических инноваций в современной образовательной среде//Материалы Всероссийской научно-практической конференции «Методологические и практические проблемы инновационного образования, воспитания и формирования инновационного мышления студентов в высшей школе». –Балашиха: ИСЭПиМ, 2005. – С.87-89. (авт.уч.-0,2 п.л.).
  8. Архипова О.Н., Чвякин В.А. Семантические поля в системе социально-психологических исследований//Материалы IV-го Международного социального конгресса «Социальные процессы и социальные отношения». – М, РГСУ, 2004. – С.267-269. (авт.уч.-0,15 п.л.).
  9. Архипова О.Н., Горбачев О.Ю. Использование системы психосемантических оценок как эффективный способ маркетинговых исследований//Материалы IV-го Международного социального конгресса «Социальные процессы и социальные отношения». – М.: РГСУ, 2004. – С.266-267. (авт.уч.-0,1 п.л.).
  10. Архипова О.Н. Научно – теоретический анализ некоторых психосемантических проблем потребительского поведения//Сб. материалов научно – практической конференции «Социально – психологические проблемы системы современных рыночных отношений в России». – Калуга, 2003. – С. 24–27. – 0, 2 п.л.
  11. Архипова О.Н. Психолого-методические основы валидизации фокус-групп с помощью семантического дифференциала. Методическое пособие. – М., 2002. – 2,48 п.л.

Общий объём публикаций составил: 8,13 п.л.



 





<
 
2013 www.disus.ru - «Бесплатная научная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.