Критерии оценки качественных исследований

Кричевец Анатолий Николаевич Московский государственный университет имени М.В. Ломоносова

Гусев Алексей Николаевич Московский государственный университет имени М.В. Ломоносова

Хорошилов Дмитрий Александрович Российский государственный гуманитарный университет

Барский Филипп Ильич Федеральный научный центр психологических и междисциплинарных исследований

Бусыгина Наталья Петровна Московский государственный психолого-педагогический университет

Проблема валидности ( или, как принято говорить в западной научной литературе, «качества») качественных исследований в социальных науках и психологии в некотором смы­сле может считаться разрешенной, ибо за последние годы параллельно с постепенной институализацией качественных методов в университетах и со­зданием профессиональных сообществ (в частности, при Британском психологическом обществе или Американ­ской психологической ассоциации) были сформулированы экспертные критерии оценки работ «качественно­го жанра». Заключен профессиональный консенсус о том, в чем специфика валидности качественных исследований, каким стандартам они должны соответствовать. Наиболее значимые кри­терии валидности анализируются в статье О.Т. Мельниковой и Д.А. Хорошилова «Опыт построения концепции валидности качественных исследований в психологии», опубликованной в насто­ящем выпуске журнала.

Однако отечественная психология осваивает качественные методы медленнее, чем на Западе, и стандарты «хорошего» ис­следования, проведенного с их помощью, пока не сформулированы на русском язы­ке. Валидность в рамках качественной ме­тодологии стала впервые обсуждаться в работах О.Т. Мельниковой, Т.В. Фоломеевой, Н.П. Бусыгиной, АМ. Улановского, а в 2012 г  Д.А. Хорошиловым защищена диссертация, специально посвященная указанной про­блеме. При всей глубине теоретического анализа валидности вопрос о том, по каким конкретно критериям следует оценивать научные публикации и квалификационные работы, дипломы, диссертации, использующие качественные методы, остался от­крытым. Этот пробел должны восполнить критерии оценки качественных исследова­ний, которые мы предлагаем ниже.

Эти критерии - результат многолетней (начиная с 2009 г.) деятельности семинара по качественным методам на факультете психологии МГУ имени М.В. Ломоносова. Его инициаторами и руководителями вы­ступили А.Н. Кричевец и О.Т. Мельнико­ва. На нашем семинаре открыто дискути­ровались теоретические и практические сюжеты качественных исследований, ак­туальные направления и тренды, от фе­номенологии до дискурс-анализа, в самых разных областях современной психоло­гии. Критерии валидности научных ра­бот, использующих качественные мето­ды, являются неким итогом осмысления участниками семинара многолетней исследовательской и преподавательской практики и сопоставления этого опыта с лучшими западными образцами. Думает­ся, что наши критерии позволят не только оценить ту или иную работу как профес­сионально или «халтурно» сделанную, но и лучше отрефлексировать собственные исследования, «валидизировать их изнутри», как иногда выражаются сами «качественники». Надеемся, что четко прописанный «стандарт качества» (не претендующий при этом на абсолютную завершенность) будет еще одним шагом к упрочению позиций качественных иссле­дований в отечественной науке .

1. Во введении формулируются:

• a.      проблема и актуальность выбран­ной темы;

• b.      цели, задачи, объект и предмет исследования; в случае методологической квалификационной работы, в которой предусмотрена иллюстра­тивная эмпирическая часть, необхо­димо четкое разведение методологи­ческих и эмпирических целей, задач, объекта и предмета исследования;

• c.       обоснование выборки: размер вы­борки в качественном исследова­нии варьируется от единичного слу­чая до серии интервью, фокус-групп или подборки документов для анализа, но должен гарантировать получе­ние устойчивых тенденций; должно быть аргументировано, что дальней­шее расширение выборки или объе­мов материалов не приведет к прин­ципиально новым результатам.

• d.      гипотезы исследования; формули­рование гипотез имеет свою спе­цифику в случае качественных ис­следований поискового типа, цель которых - не проверка гипотезы, а эмпирические обобщения: в каче­ственных исследованиях поисково­го типа гипотезы формулируются в виде общих утверждений, обознача­ющих направление исследователь­ского поиска, и в процессе исследования такие гипотезы не столько проверяются, сколько дополняются, конкретизируются, трансформиру­ются; в исследованиях поискового типа допускается также отсутствие гипотез - в этом случае гипотезы могут быть заменены исследовательскими вопросами либо описа­нием логики и принципов проводи­мого поискового исследования.

2. Обзорно-теоретический раздел квали­фикационной работы, в котором рассматриваются основные механизмы, фе­номены, явления, являющиеся объектом и предметом исследования, включает:

• a.      аналитический обзор исследований по заявленной предметной теме;

• b.      анализ методологических и мето­дических подходов к теме исследо­вания;

• c.       резюме по теоретической (обзор­но-аналитической) части с обосно­ванием выбора (построения) стра­тегии собственного исследования.

 

3. В эмпирической части квалификаци­онной работы описывается дизайн и планирование качественного иссле­дования, подробно представляется процедура исследования, описывают­ся его результаты и предлагается их теоретическое обсуждение.

• a.      В описании процедуры качествен­ного исследования должны быть представлены:

•       i.      развернутое обоснование и опи­сание выборки исследования;

•       ii.     развернутое обоснование и под­робное описание методов и про­цедуры сбора данных;

•      iii.     описание формальных характе­ристик полученного материала (общее время собранных аудио- или видеозаписей интервью, фо­кус-групп и др.; количество транскриптов интервью, средний объем интервью и т.п.);

•      iv.     развернутое обоснование и под­робное описание методов и про­цедуры процедуры анализа данных.

• b.      Результаты исследования представ­ляются в работе в соответствии с правилами, принятыми в традиции выбранного и обоснованного для данного исследования метода:

1. качественного контент-анализа и/или тематического анализа;

2. обоснованной теории (grounded theory);

3. описательного или интерпрета­тивного феноменологического анализа;

4. дискурс-анализа;

5. нарративного анализа; и др.

Представление результатов в рам­ках любого выбранного метода должно сопровождаться цитатами и эмпирическим материалом, под­тверждающим анализ и заключения исследователя. В текст исследова­ния включаются наиболее яркие и характерные иллюстрации.

• c.       Обсуждение результатов представля­ется в работе как описание (в рамках профессиональной терминологии) выделенных явлений, феноменов, их взаимосвязей, механизмов и т.д. и предполагает их интерпретацию в дисциплинарном контексте психологических концепций, заявлен­ных в обзорно-теоретической части, а также в контексте целей и задач ис­следования.

 

4. В выводах должны быть представлены содержательные ответы на сформулированные задачи (или подтвержден­ные / неподтвержденные гипотезы).

5. В заключении подводится общий итог исследования, включая эмпирическую и теоретическую части.

6. Ввиду неполной представленности большей части традиций качественных исследований на русском языке обяза­тельно включение в библиографию ли­тературы на иностранных языках.

7. В приложениях по возможности дол­жен быть полностью представлен весь массив «сырых» материалов: стеног­раммы, заполненные бланки, тран­скрипты интервью, аналитические таблицы и заметки, визуальный ма­териал и др. Если это - по причине чрезвычайного объема - невозможно, то данные должны быть предоставле­ны по первому требованию экспертов, оценивающих работу (в электрон­ном виде). В приложения также долж­ны быть включены фрагменты анализа эмпирического материала, позволяю­щие отследить применение исследователем заявленного метода анализа и правомерность сделанных им аналити­ческих заключений.

8. Критериями валидности исследова­ния являются:

На этапе планирования исследования и сбора данных:

• обоснованность актуальности вы­бранной темы;

• наличие рефлексивной эксплика­ции исследователем собственных тео­ретических позиций и представлений об изучаемой теме, опыта работы в за­явленной исследовательской сфере;

• обоснованность выбора качествен­ного подхода к изучению данной проблемы;

• обоснованность формирования вы­борки, методов сбора и обработки данных;

• систематическое отслеживание контекста и условий исследования («поля»);

• систематическое описание диалоги­ческих отношений с респондентами;

• богатство собранных данных, их релевантность исследовательской проблеме;

На этапе анализа данных:

• аргументированность, логичность и связность анализа;

• обоснование четких взаимосвязей между аналитическими умозаклю­чениями и конкретными данными;

• разделение фактических описаний, смысловых обобщений и теорети­ческих интерпретаций данных;

• стилистическая, риторическая, ди­скурсивная грамотность анализа;

• прозрачность и выразительность представления данных;

На этапе интерпретации данных:

• экспликация связи используемых в теоретической интерпретации категорий с поставленными зада­чами исследования и сырыми дан­ными;

• представленность в отчете автор­ской рефлексивной позиции;

• социальная полезность и критиче­ский потенциал анализа;

• новизна предлагаемых интерпрета­ций;

• возможность вывести практические импликации из исследования;

• открытость интерпретаций для об­суждения профессиональным сооб­ществом;

• оценка возможности обобщений и экстраполяции результатов;

Рекомендуемыми стратегиями валидизации являются:

• триангуляция (теоретическая, эк­спертная, методологическая, триан­гуляция данных);

• анализ «негативных» (отклоняю­щихся) случаев;

• в некоторых исследованиях (напри­мер, в феноменологических) - обсу­ждение данных с респондентами.

9. Должны быть отрефлексированы эти­ческие проблемы, связанные с проце­дурой проведения исследования и об­народованием его результатов.