Теория и практика в психологическом наследии П.Я. Гальперина

Ждан Антонина Николаевна Московский государственный университет имени М.В. Ломоносова

Важнейшую часть концепции П.Я. Гальперина составляют вопро­сы фундаментальной психологической науки. В ней необходимость их единения не просто декларировалась. П.Я. Гальперин был убежден, что без опо­ры на теорию решение практических задач может быть только слепым пу­тем проб и ошибок. Именно с этих по­зиций он воспринимал практическую задачу понимания того, почему не все учащиеся средней школы одинаково хо­рошо справляются, а некоторые и вооб­ще не справляются с учебными задани­ями по основным предметам школьной программы: по русскому и иностранно­му языкам, физике и др. Обычно разли­чия такого рода объясняются ссылками на способности. Такое объяснение по от­ношению к обязательному минимуму об­щеобразовательных знаний, безусловно, доступному каждому ребенку, он считал досадным предрассудком. Педагогиче­ский подход к работе с неуспевающими учениками заключается в проведении с ними дополнительных занятий теми же педагогическими методами, что и на уро­ке. П.Я. Гальперин рассмотрел ситуацию с психологических позиций. Психолог должен установить действительные при­чины трудностей и найти рациональные способы их преодоления. Для реализации этой жизненно важной практической за­дачи потребовалось пересмотреть понимание психики и методов ее исследова­ния в психологической науке. Эта работа привела ученого к созданию собственной новаторской психологической теории, главным содержанием которой является известная теория поэтапного формиро­вания умственных действий и понятий. Так объективно в творческой биографии П.Я. Гальперина соединились теоретиче­ская работа и практика, которая, как он утверждал, «всегда по существу являет­ся педагогической практикой, практи­кой формирования и развития (а также восстановления) психических функций и сознания человека в целом» (Гальпе­рин и др., 1978, С. 99) Ф.Е. Василюк рас­смотрел теорию поэтапного формиро­вания умственных действий и понятий как образец реализации психотехниче­ского подхода в психологии. «Уже чисто стилистически очевидна психотехни­ческая суть этой теории, – писал он, – не теория мышления, не теория умствен­ных действий, но именно теория формирования, т.е. теория работы с психи­кой, а не самой психики» (Василюк, 2003, С. 207). Важно еще раз подчеркнуть, что созданная П.Я. Гальпериным теория ро­ждалась из практической задачи, а тео­ретическое решение было доведено до ее использования в практике. Единство те­ории и практики составляет важнейшую методологическую особенность психо­логии этого ученого. Например, в его ста­тье о языковом сознании рассматривают­ся вопросы большой теории: о природе сознания, его связи с языком в учении В. Гумбольдта, в теории лингвистической относительности Э. Сэпира – Б. Уорфа и т.д. Казалось бы, все это очень дале­ко от практики. Но с самого начала П.Я. Гальперин заявляет: «К проблеме «язык и мышление» я подхожу, прежде всего, практически – с точки зрения задачи построения речи на иностранном язы­ке» (Управляемое формирование …, 1977, С. 95). На основе выделения языкового сознания им решалась важная практиче­ская задача построения методики обуче­ния иностранному языку.

Центральной областью практики, в соотношении с которой происходила исследовательская работа П.Я. Гальпери­на, был педагогический процесс. Поэтому его теорию поэтапного формирования умственных действий и понятий иногда ошибочно считают прикладной педаго­гической психологией, а автора – специ­алистом по педагогической психологии. Со справедливым возражением против такой трактовки выступила ученица и по­следователь ученого Л.Ф. Обухова. «Высо­кая эффективность применения теории П.Я. Гальперина в сфере образования за­тмила другие ее стороны, что привело к редукции ее подлинного значения. Произошло сведение данной теории к концепции поэтапного формирования умственных действий и понятий» (Обухо­ва, 2010, С. 5). Она же сформулировала суть ее содержания. «В действительности, – писала Обухова, – он разрабатывал новое направление в психологии, в котором психические процессы рассматриваются с точки зрения их происхождения, строе­ния и функции» (там же). Действительно, концепция поэтапного формирования умственных действий и понятий состав­ляет только часть созданной им в русле деятельностного подхода оригинальной общепсихологической теории. Теория П.Я. Гальперина, преемственно связанная с культурно-исторической психологией Л.С. Выготского и наиболее непосредст­венно – с психологической теорией де­ятельности А.Н. Леонтьева, была направ­лена на преодоление выявленного им ограничения психологии деятельности исследованием только ее мотивацион­ной стороны (Гальперин, 1998, С. 257). В центр своей концепции он поставил те­оретическую и экспериментальную раз­работку именно операционного содер­жания деятельности. Это важно не только теоретически. Без изучения этого вопро­са затруднялась полная реализация всех возможностей ее применения к реше­нию практических задач. Новая направ­ленность в трактовке деятельности по­требовала разработку фундаментальных методологических проблем. К их числу относятся: проблема предмета и мето­да психологической науки, психофизи­ческая проблема как вопрос о сущности психического и его месте в мире, психо­физиологическая проблема или пробле­ма соотношения психологии и физиологии, проблема инстинктов у человека в связи с вопросом об исторической со­циальной природе сознания, вопросы языкового сознания и соотношения язы­ка и мышления, проблемы единства исто­рии и теории в научном познании. В сфе­ру методологических интересов входила также терминологическая работа. После предельно четкой формулы Л.С. Выгот­ского: «Слово есть философия факта; оно может быть его мифологией и его науч­ной теорией» (Выготский, 1982, С. 365) именно П.Я. Гальперин понял значение термина как такового. В пределах рас­сматриваемого вопроса он требовал при­держиваться установленного значения термина.

Все теоретические вопросы П.Я. Галь­перин считал одновременно и важными практическими проблемами. Всем своим творчеством он показал, что именно ме­тодология защищает психологическую науку от схизиза между ее академиче­ской и практической областями. Для решения практических задач не нужна ка­кая-то другая теория – настоящая теория, как показывает опыт развития всех наук, всегда востребована в практике. «Всякая хорошая фундаментальная наука, – от­мечал выдающийся физик-теоретик, – приносит практические результаты» (Зедьдович, 1985, С. 57). Первостепенную теоретическую и практическую значи­мость в психологической науке представ­ляет проблема предмета и неразрывно связанная с ней – проблема метода исследования. П.Я. Гальперин подчеркивал особенную значимость вопроса о пред­мете именно для психологии, в отличие от других наук. «В математике, физике, химии и многих других науках система прочно установленных знаний так об­ширна и настолько четко разработана, что, овладевая ими, новичок интуитив­но уясняет себе предмет этих наук и ус­ваивает однозначный подход к их оче­редным задачам. В науках, достигших такого уровня развития, вопрос об их предмете – это действительно скорее философский вопрос, важный в большей мере для методологии науки и мировоз­зрения, чем для каждого очередного ис­следования» (Гальперин, 1976, С. 8). Важ­ность вопроса о предмете заключается в том, что от его решения зависит под­ход к правильной постановке задач, ко­торые может и, следовательно, должна решать психология, в отличие от фи­лософии и других наук: логики, физио­логии, этики, лингвистики и пр., так же обращающихся к психическим процес­сам и сознанию, и которые в силу этого она решать не должна. Вопрос о пред­мете изучения П.Я. Гальперин рассма­тривал как «самый трудный из больших вопросов психологии, но, вместе с тем, вопрос неотложной практической важ­ности» (Гальперин, 1998, С. 94). Он про­извел тщательный анализ основных представлений о предмете психологии, сложившихся на протяжении исторического пути развития знаний о психике и в русле философии и психологии уже как самостоятельной науки. В результа­те ученый пришел к парадоксальному, на первый взгляд, выводу о том, что все они оказались не только недостаточными, что понятно в силу постоянного про­гресса в развитии научного знания, но и ошибочными. Считалось, писал П.Я. Гальперин, что психология изучает спе­цифический круг явлений, которые от­четливо выделяются в сознании – это наши мысли, процессы памяти, восприятия, воображения, чувства, желания и т.п. Однако это слишком широкое определе­ние. «Одного указания на психические процессы – мышления, памяти, воображения, чувства – совершенно недоста­точно для построения психологической науки. Эти процессы изучаются не одной психологией, а многими науками, и в са­мих этих процессах области разных наук не разграничены. Нужен четкий крите­рий, чтобы ясно различать, что именно в них может и должен изучать психолог, а что подлежит ведению других наук, ка­кие задачи призван решать психолог, а какие лишь кажутся психологическими, но на самом деле ими не являются, и пси­холог не может и не должен их решать» (Гальперин, 1998, С. 94–95). Это важ­но, прежде всего, для теории. Но сделать это необходимо и с практической точки зрения для того, чтобы при объяснении восприятия, мышления и других психи­ческих процессов правильно формули­ровать собственно психологическую за­дачу, в отличие от логики, физиологии, языкознания, теории познания, педагогики и других областей знания, также изучающих эти явления. До этого никто не считал вопрос о предмете в психоло­гии таким острым, неотложным и, глав­ное, практически важным. П.Я. Гальперин убедительно показал, что смешение пред­мета психологии с предметами других наук приводит к ложным поискам объяс­нения психических явлений вне психо­логии, а объяснения непсихологических явлений – в психологии. «В обоих случа­ях этим явлениям даются ложные объяс­нения, а усилия понять их и овладеть ими или устранить нежелательные явления направляются по неверному пути» (там же). В своих трудах П.Я. Гальперин обстоя­тельно проанализировал главные опре­деления предмета психологии, сущест­вовавшие в истории ее развития, – душа, явления сознания, поведение – в их мно­гочисленных разновидностях. Результатом анализа стал вывод об их недостаточ­ности, поскольку в каждом из них не была выделена собственно психологическая сторона, она лишь имплицитно содержа­лась в них вместе с другими аспектами.

«Предмет психологии, – утверждает П.Я. Гальперин, – должен быть решитель­но ограничен» (Гальперин, 1976, С. 96). Предметом психологии является только один аспект психических процессов – их функция в поведении животных и человека. С психологической стороны все они суть разные формы ориентиро­вочной деятельности. Ориентировочная функция – это только одна, но главная сторона психической деятельности в по­ведении организма в условиях постоян­но меняющейся внешней среды, посколь­ку «самое важное в жизни – правильно сориентироваться в ситуации, требую­щей действия, и правильно ориентиро­вать его исполнение» (там же). Сказанное относится не только к познавательным функциям. Так, чувство означает особую, отличную от интеллектуальной оценку предмета, на котором оно сосредоточен­но, и, соответственно, изменение оценки остальных предметов, а, следовательно, и ситуации в целом. Потребности пре­допределяют избирательное отношение к определенным предметам и в этой функции должны стать предметом из­учения психологии. Воля как особая пси­хическая функция представляет новый способ решения задач собственного по­ведения в особых человеческих ситуаци­ях. Согласно П.Я. Гальперину, «все формы душевной деятельности представляют со­бой разные формы ориентировки субъ­екта в разных жизненных ситуациях» (Гальперин, 1976, С. 93). Отсюда следо­вал вывод о том, что только ориентиро­вочная деятельность составляет предмет психологии. На практике (П.Я. Гальперин считал главным приложением психоло­гии образования практику) такое пони­мание позволяет правильно организо­вать работу с неуспевающими учениками. Нужны не обычные в школьной практи­ке дополнительные занятия с ними. Не­обходимо установить, чего не хватает для правильного выполнения задания – ре­шения математической или физической задачи, навыков правильного написания букв и т.п. и затем организовать ориен­тировочную основу, обеспечивающую выполнение формирующегося действия. Оказалось, что в большинстве случаев учащиеся не умели учитывать все сущест­венные стороны проблемной ситуации, все условия, которые содержатся в зада­нии. Например, при решении задач на тему «Давление твердых тел» в начальном курсе физики не всегда учитывается, что, если дается вес лыжника и указывается ширина и длина одной лыжи и нужно рассчитать давление, которое оказывает лыжник на снег, общую площадь, находя­щуюся под его давлением, надо удваивать. Соответственно, дополнительные заня­тия должны быть направлены на то, что­бы научить восстанавливать по условиям задачи предметную ситуацию, делать ее схематичное изображение, организовать поэтапное исполнение, вплоть до реше­ния по формуле.

Рассмотрим другой методологиче­ский принцип – психофизиологическую проблему в связи с необходимостью его практического использования в психо­логии. Психофизиологическая проблема – это вопрос о соотношении субъектив­ных психических явлений с объективны­ми материальными физиологическими процессами. Важно ее правильное реше­ние, чтобы не допустить двух ошибок: ре­дукционизма, т.е. сведения психического к физиологическому как материальным механизмам и, следовательно, утраты психологией своего предмета, и эпифеноменализма, то есть представления о психике как явлении, лишь сопутству­ющем материальным физиологическим процессам и лишенном при этом какой- либо полезной собственной функции. В этом контексте было введено новое те­оретическое понятие психического (или психологического) механизма. До этого в психологии существовало понятие фи­зиологического механизма как матери­альных процессов в мозгу и в нервной си­стеме, обеспечивающих работу психики. Согласно П.Я. Гальперину, психические явления имеют собственный внутренний механизм. Психический механизм – это вся та работа, которая приводит к конеч­ному продукту – новому навыку или понятию. Задача исследования – раскрыть весь этот процесс. Применительно к пе­дагогической практике это значит, что в случаях затруднения или ошибок для их устранения необходимо разобраться в каждом конкретном случае, понять, на какой этап процесса формирования нуж­но вернуть отстающего ученика для того, чтобы прицельно строить дополнитель­ные занятия.

Следуя культурно-исторической те­ории развития психических функций Л.С. Выготского и экспериментально-ге­нетическому методу их исследования, П.Я. Гальперин принял в качестве исход­ного положение о прижизненном фор­мировании психики человека в процес­се собственной деятельности и общения с другими людьми. Он внес значитель­ный вклад в представления об интери­оризации как процессе превращения внешних форм деятельности в психиче­ские образования. Усвоение нового уме­ния или понятия не должно начинаться с готовой формы, как это зачастую про­исходит в реальной практике обучения. Необходимо воссоздать весь полный со­став процесса, который объективно ле­жит за готовой формой и который уча­щийся должен осуществить. Это важно при практической организации процесса усвоения. Развитие учения об интериори­зации воплотилось в теорию поэтапно­го формирования умственных действий и понятий, составляющую главное содер­жание созданной П.Я. Гальпериным пси­хологической концепции. В результате многолетних исследований удалось ре­шить задачу управления всем этим про­цессом, контролировать его, исправлять в случае необходимости. Теория поэтап­ного формирования нашла широкое пра­ктическое применение в образовании, прежде всего, в средней и высшей шко­ле, а также во всех областях, включающих аспект обучения: в юридической сфере, на производстве в процессе овладения трудовыми навыками, в медицине в про­цессе реабилитации при решении задач по восстановлению нарушенных психи­ческих функций (речи при афазиях, выс­ших психических функций, движений и др.). Это является лучшим доказатель­ством правильности представлений о сущности психических явлений в этой теории.

Особого внимания заслуживает кро­потливая терминологическая работа П.Я. Гальперина, которая была не эпи­зодической, но постоянной. Он был убежден, что многие недоразумения и трудности в психологии обусловлены невыясненностью ее терминологиче­ской стороны, невниманием к ней, неод­нозначностью в толковании важнейших научных психологических понятий и терминов. В своих работах он приводит соответствующие конкретные примеры, вводит новые термины и дает их опреде­ления, которые проясняют основные по­нятия обсуждаемых проблем. Например, в своей статье «К проблеме бессознатель­ного» ученый показал, что за этим тер­мином стоят разные факты: спонтанные решения трудных задач, автоматическое письмо, постгипнотическое внушение и другие продукты осмысленной деятель­ности, о которой сами ее исполнители субъективно не знают. Эти разнообраз­ные факты могут получить объяснение и без обращения к понятию бессознательного. Отсюда последовал вывод: «гипотеза бессознательной психи­ческой деятельности становится из­лишней» (Гальперин, 1998, С. 447). Важ­но сделанное им при этом замечание: «Отрицание «бессознательной психиче­ской деятельности», конечно, не устра­няет явлений и проблем, для решения которых она предполагалась. Не устра­няет, но проясняет самую постановку каждой из этих проблем» (там же). Или другой пример. Рассматривая признава­емую в науке проблему биологическо­го и социального в развитии человека, в рамках которой под биологическим понималось признание наличия у че­ловека инстинктов, П.Я. Гальперин счи­тал такое мнение неправомерным. Он утверждал, что оно противоречит об­щественно-историческому пониманию человека, учению о его нравственности и ответственности. Вопрос об инстин­ктах был предметом отдельной статьи ученого (Гальперин, 1998, С. 399–414). В ней указано: «Биологические особенно­сти человека состоят именно в том, что у него нет унаследованных от животных инстинктивных форм деятельности и поведения. Анатомо-физиологические свойства человеческого организма не предопределяют ни вида, ни характера, ни предельных возможностей человека и в этом смысле составляют уже не би­ологические, а органические свойства. Они не причина, а только condition sine gua non (непременное условие) разви­тия человека» (Гальперин, 1998, С. 414). Роль анатомо-физиологических воз­можностей важна, но она не является решающей, так как они могут использо­ваться по-разному. «Все зависит от того, как физические преимущества или не­достатки будут учтены воспитателями и оценены самим ребенком, как они будут использованы или преодолены в обуче­нии, а главное – какое отношение будет сформировано (или «само формирует­ся») у ребенка к этому дефекту или преи­муществу» (Гальперин, 1998, С. 413). Как показал в своих работах П.Я. Гальперин, внимания требуют и некоторые другие формулировки, которые вносят путани­цу в трактовку смысла скрывающихся за ними специфических особенностей, от­личающих психику человека. Как было отмечено, терминологическая работа ученого сопровождалась выработкой новых понятий, она обогащала поня­тийный словарь психологической нау­ки, делала его более строгим и точным.

Даже только схематично рассмо­тренные методологические позиции на­учного наследия П.Я. Гальперина по­зволяют расширить круг методологов нашей науки, включив в их список его имя. П.Я. Гальперин, несомненно, является од­ним из крупнейших методологов психо­логической науки. Что же касается практи­ки, то теория поэтапного формирования умственных действий и понятий, в силу свойственному ей психотехническому характеру, нерасторжимо связана с ней. Н.Ф. Талызина отмечала, что П.Я. Гальпе­рин руководил ее исследовательской де­ятельностью, и ее первая научная статья появилась в «Вопросах психологии» в со­авторстве с Учителем (так писала Н.Ф. Талызина – А.Ж.) (Талызина, 2005, С. 108). Она отмечала, что основы разработан­ной ею деятельностной теории учения и обучения заложил П.Я. Гальперин. Дру­гой его ученик В.К. Шабельников раскрыл психологический механизм одномомент­ных мыслительных актов (Шабельников, 2013, С. 271–436). Исследование сокра­щенных форм зрительного опознания методом поэтапного формирования про­извел А.И. Подольский, тоже ученик Пет­ра Яковлевича. О.Я. Кабанова разработала обобщенный метод овладения речью на немецком языке (умение говорить, писать, аудировать, читать) (Кабанова, 2009). Под руководством П.Я. Гальперина Л.Ф. Обухо­ва выполнила ряд работ по критическому анализу концепции Ж. Пиаже (Обухова, 1981). Метод поэтапного формирования, как мы уже упоминали, успешно приме­няется в медицине при работе по вос­становлению нарушений речи, памяти, мышления. Примеры можно было бы продолжать. Всюду, где речь идет о формиро­вании индивидуального опыта, действу­ет общий закон о поэтапном характере этого процесса, так тщательно изученный в исследованиях П.Я. Гальперина и его по­следователей.

Литература:

Василюк Ф.Е. Методологический анализ в психологии. – Москва : Смысл, МГППУ, 2003.

Выготский Л.С. Исторический смысл психологического кризиса // Л.С. Выготский. Собр. соч. В 6 тт. Т.1. – Москва : Педагогика, 1982. – С. 291–436.

Гальперин П.Я. Актуальные проблемы возрастной психологии : материалы к курсу лекций / П.Я. Гальперин, А.В. Запорожец, С.Н. Карпова. – Москва : Изд-во МГУ, 1978. – 118 с.

Гальперин П.Я. Введение в психологию. – Москва : Издательство Моск. ун-та. – 1976.

Гальперин П.Я. Методы обучения и умственное развитие ребенка. – Москва : Изд-во МГУ, 1985. – 45 с.

Гальперин П.Я. Основные результаты исследований по проблеме «Формирование умственных действий и понятий» : доклад, представленный на соискание ученой степени доктора педагогических наук. – Москва : Изд-во МГУ, 1965. – 51 с.

Гальперин П.Я. Психология как объективная наука : Избр. психол. тр. / под ред. А. И. Подольского; – Москва : Моск. психол.-соц. ин-т; Воронеж : Ин-т практ. психологии, МОДЭК, 1998. – 479 с.

Ждан А.Н. П.Я. Гальперин как теоретик и методолог психологической науки. – Национальный психологический журнал. – 2012. – № 2(8). – С. 14–18.

Ждан А.Н. Факультет психологии Московского университета имени М.В. Ломоносова (1966-2016) // Вопросы психологии. – 2016. – № 5. – С. 114–125.

Зельдович Я.Б. Социальное общечеловеческое значение фундаментальной науки // Вопросы философии. – 1985. – № 6. –С. 57–62.

Зинченко В.П. П.Я.Гальперин: от действия с заданными свойствами к свободной мысли // Вопросы психологии. – 2002. – № 5. – С. 120–134.

Кабанова О.Я. От звука к речи : учебное пособие по немецкому языку для вузов. – Москва : Фак. психологии МГУ им. М.В. Ломоносова, 2009. – 359 с. : ил.

Леонтьев А.Н. Заметки о книге П.Я.Гальперина «Введение в психологию» // А.Н.Леонтьев Философия психологии: из научного наследия / под ред. А.А. Леонтьева, Д.А.Леонтьева. – Москва : Изд-во Моск. ун-та, 1994. – С. 259–262.

Обухова Л.Ф. Возрастная психология : учебник для вузов. – Москва: Высшее образование; МГППУ, 2006.

Обухова Л.Ф. П.Я .Гальперин среди современников // Вопросы психологии. – 2014. – № 2. – С.65–75.

Обухова Л.Ф. Теория П.Я. Гальперина – становление новой отрасли психологии // Культурно-историческая психология. – 2010. – № 4. – С. 4–10.

Степанова М.А. Историческое значение общепсихологической теории П.Я.Гальперина // Психологический журнал. – 2016. – Т. 37. – № 1. – С. 112–123.

Талызина Н.Ф. «Уверена, что будущее психологии за деятельностным подходом» (подготовил В.И. Артамонов) // Психологический журнал. – 2005. – Т. 26. – № 4. – С. 108.

Управляемое формирование психических процессов : сборник статей / под ред. проф. П.Я. Гальперина. – Москва : Изд-во Моск. ун-та, 1977.

Шабельников В.К. Функциональная психология : формирование психологических систем, психика как функциональная система, формирование быстрой мысли, социо-биосферная детерминация личности : учебник для студентов высших учебных заведений. – Москва : Акад. Проект, Культура, 2013. – 590 с. : ил., портр.

Galperin, P.Ya. (1969). Stages in the development of mental acts. In M. Cole & I. Maltzman (Eds.) A handbook of contemporary soviet psychology. New York: Basic Book, 249-273.

Galperin, P.Ya. (1989). Organization of mental activity and effectiveness of learning. Soviet Psychology. 27(3), 65–82. doi: 10.2753/RPO1061-0405270365

Galperin, P.Ya. (1989). Organization of mental activity and effectiveness of learning. Soviet Psychology, 27(3), 65–82. doi: 10.2753/RPO1061-0405270365

Galperin, P.Ya. (1992). Stage by stage formation as a method of psychological investigation. Journal of Russian and East European Psychology, 30(4), 60-80. doi: 10.2753/RPO1061-0405300460

Galperin, P.Ya. (1992). Stage by stage formation as a method of psychological investigation. Journal of Russian and East European Psychology, 30(4), 60–80. doi: 10.2753/RPO1061-0405300460

Galperin, P. Ya. (1968). Towards research of the intellectual development of the child. International Journal of Psychology, 3 (4), 257–271. doi: 10.1080/00207596808246649

Podolskiy, A.I. (2009). On Scientific Status and Practical Significance of One Psychological Theory. Psychology in Russia: State of the Art, 2, 187–209.

Podolskiy, A. (2010) The Galperin’s theory of planned stage-by-stage formation as a tool to improve teaching/learning activity. Piaget is dead, Vygotsky is still alive, or? Ed. by P. Aunio et al. Jyvaskyla, Finland, 223–245. 10.11621/pir.2014.0301

Podolskiy, A.I. (2014). “There is nothing so practical as a good theory”: How to let it work in practice (the case of Galperin’s theory). Psychology in Russia: State of the Art, 7(3), 4–12. doi: 10.11621/pir.2014.0301