Method of increasing the objectivity of empirical research

Method of increasing the objectivity of empirical research

D N Galiahmetova, O A Feoktistova, Ya A Shchenikov

Saint-Petersburg State University of Aerospace Instrumentation, Bolshaya Morskaia str. 67A, Saint-Petersburg, 190000, Russian Federation

 

E-mail: [email protected]

 

Abstract.   

 

Методика повышения объективности эмпирических исследований

 

Галиахметова Д.Н., Феоктистова О.А., Щеников Я.А.

Санкт-Петербургский государственный университет аэрокосмического приборостроения, улица Большая Морская, дом 67А, Санкт-Петербург, 190000, Российская Федерация

 

E-mail: [email protected]

Аннотация. Ошибки эксперимента - это экспериментальный результат, который возникает из-за отклонений в проведении исследования или дефектов используемых методик.

Ключевые слова: обьективность исследования, эксперимент, когнитивные искажения

Цель: изучение влияния человеческого фактора на обьективность научных исследований и полученных результатов.

Методы: Диаграмма Исикавы и чеклист, поскольку математический аппарат еще не добавлен

Результаты: своеобразный коэффицент обьективности исследования или данных эксперимента, методика, позволяющая снизить субъективность эмпирических исследований за счёт минимизации когнитивных искажений, методика оценки объективности эксперимента

 

Введение

Производственные компании предъявляют требования по оценки качества процессов, показателем этой тенденции является внесение их в ряд отраслевых стандартов для систем менеджмента качества. В то время как оценке достоверности проведенных экспериментов (испытаний) не уделяется внимание совсем.

       В рамках эксперимента так или иначе, экспериментатор выступает как наблюдатель. Наблюдение может быть «включенным» и «не включенным». Во втором случае мы претендуем на объективность, особенно если применяли статистические методы, позволяющие повысить объективность данных. Любое эмпирическое исследование начинается с того что исследователь фиксирует выраженность интересующих его свойств у объекта или объектов исследования. Как правило – при помощи чисел. Таким образом, следует различать объекты исследования (процессы, предметы, явления), их свойства – то что составляет предмет изучения и признаки, отражающие в числовой шкале выраженность свойств. При этом нам исключительно важно отдавать себе отчет в том, что точность, с которой признак отражает измеряемое свойство, зависит от процедуры, измерения.

Но так ли все просто?

       Каждую секунду времени наш мозг обрабатывает триллионы различных процессов. Неудивительно, что он ищет стратегии и, своего рода, правила, которые можно использовать в различных ситуациях. Паттерны, которые позволяют уменьшить количество мозговых процессов, тем самым, сохранив больше энергии. Это полезно, когда мы сталкиваемся с задачами, требующими от нас принятия сложных решений. Однако в попытке упростить информационные процессы мы можем использовать алгоритмы, которые могут повести нас по неправильному пути. Ошибки мышления, которые мы допускаем при обработке информации, называются когнитивными искажениями.

       Когнитивные искажения  -  это систематические ошибки в мышлении или паттерны отклонений в суждениях, которые происходят в определённых ситуациях. К примеру в Wikipedia описаны 192 когнитивных искажения, разбитых на разные категории.

Рисунок 1 – Виды когнитивных искажений [???] Рисунок красоты невероятной, но редакция у нас такой точно не примет, так как очень мелко (примечание Я.А.). Но как-то его нужно переделать и оставить, я считаю.

       Когнитивные искажения влияют на внешнюю валидность экспериментов. Очень много на тему субъективности объективных инструментов получения эмпирических сведений писали прямые специалисты по человеческому фактору и когнитивным искажениям - психологи. Психолог Ричард Грегори в результате своих наблюдений сделал вывод что мозг автоматически достраивает изображение по имеющиеся у него данные и делает то же самое с выводами из не полных сведений. Р. Розенталь в ходе эксперимента доказал, что экспериментатор, который твердо верит в гипотезу или надежность информации, неосознанно действует таким образом, чтобы получить соответствующие результаты, подтверждающие гипотезу (завышение значения определенного параметра или определенной задачи по экспериментальной серии, Избегание крайних оценок как низких, так и высоких, группировки данных только вокруг среднего значения и т.д.). Тему разрабатывали так же физик Джеральд Холтон (ученый изначально настроен на то что хочет открыть), Майкл Полани (концепция личностного не явного знания), Менделеев (точность измерений и важность метрологии), Эрнст Мах (данные полученные человеком при помощи опыта – это единственная реальность с которой имеет дело человек, аналогия с расписанием автобусов), Мориц Шлк (принципы верификации, толератнтности и физикализма), Эдвард Торндайк и Фил Розенцвейгом (эффект Ореола), а так же многие современные авторы [???].

Результаты

Приведенный метод позволит повысить качество проводимых экспериментов

 

Обсуждение

 

Заключение

таким образом для улучшения точности исследований и повышения их объективности необходимо применять и прорабатывать методики проверки этой самой объективности наличия проведенного эксперимента

 

 

Список литературы

 

Лучше взять побольше литературы иностранной, из Scopus

[1] Федюкин В.К. Квалиметрия. Измерение качества промышленной продукции. Учебное пособие. – Москва: КНОРУС, 2017. – 230с.

[2] С.Н. ТИЦ "Человеческий фактор"

[3] Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. Учебное пособие. – СПб: Речь, 2004. – 392с.

[4] Копец Л. В. Классические эксперименты в психологии — К., 2010

[5] Кукла А. Ментальные ловушки: Глупости, которые делают разумные люди, чтобы испортить себе жизнь / Андре Кукла; Пер. с англ. — 2-е изд. — М.: Альпина Бизнес Букс, 2008. — 146 с.

[6] Хяков – экспериментальная психология

 [7] ГОСТ Р ИСО 5725-2-2002 Точность (правильность и прецизионность) методов и результатов измерений. Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 5725-2:1994* "Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерений"

И вообще все про опросники написал господин Клайн (Клайн П. Справочное руководство по конструированию тестов. Киев: 1994. 186 с.) еще в 94 году. Нужная информация в п3 - "3. Особенности создания опросников", стр10.

1. Артемьева Е.Ю. Психология и математические модели субъективного мира // Вестник Московского университета. Серия 14. Психология. 1990. № 3. С.4-15.

2. Большой психологический словарь. Под редакцией Б.Г. Мещеряковой, В.Г. Зинченко. М.: Прайм Еврознак, 2007. 672с.

3. Гуревич К.М. Психологическая диагностика и проблема индивидуальных различий. // Психологический журнал. т.19. 1998.№3.

4. Дружинин В.Н. Экспериментальная психология: Учебник для вузов. 2-е изд., доп. СПб.: Питер, 2003. – 319 с.

5. Занковский А.Н. Организационная психология.Учебное пособие для вузов по специальности «Организационная психология» М.: Флинта: МПСИ, 2000. 648 с.

6. Клайн П. Справочное руководство по конструированию тестов. Киев: 1994. 186 с.

7. Худяков А.И., Зароченцев К.Д. Обобщенный образ как предмет психофизики. СПб.: 2000. 220 с.

8. Худяков А.И. Экспериментальная психология. СПб.: Питер, 2008. 320 с.

 

 

Добрый день. Обещала материал про эффективность опросников "как это у психологов". Диссер свой старый не нашла пока, до операции один день, вешаю приложение от той самой АВС методики там есть короткая схема нужной информации. В принципе - достаточная.

Про формулирование вопросов так:
1. Устранять возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Это делается не ради того, чтобы ввести их в заблуждение, а потому, что если испытуемые догадаются, что некоторое задание предназначено для измерения черты X, то ответы будут отражать их точку зрения по выраженности у себя этой черты, а не реальное положение дел. Представления же некоторых испытуемых о своей личности могут быть значительно искаженными. В связи с этим, идеальным было бы оценивать испытуемого по чертам, о которых он не знает, задавая ему вопросы о том, что он знает хорошо.
2. Формулируйте понятные, недвусмысленные вопросы. Это важно для того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов. Высокая надежность зависит, в известной степени, от этого качества теста.
3. Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Так, задание вида: «Нравится ли вам спорт?» — является слишком общим: термин «спорт» — неопределенный, как и термин «нравится» Необходимо задать более конкретный вопрос: «Вы играете регулярно в какую-либо спортивную игру?» или «Вы регулярно следите за игрой вашей любимой спортивной команды?» На эти вопросы, ответы на которые вряд ли будут фальсифицировать или относительно которых реальное поведение вряд ли изменится, испытуемые будут отвечать одинаково, когда бы вы их ни тестировали.
4. В каждом задании следует задавать только один вопрос или делать только одно утверждение. Рассмотрим пример: «Думаю, следует заставить черных и представителей других рас эмигрировать». Если это задание предназначено для измерения расизма, то оно будет плохим. Есть расисты (такие, как южно-африканские), которые проводят резкие различия между черными и людьми других рас. Другие считают всех, кто не являются
англо-саксами, не относящимися к людям. Следовательно, некоторые расисты могут положительно ответить на этот вопрос, тогда как другие - нет (только черных следует принуждать к эмиграции). Более злостные расисты могут быть готовы оставить черных и представителей других рас, но видеть их исключительно в качестве рабов. А, например, немцы, проживающие в Англии, опять-таки ответят «нет», исходя из своей интерпретации понятия «другие расы» Следовало бы дать утверждение более точно: «Думаю, следует заставить негров эмигрировать».
5. Избегайте, насколько это возможно, слов, определяющих частоту действий. Они обычно настолько субъективны, что вносят большую неопределенность. Это положение прояснят примеры. Например, вопрос «Часто ли вам снятся сны?» Здесь все зависит от значения слова «часто». Некоторые испытуемые могут испытывать такое чувство, что видеть сон раз в месяц — это часто, и ответят на вопрос утвердительно. Другие могут возразить, что один сон за ночь — это не часто, потому что исследования показали, что людям снятся три-четыре сна за ночь, и ответят «нет». Улучшенный вопрос будет звучать: «Снятся ли вам сны дважды в неделю или чаще?»
6. Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Если задание может быть сформулировано так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невозможно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет выявлена на этапе анализа заданий.
7. При помощи инструкций обеспечьте, чтобы испытуемые давали первые, приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий. Эффективное задание теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае, вероятно, что задание не выявляет тот аспект поведения, который имеет существенное отношение к измерению личностных качеств [6, с. 96-99].

 

Использование шкал.

Существуют шкалы нескольких уровней, иерархически упорядоченные по сложности.

1. Номинативные шкалы (шкалы наименований). Это простейшая классификация респондентов: мужчина/женщина - классификация по номинативной шкале [6, с.22]. Эта шкала получается приписыванием объекту любого отличительного знака. Допустимым преобразованием для шкалы наименований служит группа перестановок. То есть, в шкале наименований не допускаются никакие арифметические операции. Числа в этой шкале являются такими же формальными символами, как и буквы и ничем больше [8, с.95].

2. Порядковые шкалы. Здесь субъекты ранжированы, например, по весу или росту. Такая шкала очевидно груба, поскольку не учитывает значения разностей между рангами.

3. Шкалы интервалов. В них разности между значениями во всех точках данной шкалы равны. Эквивалентные интервальны шкалы могут быть линейно преобразованы друг в друга, что позволяет приводить результаты тестирования к общим шкалам и таким образом осуществлять сравнение показателей. Более того, многие статистические процедуры предполагают измерения по шкале интервалов.

4. Шкалы отношений. Шкалы отношений помимо всего имеют значимую нулевую точку (в отличие от интервальной шкалы она не произвольна, а указывает на полное отсутствие измеряемого свойства). Наличие такой точки — проблема для большинства психологических переменных, хотя существуют методы конструирования тестов, позволяющие использовать эту возможность [6, с.23].

На основе вышеописанных особенностей шкал можно сделать вывод, что в идеале разработчик психологических тестов должен стремиться использовать шкалы отношений. В случае, когда это невозможно - шкалы интервалов. Особенно если предполагается, что результаты будут подвергаться статистическому анализу. Поскольку изучение валидности тестов практически неизбежно влечет за собой такой анализ (а также потому, что количественные показатели измерений в психологических тестах предоставляют им преимущества по сравнению с другими видами испытаний), вывод очевиден: ничего менее точного, чем шкалы интервалов, использовать нельзя.

 

Надежность

 

В психометрии термин «надежность» имеет два значения:

1.    тест называется надежным, если он является внутренне согласованным;

2.    тест также называется надежным, если он дает одни и те же показатели для каждого тестируемого (при условии, что испытуемый не изменился) при повторном тестировании. Надежность при повторном тестировании по прошествии времени называется ретестовой надежностью
[6, с.23].

Разумеется, как бы ни были сходны условия проведения тестирования, никакой тест не является идеально надежным. На результаты тестирования оказывают влияние как состояние тестируемых (например, биоритмы, усталость, стресс и так далее), так и даже незначительные изменения в условиях проведения тестирования (шумы, освещенность, погода и так далее. Таким образом, перед тем, как использовать методику необходимо убедиться в её надежности.

Существует целый ряд методов определения надежности теста. Рассмотрим несколько из них.

1.    Тест-ретест метод. Этот метод предполагает двойное предъявление одного и того же теста одинаковой выборке тестируемых и последующую корреляцию двух распределений. Чем ближе к +1,00 значение полученной корреляции, тем более стабильны показатели теста и больше его надежность. Разумеется, очень важно, чтобы в руководстве по использованию теста был указан временной интервал между двумя предъявлениями, так как чем больше времени между предъявлениями, тем обычно ниже надежность теста. Однако из-за эффектов практики и запоминания, которые при повторном предъявлении могут оказывать влияние на результаты тестирования, данный метод проверки надежности теста не рекомендуется для некоторых видов тестов (например, тесты на скорость восприятия, память, моторную координацию и так далее).

2.    В методе эквивалентных форм используется тот же подход, что и в методе тест-ретест. Однако, здесь во второй раз предъявляется не та же, а эквивалентная форма теста, то есть, сходная по всем содержательным характеристикам, но различная по форме и количеству вопросов/заданий[2]. Главное достоинство этого метода - устранение проблем, связанных с эффектами запоминания и научения. В то же время недостатком выступает необходимость разработки эквивалентной формы, требующая дополнительных расходов.

3. Так называемый метод «двух половинок» связан не столько с временной стабильностью теста, сколько с определением его внутренней консистентности. Для определения надежности с помощью этого метода результаты тестирования искусственно разделяются на два распределения: одно образуется четными вопросами/ заданиями теста, другое нечетными. Затем, определив, в какой мере данные обоих распределений коррелируют между собой, подставляют полученный коэффициент корреляции в формулу Спирмена-Брауна. Этот метод, пожалуй, наиболее популярен благодаря своей экономичности, как с точки зрения времени, так и затрат.

Основные требования к надежности методики следующие:

1. все исследования надежности должны выполняться на больших (200 или более) и репрезентативных выборках;

2. должна быть установлена надежность по внутренней согласованности, «хотя она не обязательно должна быть такой высокой, как это часто указывается в некоторых учебниках» [6, с.181];

3. очевидно, что для оценки надежности не существует единого числового показателя. Для всех результатов должны указываться объем и тип выборки, а также использовавшийся для вычислений метод;

4. когда возможно, должен быть вычислен коэффициент «а» или его упрощенная версия, формула K-R20;

5. определение надежности путем расщепления теста должно рассматриваться как прием для оценки реальной надежности только в условиях, когда необходимо быстро получить результаты;

6. факторизованные оценки надежности должны использоваться только с факторизованными тестами и тогда, когда есть широкий набор других переменных;

7. при слишком быстром проведении тестирования и для тестов, оказавшихся трудными для респондентов, коэффициенты внутренней согласованности могут быть искусственно, необоснованно завышенными;

8. должна быть оценена надежность параллельных форм (если такие формы существуют);

9. должна быть вычислена ретестовая надежность, интервал времени между повторными тестированиями должен быть не менее шести месяцев;

10. надежность - это важная характеристика теста, однако следует помнить, что надежность сама по себе ценности не представляет. Ее ценность состоит в том, что часто она необходима для достижения валидности. Однако, может случиться так, что тест будет почти совершенно надежным, но почти полностью не валидным [6, с.181];

11. надежность теста, используемого для профессионального отбора или подбора, должна быть в диапазоне + 0,80 - + 0,90. Указания на величину корреляции в руководстве по использованию теста должны сопровождаться информацией о примененном методе определения надежности [5, с.614].

 

Валидность

 

В широком смысле валидность свидетельствует о степени соответствия/идентичности измеряемой тестом характеристики самой характеристике. Например, если индивид имеет высокие показатели по интеллектуальному тесту, то этот тест будет считаться валидным только в том случае, если его результаты не противоречат другим проявлениям развитого интеллекта (высоким показателям в учебе, выработке оптимальных решений в трудовой деятельности и так далее). Если же такой корреляции не будет, а обладатель высокого IQ будет удивлять окружающих своей глупостью, станет очевидно, что тест лишен валидности и, по всей видимости, измеряет вовсе не интеллект, а что-то иное [5, с.614 - 615].

По определению Дружинина, тест валиден (и, кстати, надежен), если на его результаты влияет, лишь измеряемое свойство. Тест невалиден (и ненадежен), если результаты тестирования определяются влиянием нерелевантных переменных [4, с. 614].

В действительности, существует много различных способов доказательств валидности тестов, и каждый из них соответствует разным аспектам этого значения [6, с. 26].

1. Очевидная (внешняя) валидность – соответствие конкретного исследования природной реальности и, или другим подобным исследованиям. Определяются возможности переноса и обобщения результатов на другие объекты и условия исследования. Тест считается, очевидно валидным, если у респондента складывается впечатление, что он измеряет то, что должен измерять [4, с. 106].

2. Содержательная валидность – является составляющей внешней валидности. Включает систематический анализ содержания теста на предмет его адекватности измеряемым навыкам, знаниям и способностям, необходимым в конкретной ситуации. Определяется такая валидность, на основании суждений экспертов (например, руководства) о соответствии содержания теста содержанию конкретной профессиональной деятельности. Так, например, экспертам, может быть, независимо предложено оценить тестовые вопросы или задания на предмет их важности (бесполезности) для достижения конкретной поставленной цели.

3. Экспериментальная валидность (внутренняя) – по определению Корниловой - способность сделать верные выводы на основе результатов методики. То есть результаты методики должны служить основанием достоверного вывода. Дружинин определяет экспериментальную валидность как меру влияния независимой переменной на зависимую, по отношению к другим факторам., определяющую достоверность экспериментальных результатов [4, с.106].

В рамках внутренней валидности, подразделяют конкурентную и прогностическую

Конкурентная валидность оценивается по корреляции результатов данного теста с результатами других тестов. И это один из недостатков определения конкурентной валидности, так как если уже существует другой валидный тест, достаточно эффективный, чтобы он мог использоваться, то новый тест, который предстоит валидизировать, может быть в какой-то степени не нужен.

В случае, если не существует подобных тестов, для валидизации можно использовать внешний критерий - экспертные оценки. Здесь, однако, тоже существуют проблемы. Валидность рейтингов может оказаться сомнительной. Ведь, если есть возможность применения рейтингов, то вряд ли нужен тест. Конкурентная валидность также полезна для установления того, что не измеряет тест. Тест не должен иметь корреляции с другими тестами, измеряющими совершенно иные показатели [6, с. 26].

Для установления прогностической валидности изучаются корреляции теста с некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. Основная сложность такой валидизации состоит в выборе значимого критерия [6, с. 27].

4. Конструктная (концептуальная) валидность выражает адекватность метода интерпретации экспериментальных данных теории. По мнению Кэмпбелла, конструктная валидность характеризует правильность обозначения (интерпретации) причины и экспериментального эффекта с помощью абстрактных терминов из обыденного языка или формальной теории. Внутренняя валидность определяется достоверностью интерпретации экспериментального эффекта как связи изучаемой причины и следствия, а конструктная валидность - правильностью употребления терминов той или иной теории при интерпретации данных эксперимента [4, с. 125]. Для доказательства конструктной валидности привлекается демонстрация психологических характеристик переменных, измеряемых методикой. При этом затрагиваются другие, ранее обсуждавшиеся типы валидности.

Процедура определения конструктной валидности следующая:

1. перечислить точно гипотезы, касающией переменных, с которыми данный тест должен корелирвать (конкурентная валидность);

2. перечислить точно гипотезы, касающиеся переменных, с которыми тест не должен корелировать;

3. указать группы, которые должны давать низкие и высокие показатели по данному тесту;

4. сформулировать гипотезу о месте данного теста в факторном пространстве [6, с. 212].

Из написанного выше становится понятно, что не может быть какого-либо единственного показателя, демонстрирующего валидность теста. Для полной ее проверки следует учитывать множество получаемых показателей. Стоит также заметить, что валидность теста может фактически гарантироваться логически обоснованными методами конструирования тестов.

 

Дискриминативность

Дискриминативность является еще одним параметром, внутренне присущим диагностической методике. Методика должна хорошо «различать» респондентов с разными уровнями выраженности свойства [4, с. 106].

Достижение удовлетворительного распределения показателей является одной из целей разработчика методики. Какова ценность психологического теста, по которому все испытуемые показали одинаковые результаты?

 

Стандартизация

Под стандартизацией подразумевается единообразие предъявления и обработки теста. Если необходимо сравнить результаты тестирования нескольких респондентов, то, разумеется, необходимо предусмотреть, чтобы условия тестирования были идентичными для всех. С целью достижения единообразия создатели тестов указывают в руководствах точные процедуры тестирования, касающиеся временных ограничений, устных инструкций, ответов респондентов на специфические вопросы, форм и бланков, необходимых для прохождения теста, физических условий (например, сидя за столом, условий освещения и так далее), а также процедуры обработки результатов [5, с. 612].

Тестовые нормы, полученные в ходе стандартизации, представляют собой систему шкал с характеристиками распределения тестового балла для различных выборок. Они не являются «внутренним» свойством теста, а лишь облегчают его практическое применение [4, с. 106].

Чтобы интерпретировать эти данные, их надо сравнить с результатами, показанными группой других респондентов. Такое сравнение становится возможным при наличии тестовых норм. Фактически нормы - это распределение тестовых результатов, полученных на большой выборке лиц, представляющих собой репрезентативную выборку. Распределение такой референтной группы служит системой отсчета для сравнения результатов, показанных респондентами. Совпадают ли результаты респондента со средними показателями группы или они значительно выше (ниже) средней величины? Занковский [5, с. 612] описывает следующую закономерность: респондент, чьи результаты на 2 стандартных отклонения превышает среднее, имеет лучшие показатели, чем 97,8% референтной группы.

 

Method of increasing the objectivity of empirical research