Преувеличение вероятности частных случаев

- Генерализация частных случаев – безосновательный перенос характеристик частных или даже единичных случаев на обширные их совокупности. Существует множество видов этого когнитивного искажения, классический вариант – теория заговора.

-

Как измерять новый метод? С помощью его же самого?

       Рассмотрим набор инструментов, которые видится целесообразными использовать для решения такой задачи как разработка единой методики оценки объективности эксперимента. Или, другими словами, инструментальный ящик.

пока есть только диаграмма ишикавы(надо переработать), и чек лист

нужно определить мат аппарат

Жизненный цикл эмпирического исследования приведён на рисунке???.

 

Постановка цели исследования

→

Выбор методов исследования

→

Выбор инструментальной базы (приборов)

→

Проведение исследования

→

Выбор методов обработки результатов исследования

→

Выбор методов верификации результатов исследования

Рисунок??? – Жизненный цикл эмпирического исследования

 

Здесь должна быть методика

Самооценка объективности исследователя при проведении эмпирических экспериментов

Причиной ошибок эксперимента может стать не только неверно подобранная оценочная процедура, но и «когнитивные искажения» - распространённые, подсознательные, ошибки мышления, которые мы все систематически совершаем. Такие ошибки не индивидуальны (они присущи большинству людей) и предсказуемы. Данная методика позволяет отследить самые распространенные когнитивные искажения и минимизировать их влияние на результаты эксперимента.

Просим Вас прочитать 2 утверждения, и отметить на шкале, какое из них и насколько отражает Вашу деятельность во время проведения текущего эксперимента.

 

Таблица??? – Фрагмент чек-листа, посвященный искажениям связанными с беспокойством за успех при организации эксперимента

I. Искажения, связанные с беспокойством за успех при организации эксперимента
1. Детальное планирование данного эксперимента началось в условиях отсутствия в достаточном объёме исходных данных и наличия сильно влияющих на результат неопределённых или случайных факторов	5	4	3	2	1	2. Планирование эксперимента началось лишь после детального изучения всех возможных переменных и факторов, способных повлиять на результат
3. Я допускал выполнение работы со скоростью большей, чем необходимо или даже допустимо	5	4	3	2	1	4. Работа велась размеренно, в соответствии с изначально разработанным графиком.
5. Я не изучал влияние не релевантных стимулов на изучаемую зависимую переменную.	5	4	3	2	1	6. Изучал возможную степень влияния не релевантных стимулов на зависимую переменную, чтобы быть уверенным в том, какое влияние на неё оказывает изменение независимой переменной. (Например, при исследовании влияния на поведение животных различных участков головного мозга сам факт перенесения операции по удалению соответствующего участка может изменить поведение подопытного животного)
7. Не учитывал изменение объекта исследования во времени	5	4	3	2	1	8. Учитывал изменение объекта исследования во времени
9. Допекал влияние одного из условий эксперимента за следующие за ним	5	4	3	2	1	10. Не допускал влияния одного из условий эксперимента на следующие за ним
11. Не заострял внимание на эквивалентности группы изучаемых объектов	5	4	3	2	1	12. Стремился не допустить неэквивалентность группы объектов по составу, вызывающую систематическую ошибку
13. Недооценил время выполнения задач, стоимость и длительность реализации исследования	5	4	3	2	1	14. Как гласит закон Мерфи, всякая работа требует больше времени, чем вы думаете. При планировании были корректно посчитаны ключевые точки, временные и материальные ресурсы.
15. Разрабатывал теоретическую гипотезу на основании правил, принятых для конкретной специальности или процессии	5	4	3	2	1	16. Разрабатывал теоретическую гипотезу на основании более общей, междисциплинарной точки зрения.
17. Проверял гипотезы исключительно путем прямого тестирования	5	4	3	2	1	18. Дополнительно использовал косвенные методы проверки гипотезы
19. Допускал «предпочтение нулевого риска». переоценил возможности контроля и предпочел более контролируемую, но потенциально вредоносную ситуацию	5	4	3	2	1	20. Понимаю, что снижение одного не самого большого риска до нуля иногда дает иллюзию избавления от рисков. Учитывал это при организации эксперимента. Например, большинство людей предпочли бы уменьшить вероятность террористических актов до нуля вместо снижения аварийности на дорогах, даже если бы второй эффект давал больше сохранённых жизней
21. Оценивал способы решения задач по окончательным результатам «Победителей не судят»	5	4	3	2	1	22. Оценивал качество решений по обстоятельствам того момента, когда они были приняты.

 

Таблица??? – Фрагмент чек-листа, посвященный искажениям, связанным с «Гало-эффектом»

II. Искажения, связанные с «Гало-эффектом» - результат воздействия общего впечатления о чем-либо на восприятие его частных особенностей. Оказывает влияние на оценку вероятностей и формирование стереотипов.
23. Если я считаю, что одна зафиксированная ситуация гарантирует содержание другой то в отчете об исследовании я сообщаю только о последней.	5	4	3	2	1	24. Я стремлюсь не подменять одно высказывание другим и полностью описываю результаты эксперимента.
25. При оценки роли и веса факторов я предпочитаю обращаться к статистике	5	4	3	2	1	26. При оценке роли и веса факторов я предпочитаю обращаться к интуиции
27. Я склонен апеллировать к тому что доказательством, подтверждающее какую-либо точку зрения, является установленный или общепринятый факт.	5	4	3	2	1	28. Я не склонен считать общепринятые факты достаточным и значимым доказательствами в рамках эксперимента. Авторитетные ученые так же могу ошибаться.
29. При анализе результатов я предавал большее значение изначальным событиям чем последующим	5	4	3	2	1	30. Я не считаю, что отдельные случайные события испытывают влияние предыдущих случайных событий, если их связь не доказана статистически.
31. Когда по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет, я склонен искать общие черты среди «выживших» и упускаю из вида, что не менее важная информация скрывается среди «погибших».	5	4	3	2	1	32. Я не склонен недооценивать не доступные прямому наблюдения данные из группы «погибших». Например, пробоины на вернувшихся самолётах показывают места, в которых они могут получить повреждения и выжить. А. получившие повреждения в других местах не смогли вернуться на базу. Так же понимаю, что если испытание оказалось неудачным при наличии других, более удачных, его, скорее всего, не опубликуют, и изделие— как минимум поначалу— будут переоценено
33. Я склонен оценивает частоту или возможность события по легкости, с которой примеры или случаи приходят на ум», т. е. легче вспоминаются	5	4	3	2	1	34. Я не склонен оценивает частоту или возможность события по легкости, с которой примеры или случаи приходят на ум», т. е. легче вспоминаются
35. При анализе и интерпретации результатов экспериментальных исследований я склонен воспринимать события, которые уже произошли, или факты, которые уже были установлены, как очевидные и предсказуемые, несмотря на отсутствие достаточной первоначальной информации для их предсказания	5	4	3	2	1	36. Я стараюсь избегать эффекта «я знал», Стремлюсь рассматривать возможные альтернативные объяснения события и открытост к различным точкам зрения
37. Обладая информацией о частоте некоторого события (базовый процент) и специфической информацией об этом событии, я имею склонность игнорировать первое и фокусироваться на втором.	5	4	3	2	1	38. Я не склонен игнорировать базовый процент. Наример, Джон носит готическую одежду. Какова вероятность, что он христианин, и какова вероятность, что он сатанист? Если людям задать этот вопрос, они, скорее всего, недооценят вероятность того, что он христианин, и переоценят вероятность того, что он сатанист. Они проигнорируют, что базовый процент христианства (в мире исповедуют около 2 млрд людей) значительно больше базового процента сатанизма (оценивается в несколько тысяч).
39. Я стремятся выбрать метод решение задачи, для которого вероятность благоприятного исхода известна, по сравнению с методом, вероятность благоприятного исхода которого была мне не известна	5	4	3	2	1	40. Я использовал различные методы решения задачи в том числе те по в результате которых вероятность благоприятного исхода была мне не неизвестна
41. Увиливал или преуменьшал значение одного из параметров в сравнении с только что обнаруженным контрастным периметром	5	4	3	2	1	42. Учитывал влияние эффекта контраста при анализе параметров объекта
43. Допускал перенос характеристика частных случаев на обширные совокупности	5	4	3	2	1	44. Не допускал голословной генерализации частных случаев, косвенными методами проверял наличие в других совокупностях, выделенных на частном случае характеристик.

 

Таблица??? – Фрагмент чек-листа, посвященный искажениям, связанными с эффектом Розенталя

III. Искажения, связанные с эффектом Розенталя - Ожидания экспериментатора на подсознательном уровне определяют характер полученных им данных
45. Я допускал деформацию шкалы и сближение результатов до среднего значения	5	4	3	2	1	46. Я не избегал крайних оценок, не занижал слишком высокие результаты и не завышал слишком низкие
47. Я придавал особое значение ряду параметров или задач в экспериментальной серии.	5	4	3	2	1	48. Я искусственно не занижал и не завышал значение определенной задачи ли определенного параметра по экспериментальной серии
49. Я искал только те данные которые подтверждают гипотезу	5	4	3	2	1	50. При сборе и анализе данных старался быть максимально не предвзятым опираясь на корреляции, полученные при помощи математического аппарата
51. Я искал только те данные которые противоречат гипотезе чтобы не казаться предвзятым	5	4	3	2	1	52. При сборе и анализе данных старался быть максимально не предвзятым опираясь на корреляции, полученные при помощи математического аппарата
53. Оценивал логическую силу аргумента в зависимости от веры в истинность и ложность заключения.	5	4	3	2	1	54. При оценке логической силы аргумента опирался на дополнительное мнение не осведомленного о гипотезе исследования эксперта.
55. При проведении серии экспериментов получив «хорошие» и «плохие» данные в первых сериях эксперимента я стремился первые «улучшить» а вторые «ухудшить» в последующих сериях	5	4	3	2	1	56. Стремился минимизировать свое влияние на условия эксперимента после получения данных по первым сериям.

 

Таблица??? – Фрагмент чек-листа, посвященный искажениям, связанными с «ошибкой меткого стрелка»

IV. Искажения, связанные с «Ошибкой меткого стрелка» который сначала стреляет по амбару, а уже потом, в месте, где появилось самое большое количество пробоин, рисует мишень.
57. Для анализа использовал только сходные данные и игнорировал отличающиеся.	5	4	3	2	1	58. Анализировал не только группирующиеся данные, но и «выбросы»
59. Оптимизировал параметры для прогнозирующего алгоритма и проверял правильность модели прогноза на основании одних и тех же экспериментальных данных	5	4	3	2	1	60. При проверке статистических гипотез и создании метода проверки использовал разные выборки экспериментальных данных.

 

 

А здесь должен быть кейс

 

Результаты

Приведенный метод позволит повысить качество проводимых экспериментов

 

Обсуждение

 

Заключение

таким образом для улучшения точности исследований и повышения их объективности необходимо применять и прорабатывать методики проверки этой самой объективности наличия проведенного эксперимента

 

 

Список литературы

 

Лучше взять побольше литературы иностранной, из Scopus

[1] Федюкин В.К. Квалиметрия. Измерение качества промышленной продукции. Учебное пособие. – Москва: КНОРУС, 2017. – 230с.

[2] С.Н. ТИЦ "Человеческий фактор"

[3] Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. Учебное пособие. – СПб: Речь, 2004. – 392с.

[4] Копец Л. В. Классические эксперименты в психологии — К., 2010

[5] Кукла А. Ментальные ловушки: Глупости, которые делают разумные люди, чтобы испортить себе жизнь / Андре Кукла; Пер. с англ. — 2-е изд. — М.: Альпина Бизнес Букс, 2008. — 146 с.

[6] Хяков – экспериментальная психология

 [7] ГОСТ Р ИСО 5725-2-2002 Точность (правильность и прецизионность) методов и результатов измерений. Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 5725-2:1994* "Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерений"

И вообще все про опросники написал господин Клайн (Клайн П. Справочное руководство по конструированию тестов. Киев: 1994. 186 с.) еще в 94 году. Нужная информация в п3 - "3. Особенности создания опросников", стр10.

1. Артемьева Е.Ю. Психология и математические модели субъективного мира // Вестник Московского университета. Серия 14. Психология. 1990. № 3. С.4-15.

2. Большой психологический словарь. Под редакцией Б.Г. Мещеряковой, В.Г. Зинченко. М.: Прайм Еврознак, 2007. 672с.

3. Гуревич К.М. Психологическая диагностика и проблема индивидуальных различий. // Психологический журнал. т.19. 1998.№3.

4. Дружинин В.Н. Экспериментальная психология: Учебник для вузов. 2-е изд., доп. СПб.: Питер, 2003. – 319 с.

5. Занковский А.Н. Организационная психология.Учебное пособие для вузов по специальности «Организационная психология» М.: Флинта: МПСИ, 2000. 648 с.

6. Клайн П. Справочное руководство по конструированию тестов. Киев: 1994. 186 с.

7. Худяков А.И., Зароченцев К.Д. Обобщенный образ как предмет психофизики. СПб.: 2000. 220 с.

8. Худяков А.И. Экспериментальная психология. СПб.: Питер, 2008. 320 с.

 

 

Добрый день. Обещала материал про эффективность опросников "как это у психологов". Диссер свой старый не нашла пока, до операции один день, вешаю приложение от той самой АВС методики там есть короткая схема нужной информации. В принципе - достаточная.

Про формулирование вопросов так:
1. Устранять возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Это делается не ради того, чтобы ввести их в заблуждение, а потому, что если испытуемые догадаются, что некоторое задание предназначено для измерения черты X, то ответы будут отражать их точку зрения по выраженности у себя этой черты, а не реальное положение дел. Представления же некоторых испытуемых о своей личности могут быть значительно искаженными. В связи с этим, идеальным было бы оценивать испытуемого по чертам, о которых он не знает, задавая ему вопросы о том, что он знает хорошо.
2. Формулируйте понятные, недвусмысленные вопросы. Это важно для того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов. Высокая надежность зависит, в известной степени, от этого качества теста.
3. Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Так, задание вида: «Нравится ли вам спорт?» — является слишком общим: термин «спорт» — неопределенный, как и термин «нравится» Необходимо задать более конкретный вопрос: «Вы играете регулярно в какую-либо спортивную игру?» или «Вы регулярно следите за игрой вашей любимой спортивной команды?» На эти вопросы, ответы на которые вряд ли будут фальсифицировать или относительно которых реальное поведение вряд ли изменится, испытуемые будут отвечать одинаково, когда бы вы их ни тестировали.
4. В каждом задании следует задавать только один вопрос или делать только одно утверждение. Рассмотрим пример: «Думаю, следует заставить черных и представителей других рас эмигрировать». Если это задание предназначено для измерения расизма, то оно будет плохим. Есть расисты (такие, как южно-африканские), которые проводят резкие различия между черными и людьми других рас. Другие считают всех, кто не являются
англо-саксами, не относящимися к людям. Следовательно, некоторые расисты могут положительно ответить на этот вопрос, тогда как другие - нет (только черных следует принуждать к эмиграции). Более злостные расисты могут быть готовы оставить черных и представителей других рас, но видеть их исключительно в качестве рабов. А, например, немцы, проживающие в Англии, опять-таки ответят «нет», исходя из своей интерпретации понятия «другие расы» Следовало бы дать утверждение более точно: «Думаю, следует заставить негров эмигрировать».
5. Избегайте, насколько это возможно, слов, определяющих частоту действий. Они обычно настолько субъективны, что вносят большую неопределенность. Это положение прояснят примеры. Например, вопрос «Часто ли вам снятся сны?» Здесь все зависит от значения слова «часто». Некоторые испытуемые могут испытывать такое чувство, что видеть сон раз в месяц — это часто, и ответят на вопрос утвердительно. Другие могут возразить, что один сон за ночь — это не часто, потому что исследования показали, что людям снятся три-четыре сна за ночь, и ответят «нет». Улучшенный вопрос будет звучать: «Снятся ли вам сны дважды в неделю или чаще?»
6. Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Если задание может быть сформулировано так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невозможно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет выявлена на этапе анализа заданий.
7. При помощи инструкций обеспечьте, чтобы испытуемые давали первые, приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий. Эффективное задание теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае, вероятно, что задание не выявляет тот аспект поведения, который имеет существенное отношение к измерению личностных качеств [6, с. 96-99].