Учёные доказали…

Сам буду и вас попрошу присылать эту заметку любителям фразы “учёные доказали”

Одним из индикаторов наивности автора статьи или комментария по теме смежной с психологией, социологией или даже педагогикой является фраза:

 учёные доказали, что …

И здесь есть два важных момента:

1. Если "ученые доказали", то какие именно и каким образом? Если у автора указания конкретных учёных (и как правило его нет), то это лишь подчеркивает наивность автора.
2. Здесь более тонкий момент и он касается природы научного познания в психологии, социологии и даже педагогике. Об эотм дальше...

От одного умного человека в свое время я услышал фразу:

 В психологии нет законов, есть закономерности.

А раз нет законов, то ничего доказать не возможно. Закономерности можно пронаблюдать в определенных условиях. Можно выдвинуть какие-то предположения о том, почему это происходит и в каких ещё условиях может наблюдаться. И всё.

Это не математика, где ты выдвигаешь теорему и потом показываешь, изящный путь доказательства, основанного уже на доказанных теоремах или аксиомах.

Это даже не физика / химия / биология, где можно построить какую-то модель и для этой модели использовать математические методы доказательства.

Я уверен, что подавляющее число тех, кто пишет фразу “учёные доказали”, не видели ни одной научной работы по экспериментальной психологии или социологии. Эти работы в принципе построены таким образом, что ничего доказать не могут.

Давайте чуть подробнее остановимся на различиях между этими понятиями. Закон - это что-то точное и постоянное, а закономерность - это что-то вероятностное.

 Пример.
 Закон всемирного тяготения - все тела притягиваются друг к другу. Без исключения. Всегда.
 
 Когнитивное искажение, например, "предвзятость подтверждения" - закономерность. Многие люди (но не все) часто (но не всегда) интерпретируют доступную информацию (но не всю) таким образом, чтобы подтвердить имевшиеся заранее концепции (но это не для всех концепций);

То есть, закономерности - это про частоту: что чаще, что реже.

А закон - это, когда всегда. Ну или "практически всегда". Как минимум при каких-то заранее определенных условиях

Так что там с учеными-то?

Давайте ниже разберем типичную структуру научной работы по экспериментальной психологии.

1. Вводная часть

В вводной части будет много ссылок на смежные исследования, чтобы показать как минимум две вещи:

1. Тема исследования актуальна и не высосана из пальца,
2. В текущих исследованиях есть дыры, которые немного покрывает текущая работа

2. Описание эксперимента.

В общих чертах: какие гипотезы у нас были и что мы делали, чтобы их проверить.

3. Метод проведения эксперимента.

Откуда мы брали испытуемых (огромная часть исследований - это студенты американских ВУЗов исследуют своих сокурсников), сколько их было, что мы им давали / спрашивали (там часто встречается термин “стимульный материал”).

4. Результаты.

Что мы получили, как обрабатывали результаты, что получилось. В этом разделе не будет фразы “мы тут доказали, что …”!. Там будет всякая “муть” типа:

 Как и предполагалось, испытуемые воспринимали людей, кто использовал абстрактные описания (M = 4.16, SD = 0.75) более влиятельными, чем людей, кто использовал конкретные описания (M = 3.96, SD = 0.66), F(1, 90) = 6.38, p = .013, $\eta_p^2$ = .07

(цитата отсюда)

Как вы понимаете, вся суть заключается именно в этом:

А не в том, что написано буквами.

В принципе, если отбросить эти мутные значки и цифры, то может сложится впечатление, что написанное словами понятно. Но.. Нет...

Иногда, кстати, написанное словами противоречит тому, что закодировано этими значками. Я приводил пример такого в заметке про Глобальное потупление (разбор первой статьи, которая должна была быть контр-примером для выводов Л.А. Ясюковой). Или вот здесь я рассказывал о том, как не глупый человек поверил словам, а не этим закорючкам и пришел к неверным выводам.

Краткая шпаргалка по этим буквам:

M (Mean) - среднее значение

SD (Standart Deviation) - стандартное отклонение (от среднего значения). Это мера разброса данных. Помните, что у среднего человека одно яйцо и одна сиська. В среднем... А вот разброс будет сравним со средним значением...

p или p-value - это уровень статистической значимости или вероятность того, что наблюдаемый эффект возник на этой выборке случайно. Чем ближе к 0, тем лучше.
p-value больше 0,05 - всерьез не воспринимают в принципе. Я бы даже не особо обольщался уровнем p-value больше 0,01 потому что ... p-value hacking (ссылка больше для истории, без матподготовки читать не надо, там сложно).

η² - это "величина эффекта". Описывает то, какая доля общей дисперсии в данных объясняется исследуемым фактором. Обычно считают так:

• 0,01 - маленький эффект
• 0,06 - средненький
• 0,14 - большой

F(1,90) - значение статистического критерия. F - это F-фактор для дисперсионного анализа, может быть буква t() для t-критерия Стьюдента, а еще F может обозначать критерий Фишера или U для критерия Манна-Уитни, в общем, много их... Обычно конкретный статистический критерий понятен из контекста, но это не всегда принципиально...

Ну как не принципиально?... Иногда бывает, что автор работы использует, например, t-критерий Стьюдента на данных, собранных по ранговой шкале или на данных, которые явно отличаются по форме распределения, как это было здесь, и приходит к неверным выводам. Ну а кто не ошибается?... Ученые тоже люди.

В общем по значению статистического критерия (в зависимости от цифр в скобках) вычисляется p-value, который вы уже знаете как интерпретировать. Цифры в скобках обозначают:

• Первая цифра - число "степеней свободы". Это количество групп минус 1. То есть, единица говорит о том, что здесь сравнивалось 2 группы. А для t-критерия Стьюдента пишут сразу только вторую цифру, так как там всегда только 2 группы
• Вторая цифра - общее количество наблюдений минус 1. То есть, в данном случае мы знаем, что в эксперименте было 2 группы и всего 91 человек.

5. Обсуждение результатов.

Тут уже идёт какое-то теоретизирование, но часто сводится примерно к этому: “надо ещё проверить это и это, что станет темой будущих исследований”

А! Вот еще что!

И самое главное, если экспериментальная работа исследует какое-то абстрактное понятие типа счастье, вовлечённость, выгорание, мотивация и всё такое, то там есть отдельный раздел (как правило, довольно объемный и не простой) про операционализацию этого понятия.

**Операционализация** - это описание процедуры измерения в ходе которой мы сопоставляем каждому испытуемому число или ранг, отражающие степень проявления исследуемого признака. Типа: как мы поймём сколько баллов (и баллов ли) за мотивацию нужно поставить этому человеку.

Поэтому, если вы увидите где-то утверждение:

Наша услуга повышает эффективность вашей работы на 24%

То попробуйте узнать, как это понятие операционализировано.
А также можете посмотреть, как операционализируются такие понятия как:

1. Счастье
2. Удовлетворенность работой / жизнью
3. Выгорание
4. Вовлеченность
5. Мотивация
6. Креативность
7. Огонь в глазах

Вас будет ждать много сюрпризов. Правда, вы перестанете видеть смысл во фразах вида: "Вовлеченность повышает мотивацию", "Сотрудники с огнем глазах работают более эффективно", ...

Но это побочный эффект.