Результаты опроса участников спринта Q1–2025 (Аналитическая заметка)

 Публичный пост
16 января 2025  1517
Голова! Вот это поворот!

Каждый раз, когда мы запускаем спринт “12 недель” мы обязательно проводим исследования участников. Каждый раз разные.

В этот раз мне было интересно понять:

  1. Правда ли взрослые люди смышлёнее молодежи?
  2. Правда ли те, кто смышлёнее чаще пользуются теми или иными приёмами джедайских техник?
  3. Какие приёмы джедайских техник действительно полезны?

Для поиска ответов на эти вопросы, мы подготовили опросник и собрали 201 ответ…

Сводная информация по респондентам

Дальше надо было операционализировать мутные понятия. Например, что такое “смышлёный”? Я для этого взял тест “Сложные Аналогии” Э.А. Коробковой. В этом тесте 20 вопросов и можно было набрать 0..20 баллов. Результаты получились такими:

Дальше надо было операционализировать понятие “Полезно / Не полезно”. Здесь я использовал “уровни джедайства”, которые определил через самостоятельную оценку человека соотношения срочных задач к долгосрочным (подробнее про такую шкалу я писал у себя в “Пути джедая”). Этот “уровень джедайства” участники оценивали отдельно в работе и в личной жизни.

Был выбор одиного из 5-ти уровней:

  1. Я не успеваю выполнять даже необходимый минимум
  2. Я едва-едва успеваю выполнить необходимую текучку, но на долгосрочные планы не остается сил
  3. Я успеваю разобраться с необходимой текучкой, и даже изредка могу посвящать силы долгосрочным планам
  4. Я вполне продуктивно продвигаюсь к своим долгосрочным целям. Завалы если и случаются, то не часто
  5. Все происходит легко и естественно и временами мне кажется, что редко бывает лучше

Результаты получились такие:

Помимо этого я взял еще скрининг на СДВГ (при помощи шкалы ASRS) и получил вот такое:


(У некоторых корпоративных клиентов в зоне опасности находится 70% сотрудников!!!)

Что нашлось?

Сначала хотелось добавить немного сексизма и эйджизма…

Есть ли отличия в смышленности между мужчинами и женщинами?

В нашем примере да…

t-критерий Стьюдента “в лоб” говорит, что средний бал у женщин 14.565, а у мужчин 13.446 и уровень статистической значимости: p-value=0,02, что в принципе уже не стыдно для какого-то журнала

p-value - вероятность ошибиться, сказав, что отличия между выборками есть. Чем он ближе к 0 тем лучше. Все, что больше 0.05 всерьёз не воспринимается даже журналами по психологии (довольно толерантными к использованию методов статистики). Круто, когда p-value < 0.001

“Но” заключается в том, что t-критерий используется для нормально распределенных величин, а у нас распределение сильно не нормально.

Я пересчитал p-value для критерия Манна-Уитни, в надежде сказать, что теперь отличий нет, но…
p-value = 0.012, так что, девушки - моё почтение :-)

Правда ли у женщин чаще встречается риск СДВГ?

Нет.
Посчитал Хи-Квадрат, p-value = 0.354

Правда ли молодежь менее смышлёная?

Нет. p-value = 0,122

Может, у молодежи чаще встречается СДВГ?

Нет. p-value = 0,455

Правда ли опасность СДВГ связана с уровнями успевания в личной жизни?

Да. Очень сильно. p-value = 0,001

На графике такая зависимость выглядит примерно так:

Есть ли связь между смышлёностью и успеванием?

Нет. При чём эталонное НЕТ: p-value = 0,955

То есть, когда p-value=0,1 или 0,2 это - “Я не могу сказать ДА”. Но это еще автоматом не означает “НЕТ”. Это значит, что данная выборка не доказала. Но и не опровергла.

А когда у нас p-value почти 1, то это прям НЕТ

Анализируем связь практик “Джедайских техник” с успеванием в личной жизни и …

ВАЖНО: На Уровне 1 было всего 7 человек, а на уровне 5 - два человека. Поэтому первый столбец не очень информативный, в последний совсем не информативный

Практики - это то, что стоит делать регулярно, если вам нравится результат, который они вам дают. Как только вы прекращаете выполнять практики, они перестают приносить результат.

Все свои задачи я выгружаю внешнее хранилище (не храню в голове)

ДА!
p-value < 0,0001

Я просматриваю свой список задач и поддерживаю его в полном и актуальном состоянии

ДА!
p-value < 0,0001

Я формулирую задачи в своем списке в "обезьянопонятном" виде

Не на столько сильно, как мне бы хотелось…
p-value = 0,044

Что удивительно, связи этой практики с успеванием на работе вообще нет: p-value = 0,84
Видимо, на работе люди довольствуются теми формулировками, которые у них уже есть.

Я начинаю свой день с выполнения важной задачи до проверки чатов / новостей / почты

Да!
p-value = 0,0001

Связь с успеванием на работе тоже есть. Она слабее (p-value = 0,01, но все еще статистически значима).

Перед сном, лежа в постели, я не смотрю в экран смартфона / планшета / телевизора

Тут еще не очень удачная формулировка вопроса. Вообще всякие лучшие практики по составлению опросников рекомендуют избегать формулировку вопроса с “не”

Но связь есть: p-value = 0,013

Периодически я просматриваю все вкладки в браузере и закрываю ненужные

Сказать “ДА” - нельзя. p-value = 0,1


(помните, что первый и последний уровни не информативны?)

Периодически я просматриваю все чаты и отмечаю прочитанными всё, где от меня не требуется реакции

Четкого “Да” сказать нельзя, p-value=0,066? хотя на графике выглядит красиво:

Периодически я отключаю телефон / чаты, чтобы подумать над сложными вещами (проектами, идеями, стратегией, ...)

Да! p-value=0,001

С работой такой убедительной связи нет (p-value = 0,247). Наверное, мало кому в работе надо думать :-)

Смотрим связь вакцин с личной жизнью

Вакцина (в отличие от практики) - это то, что вы один раз сделали и результат остается с вами на долго.

На всех экранах (смартфон / планшет / компьютер) у меня настроен ночной режим (фильтр синего)

Нет.
p-value=0,377

В моем смартфоне все "залипабельные" приложения либо удалены, либо спрятаны в глубине экранов и папок

Вряд ли. p-value = 0,184
Хотя выглядит красиво:

В моем смартфоне отключены оповещения практически ото всех приложений (исключение: максимум 1-2 приложения)

Тоже вряд ли. p-value = 0,155
Думаю, тут с постановкой вопроса надо поиграть еще. Оставил оповещения от телеги и почты - и все, пипец. Пофиг, что ты там отключил всякие игры (О! интересно узнать про связь успевания и наличия игр на смартфоне) и приложения магазинов для скидок и спама…

На иконках приложений в моем смартфоне через настройки отключены красные кружочки

Тоже нет. p-value=0,274

У меня отключены все пуш-оповещения в браузерах

И тут нет. p-value=0,255

У меня установлен специальный плагин против рекламы и баннеров в браузерах

А вот тут совсем нет! p-value=0,84

Что еще?

Я взял те практики, которые показали сильную связь с уровнем успевания в личной жизни:

  1. Все свои задачи я выгружаю внешнее хранилище (не храню в голове)
  2. Я просматриваю свой список задач и поддерживаю его в полном и актуальном состоянии
  3. Я начинаю свой день с выполнения важной задачи до проверки чатов / новостей / почты
  4. Перед сном, лежа в постели, я не смотрю в экран смартфона / планшета / телевизора
  5. Периодически я отключаю телефон / чаты, чтобы подумать над сложными вещами (проектами, идеями, стратегией, ...)

За каждый вариант ответа в тесте назначил балл:

  • Не делаю - 0 баллов
  • Изредка делаю - 0 баллов (простите, но мне кажется, что зачастую это означает “слышал, что это правильно, но так и не попробовал“)
  • Выполняю регулярно, но думаю, что надо чаще - 1 балл
  • Регулярно выполняю - 2 балла

В итоге получил тест из 5-ти вопросов, дающий от 0 до 10 баллов.
Посчитал коэффициент корреляции Спирмена с успеванием в личной жизни, получил: 0,415

Примерно такая же корреляция наблюдается между успеванием в личной жизни и успеванием в работе. Это довольно сильно.

Чтобы показать как это выглядит на картинке, я каждому значению балла сопоставил “диагноз”:

  • 0,1,2 - Низкий
  • 3,4,5 - Средний
  • 6,7,8,9,10 - Высокий

Полученного конструкта с успеванием в личной жизни - очень сильная: p-value < 0,0001

На картинке это выглядит примерно так:


Редко получается такой хороший результат.

Короткий вывод

И да, когда я замышлял это исследование, то мне хотелось увидеть связь между успеванием и смышленностью или смышленностью и использованием джедайских приемов. Никакой этой связи не обнаружено.

Зато получился джедайский конструкт.

В итоге для успевания не важно, сколько баллов вы набрали по тесту Коробковой. А важно:

  1. Есть ли у вас список задач?
  2. Регулярно ли вы туда заглядываете?
  3. Начинаете ли свой день с важной задачи (а не новостей и чатов)?
  4. Воздерживаетесь ли от смартфона в постели?
  5. Отключаетесь ли время от времени от коммуникаций, чтобы подумать.

Вот это важно.

Что буду делать в следующий раз

  1. Нужно иначе операционализировать “Смышленность”. Возможно, надо взять 3 или 4 субтест Амтхауэра (хочу что-то легкое, что можно реализовать на гуглоформах)
  2. Посмотреть работу про клиповое мышление? может быть у них есть какие-то интересные измерения
  3. Добавить сценарии использования смартфона. Там тоже наверняка есть связь с успеванием.
  4. Интересно посмотреть как связано успевание с размером списка задач (правда ли, чем он короче, тем выше успевание)?
  5. Переформулировать вопрос про использование экранов в постели, чтобы избавиться от формулировки через “не”
  6. Посмотреть связь успевания с теми приложениями, которые установлены на смартфоне (чаты, рабочая почта, игры, дисконтные, доставки,…)


Спасибо за мем @cowabunga

Связанные посты
23 комментария 👇

Добавить сценарии использования смартфона. Там тоже наверняка есть связь с успеванием.

А вдруг успевание возможно только при неиспользовании смартфона? :D

  Развернуть 1 комментарий

@cowabunga, Точно не так, «кое-что» успевает я именно из-за использования смартфона… просто человек истощается…

Я неправильно использую смартфон, но успеваю невероятно много.

Правда, чем больше я успеваю - тем больше хочется :)) и все время кажется, что я не успеваю

  Развернуть 1 комментарий

@MargaritaZok, ты скорее подтверждаешь предположение, что смартфон лишь инструмент и успевание зависит не от смартфона, а от действий человека. А я просто вспомнил про свою боль, когда основным моим действием было — залипать.

Но уточню, что среди приложений на смартфоне много коварных, которые жаждут внимание людей, чтобы на нём зарабатывать. И к сожалению люди тут слабая сторона, ведь на другой стороне огромные ресурсы ищущие прибыли, а внимание захватить не шибко сложно.

Тем, кто попался, приходится учиться тратить своё внимание на что-то другое, а не на контент.

  Развернуть 1 комментарий
Маргарита Тюхтяева Персонаж книги/ автор/ строитель Эпичный Джедай 16 января в 16:22

ВАЖНО: На Уровне 1 было всего 7 человек, а на уровне 5 - два человека. Поэтому первый столбец не очень информативный, в последний совсем не информативный

тут и поймала я глюк: в картинке про "успевание на работе и делаю ДО чатов важную задачу" - 4 варианта в пятом столбце, причем один больше других...

Кстати, если предположить, что я ставила на 5й уровень джедайства, то когда дошло до успевания в стратегических масштабах ... - то я конечно - не успеваю, просто вопрос "стратегичности" может быть разным.
у меня краткосрочные проблемы - 2-5 лет, среднесрочные 5+, а стратегию вместо 25 предложили повысить до 100...

так что...
очень любопытно было посмотреть и о себе подумать...
а выводов смогла сделать о себе, рада, что прошла тест

  Развернуть 1 комментарий

тут и поймала я глюк: в картинке про "успевание на работе и делаю ДО чатов важную задачу" - 4 варианта в пятом столбце, причем один больше других...

Там в этом разделе две картинки. Та вторая - это я к ней написал, что проверил еще связь с успеванием в работе. Успевание в работе на 5-м уровне оценили 4 человека ;-)

  Развернуть 1 комментарий

у меня краткосрочные проблемы - 2-5 лет, среднесрочные 5+, а стратегию вместо 25 предложили повысить до 100...

В определении уровня успевания я опираются на долю "текучки". Не краткосрочных задач. Как только появляется какое-то однокоренное слова слову "сроки" там очень большой разброс в понимании.

  Развернуть 1 комментарий
Маргарита Тюхтяева Персонаж книги/ автор/ строитель Эпичный Джедай 16 января в 19:46

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

Есть мнение, что "клиповое мышление" продукт изысканий отечественных учёных.

Не то чтобы я против нашей науки, но отсутствие значимых международных работ по этой теме наталкивает на серьезные опасения относительно самого термина и вообще какой-то научности всего этого дискурса.

По итоговому сетапу работающих Джедайских практик есть гипотеза, что это все практики связанные с контролем и осознанностью/работой условных лобных долей/системы 2.

То есть, работе этой системы помогает сокращение отвлекающих/паразитарных нагрузок и концентрация на своих собственных делах/задачах с помощью различных инструментов: от рисунков на песке до списков задач в сингулярити, главное чтобы инструменты использовались.

По идее чем умнее человек, тем лучше у него способность себя контролировать, но насколько тут прямая связь неизвестно и это так просто не измерить с помощью опросов.

Вирусный мем про клиповость мышления может сослужить дурную службу в дальнейших исследования, так как уводит в сторону психологии и каких-то философских концептов отечественных психологов.

Думаю лучше идти по линии психофизиологии, когнитивистики. Есть неплохие гипотезы как работает контроль за поведением, формируются зависимости и пр. На мой взгляд эти идеи более адекватная основа, чем исследования про клиповость мышления и утрату современными школьниками концептуального мышления.

Но это конечно лишь мои мысли вслух, тем более, что далек от этой темы в профессиональном плане.

Главный вывод о том, что Джедайские техники работают не вызывает сомнения, но и все остальные техники точно также работают :)

Главное избежать создания уникальной школы мысли/кунг-фу, чтобы потом не пришлось выяснять чья техника "выполнения ударов" более правильная.

  Развернуть 1 комментарий

Есть мнение, что "клиповое мышление" продукт изысканий отечественных учёных.

Очень похоже, да. Мы с Рустамом не нашли аналогов в англоязычной научной литературе. Но и в отечественных исследованиях это довольно свежая тема.

  Развернуть 1 комментарий

По идее чем умнее человек, тем лучше у него способность себя контролировать

Если мы тут претендуем на научность, то что значит "умнее"?

Мы же можем "умность" определить примерно так же как способность к самоконтролю и окажется, что связь есть. А можем как способность решать тесты Айзенка и тогда связи не будет.

  Развернуть 1 комментарий

@cartmendum, речь про уровень IQ, видимо единственная более-менее признаваемая методика определения уровня когнитивных способностей.

Тесты Айзенка действительно не дают понимания про уровень самоконтроля. Я поэтому и написал, что проблематично это измерить.

Возможно по косвенным признакам понять, например, для людей с более высоким IQ характерен определенный профиль интересов (все читают Талеба :)) или что-то подобное.

Может есть какие-то вменяемые гипотезы в исследованиях на тему IQ?

  Развернуть 1 комментарий

Уровень IQ и тесты Айзенка это одно и то же

с более высоким IQ характерен определенный профиль интересов (все читают Талеба :))

Кто читает Талеба, тот знает почему IQ - отстой :-)

IQ is largely a pseudoscientific swindle

  Развернуть 1 комментарий

@cartmendum, Про IQ = тесты Айзенка я в курсе :) Талеба почитаю, использовал такое выражение лишь потому, что вы так написали.

  Развернуть 1 комментарий

@cartmendum,

IQ is largely a pseudoscientific swindle

Почитал Талеба. Часть его аргументов очень сомнительно качества. Со стороны выглядит как наброс на вентилятор на самом деле. Бугурт был знатный :)
Понравилась фраза Captain Barf:

Really, this blog post is mostly a long form essay arguing, "If you're so smart, why aren't you rich?"

Emil kirkegaard сделал подборку ответных постов:

Since people keep asking about this, yes, there are several lengthy replies to Nassim Taleb’s anti-IQ piece from January 2019 “IQ Is Largely a Pseudoscientific Swindle“. He’s a loose cannon, and while this is probably not his conscious goal, the function of his criticism is just to waste knowledgeable people’s time responding to random claims.

  • Jonatan Pallesen (blog, Twitter) looks at some data in detail with regards to specific claims: Taleb is wrong about IQ
  • Pallesen is a PhD in human genetics with a couple of recent publications about intelligence
  • Sean Last with an earlier reply and broader take: Nassim Taleb on IQ (archived version because posts were later deleted for private reasons)
  • James Thompson with an entire series of replies:

Swanning About: Fooled by Algebra?,
In the Wake of the Swan,
The Intelligent Investor,
The Wages of Intellect (Part 2)

  Развернуть 1 комментарий

@Alexey_, Талеб он такой, он бугуртит знатно :-)

Но сам факт, что рад умных людей противоречат друг другу по какойму-то вопросу уже намекает на то, что просто так в этом вопросе не разобраться и какой-то однозначной позиции там нет.

  Развернуть 1 комментарий

Думаю лучше идти по линии психофизиологии, когнитивистики. Есть неплохие гипотезы как работает контроль за поведением, формируются зависимости и пр.

А теперь добавьте конкретики. Что значит "идти по линии психофизиологии, когнитивистики"?
Как надо менять подход к исследованиям? Надо что-то другое писать / исследовать? Что именно?

Пока это звучит как абстрактный лозунг и я не вижу как эти слова должны отразиться на уровне практики.

Или это просто предложение зачеркнуть "клиповое мышление" и написать "дофамин"? :-)

  Развернуть 1 комментарий

@cartmendum, Да, дофамин хайповая тема :)
Вспомнить хотя бы того же Хубермана и идею дофаминовго детокса.

Под выражением "идти по линии психофизиологии, когнитивистики" я подразумеваю опору на гипотезы ученых, исследующих вопросы внимания, контроля, аддикций и других связанных тем. Очевидно, что на Канемане эти исследования не закончились.

Многое, конечно, остается неясным, но такой подход явно предпочтительнее, чем попытка с нуля разрабатывать теорию внимания и методы изменения поведения.

Например, залипание в соцсетях - предмет изучения аддиктологии

Ну и для размышления: интересная дискуссия на эту тему - Доктор Лазарев и Владимир Алипов - вам врали про Дофамин, Серотонин
В этом видео обсуждается, что изменение поведения — процесс сложный, включающий множество систем мозга и предполагающий даже физиологические изменения, такие как увеличение объема серого вещества.

Также рассматривается механизм образования психологических расстройств (в частности, ПТСР), который, по словам спикеров, во многом схож с механизмом формирования наркозависимости. Интересно, что дофамин, как утверждают авторы, функционирует в нескольких режимах: он не только корректирует предсказания конкретных действий, но и влияет на долгосрочное поведение. Это напрямую перекликается с представлениями о внимании и мотивации.

Таким образом, одни и те же механизмы, по сути, определяют динамику как обучения и действий у обычных людей, так и у тех, кто страдает аддикциями или психическими расстройствами.

Лично для меня такие идеи оказались достаточно любопытными. Более того, они помогают лучше понять, зачем людям, например, вести списки задач, участвовать в групповых активностях, тренировать навык самоконтроля и выполнять другие рекомендации вроде тех, что описаны в "Джедайских техниках". Эти объяснения кажутся гораздо убедительнее, чем простая концепция экономии "мысленного топлива".

  Развернуть 1 комментарий

@Alexey_, по этому пути идти у меня нет достаточного уровня компетенций и я не разбираюсь в матчасти.

Думаю, 99% тех, кто об этом рассуждает - тоже не разбираются...

  Развернуть 1 комментарий

@cartmendum, Ну вот. Нет в общем надежды для утопающих, да.

  Развернуть 1 комментарий

@Alexey_, Поймите, это просто совершенно разные жанры - делать так, чтобы людям казалось "понятно" (создавать у них иллюзию понимания) и помогать им менять поведение. Это разные задачи.

Про мое отношение к нейротерминам вот заметка: https://club.mnogosdelal.ru/post/3004/

Там главное рядом с этой картинкой:

  Развернуть 1 комментарий

@cartmendum, Но я говорю не про то, чтобы казалось понятно или про повсеместное употребление нейротерминов, я за использование достижений/подходов современной науки.

Я говорю про смысл, вы мне возражения про форму. Ок, если считаете, что ничего путного там нет, то пусть так и будет. Странно тогда, что вы на Канемана и Талеба ссылаетесь., настоящие парни из гаража до такого не должны опускаться. Думаю примерно понял о чем вы.

  Развернуть 1 комментарий

И на шаг назад...

я за использование достижений/подходов современной науки.

Это как?

На каких наблюдениях основан вывод, что я "не использую достижений/подходов современной науки"?

Какие конкретно достижения вы имеете ввиду?

  Развернуть 1 комментарий

@cartmendum, выше же уже был аналогичный вопрос и мой ответ. Думаю, нет смысла ходить кругами.
Или вы ждете, что я приведу все исследования, которые вам непременно нужно использовать? Про когнитивистику и нейрофизиологию я уже получил ответ.
Я так понимаю вы расцениваете мои комменты как попытку дать вам совет как лучше писать :) Точно такой цели не преследую, комментирую только для того чтобы самому лучше разобраться.
Спасибо за ответы!

  Развернуть 1 комментарий

@Alexey_, Всё, тогда понял. Если написание комментария помогло что-то осмыслить - это здорово. Мы такое тоже любим 😁

Были у нас на движухе "Второй мозг". Она как раз с этой целью и замышлялась, чтобы думать через заметки.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб