Разработка опросника для оценки «Джедайского балла» (Аналитическая заметка по спринту Q1–2025)

 Публичный пост
21 февраля 2025  287
Голова!

В процессе спринта мы заметили, что одним ребятам спринт нравится, а другим… В принципе тоже нравится, но в меньшей степени. Тех, кому вот прям совсем не зашло у нас единицы процентов.

Но тем не менее, у нас родилась гипотеза, что многим людям спринт “12 недель” заходит не так хорошо, как остальным потому, что у них не налажена система планирования и самоорганизации. Из-за этого, когда мы начинаем планировать работу над своими проектами (да так, чтобы всем сферам жизни досталось, а не только работе), то у людей возникает много задач. Навыка работы с большим количеством задач у них нет, они начинают переживать и нервничать.

Мы решили проверить эту гипотезу.

В качестве контрольных переменных я выбрал:

  1. Аналог NPS (Если бы вы заранее знали, что все пойдет так как пошло, то с какой вероятностью вы бы к нам вписались?)
  2. Уровень успевания в личной жизни
  3. Как вы оцениваете свой прогресс по своим проектам относительно ожиданий (ожидал большего / примерно этого и ожидал / ожидал меньшего)

Далее досыпал вопросов о том, как часто люди выполняют практики джедайских техник (взял 5 штук из предыдущего опроса и досыпал еще практик из “Пути джедая”)

Плюс добавил вопросов на уровень согласия. Хотелось собрать какой-то конструкт “Анти-джедайских” убеждений, но мне не понравилось, что там получилось, поэтому писать об этом не буду.

Собрал 121 ответ и получил…

Результаты

Аудитория у нас - лояльная:

Из-за этого я сравнивал тех, то поставил нам “5” с остальными. Увы, но это тот случай, когда нам не хватило мнения хейтеров.

Свой текущий прогресс относительно ожиданий ребята оценили так:

А текущую загрузку активностями спринта вот так:

Оценка уровней успевания на работе и в личной жизни:

Обратите внимание, вопросы сформулированы не “как вы оцениваете хорошо / плохо / отвратительно” а через соотношение срочного и долгосрочного. Давайте даже буквами здесь приведу варианты ответов:

  1. Я не успеваю выполнять даже необходимый минимум
  2. Я едва-едва успеваю выполнить необходимую текучку, но на долгосрочные планы не остается сил
  3. Я успеваю разобраться с необходимой текучкой, и даже изредка могу посвящать силы долгосрочным планам
  4. Я вполне продуктивно продвигаюсь к своим долгосрочным целям. Завалы если и случаются, то не часто
  5. Все происходит легко и естественно и временами мне кажется, что редко бывает лучше

Первый и пятый уровни получают число человек в пределах погрешности. Для анализа я их соединил воедино

Анализ

Балл за джедайские практики

Я увидел 9 практик, которые хорошо коррелировали с успеванием в личной жизни. Цитирую их дословно:

  1. Все свои задачи я выгружаю внешнее хранилище (не храню в голове)
  2. Я просматриваю свой список задач и поддерживаю его в полном и актуальном состоянии
  3. Я начинаю свой день с выполнения важной задачи до проверки чатов / новостей / почты
  4. Перед сном, лежа в постели, я не смотрю в экран смартфона / планшета / телевизора (мне не очень понравилась эта формулировка и я планирую ее переделать в “Я сознательно воздерживаюсь от использования экранов (смартфона / планшета / телевизора), лежа в постели“)
  5. Периодически я отключаю телефон / чаты, чтобы подумать над сложными вещами (проектами, идеями, стратегией, ...)
  6. Я выбираю время ухода ко сну, чтобы проснуться на следующий день свежим и отдохнувшим (*мне не очень понравилась эта формулировка и я ее планирую переделать в: “Я иду спать, ориентируясь на свою потребность в отдыхе, а не на количество задач или "горящие" сроки“ *)
  7. Если мне прилетает незапланированная срочная задача, то я её фиксирую в своем списке до того, как к ней приступить
  8. На регулярной основе я провожу расчистку своей электронной среды: расчищаю инбоксы, отмечаю прочитанными чаты, закрываю вкладки в браузере, удаляю хлам из закладок / заметок / записок / загрузок, ...
  9. Я регулярно намечаю планы на полгода вперед и дальше

Ещё я планирую добавить десятый пункт: Я ограничиваю размер списка задач "На сегодня", ориентируясь на свои способности и доступные ресурсы (а не пишу туда, все что "надо", "должен" и что "горит")

По каждой практике были следующие варианты ответа (в скобочках указаны веса):

  • Не понимаю, как и чем мне это может помочь (-2)
  • Не делаю (-1)
  • Изредка делаю (0)
  • Выполняю регулярно, но думаю, что надо чаще(1)
  • Регулярно выполняю (2)

В общем вот эти 9 пунктов на данной выборке показали альфу Кронбаха = 0,753
Это, скажем так, достойный для любительского исследования уровень. В принципе и в рецензируемый журнал отправить не западло.
А сама альфа Кронбаха - одно из мерил надежности, показывает на сколько все эти вопросы “про одно и то же”

Далее, я считал баллы и грубо провел границы:

  • меньше 3 - Низкий уровень
  • ≥3; ≤7 - Средний уровень
  • больше 7 - Высокий уровень

Границы провел исходя из того, чтобы в каждую группу попало примерно одинаковое количество участников

Связь балла джедайских практик с NPS

Есть. p-value = 0,011 (ну… не плохо для любительского исследования)
Вот скриншот из XLSTAT Free:

Внизу табличка, где есть красные значки больше / меньше показывают, в каких ячейках таблицы сопряжения прошел строгий тест Фишера. Чем больше красного, тем лучше.

Что бы было лучше понятны отличия, то смотрите:

  • Среди людей с низким уровнем джедайского балла 5-ку нам поставили 48%
  • Среди людей с высоким уровнем джедайского балла 5-ку нам поставили 89%

То есть, отсюда можно делать вывод, что среди людей с низким уровнем джедайского балла “в восторге” от спринта будет меньше людей, чем среди тех, у кого джедайский балл высокий. Про серединку ничего сказать нельзя.

Чтобы это было видно наглядно на картинке, я упростил шкалу оценки с 5 баллов до трех:

  1. Фу (оценки 1 и 2)
  2. Ну ок (оценки 3 и 4)
  3. Восторг (оценка 5)

И на картинке выглядит это так:

В принципе, это ровно то, чего я искал, но дальше еще кое-какие находки

Связь джедайского балла с успеванием в личной жизни

Есть. При этом на невъебенно высоком уровне!

Даже связь успевания на работе с успеванием в личной жизни не на столько сильная!

Просто вот вам картинка, чтобы понять глубину эффекта:

  • Плохо / средне / хорошо - это уровни успевания в личной жизни
  • Низкий / Средний / Высокий - Это уровни джедайского балла

Связь джедайского балла с успеванием в работе

Такая же невъебенно значимая связь! Лень вставлять графики. Они как близнецы.

Единственное, что отличает, так это значение Хи-квадрат Пирсона здесь 24,5, а не 33.7 как в случае личной жизни. Но при пороговом значении 9,5 и экспоненциальной зависимости p-value - это дает тот же p < 0,0001

Связь джедайского балла с тем как участники оценивают свой прогресс относительно ожиданий

Связь есть. p=0,001 (тоже очень хорошо). Но строгий тест Фишера прошел не на всех клетках:

То есть, мы не можем сказать, что у тех, у кого высокий уровень джедайскго балла, те чаще предвосхищают свои ожидания.

Но мы можем сказать, что среди тех, у кого низкий джедайский балл разочарованных своим прогрессом (57%) больше, чем разочарованных своим прогрессом среди тех, у кого джедайский балл высокий (13%).

Ну и картинки:

  • -1 - Я ожидал от себя большего
  • 0 - Прогресс как я и ожидал
  • 1 - Мой прогресс превзошел мои ожидания

Заключение

В общем, получилась заготовка неплохого опросника. Я планирую переформулировать 2 пункта, которые мне не понравились и добавить десятый пункт про то, как я набираю себе задачи на сегодня.

Ну и провалидирую это все на более широкой выборке, набрав респондентов в моем Telegram-канале. Заодно интересно посмотреть связи со шкалами:

  • Выгорания
  • Удовлетворенности жизнью
  • Удовлетворенностью работой

Про последний пункт поделюсь своей гипотезой: есть у меня подозрение, что когда у человека не лады с самоорганизацией, то естественным образом у него “все горит” и “кругом пожары” и он это все радостно чинит, жертвуя личной жизнью. А когда человек оказывается в этой ситуации, то кто во всем виноват? Ну не я же. Коллеги - упыри, начальник - мудак, работа - говно. А стоит починить человеку самооранизацию, как тут же и коллеги - зайки и начальник - мудрый человек.

Но это пока только гипотеза…

Связанные посты
3 комментария 👇
Маргарита Тюхтяева Персонаж книги/ автор/ строитель Эпичный Джедай 21 февраля в 19:03

когда у человека не лады с самоорганизацией, то естественным образом у него “все горит” и “кругом пожары” и он это все радостно чинит, жертвуя личной жизнью.

Я бы предположила, что это близкое, но, вероятно - две разные улитки ;))

Я к тому, что вроде неплохо у меня с самоорганизацией... но в окружении такие Мудаки, что "кругом пожары"...

А, бывало в спокойные времена (ну это когда сроки разрешений горят, кредит в долларе и ...) в общем, когда более менее строители строят - свободное время посвящалось, чтобы со всей мощью самоорганизации - ввязаться в новый процесс...

А тушить пожар личной жизнью - ну "А чем еще?", издревле на Руси на амбразуру грудью ложились... (это я к тому, что вроде утверждение про "работа-личная жизнь" может страдать не просто так, а потому что кто-то сличком ответственный или у него пИздецццццц).

Пы.сЫ Еще раз подумала... а может быть ты и прав. Из посылки следствие "не лады - горит - тушу", просто я увидев "тушу" применила к себе... а это следствие не истинно в другую сторону.

  Развернуть 1 комментарий

Я бы предположила, что это близкое, но, вероятно - две разные улитки ;))

Это "мутные" улитки.

Там следствием будет не истинность утверждения, а возрастание вероятности истинности.

И сужление о выборках.

То есть, не такая:
ЕСЛИ у меня проблема с самоорганизацией, ТО я считаю коллег упырями

А что-то типа такого:
Среди людей, у кого плохо с самоорганизацией, процент тех, кто считает коллег упырями будет выше, чем среди людей, у кого хорошо с самоорганизацией.

Будут выбросы: коллеголюбивые раздолбаи и высокоорганизованные среди упырей. Но они будут меньшинством. Хотя будут.

  Развернуть 1 комментарий

Пы.сЫ Еще раз подумала... а может быть ты и прав. Из посылки следствие "не лады - горит - тушу", просто я увидев "тушу" применила к себе... а это следствие не истинно в другую сторону.

Посмотрим, что скажут выборки и щначения статистических критериев 😁

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб