А точно ли третий лишний? (А/Б тест упражнения)

 Публичный пост
16 мая 2025  85

Это - очередной А/Б тест элементов педагогического дизайна.

В основе педагогического дизайна у нас лежит модель Поэтапного Формирования Умственных Действий П.Я. Гальперина (ПФУД). Петр Яковлевич выделяет следующие этапы:

  1. Материальный или материализованный
  2. Внешнеречевой
  3. Речь про себя
  4. Умственное действие

Для того, чтобы стимулировать внешнеречевой этап мы объединяем людей в группы и просим разговаривать (говорить вслух сами с собой люди почему-то не готовы :-)

В итоге у нас в группах идет работа по ролям:

  • Автор - говорит и рассказывает,
  • Ведущий - думает о чем спросить, спрашивает (в рамках задания) и проверяет ответ,
  • Ассистент - слушает и записывает.

Мы говорим, что Автор ничего сам не пишет - только говорит. Так мы стараемся сконцентрировать его на внешнеречевом этапе.

Иногда в ходе занятия люди работают в парах и тогда мы говорим, что можно объединять роли Ведущего и Ассистента.

Когда люди работают в парах, то с одной стороны у них остается больше времени на практику. С другой стороны - если напарник достался не активный, то всё…

Когда работаешь в тройках, то ты получаешь взгляд двух людей, а не одного. Часто это прям офигеть как полезно (особенно, если один кто-то вялый). Но время выполнения упражнения меньше. И шансов, что вас разнесет в болтовню - больше…

В общем, решили мы проверить экспериментально, есть ли отличия при работе в парах от работы в тройках и замутили эксперимент…

  • Испытуемые - Наши студенты курса “Второй мозг” на первом занятии.
  • Выборка - Примерно 110 человек.
  • Переменные - количество людей в группе - два или три
  • Контрольные переменные - субъективные оценки по шкале Лайкерта: ощущение полезности от занятия, ощущения нагрузки на мозг, усталости в конце занятия и общий вопрос “Хватило ли вам времени”

Ответы собирали в такой анкете

Обзор результатов

Наши студенты - умнички, люблю их. Из 110 участников - 79 ответов.

Нам удалось примерно равномерно разделить всех по парам и тройкам:

Вот еще сводка по результатам:

А взаимна ли любовь?…

Было несколько человек, которым прям не понравилось… Жаль, грусть. Если, кстати, вот совсем не вкатило - у нас очень лояльная процедура возвратов. Вы просто кликаете в билете “оформить возврат” и мы вас проклинаем оформляем вам полный возврат стоимости билета, не задавая никаких вопросов. Ну это так, к слову…

Есть ли связь между парой/тройкой и интенсивностью работы мозга?

Никакой связи

Есть ли связь между парой/тройкой и усталостью?

Нет связи.

Есть ли связь между парой/тройкой и ощущением достаточности времени?

Тут, кстати, интересно. Яркий пример риска стать одураченным случайностью.

Тест хи-квадрат Пирсона не говорит о значимых результатах (p = 0,266)

Если отбросить тех троих, кто сказал, что времени им было с избытком, то… все равно не значимо:

Хотя, стоит нарисовать это все на гистограммах:

И можно ошибочно сказать, что связь есть… Реально же, почти на 20% отличаются цифры, как так может быть, что связь не значима?…

А вот так… Дело не только в процентах, но еще и в размере выборки. Может быть, зависимость и есть, но в условиях нашего эксперимента она себя статистически-значимо не проявила.

Есть ли связь между парой/тройкой и оценке полезности занятия?

На полной шкале тоже нет

Если шкалу огрубить (сделать “Восторг” для оценок 7,6 и “Не восторг” для всей остальной шкалы), то тоже появляется шанс одурачиться случайностью:

Значимых отличий нет, но на гистограме, как бы есть:

То есть, если надо было бы “продать” результаты людям, без представлений о гигиене количественного анализа, то можно было бы сказать: “Нифига себе! При работе в тройках восторг испытывает на 8% больше студентов!”. Плюс добавить фразу, что это доказали ученые, но… Мы так не будем…

И что?

Можно ли сказать: “Да без разницы, как студенты выполняют упражнение”?
Нет. Разница, может быть и есть, но по крайней мере она не проявляет себя статистически-значимым образом в:

  • ощущении полезности от занятия,
  • ощущения нагрузки на мозг,
  • усталости в конце занятия
  • ответе на общий вопрос “Хватило ли вам времени?”

В чем-то другом она может и вылезти…

В ощущении достаточности времени, кстати, она почти вылезла, но… скорее всего величина эффекта не большая и для того, чтобы его обнаружить нужна выборка больше. Но мы практически никогда не работаем с выборками больше…

Связанные посты
2 комментария 👇
artemmikhaylov6 Бизнес-аналитик 16 мая в 12:35

Как участник курса и тестовых прогонов, выскажу свое мнение, кмк в парах больше времени на проработку заданий, т.к. третий интервал можно повторно пройтись по заданиям друг у друга, а в тройках есть бОльшее количество мнений, что бывает очень полезно в определенных задачах.

  Развернуть 1 комментарий

@artemmikhaylov6, вот да... И там и там оно как-то по-своему. И сказать, что "так лучше, чем эдак" мы не можем

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб