Был я тут недавно на конференции в Новосибирске (вот запись моего пленарного доклада). И уже не просто так с докладом, но и ещё с практическим мастер-классом. И даже не просто с практическим мастер-классом, но с целым педагогическим экспериментом! Давайте я про него вам расскажу...
Идея эксперимента
Мне хотелось проверить, на сколько вербализация (проговаривание каких-то моментов) в процессе мастер-класса эффективнее простого упражнения "запишите и подумайте". А заодно я решил экспериментально и в условиях конференции воспроизвести классический эксперимент по "Иллюзии объяснительной глубины" (я про него писал здесь и вот здесь есть сама оригинальная работа).
Схема эксперимента во время доклада
На конференции CodeFest мне выделили пленарный доклад в начале второго дня, плюс я еще напросился на мастер-класс в этот же день.
Идея была такая: на докладе я попрошу слушателей "записать и подумать", но у них не будет возможности это проговорить. А на мастер-классе я сделаю обсуждение. И сравню результаты.
В качестве основной темы я просил всех участников составить текст по такому шаблону:
Большинство участников конференции пришли туда за счет компании, то есть, в той или иной форме участники нечто подобное объясняли своему руководству.
Затем я попросил участников оценить "Насколько глубоко вы понимаете суть того, что написали?" по шкале от 1 до 7. И получил вот такое распределение (226 респондентов):
И среднее значение T0 = 5.11
Потом я начал говорить о том, что некоторые слова мы используем неосознанно и не понимаем, что они означают. Убедиться в этом можно, если начать размышлять над определенными вопросами, а вопросы вытекают из того, к какой части речи относится то или иное слово. В общем, я начал знакомить участников к карточкам душноты. После каждой карточки душноты я просил отметить те слова, к которым у участников появились вопросы.
Всего я показал 7 карточек душноты, полный список есть здесь.
После этого попросил участников ответить:
- К какому проценту слов в вашем плану возникли вопросики после озвучивания карточек душноты?
- На какой процент этих вопросиков у вас есть готовые ответы, способные убедить здравомыслящего человека?
- ГЛАВНОЕ: А теперь (после подсчета вопросиков) насколько глубоко вы понимаете суть того, что написали?
Новая оценка глубины понимания получилась вот такой:
Среднее значение T1 = 5,2
Отличий T0 и T1 - нет! (p = 0.56)
Ещё раз,
T0 = 5,11
T1 = 5,2
Точнее как нет... Средние значения по выборке не отличаются. Хотя это и не означает, что отдельные люди не меняли своих оценок. Меняли. Вот так выглядит распределение для изменения оценки:
Видно, что 38% респондентов свою оценку не изменили. 35% стали понимать глубже, 27% стали понимать хуже, но "среднее понимание" не поменялось.
Хотя почти все сказали, что хоть к каким-то словам у них вопросики-то возникли:
И не на все вопросики были ответы:
Промежуточный вывод
В среднем глубина понимания группы не поменялась, если просто дать людям задание вида "Подумайте и напишите".
Как я понимаю, это чуть ли не самая прогрессивная "интерактивная" методика среди тех, кто осмеливается называть свои доклады практическими...
Схема эксперимента на мастер-классе
На мастер-классе мы также продолжили анализ текста по тому же шаблону. Но мы это делали при помощи моего веб-приложения в процессе игры. Сначала мы готовились:
- Писали текст,
- Оценивали на сколько глубоко этот текст понимаем.
Количество дошедших до конца игроков: 88 (изначально было 110, но часть ушла на середине на другой доклад, так как у меня был двойной слот. Часть просто отвалилась)
Средняя "глубина понимания": T'0 = 5,16
Далее мы игра состояла из 3-х раундов, в каждом раунде были следующие фазы:
- Объединяемся в группы (2-5 человек),
- Распределяем роли: один участник становится докладчиком, все остальные - душнилами,
- Душнилы заготавливают вопросы докладчику, используя аналог карточек душноты в веб-приложении. Докладчик не видит текст вопросов, но видит к какому слову вопросы возникли.
- Обсуждаем вопросы. Докладчик выбирает слово, к которому кто-то из душнил задал вопрос, после этого у всех в группе на экране появляется этот вопрос и они его обсуждают. Автор вопроса пишет конспект ответа, другие душнилы оценивают полноту ответа, а докладчик пользу для себя этого вопроса.
- После окончания фазы обсуждения докладчик ставит оценки: на сколько глубоко ТЕПЕРЬ понимает суть своего текста (T'1) и НА САМОМ ДЕЛЕ в САМОМ НАЧАЛЕ как стоило бы оценить свое понимание (T4)
На самом деле еще там и душнилы давали свою оценку, но это отдельно я опишу, там тоже интересно сравнить как соотносится твоя оценка с оценкой тебя со стороны...
Результаты
Иллюзия понимания
После обсуждение средняя оценка получилась такая:
T'1 = 5,64 (и это уже отличается от T'0, p<0.001)
А ретроспективная оценка T4 = 4,73 (и это отличается от T'0, p=0.003)
Ещё раз для напоминания: T'0=5,16
Если сравнить распеределение изменения глубины понимания на докладе и на мастер-классе, то вот такая картинка:
- После дискуссии 24% не поменяли оценку понимания (после доклада 38%),
- После дискуссии хуже понимать стали 18% (после доклада 27%),
- После дискуссии 59% стали лучше понимать (после доклада 35%)
Потом я составил таблицу сопряжения:
Это число участников на докладе (просто послушали) и на мастер-классе (С дискуссией) изменивших свою оценку на указанное число баллов.
Критерий хи-квадрат Пирсона сказал, что различия значимы p<0,001. То есть, на мастер-классе люди меняли оценку своего понимания.
А строгий тест Фишера показал, что:
На мастер-классе меньше тех, кто стал понимать хуже (<=2) или вообще не изменил своего понимания (0) и больше тех, кто улучшил свое понимание на 1 балл (значимые клетки с красными знаками <>).
Воспроизводим на PeopleSense
Одного доклада мне было мало и 5 июня я выступал с той же игрой на PeopleSense. Только на этой конференции я брал текст другого формата...
Я продолжал свою мысль о том, что обучение взрослых людей мягким навыкам - это скорее вопросы психотерапии, чем педа-(андро-)гогики. Дело в том, что люди не пробуют применять техники, потому что думают, что им от этого станет хуже. Но думают люди с ошибками. В общем, я просил участников писать текст такого формата:
Где в качестве практик я предлагал взять одну из 12-ти, которая вызывала больше всего опасений:
T''0=5,54
T''1=6,07
T''4=4,85
Отличие T''0 от T''1 значимо на уровне p=0,007
Отличие T''0 от T''4 значимо на уровне p=0,003
Количество игроков: 41
Я или меня
Тут я еще сравнил как люди оценивали ясность своего текста и как душнилы оценивали ясность текста докладычика (на CodeFest значимых отличий не нашел, а здесь нашел):
| Переменная | M | Std.Dev |
|---|---|---|
| Я оцениваю ясность "до" | 5,486 | 1,283 |
| Душнилы оценивают мою ясность "до" | 4,779 | 1,024 |
Отличия значимы на уровне p=0,004
| Переменная | M | Std.Dev |
|---|---|---|
| Я оцениваю ясность "после" | 6,054 | 1,177 |
| Душнилы оценивают мою ясность "после" | 5,455 | 1,124 |
Отличия значимы на уровне p=0,012
Отсюда можно осторожно сделать вывод, что я оцениваю ясность выше, чем ее оценивают лиди со стороны