Был я тут недавно на конференции в Новосибирске (вот запись моего пленарного доклада). И уже не просто так с докладом, но и ещё с практическим мастер-классом. И даже не просто с практическим мастер-классом, но с целым педагогическим экспериментом! Давайте я про него вам расскажу...
Идея эксперимента
Мне хотелось проверить, на сколько вербализация (проговаривание каких-то моментов) в процессе мастер-класса эффективнее простого упражнения "запишите и подумайте". А заодно я решил экспериментально и в условиях конференции воспроизвести классический эксперимент по "Иллюзии объяснительной глубины" (я про него писал здесь и вот здесь есть сама оригинальная работа).
Схема эксперимента во время доклада
На конференции CodeFest мне выделили пленарный доклад в начале второго дня, плюс я еще напросился на мастер-класс в этот же день.
Идея была такая: на докладе я попрошу слушателей "записать и подумать", но у них не будет возможности это проговорить. А на мастер-классе я сделаю обсуждение. И сравню результаты.
В качестве основной темы я просил всех участников составить текст по такому шаблону:
Большинство участников конференции пришли туда за счет компании, то есть, в той или иной форме участники нечто подобное объясняли своему руководству.
Затем я попросил участников оценить "Насколько глубоко вы понимаете суть того, что написали?" по шкале от 1 до 7. И получил вот такое распределение (226 респондентов):
И среднее значение T0 = 5.11
Потом я начал говорить о том, что некоторые слова мы используем неосознанно и не понимаем, что они означают. Убедиться в этом можно, если начать размышлять над определенными вопросами, а вопросы вытекают из того, к какой части речи относится то или иное слово. В общем, я начал знакомить участников к карточкам душноты. После каждой карточки душноты я просил отметить те слова, к которым у участников появились вопросы.
Всего я показал 7 карточек душноты, полный список есть здесь.
После этого попросил участников ответить:
- К какому проценту слов в вашем плану возникли вопросики после озвучивания карточек душноты?
- На какой процент этих вопросиков у вас есть готовые ответы, способные убедить здравомыслящего человека?
- ГЛАВНОЕ: А теперь (после подсчета вопросиков) насколько глубоко вы понимаете суть того, что написали?
Новая оценка глубины понимания получилась вот такой:
Среднее значение T1 = 5,2
Отличий T0 и T1 - нет! (p = 0.56)
Точнее как нет... Средние значения по выборке не отличаются. Хотя это и не означало, что отдельные люди не меняли своих оценок. Меняли. Вот так выглядит распределение для изменения оценки:
Видно, что 38% респондентов свою оценку не изменили. 35% стали понимать глубже, 27% стали понимать хуже, но "среднее понимание" не поменялось.
Хотя почти все сказали, что хоть к каким-то словам у них вопросики-то возникли:
И не на все вопросики были ответы:
Промежуточный вывод
В среднем глубина понимания группы не поменялась, если просто дать людям задание вида "Подумайте и напишите".
Как я понимаю, это чуть ли не самая прогрессивная "интерактивная" методика среди тех, кто осмеливается называть свои доклады практическими...
Схема эксперимента на мастер-классе
На мастер-классе мы также продолжили анализ текста по тому же шаблону. Но мы это делали при помощи моего веб-приложения в процессе игры. Сначала мы готовились:
- Писали текст,
- Оценивали на сколько глубоко этот текст понимаем.
Средняя "глубина понимания": T'0 = 5,16
Далее мы игра состояла из 3-х раундов, в каждом раунде были следующие фазы:
- Объединяемся в группы (2-5 человек),
- Распределяем роли: один участник становится докладчиком, все остальные - душнилами,
- Душнилы заготавливают вопросы докладчику, используя аналог карточек душноты в веб-приложении. Докладчик не видит текст вопросов, но видит к какому слову вопросы возникли.
- Обсуждаем вопросы. Докладчик выбирает слово, к которому кто-то из душнил задал вопрос, после этого у всех в группе на экране появляется этот вопрос и они его обсуждают. Автор вопроса пишет конспект ответа, другие душнилы оценивают полноту ответа, а докладчик пользу для себя этого вопроса.
- После окончания фазы обсуждения докладчик ставит оценки: на сколько глубоко ТЕПЕРЬ понимает суть своего текста (T'1) и НА САМОМ ДЕЛЕ в САМОМ НАЧАЛЕ как стоило бы оценить свое понимание (T4)
На самом деле еще там и душнилы давали свою оценку, но это отдельно я опишу, там тоже интересно сравнить как соотносится твоя оценка с оценкой тебя со стороны...
Результаты
После обсуждение средняя оценка получилась такая:
T'1 = 5,64 (и это уже отличается от T'0, p<0.001)
А ретроспективная оценка T4 = 4,73 (и это отличается от T'0, p=0.003)
Если сравнить распеределение изменения глубины понимания на докладе и на мастер-классе, то вот такая картинка:
- После дискуссии 24% не поменяли оценку понимания (после доклада 38%),
- После дискуссии хуже понимать стали 18% (после доклада 27%),
- После дискуссии 59% стали лучше понимать (после доклада 35%)
Потом я составил таблицу сопряжения:
Это число участников на докладе (просто послушали) и на мастер-классе (С дискуссией) изменивших свою оценку на указанное число баллов.
Критерий хи-квадрат Пирсона сказал, что различия значимы p<0,001.
А строгий тест Фишера показал, что:
На мастер-классе меньше тех, кто стал понимать хуже (<=2) или вообще не изменил своего понимания (0) и больше тех, кто улучшил свое понимание на 1 балл (значимые клетки с красными знаками <>).