Я уже давно пытаюсь понять, чему же мы все-таки учим студентов на Хулилогике :-)
Точнее не так. Чему мы учим - мне понятно, но есть ли какие-то тесты, которые могли бы это явно показать.
У меня были попытки использовать тесты компонентов интеллекта Амтхауэра, тест “Сложные аналогии” Э.А. Коробковой, но попытки не успешные, да и не жалко, так как эти тесты все ну уж слишком оторваны от реальности и абстрактны. А основная идея, которая лежит в Хулилогике - мы учим мышлению именно в реальном жизненном контексте. Реальных повседневных ситуациях.
И тут мне на глаза попался фрагмент теста LSAT - Law School Admission Test или экзамен для поступающих на юридический.
Юристы редко меня оставляют равнодушным. Каждый раз, когда я с ними сталкиваюсь я удивляюсь либо проницательности их ума, либо удивительной тупизне (кто читал эту заметку, тот понимает). Поэтому я стал смотреть, как тестируют будущих юристов и мне понравилось…
Я решил провести тестовое исследование:
- Взял первые 5 вопросов теста на рассуждение из какого-то экзамена прошлых годов
- При помощи Рустама и его ChatGPT быстренько перевёл тест на русский (не без косяков, зато быстро)
- Создал гуглформу…
И тут совпало, я вел корпоративное занятие для менеджеров одного известного банка. Ну, думаю, закину-ка я им этот тест.
Закинул.
Потом я этот же тест закинул в группу Хулилогики, где еще пока не начались занятия и в группу наших выпускников.
На первый взгляд результаты выглядели весьма интересно.
На первый взгляд прям интересно… Вроде как среди выпускников больше процентное соотношение тех, кто набрал 4 и 5 баллов.
Но нет… Выборки маленькие, четко не скажешь…
Пошел считать таблицу сопряжение и значение коэффициента Фишера. Получилось p-value = 0,18. Говорит о том, что отличия не статистически значимы. На этой выборке.
А дальше… А дальше история, которая говорит о том, что при проведении эксперимента не просто так надо смотреть на то, каким образом была получена выборка.
Я вам такой сказал, что закинул опросник студентам из одного известного банка и выпускникам, но это была не вся правда. Ученикам из банка я сначала отправил опросник в обеденный перерыв (типа тем, кто раньше вернется, чтобы было чем себя развлечь). А тем, кто пришел с обеденного перерыва позже тоже стало интересно, что это за опросник такой?… Но мы продолжили заниматься и я им его направил в конце занятия. В итоге по одной компании у меня была выборка тех, кто пообедал быстро и тех, кто отвечал на тест после занятия.
Так вот те, кто отвечал на тест в обеденном перерыве (обозначены как BANK-M) отличались от выпускников Хулилогики:
И тут p-value оказался уже “в пределах приличия для психологов”: 0,049
Вроде бы это дает надежду, но… Группа тех, кто отвечал в обеденном перерыве примерно так же отличалась и от группы тех же сотрудников одного известного банка, кто проходил тест после занятия:
Там p-value был более скромным: 0,079, но это хотя бы дает надежду, что будь выборка чуть больше, то отличия стали бы уже значимыми.
В общем, попытка хорошая, но пока теста, изменения баллов в котором можно было бы “продавать” как результат обучения - я не нашел.
Точнее, как… Цифр, чтобы задурить голову у меня много, но статистически-значимых изменений пока не выявлено.
