Идея этой заметки вызревала у меня в голове давно (вот здесь пару лет назад я уже рыдал от системы образования. Осторожно, там много букв и мата), но триггером послужил комментарий в группе курса по «Хулиганской логике»...

Чтобы ребята не скучали, ожидая старта обучения, мы отправляем туда подготовительные материалы. Сегодня мы отправили туда мою заметку «Как ты понял, что ты понял или эффект диванного аналитика» о том, что существует такое явление, как иллюзия понимания – это когда тебе кажется, что ты что-то понимаешь, но ты это не понимаешь.

Попросили студентов поделиться мыслями и получили ответ:

Заметка привела меня к мысли о том, что уверенности диванному критику придаёт метакогнитивное искажение (Эффект Даннинга-Крюгера)

Некоторое время назад я публиковал у себя в канале заметку о том, что использование терминов из нейробиологии создает у непрофессионалов ощущение корректности обоснования, даже если обоснование (сюрприз!) не корректно. И вот прекрасный пример того, что и с терминами из психологии это тоже работает.

В чем здесь беда? Если разобрать исходный комментарий на запчасти, то мы видим, что в нем есть субъект: "метакогнитивное искажение (Эффект Даннинга-Крюгера)" и утверждается, что именно он порождает иллюзию понимания. Звучит убедительно. Кажется, мы разгадали суть этого явления и обнаружили его причину, но… Стоп! А что такое этот ваш Эффект Даннинга-Крюгера? Начинаешь читать его описание и оказывается, что это и есть эффект иллюзии понимания.

То есть, то, что нам казалось объяснением явления, оказалось лишь тавтологией, которая спряталась за сложными словами.
Нечто вроде:

Я смог похудеть, потому что у меня получилось сбросить лишний вес.

Почему меня триггернул этот комментарий? На мой взгляд – это иллюстрация ужасной беды в современной системе образования, где мерилом образованности является не способность понимать суть явлений и вещей, а количество заученных умных слов (понятий, терминов) без какого-либо понимания. Изначально мне казалось, что я параною. Ну типа не так все плохо и вообще – это старая добрая традиция, когда каждое поколение сокрушается о том, на сколько отупели последующие поколения. Но тут я наткнулся на статьи Людмилы Апполоновны Ясюковой (кто-нибудь, скажите пожалуйста, что она лжеученый, несет дичь и вообще не права. А то, если окажется, что она права, то мы реально в жопе и мне от этого страшно…)

В одной из статей она пишет:

Сравнительное исследование показало, что на рубеже 2000-х годов произошло качественное изменение типа интеллекта подростков: логическая систематизация информации, основанная на понятийном мышлении, сменилась на формально-образные обобщения, при которых суть явлений не выделяется и не понимается, хотя большие объемы информации могут удерживаться в памяти.

Перевожу с академического языка на простой:

Подростки знают много умных слов, но не понимают, что они означают.

В другой статье Людмила Апполоновна говорит:

Ко мне в 2015 году обратилось Всероссийское общество предпринимателей, оно было озабочено тем, что никто из молодых не может работать – ни инженеры, ни технологи, ни управленцы. Пожилые вымирают, а молодые работать не могут. В чем проблема?
Я им дала статистику по Санкт-Петербургскому политехническому университету Петра Великого, как изменилось понятийное мышление с 2008 по 2014 год. Я занималась тестированием много лет. Я использовала третий субтест Амтхауэра, по нему, чтобы быть готовым получить высшее образование, нужно набрать выше 11–12 баллов в среднем. Ведь обучение строится на том, что объясняют правила, закономерности, формулы, и, если логический компонент мышления развит, человек всё понимает и использует там, где надо. И среди студентов политехнического университета средний балл в 2008 году составил 12,8; в 2009 – 12,7; в 2010 – 11,1; в 2011 – 9,5; в 2012 – 9,3; в 2013 – 8,9; в 2014 – 8,3. Фактически это уровень техникума. Почему они сдают ЕГЭ? Не секрет, что раз в два-три года снижается уровень требований…
Инфантилизм у детей и молодежи не потому, что мы слишком сильно о них заботимся, а потому, что у них не сформировано понятийное мышление, они просто не могут понять суть проблемы, не понимают, почему что-то произошло и что надо делать. В быстро меняющемся мире нужно обладать мышлением, которое способно проанализировать ситуацию, в которой человек оказался…

А вот здесь Людмила Апполоновна утверждает:

С логическим и понятийным мышлением плохо. Сейчас мы наблюдаем резкую поляризацию населения. С одной стороны, больше стало не очень умных людей, с другой — умные стали очень умными. Разрыв между этими двумя полюсами увеличился.

Что чуть ли не повторяет подтверждает ту мысль, которую я осторожно предположил (опасаясь допустить ее истинность) в этой заметке:

Постоянное отупление во времени еще не означает равномерного отупления по выборке... Смотрите какая идея: повышение «среднего по ансамблю» интеллекта всего человечества не отрицает увеличения доли «тупых». Всё больший и больший процент людей становится тупыми, но одновременно с этим редкие и аномально высокоинтеллектуальные индивидуумы вытягивают общую статистику.

В общем, тренд угрожающий – люди тупеют, скрывая свою тупизну под маской красивых и научных терминов, которых нахватались где попало.

Теперь-то я понимаю, что еще 20 лет назад я чувствовал это интуитивно. Когда-то давным-давно я твердо убедился в профессионализме одного из моих коллег (дорогой Роман Сергеич, ты в телевизоре!), после того как он оказался способен при помощи небольшого числа существительных (цензурных среди которых, по-моему, не было), объяснить устройство и принцип работы высоконагруженной ИТ-системы. Способность объяснить сложное явление или концепцию при помощи простых слов – один из индикаторов того, что человек действительно понимает суть.

---

Обзор других научных работ

После предварительного обсуждения этой заметки в закрытом чате выпускников "Хулилогики" и "Как 'нечитать' книги", хорошие люди накидали ссылок со словами: "Нельзя так голословно утверждать о потуплении на основе одной работы. Есть же другие работы, которые этой противоречат".
Я попросил примеры, мне вот эти примеры прислали. На первый взгляд, вроде противоречат, но потом я начал читать их внимательнее...

Обзор зарубежных работ на тему эффекта Флина

Ссылка на работу.
Эффект Флина заключается в том, что со временем средний IQ растет. Но есть нюанс или не все так однозначно:

Вместе с тем для ряда способностей наблюдаются эффекты, противоположные ЭФ, — замедление простого времени реакции (Woodley et al., 2013), уменьшение объема числовой рабочей памяти при воспроизведении в обратном порядке (digit span bakward) (Woodley of Menie, Fernandes, 2015), снижение продуктивности в формальных пиажеанских операциях (Shayer, Ginsburg, 2009), сокращение темпов инноваций на душу населения и числа «гениев» (Woodley of Menie, Fernandes, 2015).

Более свежее исследование, кстати, с использованием данных Ясюковой

Ссылка на работу
В этой работе меня напрягло вот что (такое ощущение, что она сама является индикатором тенденции к утрате понятийного мышления - надеюсь, я что-то не так понял):

Несмотря на полученные явные различия в познавательных особенностях детей в процентном соотношении по разным признакам, статистического подтверждения они не получили.

Вроде бы автор хочет сказать, что отличия есть, но они не являются статистически-значимыми. Ну то есть - это шум и флуктуации.

Допустим... Но как вы определяли статистическую значимость? Смотрим... Ага, t-критерий Стьюдента для разницы средних значений:

Что за числа находятся в таблицах - не понятно, но если речь идет о t-критерии Стьюдента, то, наверное, это разница средних значений результатов по тестам. Средних значений, Карл! Среднее - это одна из (и далеко не единственная) числовая характеристика выборки случайных чисел. Опираться только на среднее значение, рассуждая о наличии или отсутствии "статистического подтверждения" - наивно.

В данном случае t-критерий показал отсутствие статистического подтверждения для отличия в средних значениях!

Но давайте посмотрим таблицу, где хоть есть намек на форму распределения результатов:

А здесь явно, что форма распределения поменялась. Взгляните на результат первого субтеста: раньше все были средние и хорошие, а теперь появились слабые и сильные.
Давайте будем использовать не t-критерий Стьюдента, а Хи-квадрат Пирсона. Три клика в екселе и чудеса!...

С таким уровнем статистической значимости и работу публиковать не стыдно, это не общепринятые среди гуманитариев 0,05...

Лирическое отступление... P-value - это оценка вероятности ошибиться, сказав, что на данной выборке отличий нет.

Еще как есть! Даже для распределения по второму субтесту отличия есть:

Просто не в среднем значении.

Давайте поутрируем, чтобы подчеркнуть идею... Представим, что я генеральный директор компании по рытью канав. У меня есть 10 сотрудников и я нанял HR-директора-гуманитария за ними приглядывать. При вступлении в должность он измерил, кто с какой скоростью роет канавы, оказалось, что все одинаковые - 1 кубометр грунта в час.
Прошло 3 года. Я его спросил: "ну как, изменилось что-то в моих сотрудниках?" А у меня один нарастил себе экзоскелет с мощной гидравликой и роет теперь 9.5 кубометров грунта в час. А остальные 9 сотрудников стали нейрокоучами, числятся у меня лишь номинально и вообще нихера не работают со скоростью 0 кубометров в час.
Мой HR-директор-гумантарий посчитал среднее значение и говорит: "Было в среднем 1, сейчас в среднем 0.95, но я посчитал t-критерий Стюдента и там p-value = 0.95, то есть статистического подтверждения эти отличия не получили из чего я делаю вывод, что люди за эти годы никак не изменились".

Особенности мышления подростков, имеющих разную степени погруженности в интернет-среду

Ссылка на работу
Тут тоже результаты интересны.

Есть авторская методика оценки степени погруженности в интернет-среду и, вроде как, она положительно связана с результатами прохождения тестов. То есть, интернет (вроде как) не отупляет:

Но как обычно, не без нюансов:

Доверительных интервалов на графике не указано, но что-то мне подсказывает, не зря инсту отроскомнадзорили...

Правда, авторы статьи пишут:

Возраст в группе со «слабым погружением» статистически значимо меньше.

Интересно, а сильно отличается возраст?

В группу «глубоко погруженных в Интернет» вошли 117 подростков (52 мальчика и 65 девочек, средний возраст 14,56), которые показали индекс погруженности в цифровую среду больше 40 баллов; в группу со «слабым погружением в Интернет» — 96 подростков (51 мальчик и 45 девочек, средний возраст 14,11), которые показали индекс погруженности в цифровую среду меньше 28 баллов.

Средний возраст 14.56 и 14.11... Полгода разницы в возрасте в 14 лет критично ли это?...
И ещё... Раз авторы говорят, что эти различия статистически значимы (да на выборке в 100 человек), то это говорит и низкой дисперсии возрастов. Есть подозрение, что раз разница в возрасте не 1 год, а полгода, то это не ученики разных классов, а одноклассники, но просто одних тестировали осенью, а других весной... Одних после каникул, вторых перед ОГЭ... Ну это так... предположение...

Сам тест для оценки погруженности в интернет выглядит, скажем так, не без вопросов. Но это почти с любой шкалой так.