Как ты понял, что они поняли? (фрагмент третьей книги)

Это - очередной фрагмент третьей книги.

Есть некоторые пересечения с этим разделом, но для книги я его переписал, так что в книге пересечений не будет.
__________________

Как ты понял, что они поняли?

В предыдущем разделе мы поговорили о том, что не всегда очевидно, что тебе действительно понятно, а что лишь кажется понятным. Есть не менее востребованный в жизни и куда более сложный вопрос:

Как понять, что они поняли?

Этот вопрос может встать в различных обстоятельствах. Например, если вы поручаете кому-то выполнить задачу, то первое, что стоит выяснить –понятна ли задача исполнителю, так как между важным и срочным мы имеем склонность выбирать понятное. Если задача не понятна исполнителю, то он вешает на нее ярлык «Надо подумать» и задача отправляется в дальний угол списка задач, пропуская вперед себя всякую понятную мелочь.

Если вы обучаете людей, то как вы понимаете, что они все поняли? Существует, конечно, самый распространенный педагогический критерий:

На вопрос «всё ли понятно» они покивали. Потом я подстраховался и спросил: «есть ли вопросы?» и вопросов не было. Ну, значит, точно – всё поняли.

Но, по-моему, с этим критерием что-то не так…

Когда вы решаете задачу, где вашей компетенции недостаточно и вы это осознаете, то наверняка вы обращаетесь за консультациями к другому человеку. А как понять, что он понимает о чем говорит? Как вы понимаете, что его советам можно следовать? Здесь мы даже не рассматриваем ситуации намеренного обмана, ведь, как мы выяснили в предыдущем разделе, сам консультант может находиться в иллюзии понимания. Он сам может искренне заблуждаться, не пытаясь вас обмануть. Может быть такое? Легко!

Вопрос о том, как повысить уровень доверия остро встал последнее время благодаря распространению экспертных систем в том числе с искусственным интеллектом. Одна из гипотез заключается в том, что объяснение того, как система пришла к тому или иному решению помогает укрепить доверие (перекликается с цитатой П.Я Гальперина про осознанность из предыдущего раздела, правда?). В современной литературе это носит название «Explainability-Trust-Hypothesis» [7]:

Если мы лучше понимаем, как система получила свой результат, и объяснение данного результата соответствует нашим ожиданиям относительно того, как должно приниматься правильное решение, это объяснение становится причиной доверять системе.

Понятно, что в этой работе речь идет об искусственном интеллекте, но мы же планируем работать прежде всего с живыми людьми. Однако тема доверия и валидации ответов последнее время больше проработана для искусственного интеллекта. Конечно, может быть, я не очень хорошо искал, но это же не научная работа, поэтому позволю себе просто представить, будто мы имеем с вами дело с тем, что генерирует искусственный искусственный интеллект.

При этом сам факт наличия объяснения вообще ничего не говорит о том, понимает ли человек то, о чем говорит или нет. По крайней мере встроенного фильтра брехни у нас нет, скорее наоборот…

Например, нам часто кажутся более убедительными объяснения, в которых употребляется специализированная терминология. Например, в исследовании [8] показали, как умные слова из нейробиологии помогают воспринимать всякую ерунду более убедительной.
Эксперимент проводили так: в качестве испытуемых взяли специалистов в нейробиологии и неспециалистов. И дали им оценить, насколько удовлетворительным им показалось обоснование какого-то психологического эффекта.
Каждый эффект описывали:

• правильно (Good explanation) / неправильно (Bad explanation)
• с использованием "умных" слов (With neuroscience) / без использования "умных слов" (Without neuroscience)

Результаты по студентам (не специалистам в нейробиологии):

Вывод из картинки такой: если к неправильному объяснению добавить "нейро-" фигни, то непрофессионалы будут его воспринимать не менее убедительным, чем правильное объяснение без заумных слов.

Специалисты в такую ловушку не попадались - им всё с нейротерминами казалось не убедительным, но стоило к объяснению добавить картинки с ФМРТ (даже не информативные), то, как показано в работе [9] они не оставляли их равнодушными и действовали так же, как нейро-термины на обывателей...

Не менее забавный эффект описан в работе [10]. Испытуемым предлагали протестировать приложение, выдающее рекомендации по питанию. Испытуемых разделили на три группы в зависимости от того, в каком виде они получали рекомендации:

• Просто рекомендации без объяснений,
• Рекомендации с тавтологичным объяснением,
• Рекомендации с корректным объяснением.

Тавтологичное объяснение – это такое, в котором присутствовали слова, обычно используемые при объяснениях («потому что», «из-за», «для того, чтобы»), но вместо объяснения использовали простые перефразирования (например: «Наше приложение сгенерировало для вас одну основную рекомендацию и две альтернативные, но ваши результаты будут выше с основной рекомендацией, потому что они были рассчитаны по нашему алгоритму»). Оказалось, что для многих людей тавтологичное обоснование вызывает больше доверия, чем отсутствие какого-либо объяснения и не сильно меньше доверия, чем корректное объяснение. Посмотрите вот на эти графики:

Аналогичные результаты, но с более сложными задачами и на большей выборке были получены в работе [11]: люди действительно больше доверяют решению с вводящим в заблуждение объяснением, чем просто решению без какого-либо разъяснения.

Говорят, что так оно и должно быть, потому что специфическая активация зоны Верника в префронтальной коре блокирует обратный захват быстрого дофамина, что в свою очередь может формировать ощущение когнитивной легкости и снимает лишние сомнения. Вот вам доказательство (для специалистов самое важное отмечено стрелками):

В итоге мы приходим к тому, что если я не способен объяснить что-то, то я это не понимаю. Но вот если я объяснить могу, то это еще ничего не означает. Нужно уметь понимать, на сколько адекватно дано это объяснение. Вспомните «Explainability-Trust-Hypothesis» выше, там важны два момента:

1. У нас есть объяснение,
2. Объяснение соответствует нашим ожиданиям относительно того, как должно приниматься правильное решение.

Пока мы убедились, что одного лишь первого пункта недостаточно, чтобы убедиться в правильности решения, хотя на практике достаточно, чтобы создать у кого-то (или самого себя) такую иллюзию.

В следующем разделе мы начнем разбираться в том, каким требованиям должно удовлетворять объяснение, чтобы ему можно было доверять, а пока…

Задание дня: услышав какое-либо утверждение от другого человека задайте ему вопрос: «А почему ты так думаешь?» и понаблюдайте за реакцией человека:

• Задумается ли он или у него есть готовый ответ?
• Этот ответ будет внятным или представлять собой сбивчивую речь?
• Будет ли это тавтологией - то есть перефразированным исходным утверждением или это будет что-то новое?

Текущая структура третьей книги