Как ты понял, что они поняли? (фрагмент третьей книги)

 Публичный пост
16 октября 2024  2092

Это - очередной фрагмент третьей книги.

Есть некоторые пересечения с этим разделом, но для книги я его переписал, так что в книге пересечений не будет.
__________________

Как ты понял, что они поняли?

В предыдущем разделе мы поговорили о том, что не всегда очевидно, что тебе действительно понятно, а что лишь кажется понятным. Есть не менее востребованный в жизни и куда более сложный вопрос:

Как понять, что они поняли?

Этот вопрос может встать в различных обстоятельствах. Например, если вы поручаете кому-то выполнить задачу, то первое, что стоит выяснить –понятна ли задача исполнителю, так как между важным и срочным мы имеем склонность выбирать понятное. Если задача не понятна исполнителю, то он вешает на нее ярлык «Надо подумать» и задача отправляется в дальний угол списка задач, пропуская вперед себя всякую понятную мелочь.

Если вы обучаете людей, то как вы понимаете, что они все поняли? Существует, конечно, самый распространенный педагогический критерий:

На вопрос «всё ли понятно» они покивали. Потом я подстраховался и спросил: «есть ли вопросы?» и вопросов не было. Ну, значит, точно – всё поняли.

Но, по-моему, с этим критерием что-то не так…

Когда вы решаете задачу, где вашей компетенции недостаточно и вы это осознаете, то наверняка вы обращаетесь за консультациями к другому человеку. А как понять, что он понимает о чем говорит? Как вы понимаете, что его советам можно следовать? Здесь мы даже не рассматриваем ситуации намеренного обмана, ведь, как мы выяснили в предыдущем разделе, сам консультант может находиться в иллюзии понимания. Он сам может искренне заблуждаться, не пытаясь вас обмануть. Может быть такое? Легко!

Вопрос о том, как повысить уровень доверия остро встал последнее время благодаря распространению экспертных систем в том числе с искусственным интеллектом. Одна из гипотез заключается в том, что объяснение того, как система пришла к тому или иному решению помогает укрепить доверие (перекликается с цитатой П.Я Гальперина про осознанность из предыдущего раздела, правда?). В современной литературе это носит название «Explainability-Trust-Hypothesis» [7]:

Если мы лучше понимаем, как система получила свой результат, и объяснение данного результата соответствует нашим ожиданиям относительно того, как должно приниматься правильное решение, это объяснение становится причиной доверять системе.

Понятно, что в этой работе речь идет об искусственном интеллекте, но мы же планируем работать прежде всего с живыми людьми. Однако тема доверия и валидации ответов последнее время больше проработана для искусственного интеллекта. Конечно, может быть, я не очень хорошо искал, но это же не научная работа, поэтому позволю себе просто представить, будто мы имеем с вами дело с тем, что генерирует искусственный искусственный интеллект.

При этом сам факт наличия объяснения вообще ничего не говорит о том, понимает ли человек то, о чем говорит или нет. По крайней мере встроенного фильтра брехни у нас нет, скорее наоборот…

Например, нам часто кажутся более убедительными объяснения, в которых употребляется специализированная терминология. Например, в исследовании [8] показали, как умные слова из нейробиологии помогают воспринимать всякую ерунду более убедительной.
Эксперимент проводили так: в качестве испытуемых взяли специалистов в нейробиологии и неспециалистов. И дали им оценить, насколько удовлетворительным им показалось обоснование какого-то психологического эффекта.
Каждый эффект описывали:

  • правильно (Good explanation) / неправильно (Bad explanation)
  • с использованием "умных" слов (With neuroscience) / без использования "умных слов" (Without neuroscience)

Результаты по студентам (не специалистам в нейробиологии):

Вывод из картинки такой: если к неправильному объяснению добавить "нейро-" фигни, то непрофессионалы будут его воспринимать не менее убедительным, чем правильное объяснение без заумных слов.

Специалисты в такую ловушку не попадались - им всё с нейротерминами казалось не убедительным, но стоило к объяснению добавить картинки с ФМРТ (даже не информативные), то, как показано в работе [9] они не оставляли их равнодушными и действовали так же, как нейро-термины на обывателей...

Не менее забавный эффект описан в работе [10]. Испытуемым предлагали протестировать приложение, выдающее рекомендации по питанию. Испытуемых разделили на три группы в зависимости от того, в каком виде они получали рекомендации:

  • Просто рекомендации без объяснений,
  • Рекомендации с тавтологичным объяснением,
  • Рекомендации с корректным объяснением.

Тавтологичное объяснение – это такое, в котором присутствовали слова, обычно используемые при объяснениях («потому что», «из-за», «для того, чтобы»), но вместо объяснения использовали простые перефразирования (например: «Наше приложение сгенерировало для вас одну основную рекомендацию и две альтернативные, но ваши результаты будут выше с основной рекомендацией, потому что они были рассчитаны по нашему алгоритму»). Оказалось, что для многих людей тавтологичное обоснование вызывает больше доверия, чем отсутствие какого-либо объяснения и не сильно меньше доверия, чем корректное объяснение. Посмотрите вот на эти графики:

Аналогичные результаты, но с более сложными задачами и на большей выборке были получены в работе [11]: люди действительно больше доверяют решению с вводящим в заблуждение объяснением, чем просто решению без какого-либо разъяснения.


Говорят, что так оно и должно быть, потому что специфическая активация зоны Верника в префронтальной коре блокирует обратный захват быстрого дофамина, что в свою очередь может формировать ощущение когнитивной легкости и снимает лишние сомнения. Вот вам доказательство (для специалистов самое важное отмечено стрелками):


______________

В итоге мы приходим к тому, что если я не способен объяснить что-то, то я это не понимаю. Но вот если я объяснить могу, то это еще ничего не означает. Нужно уметь понимать, на сколько адекватно дано это объяснение. Вспомните «Explainability-Trust-Hypothesis» выше, там важны два момента:

  1. У нас есть объяснение,
  2. Объяснение соответствует нашим ожиданиям относительно того, как должно приниматься правильное решение.

Пока мы убедились, что одного лишь первого пункта недостаточно, чтобы убедиться в правильности решения, хотя на практике достаточно, чтобы создать у кого-то (или самого себя) такую иллюзию.

В следующем разделе мы начнем разбираться в том, каким требованиям должно удовлетворять объяснение, чтобы ему можно было доверять, а пока…


Задание дня: услышав какое-либо утверждение от другого человека задайте ему вопрос: «А почему ты так думаешь?» и понаблюдайте за реакцией человека:

  • Задумается ли он или у него есть готовый ответ?
  • Этот ответ будет внятным или представлять собой сбивчивую речь?
  • Будет ли это тавтологией - то есть перефразированным исходным утверждением или это будет что-то новое?
Связанные посты
20 комментариев 👇

А почему ты так думаешь?

По моему опыту самый частый ответ: "Да это все знают!"

  Развернуть 1 комментарий

@gladerru, тут же выбираешь рандомного человека, показываешь на него пальцем и спрашиваешь: "И он тоже?"

  Развернуть 1 комментарий

@cartmendum, "В теории нет разницы между теорией и практикой. А на практике есть." Я к тому, что если человек во что-то верит, фиг ты его сдвинешь с этой позиции.

  Развернуть 1 комментарий

@gladerru, Это сложно - да. Но не невозможно. Но сложно...

  Развернуть 1 комментарий

@cartmendum, а зачем сдвигать?

  Развернуть 1 комментарий

люди действительно больше доверяют решению с вводящим в заблуждение объяснением, чем просто решению без какого-либо разъяснения

А в исследованиях пытались разобраться почему так происходит? Это некий шаблон мышления? Мол, проверять объяснение затратно, но если оно есть, то есть и шанс, что оно верное, потому что придумать неверное сложнее чем не дать никакого.

Кажется, что слишком сложный шаблон мышления. Может тут вообще что-то бессознательное? Как стремление к категоризации.

  Развернуть 1 комментарий

Сначала пишем "с нейротерминами казалось не убедительным, но стоило к объяснению добавить картинки с ФМРТ (даже не информативные), то, как показано в работе [9] они не оставляли их равнодушными и действовали так же, как нейро-термины на обывателей..." добиваем терминами и красивой не информативной картинкой... циничненько 😆 ЗЫ зарегистрировался в клубе чтобы оставить этот коммент 😂😂😂

  Развернуть 1 комментарий

@pivcorp, Я старался 😁
Правда же убедительно стало

  Развернуть 1 комментарий

А как понять, что он понимает о чем говорит? Как вы понимаете, что его советам можно следовать?

Я больше доверяю тем, кто не спешит давать советы, а нудно и долго выясняет контекст. А потом как-то так задумывается и с сомнением говорит "Ну попробуй <Совет>, хотя не знаю". На вопрос "почему?" отвечают сбивчиво, неохотно, как бы через силу. Общие объяснения сводятся скорее к "Мне так кажется".

А вот побаиваюсь и сторонюсь тех, кто бодро и бойко расписывает почему надо так, а не иначе, где в каком исследовании что на эту тему было написано, кто и что про это писал и приводят две три цитаты. От таких советчиков отползаю в сторонку - толку не будет.

Ну и еще хороший маркер это моё удивление. Если человек говорит что-то неожиданное или еще лучше парадоксальное, то для меня это серьезный признак, что человек толковый.

  Развернуть 1 комментарий

Про тех кто не спешит давать советы согласен.

А вот тут

А вот побаиваюсь и сторонюсь тех, кто бодро и бойко расписывает ... где в каком исследовании что на эту тему было написано

У меня другое мнение. Если человек ссылается на исследования, то мне прям интересно.

Если просто дает советы и из аргументации максимум - фраза "ученые доказали", то это жопа, конечно.

  Развернуть 1 комментарий

@cartmendum,

Если человек ссылается на исследования, то мне прям интересно.

Ссылка на исследование это, конечно, совсем другой уровень аргументации, но мне кажется тут есть один нюанс: если в основе аргументации лежит то или иное исследование, то это довольно шаткая основа. Придет время и выводы или интерпретации изменятся, а то - чего хуже - выяснится, что целый набор результатов нарисован в фотошопе (https://elementy.ru/novosti_nauki/434013/V_statyakh_o_mekhanizme_razvitiya_bolezni_Altsgeymera_obnaruzheny_sistematicheskie_falsifikatsii). И что тут делать?

Короче, на мой вкус исследования это довольно шаткая основа, если речь идет о социальных науках. Логика надежнее.

PS:
Тут по сути весь разговор о том что такое "факт", поскольку результаты любых исследований это некоторые "факты", которые надо вписать в общую картину. Они имеют смысл и ценность только в контексте какой-то теории, как не имеют ценности и смысла отдельные мазки вне контекста картины художника.

  Развернуть 1 комментарий

@skitale, > на мой вкус исследования это довольно шаткая основа, если речь идет о социальных науках.

Конечно. В социальных науках все очень шатко.

Но просто исследования... Я пытался вспомнить, когда мне в качестве аргумента приводили ссылку на исследование и не смог вспомнить 😁

  Развернуть 1 комментарий

@cartmendum, Мне кажется со ссылками на исследования, все еще хуже.

для того, чтобы оценить ценность и адекватность выводов конкретной научной статьи надо таки обладать довольно высокой компетенцией именно в этом вопросе. И дело даже не в том, что и в научный статьях бывает всякое и подлоги, и субьективизм и отработка темы гранта. Научные статьи - это же не такая просто скучная субстанция, что их никто читать не хочет - в них непоянтно ничего неспециалисту. И в них нет никогда каких-то четких ответов похожих на заголовки журналистов. Но уверенность в точке зрения и рост самомнения при опоре на научные исследования у неспециалистов - это думаю факт, не требующий научных подтверждений.

Мне нравятся споры Алипова со всеми подряд - и есть ряд классных баттлов на статьях из научных журналов, например про пользу магния или ежовика :)

  Развернуть 1 комментарий

@knsubochev,

в них нет никогда каких-то четких ответов похожих на заголовки журналистов

Про это у меня заметка есть :-)

  Развернуть 1 комментарий

@cartmendum,

Если человек ссылается на исследования, то мне прям интересно.

Мне почему-то кажется, что это этап роста такой. Мне тоже раньше было интересно, когда человек ссылается на какие-то исследования. Тут было многое:

  • и радость, что вот наконец человек, который, видимо, знает что говорит;
  • и азарт "Ну-ка поглядим что там за исследования (потирая руки) - что с выборкой? методикой?" и т.д. Найти, что эксперимент говно, а автор выдает желаемое за действительное, конечно, приятно, но в целом бесполезно. Это на мой взгляд просто срач более высокого уровня. Знания и понимания темы это не прибавляет.

В итоге осталось немногое - понимать не конкретные факты и их валидность, а общую логику темы. Общую логику предмета исследования. Только она подскажет какие факты могут быть, а какие сомнительны. Такого взгляда "с высоты птичьего полета" не даёт копание в нюансах экспериментов. Тут нужна общая теория, опирающаяся на философский базис. Та самая "кроличья нора".

Я считаю, что куда полезнее тратить время именно на погружение в эту нору, а не на анализ отдельных исследований. Особенно "самых свежих".

Может быть я не прав, но пока держусь такого подхода и он дает результаты, которые меня радуют.

  Развернуть 1 комментарий
k.n.subochev ИТ руководитель широкого профиля 7 марта в 09:33

Я для себя делаю осторожный вывод о том, понял ли человек по его действиям. Поменялось ли его поведение.
К себе тоже стараюсь относится так же :)

Но тут еще больше вопросов:

  • человек понял, но поведение поменять не может.
  • человек не понял, но нашел способ подстроиться так, чтобы сойти за понявшего
  • человек понял, но не согласен.

Собственно если копаем дальше -всплывает один из основных вопрос философии - откуда мы знаем, что у других людей есть сознание? И что это вообще говоря люди.
Как упражнение интересно - но на практике хочется именно изменения поведения.

  Развернуть 1 комментарий

Я для себя делаю осторожный вывод о том, понял ли человек по его действиям

Г.П. Щедровицкий писал:

Только, когда человек начинает действовать, он выясняет адекватно или не адекватно он понял.

  Развернуть 1 комментарий

@cartmendum, или короче: "Практика - критерий истины".

  Развернуть 1 комментарий

@knsubochev,

если копаем дальше -всплывает один из основных вопрос философии - откуда мы знаем, что у других людей есть сознание? И что это вообще говоря люди

А как вы выходите на эти вопросы, когда размышляете дальше о выриантах понимания? Какая связь и какие на ваш взгляд есть варианты?

  Развернуть 1 комментарий

@skitale, Так очень просто, мы не можем утверждать, что вообще мир существует, так как наше сознание заключено по ощущениям в нашем теле. Утверждать что либо про другого человека ( есть и еще глубже гипотеза - солипсизм - что вообще ничего не существует кроме нашего сознания) мы не можем - мы можем только наблюдать его действия, воспринимать звуки и запахи, вроде как ассоццированные с его телом. Утверждать, есть ли у него сознание, или например почувствовать его ощущения мы не можем. В общем эта тема волнует людей не первую тысячу лет - но в прикладном значении все эти измышления практически бесполезны, следовательно мы предполагаем, что другие люди в целом примерно такие же как мы ( вполне безосновательно) и делаем выводы относительно их внутреннего мира соотнося со своими мыслями, чувствами ощущениями. Опыт жизни, как правило, увеличивает допустимые отклонения от собственного мира, для моделирования внутреннего мира других людей.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб