Мы зубрили я и Google (мы пахали я и трактор)

 Публичный пост
31 января 2025  1081

Ковырялся тут в одной работе по наводке @rustamagamaliev и натолкнулся на фразу:

… использование интернета как сверхлёгкого способа получения информации приводит к тому, что человек стирает границы между своими собственными возможностями и возможностями электронных устройств, приписывая себе их сверхспособности [30]

Ниже я разберу ту самую работу [30], на которую была ссылка.

А пока хочу добавить еще одну мысль. Уже от себя и про искусственный интеллект:

ИИ опасен не сам по себе, опасность представляют те идиоты, которые, приписывая себе супер-способности ИИ, начнут раздавать другим людям советы, принимать критические решения и рисковать чужим благополучием...

А теперь вернемся к работе о том, как люди приписывают себе способности Google и наверняка будут приписывать себе суперспособности ИИ …

В работе описано два эксперимента, но нам интересен первый. Проводили его так:
Испытуемым дали отвечать на квиз (список вопросов). Список вопросов взяли из этой диссертации:

Испытуемых разделили на три группы:

  1. Google - сказали, что ответы можно искать в гугле
  2. No Google - сказали, чтобы отвечали по памяти
  3. Control - ничего не говорили

Не важно, в какой группе было больше правильных ответов (в группа, вооруженных Google средний балл был 9,43 из 10, а в группе без гугла и контрольной 3,48 и 4,62 соответственно), любопытно другое…

Сразу после квиза испытуемым дали опросник, чтобы оценить их “когнитивную самооценку” - Cognitive Self-Esteem (шкала была разработана в рамках той же диссертационной работы) и включала вопросы вида:

  • Я умнее, чем средний человек
  • Моя память лучше, чем память среднего человека

И нужно было указать свой уровень согласия с каждым из этих утверждений, после чего вычислялся балл.

И исследователи посмотрели средние значения и их отличия между группами. Уровень статистической значимости оказался в рамках приличий:

На картинке это выглядит так:

Связанные посты
16 комментариев 👇

принимать критические решения

Тема принятия решений интересна

На личном уровне - что с этим делать в итоге тем кто принимает критические решения - стараться более фундаментальные источники данных выбирать?

Так, чисто чтобы пристрелочные оценки собственного опыта делать, можно попросить дополнить спектр вариантов степенью шкурности на кону (включая абсурдные крайности, для контраста)?

Чтобы понимать где я нахожусь и к чему стремиться. Уместна ли вообще такая прицелочная градация?

  • ...?
  • Посмотрел тикток и принял критическое решение
  • Спросил ИИ и принял критическое решение
  • Погуглил и принял критическое решение
  • Книги L1: прочитал книги и принял критическое решение
  • Книги L2: прочитал и понял книги и принял критическое решение
  • skin in the game L1: выстрадал опытом одну связку и принял критическое решение без опыта всех вариантов
  • skin in the game L2: выстрадал опытом всю мудрость сферы деятельноости (знаешь все комбинации, плюсы и минусы решений) и принял критическое решение
  • skin in the game L2 + книги L2: смиксовал какие-то оттенки опыта и знаний книг и принял критическое решение
  • Провёл исследование на репрезентативной выборке и принял критическое решение
  • ...?
  Развернуть 1 комментарий

На личном уровне - что с этим делать в итоге тем кто принимает критические решения - стараться более фундаментальные источники данных выбирать?

Думаю, что тут от решения зависит. Цена ошибк и цена попытки. Если дешево пробовать и ошибаться тоже дешево, то в принципе можно действовать перебором.

А так, чем выше стоимость попытки и ошибки, тем больше хотелось бы иметь оснований уверенности.

Чтобы понимать где я нахожусь и к чему стремиться. Уместна ли вообще такая прицелочная градация?

Мне кажется - очень хорошая идея. Но только на плоскости "стоимость попытки" / "стоимость ошибки" (возможно, еще какие-то переменные нужны)

И на этой плоскости можно накидать вот эти вот зоны. Ну типа вот такого:

  Развернуть 1 комментарий

Я так понимаю, что последняя картинка отвечает на вопрос, влияет ли гугл на уверенность в своих знаниях. А насколько сильно влияет, говорить тежело? Вроде на полбалла разница в ответах.

Хотя какое там распределение внутри, мы тоже не знаем. Может есть люди, которые осознают, что за них думал гугл, а есть те, кто полностью присвоил результат.

По поводу уверенности в себе читал немного у Млодинова в "(Не) осознанное". Мол это сила бессознательного. И это нужная людям сила, которая помогает преодолевать неудачи. Да, люди неадекватно себя оценивают, но задача видимо у бессознательного другая, выживательная.

То что, что гугл помогает себя чувствовать увереннее, это не люди плохие. Возможно, так должно быть. Или, иначе быть не может.

Вроде были исследования, что люди склонны оптимистично смотреть на свою способность планировать. Может это из той же природы.

Но конечно мы можем это учитывать :)

  Развернуть 1 комментарий

Я так понимаю, что последняя картинка отвечает на вопрос, влияет ли гугл на уверенность в своих знаниях. А насколько сильно влияет, говорить тяжело? Вроде на полбалла разница в ответах.

0.5 балла или примерно 10%. Но это среднее по ансамблю.

Хотя какое там распределение внутри, мы тоже не знаем. Может есть люди, которые осознают, что за них думал гугл, а есть те, кто полностью присвоил результат.

Именно! Интереснее знать как это увеличение распределено, но я практически нигде не видел такого в психологических работах. Они в большинстве исзучают "среднего человека" и его одно яйцо.

  Развернуть 1 комментарий

По поводу уверенности в себе читал немного у Млодинова в "(Не) осознанное". Мол это сила бессознательного. И это нужная людям сила, которая помогает преодолевать неудачи.

А вот это прям мощное дополнение! Спасибо!

Ведь действительно, та же самая уверенность в себе - это "монотонно-улучшающаяся" величина. Нельзя сказать, что чем больше, тем лучше. Или хуже.

Если ее мало, то ты чувствуешь себя ничтожеством. Если ее много, то ты становишься мерзким снобом. Её должно быть в меру. Поэтому на шкале уверенности в себе хорошо бы понимать области "когда еще плохо", а когда "уже плохо". И потом через призму этого результаты могут выглялеть совсем иначе. Кому гугл помог избавиться от комплексов, а кого сделал заносчивым зазнайкой...

  Развернуть 1 комментарий

@cowabunga,

Хотя какое там распределение внутри, мы тоже не знаем.

Но там же нарисованы "усы" и написано, что они изображают стандартное отклонение. уже только из этого можно сделать (предварительный) вывод, что различие (скорее всего) значимое, и что разброс там не очень большой

  Развернуть 1 комментарий

Это еще статья написана в 2018 до ГоПоТы, а с этой балалайкой, в смысле с нейросетевыми ИИ, ситуация резко повернула в сторону ухудшения )) Мне приходится дочку прям аккуратно учить использовать, чтобы не подменить свой мозг, силиконовым )

  Развернуть 1 комментарий

@rustamagamaliev, вот кстати интересна тема AI healthy usage

Я для себя следующие сценарии нашёл:

  • Как метод утёнка чтобы преодолеть blank page problem - когда есть нечто превосходящее меня по когнитивной способности (не важно, более умный человек или более умная машина), то с бОльшей долей вероятности я буду понят, поэтому мозг готов потратить усилия хотя бы один раз чтобы многословно выгрузить из себя поток сознания по необходимой теме (например мне нужен термин, но я банально забыл, но могу привести примеры), и либо в процессе прийти к нужным выводам и ИИ уже не пригодится, либо всё-таки ИИ даст первоначальный набор черновых вариантов для дальнейшего факт-чекинга. Пока выгружаешь из себя поток сознания, то задействована мелкая моторика пальцев (пишешь, печатаешь), либо движения языком (пишешь голосовуху для распознания в текст) которые способствуют мышлению. Бывает такое что даже промпт отправлять не нужно - пока формулировал промпт, уже достиг состояния good enough.
  • Убедиться что по каким-то вопросам даже ИИ лажает и спокойно уже тратить на это собственные силы (делать рисёрч, писать код имплементации чего-либо)

Какие ещё могут быть сценарии / приёмы, чтобы не попасться в ловушку?

  Развернуть 1 комментарий

Если человек смог воспользоваться устройствами и электронными мозгами и принял более эффективное решение, чем если без, — то вроде проблемы нет. Я вижу риски с переносом ответственности: если вдруг принятое решение окажется субоптимальным, то вроде это не я, а Гугл/gpt…

Мне кажется что вопрос упирается в ответственность; как говорят отечественные предприниматели: «кто сидеть будет?».

Интересно, сохраняется ли полученная из Гугла информация в головах испытуемых? Если повторный кейс получится пройти более успешно, то в костылях есть смысл.

  Развернуть 1 комментарий

Не стану на этот раз гуглить значение термина "Умный". Попробую на интуетивном уровне пораскинуть мозгами.
Умным мы называем человека который с помощью ума рашает задачку. При этом он использует арифметику, графические методы, исчислительные методы и справочные материалы.

Если справочный материал находится в голове, то скорость выше, а точность ниже.

Теперь про точность. У меня за плечами 2 выученные специальности. Автослесарем я изучел погрешности и зазоры в механизмах. А на факультете физики мы вообще делали вычисления округлённые до порядка. И даже если посчитать точно, то есть приближения второго порядка, потом третьего порядка и так делее..

Иными словами правильных ответов не бывает - бывают приемлемые.

В сыром остатке получаем: умный человек пользуется чем-то (почему бы и не гуглом). Зачастую применяет "чужие" концепции. Т. е. методы придуманые другими, которые непонятно почему назвал правильными.
И всегда ошибается в результатах. Дальше идёт субъективная оценка, на сколько можно пренебречь ошибкой такой величины.
И это с понтманием, что сам метод может быть не подходящим в данном случае.

Так кто умнее? Тот чья обезьянка меньше разрушает?

  Развернуть 1 комментарий

Вот эти две мысли мне зашли!

Иными словами правильных ответов не бывает - бывают приемлемые.

Так кто умнее? Тот чья обезьянка меньше разрушает?

  Развернуть 1 комментарий
anton0xf Java разработчик 25 марта в 12:03

Мне кажется, что тут какие-то слишком далеко идущие выводы делаются из исследования. Уверен, что если провести аналогичное исследование, где вместо доступности Гугла разница будет в сложности вопросов в первой части, то те, у кого вопросы будут легче, точно так же будут выше оценивать свои способности.

Т.е. данное иссделование можно объяснить и так: люди склонны переоценивать свои способности, когда не сталкиваются со сложностями. А при ответе на справочные вопросы при помощи Гугла сложностям возникнуть мросто неоткуда

  Развернуть 1 комментарий
Жанна Предприниматель 25 марта в 12:09

Помните фильм "Москва слезам не верит"?
"Скоро не будет книг, не будет театра, будет одно сплошное телевидение". Странно сейчас звучит эта фраза, правда?

Мне кажется, что с ИИ очень похожая история. Если человек привык перекладывать решения на маму/папу/начальника/гуру/гугл/ии - он так и будет делать.

Он будет считать себя при этом умнее, чем он есть на самом деле? Так и пусть считает. Других он, скорее всего, будет подбешивать, но чем больше таких "умных", тем больше другие будут задумываться, стоит ли становиться аналогами. Чем глупее пример - тем больше он будет отталкивать (я, во всяком случае, на это надеюсь).

Аузан в некоторых интервью рассказывал об эксперименте, который несколько лет проводится в МГУ. Сильные студенты и ИИ: кто в каких задачах лучше.
Кратко можно посмотреть вот тут:

  Развернуть 1 комментарий

@gjroot, там по ссылке ничего про противостояние студентов и ии вроде нет. не то видео?

  Развернуть 1 комментарий

@anton0xf, все, что касается гуманитарных наук - это промежуточный вывод исследования. Не смогла найти в подробном формате (

  Развернуть 1 комментарий
anton0xf Java разработчик 25 марта в 12:14

ИИ опасен не сам по себе, опасность представляют те идиоты, которые, приписывая себе супер-способности ИИ, начнут раздавать другим людям советы, принимать критические решения и рисковать чужим благополучием...

Поддержу комментатора из Телеграма: у ИИ (которые LLM) пока суперспособности проявляются только в области перевода (и пр. смены стиля текста) и генерации больших объёмов текста, правда с малой насыщенностью смыслом, но зато часто содержащего разного рода ошибки. И даже с суммаризацией уже не всегда хорошо справляются.

Т.е. супер-способностей собственно и нет. Зато есть довольно распространённые нынче ожидания, что эти способности есть. И вот когда люди слишком полагаются на эти мнимые супер-способности (вроде способности самостоятельно запрограммировать веб-сервис), это уже действительно приводит людей к проблемам

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб