ИИ как собеседник

#пятничный_наброс

Время от времени в наших чатах поднимается дискуссия про то, как здорово использовать ИИ в роли источника кратких пересказов (что там было на встрече, о чем там пишут в статьях, как проявил себя кандидат на собеседовании и т.п.) или, что ещё интереснее, как возможность поговорить с автором книги.

Идея проста - ты загружаешь в LLM книгу и говоришь: "Ты - Марк Аврелий, написал вот такую книгу размышлений, давай с тобой поговорим про стоицизм".

В одном из чатов, где мы обсуждали утрату способности работать со сложными текстами, у одного из участников дискуссии был тезис:

Теперь можно скормить ИИ любой зубодробительный текст и попросить выдать ту же информацию, но уже предварительно "переваренную" для конкретного читателя - например, я попросил грок выдать основные тезисы философии Платона в изложении для программистов (кстати, рекомендую).

  — Пей пиво на заре, пей пиво перед сном, пей пиво на траве, пей пиво за столом!
  — Хороший вы диетолог, я вас всем друзьям советую.

Или на конференциях HR-ов я встречал оптимистичные описания того, как LLM оптимизируют их работу. Например, они загружают записи интервью, а нейросеть кратко описывает на какие вопросы и как отвечал кандидат.

И вроде всё хорошо. Вроде все довольны! Офигенная технология, но...

А кто сказал, что она правильно работает?... Кто и как это проверял?...

Я прошу пересказ, она мне выдает какой-то текст. Я просматриваю текст, и он не вызывает у меня никаких возражений... Наверное, шаман-машина все верно отработала. Так?

А что, если... Ну так... Смело предположим... Выдача LLM не вызвала никаких возражений просто потому, что это было знакомо.

Ещё раз и медленно:

Не потому, что было понятно, а потому что было знакомо!

(см. статью "Как ты понял, что ты понял")

А было знакомо, потому что LLM обучалась на тех же статьях в интернете, которые и я читал. Что если кандидат на собеседовании (или Платон в книге) говорили совсем не это, а LLM просто выделила какие-то ключевые слова и дальше обернула их в привычные для меня шаблонные фразы, которые часто встречались в интернете рядом с этими словами?... Кто пробовал проверить пересказ? Понятно, не у Платона, но хотя бы у кандидата?...

А я пробовал...

Планирую я тут кое-какое исследование (скоро приду с просьбой заполнить опросник) и решил "сэкономить время". Мне нужен был список практик из книги "Путь джедая". Просто список приемов, которые автор книги (если кто не в курсе, то автор - это я) рекомендует выполнять регулярно для того, чтобы повысить свою продуктивность.

И он выдал... Набор стереотипных рекомендаций, и штампов, собранных по интернету. На сколько мне позволяло воображение, я представил себя в роли новичка в теме, посмотрел на выдачу и понял:

Книга - отстой, в ней нет ничего нового, и вообще сборник банальных абстрактных советов про успешный успех

Ну как бы я представляю, какие мысли были в голове у автора. И вот вообще не те, что выдали Chat GPT, Claude... DeepSeek вроде хорошо начал, по крайней мере меньше выдумывал, но только первые 5 практик, а дальше пошло то, что убедительно звучит, но вообще не то, что я имел в виду.

Кстати, если вы используете LLM для того, чтобы посмотреть итоги совещаний или собеседований, как часто у вас возникало чувство, что коллеги обсуждают одно и то же по многу раз (поэтому не буду ходить на совещания, а буду только по диагонали просматривать пересказы LLM), а кандидаты какие-то все одинаково тупые (ну и хорошо, что я не теряю время на личное присутствие на этих интервью).

Наверное, в этой истории есть какая-то мораль, я не знаю...