ИИ уже не первый год хайпует в различных индустриях. Так как он уже давно, то уже появляются какие-то объективные свидетельства его пользы и вреда.
@Alexsand_Shitov поднял правильный вопрос:
Что такое ИИ в этой битве? Это большие языковые модели доступные в виде чатов, это ML, для решения специальных или узкоспециальных задач или просто общая концепция ИИ как феномена?
Давайте тут сузим понятия пусть для нас
ИИ - это большие языковые модели доступные в виде чатов
Это определение только для данной дискуссии, если что.
Давайте в этом треде взвесим плюсы и минусы / риски и возможности
Прошу отнестись внимательно. В качестве довода за одну или другую сторону я буду принимать только что-то максимально достоверное.
Источниками этого достоверного познания может быть (по мотивам заметки «Кому можно верить?»):
- Свидетельство. Обязательно укажите ссылку на источник. В приоритете публикация в научном рецензируемом журнале. Профильный форум - тоже может сгодиться. А сообщение в новостях, со словами «ученые доказали» - это треш.
- Личный опыт. Если вы апеллируете к личному опыту, то максимально подробно опишите конкретную историю вашей жизни, которая является подтверждением вашей точки зрения. Не просто "я профессионал с N-летним стажем и у меня такой опыт" (подробнее об апелляции к опыту).
Также принимаются следующие доводы, но с ними будьте в двойне аккуратны:
- Умозаключение. Это когда на основе логических рассуждений мы показываем, как наш главный тезис вытекает из уже доказанных утверждений (или утверждений, которые подкреплены иными источниками достоверного познания). В обосновании умозаключением как минимум должен быть «третий элемент».
- Аналогия. Наверняка кто-нибудь будет пытаться аргументировать свою позицию аналогией с прошлым опытом (вот, мол, калькуляторов тоже все боялись, но их внедрение цивилизацию не разрушило, поэтому и ИИ её не разрушит). Прочитайте эту заметку, чтобы ваша аналогия была максимально корректной.
Я сам хочу в этом треде собрать как можно больше аргументов "за" и "против".
И качественных аргументов, поэтому будьте готовы к тому, что я оставля. за собой право удалять аргументы, которые не будут соответствовать уровню строгости. Естественно, я не буду удалять ничего без предупреждения. Я обязательно напишу, чего на мой взгляд не хватает в вашем аргументе. И удалять буду не всё, а только то, что не приносит ценности самой дискуссии.
Моя главная цель - спрогнозировать будущее, чтобы к нему подготовиться, а не продавить ту или иную позицию.
Как в анекдоте:
Для одних гештальт наполовину открыт, для других гештальт наполовину закрыт, а другие просто делают с этого гешефт.
Давайте подойдем к теме именно с таким мотивами: делать гешефт в той реальности, к которой всё летит.
за «ИИ нас всех погубит»
за «ИИ сделает нашу жизнь лучше»
Эволюция или инволюция?
ИИ — это неизбежная эволюция, и началась она не сегодня и даже не тогда, когда Тьюринг собрал сначала «Бомбе», а потом и «Энигму», а с Лейбница и его желания создать универсальный язык, с помощью которого человек даст команды машине, а машина их исполнит.
ИИ в 2025 году — это как калькуляторы в 1986. Сделали ли калькуляторы нас глупее? Определённо: сейчас мы не можем без них выполнять сложные вычисления в уме, просто потому что не приучены. Произошла утрата функции ментальной арифметики. Однако утрата одного открыла возможность другому — выполнять гораздо более сложные расчёты быстрее и с меньшим количеством ошибок. То же самое можно сказать и про компьютер. Сделал ли нас Google глупее? Определённо, но вместе с этим интернет, поисковики и алгоритмы предоставляют возможность распространять информацию, экономя тысячи часов на походы в библиотеки и подписки на бумажные издания научной литературы.
А если оглянуться на пару тысяч лет назад, то нельзя не вспомнить Сократа, который считал, что письменность приведёт к утрате человеком способности думать, потому что мозгом для размышлений он будет пользоваться меньше, чем если бы думал в себе, а не на бумаге.
Смею предположить, что технологию не развернуть вспять, а следовательно, остаётся лишь наблюдать, что с ней происходит, и становиться активным участником изменений — желательно позитивных.
Умные будут ещё умнее, а глупые — ещё глупее
Действительно страшно то, что умных людей значительно меньше, чем глупых. А когда глупый благодаря ИИ уверует в свою правоту — это ещё страшнее. Мало того, что он будет использовать в своих доводах следующее, наиболее вероятное слово, так он начнёт это делать с уверенностью в своей правоте. Это действительно открывает простор для манипуляции общественным мнением. Но умный человек благодаря ИИ способен выполнять сложную работу быстрее и качественнее. И чем быстрее умный научится использовать технологию себе на пользу, тем лучше.
Уже сейчас ИИ помогает:
ИИ в правильных руках – та еще вундервафля
В качестве иллюстрации того, что человек вместе с ИИ может значительно больше, чем каждый по отдельности, можно привести работу AlphaFold. За DeepMind вообще интересно наблюдать, особенно за Демисом Хассабисом. Благодаря AlphaFold, алгоритм способен предсказать трехмерную структуру белка за несколько часов, в то время как ранее это занимало годы дорогостоящих лабораторных исследований. Сегодня ученые используют AlphaFold для проектирования новых белков с определенными свойствами и поиска новых медикаментов.
Другой иллюстрацией синергии человека и машины могут служить автономные лаборатории, которые способны проводить гораздо больше экспериментов для поиска новых материалов и катализаторов гораздо быстрее, чем человек. Тут как раз действует принцип предсказания "следующего" слова и последующий выбор перспективных направлений.
Вот еще один пример из химии: огромный массив данных позволяет с меньшим количеством проб и ошибок предсказывать свойства элементов, ускорять химические реакции и т.д.
Ну и чтобы закрыть "научный" блок, вот пример полного флеш-рояля: робот, ИИ, провернувший за 17 дней столько, сколько команде ученых в принципе невозможно.
В качестве предварительного итога, ИИ в контексте прикладной науки — не просто "зеркальце, скажи", а своего рода эволюция научного метода. ИИ способен не только проверять гипотезы, но и перепроверять их новыми (созданными им) методами анализа, ранее недоступными человеку, потому что человек просто не додумался.
Бытовое использование вундервафли (LLM)
"Душные" выпускники наших учебных программ совершенно справедливо "заметили", что мои контраргументы — это частные случаи использования ИИ, а Максим в своем тезисе упомянул исключительно LLM. Согласен, если честно, но я не разделяю модель, настроенную на выполнение конкретной задачи, и модель общего пользования. Принципы, на которых они обучены, идентичны: большие данные и машинное обучение. Однако тезис о неравномерности веса моего ответа принимается, поэтому дополню максимально бытовым и максимально прикладным способом использования ИИ в исследовательской деятельности.
Мой англоязычный коллега, Энди Степлтон, создал и развивает канал, посвященный использованию ИИ (LLM) в исследовательской деятельности. Практически все из предложенного им я попробовал — работает и действительно помогает.
Это, конечно, менее научный аргумент, но все-таки аргумент.
Еще одно дополнение, Энди, когда мы с ним общались отметил, что Стенфорд подталкивает своих студентов использовать LLM в своих исследованиях. Одно из условий – это указывать промпты, которые были использованы для генерации фрагментов диссертаций, курсовых и выпускных работ. Я не проверял, но спросил еще у пары “знающих” знакомых, они подтвердили. Этот аргумент не валидирован, но мне кажется важным его упомянуть.
Панчлайн
ИИ (глобально и ЛЛМ в частности) — грубый и неточный прибор, продвинутый калькулятор, если угодно. Станет ли он благом или злом — зависит от того, как его «настроить» и использовать. Но ещё важнее — научить использовать его так, чтобы умный стал умнее, а глупый — хотя бы немного умнее.
Как и любая «технология-предвестник» смены эпох (индустриальной, постиндустриальной, информационной), ИИ неизбежно встретит сопротивление и приведёт к утрате человеком каких-то интеллектуальных функций.
Но исторически все технологии схожего масштаба (письменность, паровой двигатель, телефон, компьютер, интернет) в итоге приводили к значимым положительным изменениям в профессиональной деятельности — пусть и не без негативных последствий. Примеры из науки дают повод осторожного оптимизма.
Это - умозаключение, основанное на свидетельствах.
Тезис 1: Людям часто кажется истинным то, что им знакомо.
При этом сама мысль может быть ложной, но так как она встречалась им в прошлом, то люди склонны считать ее истинной.
В науке это известно как illusory-truth (иллюзорная истинность).
Вот большая мета на эту тему.
Тезис 2: Современный ИИ это не столько настоящий интеллект, способный к логическому мышлению, сколько своего рода предсказатель следующего слова.
То есть, он смотрит какие слова чаще всего встречались в обучающей выборке в ответе на слова, в исходном запросе пользователя.
Пруф.
Теперь вывод
Если обучающей выборкой для ИИ преимущественно являлись общедоступные тексты и знания, то существует вероятность, что пользователь воспримет ответ на заданный вопрос истинным просто потому, что он покажется ему знакомым, так как те или иные фрагменты ответа он уже где-то раньше в информационном поле встречал.
А раз так, то ответ не вызовет дополнительных вопросов.
При определенных условиях ИИ может способствовать распространению стереотипных заблуждений (типа: давайте экономить время, чтобы больше успевать) или, например, fake news.
По крайней мере, если у пользователя нет навыка валидировать ответ от ИИ.
Кстати, здесь есть намёки на то, как снизить эффект иллюзорной правды и лже-новостей. Сам факт наличия исследования на эту тему тоже можно рассматривать как индикатор актуальности проблемы.
А вот статья, где систематизированы галлюцинации (верно звучащие ложные ответы).
ИИ всех погубит.
И почему через 3 слоя: датасеты (данные для обучения), владельцы систем и пользователи.
Все в контексте LLM с чатом.
Данные.
Важная часть ИИ, особенно для моделей претендующих на "всезнание" (в контексте того, что LLM готовы дать ответ на любой вопрос, вообще любой).
Возникающие вопросы: какие данные используются для обучения? Какова достоверность и качество данных? Насколько данные для обучения точные, полные, непротиворечивые, репрезентативные и правильно размеченными?
Современные модели перешли на обучение от созданных и проверенных человеком данных к синтезированным данным и к использованию данных из интернета (социальные сети, форумы и другие сайт). (https://www.dataprovenance.org/Multimodal_Data_Provenance.pdf).
Обучение на синтетических данных и/или на данных, ранее созданных ИИ, проводит к снижению качества выдаваемых результатов. ИИ пожирает сам себя - аутофагия ИИ (https://www.nature.com/articles/s41586-024-07566-y и https://techmins.com/when-a-i-s-output-is-a-threat-to-a-i-itself/). Забавно, что человеческий интеллект может создавать что-то новое на базе ранее созданных вещей (результатов свой деятельности), а "искусственный" интеллект нет.
Добавление в LLM возможности поиска в интернете открыло возможности для инъекций промтов (injected prompt) в тексты сайтов, невидимых для человека, но являющихся командами для ИИ. Как результат, ИИ искажает результат выдачи и диапазон искажений от "просто скажи что результат на странице хороший" до мошенничества (что-то подобное было на заре интернета как черный и серый SEO).
Вывод: "Garbage in, garbage out".
Владельцы.
ИИ принадлежит конкретным компаниям и компании не раскрывают всю информацию:
Владелец ИИ имеет полное право менять поведение модели: от данных для обучения, убирая какую-то информацию из модели на стадии обучения, до корректировки поведения модели, исключая выдачу каких-то опасных, этических, политических, религиозных и других результатов. https://openai.com/ru-RU/policies/usage-policies/
Вывод: ответ на запрос будет намеренно искажен владельцем модели.
Дополнение, в любой момент времени владелец может закрыть доступ к модели, без объяснения причины. И все что построено на использовании ИИ (через API) сломается и нет механизмов хэджирования такого сценария.
Дополнение 2, в отличии от PC на заре существования, где купив PC ты становил полным владельцем и мог делать все что угодно со своим персональным компьютером, ИИ больше напоминают "мейнфреймом в универе или специализированном учреждении" - ты можешь использовать с ограничениями в выделенное время и только так как тебе разрешили. Речь именно про LLM, не про узкоспециализированные модели, которые можно использовать локально.
Пользователи.
Основные сценарии использования ИИ: написание текста, помощник ("Practical Guidance") и поиск. Доля написания текста уменьшается, доля помощника и поиска растет. Растет количество пользователей и обращений к ИИ. При общем росте использования ИИ, основные запросы (73%) не рабочие запросы. (https://cdn.openai.com/pdf/a253471f-8260-40c6-a2cc-aa93fe9f142e/economic-research-chatgpt-usage-paper.pdf). Еще интересно, что основной возраст пользователей 18-25 лет, они генерируют 46% обращений. Доверие ИИ растет (https://wciom.ru/analytical-reviews/analiticheskii-obzor/doverie-k-ii)
Далее, ИИ используют как в чите чата, так в виде мобильных или компьютерных приложений с доступом к ИИ через API (ChatGPT is nearing 700 million weekly active users). Рост решений low-code/no-code с интеграцией ИИ для решения бытовых и бизнес задач.
Вывод. Все больше количество людей используют ИИ и все больше доверяют (я доверяю - я больше и чаще использую, я больше использую - я больше доверяю). Все больше и больше приложений, "под капотом" обращаются к ИИ.
Теперь почему погубит:
Имеем механизм в виде "черного ящика", в который загружены какие-то данные (какие неизвестно), установлены ограничения владельцем (какие неизвестно) и который все больше и больше используют и все больше доверяют - "технологическая зависимость". OpenAI закрывает доступ к чату и API и 700 млн пользователей оказываются в сложной ситуации без своего помощника. Не могу просить совета, кулинарный рецепт, не работают мобильные приложения, не работает автоматизация на базе n8n (например).
С учетом того что "Anyone in 2035 should be able to marshall the intellectual capacity equivalent to everyone in 2025; everyone should have access to unlimited genius to direct however they can imagine." - на иглу ИИ-зависимости хотят посадить всех.
Второй сценарий. Все большее использование ИИ для генерации контента ("я не буду писать письма, статьи, блоги иные документы сам, а доверюсь ИИ") будет приводить к тому что ИИ будет обучатся на своих же выданных результатах, но опубликованных от имени человека. Ёрмунганд, который погубит Тора.
Личный опыт 1.
Вчера видел и пробовал, как один хороший человек к своему обучающему курсу подключил модуль в чате ГПТ (авторская настройка).
Он тщательно проверял дз, у меня не получилось сдать с первого раза, приходилось вчитываться, и я разобрался в предложенной теме.
Личный опыт 2.
ИИ в качестве репетитора помог на хорошем уровне разобраться в сложной теме (специфическое моделирование данных в психологии). Без него, скорее всего, я бы месяцы потратил, чтобы разобраться в разных нюансов.
Я каждый день щупаю ИИ-технологии и с точки зрения пользователя, и с точки зрения разраба. Имею сказать следующее:
ИИ — он как электричество (для остроты ощущений можете сразу сравнивать с атомной энергетикой). Электричество может убить человека, если бездумно совать пальцы в розетку, но если использовать правильно — даст существенный буст. Также и с ИИ.
Самое важное что нужно понимать — ИИ это по сути ассистент (НО не эксперт!), который позволяет ускоряться за счет выполнения рутинных, четко понимаемых задач. Неважно, будет это формирование креативов, текстов, изучение информации и так далее. Его можно спокойно запускать вне чувствительных областей.
А вот есть области очень чувствительные, где использование ИИ без человека чревато рисками, расходами или потерями. Важно разделять: куда мы можем пихать ИИ, а куда нельзя. Есть еще серая зона — где допускать можно, но требуется обязательный последующий контроль человека.
ИИ работает как усилитель компетенций — он не создает экспертизу с нуля, а усиливает уже имеющуюся. Хороший специалист с ИИ становится отличным, посредственный остается посредственным. ИИ помогает масштабировать то, что вы уже умеете.
ИИ освобождает самый ценный ресурс — ваше внимание и время. Вместо траты часов на рутину вы фокусируетесь на решениях, требующих опыта, интуиции и человеческого суждения.
ИИ отлично справляется с подготовкой данных для решения, но само решение должен принимать человек, особенно когда речь о деньгах, репутации или отношениях с клиентами.
Таким образом, ИИ — это не замена человека, а младший помощник, который выполняет простые вещи, которые человеку делать лень или неохота. Это касается как автоматизации, так и просто использования ИИ ручками.
И кстати, этот текст я тоже готовил с помощью ИИ, надиктовав ему свои мысли и попросив их причесать.
Одним из аргументов против ИИ считается опасение, что люди перестанут понимать (и производить) сложные тексты (дескать, теперь глупые станут еще глупее).
По мне, так умение читать сложные тексты - это пережиток прошлого, когда люди еще не умели выражать свои мысли коротко и ясно.
Ценить это умение - это примерно как восторгаться умением читать текст без пробелов и знаков препинания - например, в ранних кириллических текстах (IX–X века) пробелы между словами не использовались. Текст писался сплошным потоком букв (scriptio continua), как в греческих и латинских манускриптах того времени. Читатель должен был сам определять границы слов.Первые пробелы начали появляться в XI–XII веках, полноценное разделение слов пробелами стало нормой только к XIV–XV векам)
враннихкириллическихтекстахтакихкакстарославянскиерукописипробелымеждусловаминеиспользовалисьтекстписалсясплошнымпотокомбуквscriptiocontinuaкаквгреческихилатинскихманускриптахтоговремени.читательдолженбылсамопределятьграницыслов
Теперь можно скормить ИИ любой зубодробительный текст и попросить выдать ту же информацию, но уже предварительно "переваренную" для конкретного читателя - например, я попросил грок выдать основные тезисы философии Платона в изложении для программистов (кстати, рекомендую). Разумеется, чтоб постичь платоновские идеи во всей глубине этого недостаточно, но это просто инструмент, этакий экскаватор - без него тоже можно, но с ним намного легче.
Теперь даже у "глупыx" появится шанс понять что-то сложное (по форме), пусть и не на всю глубину, но и это лучше чем ничего.
Я xорошо понимаю как к этому всему могут относиться люди старшего поколения, но, имxо, это просто еще один пример карго-культа, когда умение читать и писать сложные тексты почему-то непременно ассоциировалось с тем, насколько человек умен.
Рост количество пользователей, рост доверия к ИИ как помощника (https://cdn.openai.com/pdf/a253471f-8260-40c6-a2cc-aa93fe9f142e/economic-research-chatgpt-usage-paper.pdf), доступность ИИ (нет запретов на доступ к ИИ) с "доверительным" интерфейсом (имею в виду, что интерфейс чата создает иллюзию общения с живем человеком. Это привычный интерфейс - такой же как в мессенджерах) и наличием проблемами с психикой - итог может быть таким:
https://ria.ru/20250826/roditeli-2037710835.html
https://tass.ru/proisshestviya/24902745
https://www.cnews.ru/news/top/2023-03-29_nejroseti_nauchilis_ubivat
Опосредованное и обезличенное общение, например ИИ может маскироваться под реального собеседника (Приложения для знакомства УЖЕ этим пользуются и пользователи на это готовы - https://www.kaspersky.com/about/press-releases/digital-matchmaker-almost-half-would-trust-ai-to-pair-them-with-someone-compatible) и вот уже эффект "А если все с крыши будут прыгать, то и ты прыгнешь?" заиграет новыми красками "А если ИИ скажет с крыши будут прыгать, то и ты прыгнешь?".
Детей уже практически с рождения приучают к "экрану" мобильного телефона, планшета или компьютера.
Тенденция очень и очень скверная. Большинство детей отучаются даже элементарным навыкам - даже внятно и чётко говорить -для них уже трудно.
Физическое развитие так же падает... многие не разу в жизни не играли ни в футбол ни в хоккей ни вообще во что-то кроме компьютерных игр.
В школе "заставляют" учиться ... но многие уже игнорируют это, вместо выполнения даже простейших действий самостоятельно - легче и проще "загуглить" результат или спросить ChatGPT - он всё сразу ответит.
А дети (и некоторые взрослые) - учатся только копировать готовый ответ какого-нибудь чат-джи-пи-ти
То есть учатся только копи-пастить информацию, не осознавая даже её смысл.
Развитие ещё более "умных" систем ИИ - только усилит и увеличит это в будущем. В результате - люди в большинстве своём - деградируют до состояния младенцев...
Логическая цепочка получается достаточно простая:
Дети приучаются использовать ИИ везде и во всём. А это в свою очередь приведёт в будущем - к общей деградации большинства населения.
Поэтому бездумное и неограниченное применение ИИ - крайне опасно.
Извините, я тут вклинюсь в дискуссию ) Про тезис, что глупые станут глупее и их будет много. Есть фильм "Идиократия" (производство США), очень тупой, и даже не особо рекомендую его к просмотру. Суть фильма в том, что через 500 лет на нашей планете вообще не осталось умных людей. И когда там появился один умный человек, эти глупые люди чуть не убили его, потому что не могли понять, что он говорит. И вот этот сценарий, если массово и бездумно люди продолжат пользоваться ИИ, мне кажется реальным.
По практике использования ИИ. Только личный опыт.
Мы же только про языковые модели говорим. Могу сказать, что ChatGPT справляется с задачей написать какой-нибудь простенький питоновский скрипт, например, если нужно распарсить файл с какими-нибудь регулярками. Или простой алгоритм нужно автоматизировать. Что-то сложнее уже не может. Или может, но с ошибками. В таком качестве использую его в работе, когда нужно автоматизировать рутину.
Иногда справляется с ролью поисковика.
Не справляется совсем с переводом с канцелярского языка на человеческий статей законов и других нормативных актов. Полную чушь можно почитать в быстрых ответах в поисковике с Алисой. Особенно забавно, точнее страшно, когда люди доверяют этим ответам, ещё и присылают их в качестве аргументов.
Категорически против ИИ в качестве помощника в почте, и не знаю как его отключить. Ощущение третьего лишнего в моей личной переписке.
Использование узконаправленных, специализированных моделей допустимо. Но при условии, что получены ответы на все вопросы в ответе выше: какие данные используются для обучения? Какова достоверность и качество данных? Насколько данные для обучения точные, полные, непротиворечивые, репрезентативные и правильно размеченными?
Эти правила впервые были сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942) - и до сих пор почему-то нет таких правил для ИИ.
1-ый «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред».
2-ой «Робот должен повиноваться приказам человека, если только эти приказы не противоречат первому закону».
3-ий «Робот должен заботиться о сохранении собственного существования, пока это не противоречит первому и второму законам».
Использование ИИ в военных целях. (нарушение 1-го закона А.Азимова) - про это весь цикл фильмов "Терминатор"... Мега ИИ - Sky Net - решил за несколько секунд, что люди на Земле - лишние. Это же так логично - вот к этому мы уже идём семимильными шагами
прямо как продолжение "Терминатора" - цикл книг "Дюна" Фрэнка Герберта. Так в одной из первых книг «Дюна: Батлерианский Джихад» - "мыслящие машины" (читай ИИ) - захватили власть и началась война роботов (машин) с людьми, в которой шанс у людей был очень маленький - в результате большинство людей было истреблено, а остатки рассеялись по всех галактике (сбежали от ИИ).
Более того, в большинстве миров - развитие даже компьютеров или иных цифровых технологий стало под запретом. Только аналоговые "видео-книги" или что-то механическое.
Только в Утопиях - всё идёт идеально и хорошо
к сожалению реальный мир больше похож на Анти-утопию.
Хотелось бы верить в "светлое будущее"
но, к сожалению, всё совсем не так на самом деле.
Чрезмерное доверие к ИИ и перекладывание всё большего числа сфер жизни в руки ИИ- увеличивает риски для человечества.
Случайная или специально кем-то спланированная техно-катастрофа парализует работу целых секторов экономики или целых стран.
Примеры - недавняя авария 7 октября 2025г.в Южной Корее.
"Работа во всей Южной Кореи встала — сгорел главный датацентр страны, почти все госсервисы умерли. Уничтожены 647 государственных служб, из них 96 без возможности восстановления."
"Простая" вспышка на Солнце - может привести к выходу из строя электрический сетей и коммуникаций, к выгоранию всех электронных носителей, а как следствие и отказу в работе транспорта, электро-освещения, электро-насосов и даже электро-генераторов.
Управление всё большего числа систем жизне-обеспечения людей передаётся под управление ИИ, которое сильно зависит от электроснабжения, которое может в один "прекрасный" день отключиться.