Эдди Османи из команды Claude Code в Anthropic написал большой текст о том, как мы постепенно передаём ИИ не только работу (о том, что можно доверить ИИ, а что нельзя, мы писали отдельно), но и собственное мышление.
Проблема, как ни странно, в том, что модели становятся лучше. Они всё реже допускают очевидные ошибки, пишут убедительно и выдают готовые результаты за секунды. Проверять их скучно, особенно когда предыдущие десять ответов были правильными.
Османи описывает три стадии отношений с ИИ.
1. Когнитивная разгрузка. Ты делегируешь задачу, но понимаешь результат и отвечаешь за него. Всё отлично.
2. Откладывание суждения. Ответ модели становится основой для дальнейшей работы. Ты уже не проверяешь исходную гипотезу.
3. Когнитивная капитуляция. Результат ИИ незаметно превращается в твоё собственное мнение. Проверять его даже не приходит в голову.
Последний термин придумали исследователи Уортонской школы бизнеса. По их мнению, переход между стадиями почти незаметен.
Сначала внимательно читаешь сгенерированный код. Потом просматриваешь по диагонали. Потом просто убеждаешься, что тесты прошли. Через месяц выясняется, что система работает, но никто толком не понимает, как она устроена (в целом, с самим ллм так и произошло, как все работает внутри мы уже не знаем, слишком сложная система).
Османи называет это долгом понимания (по аналогии с долгом внимания, когда постоянно отвлекаешься). Рано или поздно его придётся возвращать.
Что он предлагает делать
1. Думать до обращения к ИИ. Прежде чем запускать агента, сформулируй собственную гипотезу. Даже неправильную. После убедительного ответа модели придумать альтернативное объяснение намного сложнее.
2. Проверять доказательства, а не отчёты. Зелёная галочка означает только то, что тест прошёл. Но тест вполне может быть написан с той же ошибкой, что и сама программа. Смотри, какие команды запускал агент, что они вернули и чего вообще не проверяли.
3. Спрашивать, какие решения ИИ принял за тебя. Например, какие допущения сделал, что исключил из задачи и какие требования переосмыслил. В красивом финальном отчёте этих подробностей обычно нет.
4. Требовать контраргументы. Если модель предложила убедительное решение, попроси другую модель его раскритиковать. Особенно когда речь о стратегии, деньгах или решениях, которые затронут других людей.
5. Учиться ставить задачи. Хороший промпт показывает, насколько хорошо ты сам разобрался в проблеме (о четырёх частях хорошего промпта мы писали отдельно). Если задача сформулирована невнятно, агент любезно додумает недостающие требования и принесёт готовый результат. Возможно, даже красивый. Правда, не совсем тот, который был нужен.
6. Иногда работать без ИИ. Османи советует хотя бы раз в неделю самостоятельно делать что-нибудь, навык чего не хочется потерять. А раз в месяц пересматривать список того, что ты перестал делать сам.
Есть у него ещё одна отличная мысль. Если агенты производят результаты быстрее, чем ты успеваешь их проверять, запуск ещё одного агента не повысит производительность. Он просто увеличит очередь непроверенной работы.
При этом Османи совершенно не призывает отказываться от агентов. Сам он активно ими пользуется. Выбор отеля вполне можно доверить машине. А вот инвестиционные решения, архитектуру продукта или то, что затрагивает пользователей, лучше понимать самостоятельно.
Например, все тексты, где есть обращение от первого лица или есть мое мнение, я пишу сам. Если новость или дайджест, то всегда читаю, но максимум редактирую.