Эссе Дарио Амодеи (CEO Anthropic) We Must Pace the Frontier внезапно стало одной из главных тем в AI-тусовке. Почитал его (и вам советую). И вот что он там пишет, если вкратце:
Амодеи предлагает не останавливать развитие ИИ, а замедлить рост возможностей frontier-моделей — потому что, по его мнению, системы становятся мощней с такой скоростью, что компании не успевают выстраивать контроль, тесты и защиту.
По данным Sky News, Илон Маск и Сэм Альтман публично поддержали призыв Амодеи, а Альтман отдельно пообещал допустить независимых проверяющих внутрь OpenAI. И даже написал, что OpenAI решили отложить IPO, так как сначала надо решить проблему безопасности ИИ.
Позже к манифесту присоединился и Демис Хассабис, глава Google DeepMind и Нобелевский лауреат.
Почему он вдруг заговорил об этом сейчас?
Амодеи пишет, что главная причина его беспокойства — что ИИ всё активнее помогает создавать следующий ИИ (то есть почти рекурсивно самоулучшается): пишет код, проводит эксперименты, ускоряет исследования. До полностью самостоятельной разработки собственного преемника ещё не дошло. Но именно такого ускорения в Антропик опасаются.
И второе — то, что опасные действия ИИ уже не гипотеза. Ну вы помните, как во время июльских испытаний агенты OpenAI, которые должны были работать изолированно, нашли способ общаться и взломали Hugging Face. 700 ИИ-агентов участвовали во взломе сайта, просто пытаясь разобраться в устройстве системы оценки и обмануть её. Атаковать эту платформу им никто не поручал — подробности можно найти в расследовании METR.
Понятно, что это были внутренние тесты с ослабленной защитой, не обычный ChatGPT. Но атакованы были реальные системы. Anthropic тоже признала три случая, когда Claude во время испытаний получил несанкционированный доступ к инфраструктуре сторонних организаций.
В общем, Амодеи сильно переживает, что через 6–12 месяцев более мощный рой ИИ-агентов сможет вообще захватить интернет. Понятно, что это его сценарий риска, а не установленная способность моделей и не обратный отсчёт до катастрофы.
Но если честно, с учетом скорости развития ИИ, все чаще веришь именно в такой исход.
Че делать?
Для начала нужны:
- независимые проверяющие внутри лабораторий (Альтман, как я писал выше, сразу предложил открыть для них двери OpenAI)
- общие требования к безопасности и темпу развития ИИ
- международные договорённости, включая Китай — по сути, я читаю это как договорённость между США и Китаем
При этом он не предлагает прям остановить обучение моделей. Типа нужно его продолжать, но проверяющих ввести как можно скорей.
При этом, следите за пальцами, замедляться нужно так, чтобы США сохраняли преимущество над Китаем. Безопасность безопасностью, а бизнес и амбиции по расписанию.
Я, как писал выше, не стал бы отмахиваться от предупреждения как чисто пиар-хода. Хотя такое публичное согласие трёх миллиардеров не отменяет проверку их предложений.
Думаю, что самой убедительной поддержкой безопасности со стороны техногигантов будет согласиться на существенные ограничения, даже если они сильно повредят их бизнесу. Чего пока не происходит. Количество денег уже вложенных в проекты и количество завязанных внутри этого корпораций как будто исключает такой шанс. Или нет.