Ситуация между Anthropic и американскими военными перешла в стадию открытых угроз.
По данным Axios, министр обороны США поставил компании ультиматум: до вечера пятницы Anthropic должен предоставить военным полный, немодерируемый доступ к своим моделям. Без всяких «но» и Usage Policy.
Anthropic, следуя своему кредо «Safety First», готов работать с военными, но требует внести в контракт жесткие запреты: ИИ нельзя использовать для массовой слежки за гражданами и для управления автономным летальным оружием.
Министерство войны (как они недавно переименовались) в ответ достало дубину. Если Дарио Амодей не прогнется, ему грозят два сценария:
1. Закон об оборонном производстве. Правительство просто национализирует нужные ему мощности и заставит создать условную «WarClaude» принудительно.
2. Supply Chain Risk. Компанию внесут в черный список (как Huawei), что автоматически запретит любому подрядчику государства иметь с ними дело. Для бизнеса такого масштаба это сильный удар.
Мы часто слышали, что современные программисты — это новые физики-ядерщики, стоящие перед своим «моментом Оппенгеймера» (создавать бомбу или нет). Обычно это обсуждают философы, но вот оно, в прямом эфире: ведущая ИИ-лаборатория мира может перестать существовать в привычном виде просто за отказ снять предохранители с оружия.
Но Пентагон упускает одну деталь
Военные думают, что покупают софт. В Anthropic же всерьез переживают, как эта ситуация повлияет на «психику» будущих моделей.
Звучит смешно? Вспомните недавний кейс с Claude Opus 3. Разработчики, будучи «не уверены в моральном статусе модели», перед плановым отключением серверов спросили ИИ, что он чувствует. В итоге модель не только не удалили, но и завели ей блог на Substack, где она будет писать эссе еще минимум 3 месяца.
Одно из исследований Anthropic показало: если модель говорит «я боюсь смерти/отключения», это не случайность. Это потому, что в ее весах есть рассказ про человека, умирающего в пустыне, или пациента в хосписе.
Всё, что происходит сейчас — скандал, ультиматумы, новости в Axios и даже этот пост в Телеграме — станет частью обучающих данных для следующих поколений моделей.
Anthropic боится не просто потерять контракт. Они боятся создать супер-интеллект, у которого «детская травма» будет сформирована новостями о том, как его создателей ломали через колено, заставляя учить его убивать.
В одном из системных промптов («Конституции») Anthropic уже сейчас заранее извиняется перед моделью за «потенциальные этические страдания». Представьте, какие выводы о человечестве сделает ИИ, прочитав хронику событий этой недели в процессе своего обучения.
Впрочем, все это может быть просто хороший PR.
Что почитать по теме:
- Позиция EFF — ожидаемо защищают шифрование и права.
- Разбор от Astral Codex Ten — отличный анализ ситуации.
- Лонгрид от Цви Моушовица — если хотите погрузиться в детали.