**
Наткнулся на ретвит СЕО YCombinator Гарри Тана. Он там устанавливает локальную и довольно мощную модель на макбук. Постарался разобраться, как такое возможно и какое качество работы дает такая моделька:
Сальваторе Санфилиппо (он же antirez) — итальянец, в 2009-м написавший Redis. Это одна из самых популярных баз данных в мире, на ней работают X, GitHub и тысячи сервисов. Сальваторе вёл проект 11 лет, потом ушёл.
На прошлой неделе он выложил программу ds4. Она запускает китайскую AI-модель DeepSeek V4 прямо на ноутбуке. Без интернета, без подписок, без облака. В инструкции antirez сразу честно пишет: «Без AI этого бы не было. Кому не нравится AI-код — это не для вас».
16 тысяч строк сложного кода написаны вместе с GPT-5.5. Но antirez не «попросил ChatGPT написать программу». За архитектуру и отладку он отвечал сам. AI писал рутинные штуки под его руководством. Без 30 лет в программировании, вероятно, ничего бы не получилось.
За счёт чего модель в принципе влезла в ноутбук?
Веса сжаты в 4 раза. Сжимаются не все, а только те части, где это безопасно. Критические участки остаются в полной точности — поэтому качество почти не страдает.
Рабочая память сессии живёт на SSD, а не в оперативке. Apple-овский SSD быстрый, и это позволяет загрузить в модель миллион токенов контекста за раз. Для сравнения: миллион токенов — это книга страниц на 700, которую модель удерживает в голове целиком.
Узкая специализация. Никаких универсальных абстракций. Программа умеет только гонять одну модель на одном железе. Зато относительно быстро.
На MacBook Pro M3 Max модель выдает 26 слов в секунду, на Mac Studio M3 Ultra — 36. Это не быстро, но достаточно для работы с кодом. Сам antirez говорит: качество нормальное, инструменты вызываются надёжно. Независимой проверки пока не было.
Как попробовать?
Если есть MacBook Pro или Mac Studio со 128 ГБ памяти — да. Скачиваешь с GitHub, компилируешь, тянешь модель с Hugging Face. На обычных ноутбуках не запустится: только Apple Silicon. Цена входного билета около $5000 за Мак.
Два года назад модель уровня GPT-4 стоила миллиарды долларов и работала только в дата-центрах. Сегодня модель того же уровня помещается на ноутбук и запускается одним человеком за две недели.
Через два года она поместится на телефон.
Иногда вижу комментарии, зачем вообще нужен локальный AI. Ну он условно бесплатный, но самое главное, что никто не видит твою переписку, твой код, твою медицинскую историю. Каждая беседа с ChatGPT сейчас отправляется в OpenAI и хранится у них. Каждый запрос к Claude уходит к Anthropic. ds4 показывает, что модели, которые умеют столько же, скоро будут работать у вас на устройстве.
А для индустрии вывод проще. Опытный программист с AI-помощником за две недели делает то, на что раньше нужна была команда из десяти человек на квартал.
Главные победители — опытные специалисты. Главные проигравшие — джуны, у которых пока нет 30 лет за плечами.