Событие это многие СМИ подали, начав с красочного графика: падение акций почти всех компаний из списка S&P 100 вслед за выходом китайской модели. Наверняка ведь произошло что‑то значимое, если (дальше — надрывным голосом) за считаные часы были стерты сотни миллиардов долларов!
Никакой особой драмы тут, конечно же, нет, и это типичная реакция фондового рынка: вслед за проседанием акций одного из крупных игроков тянется весь сектор. Да и падение это для большинства участников где‑то в пределах нескольких процентов — сравнимо со среднесуточными колебаниями.
Поэтому переходим сразу к той «крупной компании», а именно к Nvidia. Ее акции успели лишиться до 17% цены, что очень даже ощутимо. Главный вопрос: при чем тут вообще Nvidia? Он интереснее, чем кажется на первый взгляд, и играет во всей этой истории центральную роль.
Первое же, что узнаёшь, начав читать о фонде High-Flyer, где разработали DeepSeek, — это то, что ее основатель Лян Вэньфэн успел закупить 10 тысяч видеокарт Nvidia A100 аккурат до того, как США ввели ограничение на продажу в Китай решений такого класса. А последнюю версию DeepSeek тренировали уже на разрешенных Nvidia H800. Что‑то не очень‑то похоже на страшный удар для Nvidia, правда?
Что удалось сделать команде Вэньфэня и не удалось пока никому другому — это использовать наискромнейшие по меркам крупных ИИ‑компаний ресурсы, чтобы обучить языковую модель, сравнимую во всех тестах с самыми крутыми аналогами. Создание модели обошлось High-Flyer в 6 миллионов долларов, тогда как OpenAI ухлопала на GPT-4 в районе 100 миллионов.
Как такое возможно? Злые языки поговаривают, что китайская модель просто передирала вывод ChatGPT и обучалась на нем. Этот метод называется «дистилляция», и его широко используют для получения новых моделей из существующих. Например, есть множество версий Llama, сделанных таким образом (только Llama опенсорсная, а вот пользовательское соглашение OpenAI просит так не делать).
С другой стороны, разработчики DeepSeek опубликовали подробный отчет, где рассказывают о своих методах балансировки нагрузки и более эффективной тренировки модели частями. Что в целом не исключает и «списывания домашки» у OpenAI, но дело явно не в этом. Если бы в OpenAI знали более эффективный метод тренировки, то использовали бы его сами.
Впечатляет, что и сама модель тоже в результате получилась более эффективной. Токены ее API обходятся примерно в 30 раз дешевле токенов OpenAI, то есть экономия просто огромна!
И последний мощный удар — модель распространяется свободно. Можно скачивать и запускать на своей видеокарте или даже взять одну из дистиллированных версий и гонять на любом компьютере (я это уже проделал — 14b неплохо работает на далеко не новом Mac mini с базовым M1).
Все это объясняет, чем могут быть недовольны инвесторы OpenAI, и уж тем более дает повод для волнения сотрудникам Meta и Anthropic. Модели топового качества становятся все доступнее и доступнее. Настолько, что их уже делают в прокуренных китайских подвалах (картинка из сериала «Кремниевая долина» сама встает перед глазами). Сохранять лидерство в таких условиях будет все сложнее.
Но что же все‑таки взволновало инвесторов Nvidia? Казалось бы, надо радоваться: модель тренируют на ее видеокартах, а потом используют на ее же видеокартах. Да, карт теперь нужно меньше, но доступность в таких случаях вовсе не означает, что потребление снизится.
Я могу представить два варианта событий, которые потенциально чем‑то угрожают росту Nvidia или как минимум пугают трейдеров.
Вариант первый — «зима близко». До сих пор мир искусственного интеллекта жил по еще более суровым законам природы, чем Вестерос. Есть «лето» — когда открытия делаются одно за другим, а деньги текут рекой — и «зима» — когда ничего особенного не происходит и эксперты разбредаются кто куда в поисках лучшей судьбы. Зимы при этом длятся десятилетиями, а лето наступает всего на пару лет.
В нашем случае это бы значило, что современные модели достигли или почти достигли максимума своих возможностей. Дальше рост в этой области будет обеспечен только новыми применениями или удешевлением. И так — пока вычислительные ресурсы не удастся вывести на принципиально другой уровень, например с изобретением новой элементарной базы.
Учитывая, что акции Nvidia и так сильно перегреты, даже небольшая вероятность такого развития событий будет наносить удар по их цене. Но вероятность именно что небольшая — пока что нет никаких объективных причин предвещать скорый выход на технологическое плато. Оптимизация — это не финал, и вполне можно ждать следующего витка, на котором повысят качество.
Любой, кто хоть немного знаком с технологиями, знает, что нужда в вычислениях — это всегда растущий график. Сегодня ресурсы подешевели благодаря новым чипам или более хитрым алгоритмам, а завтра считать все равно понадобится вдвое больше. Даже если качество расти больше не будет, доступность привлечет новых потребителей. Аппетиты рынка тут практически бесконечны.
Второй опасный для компании сценарий — это появление на сцене китайских производителей GPU. Вот это как раз вполне реально и даже, наверное, неотвратимо: карты китайской компании Moore Threads, основанной бывшим вице‑президентом Nvidia, уже потихоньку продаются.
Другая группка выходцев из Nvidia создала Biren Technology, которая в первую очередь целится как раз на рынок ИИ.
Эти планы, правда, были и так известны, и напрямую они никак не связаны с DeepSeek. Разве что можно немного пофантазировать и представить, как следующее поколение китайских нейросетей будет и создаваться, и работать на китайском железе. За DeepSeek последуют новые разработки, и тогда уже их могут и не сделать доступными всему миру. Только вот мир еще недостаточно сошел с ума, чтобы загружать в китайское облако что‑то ценное вроде кода разрабатываемых продуктов, тем более, что оно первым же делом впечатляюще протекло.
В общем, точно пока можно сказать только одно: скучно не будет. Сам список участников гонки ИИ еще не вполне определился, и нас, как всегда, ждет масса интересных вещей. И даже если современные модели вышли на плато по качеству ответов, популяризация и новые применения ИИ обеспечат нас новостями на годы вперед. Но об этом поговорим уже в другой раз.
