Meta представляет новую коллекцию моделей Llama 4
Запуск моделей пришёлся на выходной день
Компания Meta представила новую коллекцию моделей искусственного интеллекта, названную Llama 4, которая дополнила семейство Llama. В состав вошли четыре новые модели: Llama 4 Scout, Llama 4 Maverick и Llama 4 Behemoth. Согласно заявлению компании, все они были обучены на «большом объеме неразмеченных текстовых, графических и видеоданных», что позволяет им обладать «широкими визуальными возможностями».
Развитие открытых моделей от китайской лаборатории DeepSeek, которые показали уровень производительности, сравнимый или превосходящий предыдущие модели Llama от Meta, стимулировало ускорение разработки. Meta была вынуждена срочно изучать, каким образом DeepSeek удалось снизить затраты на их использование и развёртывание, такие как модели R1 и V3.
Модели Scout и Maverick открыто доступны на Llama.com и через партнеров Meta, включая платформу для разработки AI Hugging Face, в то время как Behemoth находится в процессе обучения. Meta сообщает, что её AI-ассистент, использующийся в приложениях WhatsApp, Messenger и Instagram, обновлён на базе Llama 4 в 40 странах. Пока мультимодальные функции доступны только в США и только на английском языке.
Некоторые разработчики могут столкнуться с ограничениями лицензии Llama 4. Использование и распространение моделей запрещено для пользователей и компаний, «расположенных» или с «основным местом ведения бизнеса» в Европейском Союзе, вероятно, из-за требований к управлению, наложенных законами о защите данных. Компании с более чем 700 миллионами активных пользователей в месяц должны запросить специальную лицензию у Meta, что компания может предоставить или отказать на своё усмотрение.
Meta сообщает в своем блоге, что модели Llama 4 ознаменовывают начало новой эры для экосистемы Llama. Это первая группа моделей, использующая архитектуру смеси экспертов (MoE), более эффективно работающую в плане вычислительных затрат для обучения и обработки запросов.
Модель Maverick, например, содержит 400 миллиардов общих параметров, из которых активно 17 миллиардов параметров через 128 «экспертов». Scout включает 17 миллиардов активных параметров, 16 экспертов и 109 миллиардов общих параметров. Внутреннее тестирование Meta показало, что Maverick превосходит модели такие, как GPT-4o от OpenAI и Gemini 2.0 от Google, в определённых задачах. Однако она не дотягивает до более мощных моделей, таких как Gemini 2.5 Pro и Claude 3.7 Sonnet от Anthropic.
Scout особенно хорош в задачи, такие как суммирование документов и анализ больших кодовых баз, обладая огромным контекстным окном — 10 миллионов токенов.
Интересно, что покамодели Llama 4 настроены давать более открытые ответы на «спорные» вопросы, что точит проблематику, связанную со смещением политических и социальных тем в AI. Некоторые из близких соратников президента Дональда Трампа указывали, что популярные AI-чат-боты цензурируют консервативные точки зрения. Однако борьба с предвзятостью в AI остаётся сложной технической задачей.
