Meta представила Llama 3: новая эра открытых языковых моделей
Meta выпустила Llama 3 — самую мощную на сегодня открытую LLM с параметрами до 70B.
Meta не перестаёт удивлять: на сцену выходит Llama 3 — третье поколение их открытых языковых моделей. На этот раз компания замахнулась на серьёзные объёмы: доступны версии с 8B и 70B параметров, а впереди — модель с 400B+.
Что нового? Llama 3 может похвастаться улучшенным токенизатором, который эффективнее обрабатывает тексты, и значительно расширенным контекстным окном (до 8K токенов). По заявлениям Meta, модель превосходит предшественницу (Llama 2) практически по всем бенчмаркам, особенно в задачах рассуждения и кодирования.
Для разработчиков это настоящий подарок: Llama 3 доступна под лицензией, допускающей коммерческое использование, и уже интегрирована в популярные фреймворки (Hugging Face, vLLM, Ollama). Генерация кода, написание документации, анализ логов — всё это можно делать локально, без привязки к облачным API.
Meta также выпустила руководство по безопасному использованию и набор инструментов для тонкой настройки, что особенно важно для enterprise-проектов. Если вы хотели попробовать свои силы в fine-tuning большой модели — сейчас самое время.
Комментарий студии METABYTE: Llama 3 — отличный кандидат для встраивания в собственные продукты, особенно если вам нужен контроль над данными и затратами. Мы уже тестируем её в задачах генерации интерфейсов — результаты впечатляют.