Самая обкатанная открытая модель: под неё написана половина туториалов, LoRA-адаптеров и обвязок в интернете. Хорошо держит длинный диалог и почти не требует подбора промптов — берите, если важна предсказуемость и экосистема.
| MMLU | 69,4 | |
|---|---|---|
| GSM8K | 84,5 | |
| HumanEval | 72,6 |
Какая видеокарта нужна для Llama 3.1 8B?
Минимальная конфигурация — 1x RTX4060TI: этого хватает примерно на 34 токенов в секунду. Для большего числа параллельных запросов и запаса по скорости берите 1x H200.
Сколько стоит аренда Llama 3.1 8B?
Час работы Llama 3.1 8B стоит от 26,99 ₽ до 754,84 ₽ в зависимости от выбранной конфигурации GPU. Оплата почасовая: вы платите за время работы сервера, а не за количество токенов.
Как обращаться к Llama 3.1 8B из своего кода?
После запуска вы получаете OpenAI-совместимый эндпоинт: подставьте выданный base_url в любой клиент OpenAI и указывайте модель llama3.1:8b. Менять код, написанный под OpenAI API, не нужно.
Данные остаются приватными?
Да. Llama 3.1 8B работает на выделенном GPU-сервере в закрытом контуре: запросы и ответы не уходят к вендору модели и не используются для обучения.
Какой контекст и лицензия у Llama 3.1 8B?
Llama 3.1 8B держит 32K токенов контекста за один запрос и распространяется под лицензией Llama 3.1 Community License — модель можно использовать в коммерческих проектах на своих условиях хостинга.