Уровень закрытых API, только целиком внутри вашего контура. Разбирает многостраничные документы, пишет рабочий код и держит тон — плата за это карта от 80 ГБ и более скромная скорость. Берут, когда качество ответа дороже цены часа.
| MMLU | 86 | |
|---|---|---|
| GSM8K | 95,1 | |
| HumanEval | 88,4 |
Какая видеокарта нужна для Llama 3.3 70B?
Минимальная конфигурация — 1x A100: этого хватает примерно на 22 токенов в секунду. Для большего числа параллельных запросов и запаса по скорости берите 1x H200.
Сколько стоит аренда Llama 3.3 70B?
Час работы Llama 3.3 70B стоит от 186,75 ₽ до 754,84 ₽ в зависимости от выбранной конфигурации GPU. Оплата почасовая: вы платите за время работы сервера, а не за количество токенов.
Как обращаться к Llama 3.3 70B из своего кода?
После запуска вы получаете OpenAI-совместимый эндпоинт: подставьте выданный base_url в любой клиент OpenAI и указывайте модель llama3.3:70b. Менять код, написанный под OpenAI API, не нужно.
Данные остаются приватными?
Да. Llama 3.3 70B работает на выделенном GPU-сервере в закрытом контуре: запросы и ответы не уходят к вендору модели и не используются для обучения.
Какой контекст и лицензия у Llama 3.3 70B?
Llama 3.3 70B держит 16K токенов контекста за один запрос и распространяется под лицензией Llama 3.3 Community License — модель можно использовать в коммерческих проектах на своих условиях хостинга.