MoE-архитектура: в памяти лежат все 47 млрд параметров, но на каждый токен работает лишь часть — отсюда скорость уровня 13B при качестве заметно выше. Хороший компромисс, если нужна пропускная способность.
| MMLU | 70,6 | |
|---|---|---|
| GSM8K | 74,4 | |
| HumanEval | 40,2 |
Какая видеокарта нужна для Mixtral 8x7B?
Минимальная конфигурация — 1x A100: этого хватает примерно на 55 токенов в секунду. Для большего числа параллельных запросов и запаса по скорости берите 1x H200.
Сколько стоит аренда Mixtral 8x7B?
Час работы Mixtral 8x7B стоит от 186,75 ₽ до 754,84 ₽ в зависимости от выбранной конфигурации GPU. Оплата почасовая: вы платите за время работы сервера, а не за количество токенов.
Как обращаться к Mixtral 8x7B из своего кода?
После запуска вы получаете OpenAI-совместимый эндпоинт: подставьте выданный base_url в любой клиент OpenAI и указывайте модель mixtral:8x7b. Менять код, написанный под OpenAI API, не нужно.
Данные остаются приватными?
Да. Mixtral 8x7B работает на выделенном GPU-сервере в закрытом контуре: запросы и ответы не уходят к вендору модели и не используются для обучения.
Какой контекст и лицензия у Mixtral 8x7B?
Mixtral 8x7B держит 32K токенов контекста за один запрос и распространяется под лицензией Apache 2.0 — модель можно использовать в коммерческих проектах на своих условиях хостинга.