Тот случай, когда 7B уже не хватает, а 70B ещё не нужна. Заметно аккуратнее в коде и математике, реже выдумывает факты, при этом всё ещё живёт на одной карте — без шардинга и танцев с несколькими GPU.
| MMLU | 83,3 | |
|---|---|---|
| GSM8K | 95,9 | |
| HumanEval | 88,4 |
Какая видеокарта нужна для Qwen2.5 32B?
Минимальная конфигурация — 1x RTX5090: этого хватает примерно на 38 токенов в секунду. Для большего числа параллельных запросов и запаса по скорости берите 1x H200.
Сколько стоит аренда Qwen2.5 32B?
Час работы Qwen2.5 32B стоит от 110,18 ₽ до 754,84 ₽ в зависимости от выбранной конфигурации GPU. Оплата почасовая: вы платите за время работы сервера, а не за количество токенов.
Как обращаться к Qwen2.5 32B из своего кода?
После запуска вы получаете OpenAI-совместимый эндпоинт: подставьте выданный base_url в любой клиент OpenAI и указывайте модель qwen2.5:32b. Менять код, написанный под OpenAI API, не нужно.
Данные остаются приватными?
Да. Qwen2.5 32B работает на выделенном GPU-сервере в закрытом контуре: запросы и ответы не уходят к вендору модели и не используются для обучения.
Какой контекст и лицензия у Qwen2.5 32B?
Qwen2.5 32B держит 32K токенов контекста за один запрос и распространяется под лицензией Apache 2.0 — модель можно использовать в коммерческих проектах на своих условиях хостинга.