Модель Google с аккуратным, «причёсанным» стилем ответа — заметно реже уходит в отсебятину и грубость. Контекст всего 8K, поэтому она про короткие задачи: ответы поддержки, письма, переписывание текста.
| MMLU | 71,3 | |
|---|---|---|
| GSM8K | 68,6 | |
| HumanEval | 40,2 |
Какая видеокарта нужна для Gemma 2 9B?
Минимальная конфигурация — 1x RTX4060TI: этого хватает примерно на 34 токенов в секунду. Для большего числа параллельных запросов и запаса по скорости берите 1x H200.
Сколько стоит аренда Gemma 2 9B?
Час работы Gemma 2 9B стоит от 27,83 ₽ до 754,84 ₽ в зависимости от выбранной конфигурации GPU. Оплата почасовая: вы платите за время работы сервера, а не за количество токенов.
Как обращаться к Gemma 2 9B из своего кода?
После запуска вы получаете OpenAI-совместимый эндпоинт: подставьте выданный base_url в любой клиент OpenAI и указывайте модель gemma2:9b. Менять код, написанный под OpenAI API, не нужно.
Данные остаются приватными?
Да. Gemma 2 9B работает на выделенном GPU-сервере в закрытом контуре: запросы и ответы не уходят к вендору модели и не используются для обучения.
Какой контекст и лицензия у Gemma 2 9B?
Gemma 2 9B держит 8K токенов контекста за один запрос и распространяется под лицензией Gemma Terms of Use — модель можно использовать в коммерческих проектах на своих условиях хостинга.