Когда свой GPU-сервер дешевле API для LLM?

Стоимость инференса LLM через API зависит от числа токенов и тарифов провайдера. У своего сервера, в том числе арендованного, основные расходы идут за время работы GPU и сопровождение. При редких запросах API обычно проще обосновать по бюджету. При устойчивой нагрузке сервер может выйти дешевле, если одна конфигурация справляется с пиком и выдерживает нужную задержку.

Приведите обе схемы к стоимости за месяц

Для API раздельно посчитайте входные и выходные токены. Обозначим их месячный объём в миллионах как I и O, а цены за миллион как Pвх и Pвых. Тогда месячная стоимость равна I × Pвх + O × Pвых. Если часть входных токенов тарифицируется как кэшированная, посчитайте её отдельно по соответствующей ставке. При наличии добавьте платные инструменты, минимальный платёж и другие позиции из счёта.

Для сервера умножьте цену конфигурации за час на оплачиваемое время. Добавьте хранение, сетевой трафик, резервные инстансы и сопровождение, если эти расходы возникают. Для нескольких конфигураций сложите их стоимость. У круглосуточного сервера за 30 дней набегает 720 оплачиваемых часов, даже если часть времени он ждёт запросы. Если сервер можно выключать между задачами, берите реальное число оплаченных часов, включая запуск и прогрев. Если вы хотите арендовать LLM вместе с GPU на Qudata.ai, подставьте в формулу ставку для выбранной конфигурации.

Найдите точку безубыточности на своём профиле трафика

Допустим, на три входных токена приходится один выходной. При условных ценах 20 ₽ за миллион входных и 60 ₽ за миллион выходных средняя ставка API составит 30 ₽ за миллион суммарных токенов. Если сервер стоит условные 60 ₽ в час и включён весь 30-дневный месяц, его аренда обойдётся в 43 200 ₽. Разделите 43 200 ₽ на 30 ₽ и получите порог 1 440 млн токенов за месяц. Это около 556 суммарных токенов в секунду в среднем за оплачиваемое время.

В таблице сравниваются два профиля при той же пропорции входа и выхода. Все цены условные. Сумма для сервера включает только круглосуточную аренду одного инстанса.

Во втором сценарии запас в пользу аренды составляет 10 800 ₽ в месяц. Если хранение, резерв и работа команды достигают этой суммы, преимущество исчезает. В первом сценарии можно пересчитать аренду под запуск по расписанию, если задачи допускают ожидание. Для сервиса с жёстким временем ответа учитывайте, сколько мощности придётся держать готовой к всплеску.

Проверьте, способен ли сервер пройти рассчитанный порог

Порог в токенах — условие по цене. Для проверки мощности прогоните типичные запросы и длинные промпты с рабочим распределением нагрузки. Запишите число успешных запросов, время до первого токена и 95-й процентиль общей задержки. Сохраните пропорцию входных и выходных токенов из расчёта и измерьте пропускную способность при той интенсивности, на которой сервер ещё выдерживает ваш лимит задержки. Средние 556 токенов в секунду из примера нельзя сравнивать со скоростью генерации одного ответа. У входных и выходных токенов разная вычислительная стоимость, а очередь в пиковый час меняет задержку.

Сопоставьте качество ответов на одних и тех же задачах. Если API и арендованный сервер используют разные модели или токенизаторы, посчитайте стоимость одной успешно выполненной задачи. Включите повторы и долю ошибок. Если первый инстанс не выдерживает пик, подставьте в расчёт стоимость всей нужной конфигурации, затем сравните её с API. Если вы разворачиваете модель сами, можно сравнить ставки аренды GPU на Qudata.ai и подставить цену подходящего инстанса в расчёт.