Как компании снижают расходы на ИИ с помощью открытых моделей

Uber потратила годовой ИИ-бюджет за первые три месяца. Затем команда снизила цену запроса на 34%, сессии на 52% и удержала расходы на уровне марта, хотя использование росло. Для части задач модели с открытыми весами оказались в 2–20 раз дешевле передовых закрытых.

Экономия держится не на одной замене. Uber еженедельно сравнивает модели на реальных задачах, небольшую работу отдаёт дешёвым субагентам и сжимает контекст после 400 тысяч токенов. Pinterest дообучает открытые модели на своих данных: транзакция обходится менее чем в 8% цены сопоставимой закрытой модели.

Разбор практик компаний даёт критерий маршрутизации: дорогую модель оставлять для сложного кода, а резюме и небольшие задачи передавать дешёвой после проверки качества на своих примерах.

Источник: Telegram