Один вход
ко всем AI-моделям
Простой корпоративный LLM Gateway:
корпоративный сервер управляет запросами,
зарубежный VPS обеспечивает сетевой выход.
Что на каком сервере
Три компонента — три задачи
LiteLLM
Управляет запросами.
Единый OpenAI-совместимый API для приложений.
Имена моделей, маршруты, резервные провайдеры.
При настройке: ключи доступа, лимиты и учёт использования.
CLIProxyAPI
Подключает подписки.
Мост между API-запросом и поддерживаемыми OAuth-сервисами.
Хранит и обновляет токены авторизации.
Нужен только для подписочных маршрутов, не для каждого API-вызова.
Proxy / VPN
Обеспечивает связь.
Зарубежный сетевой выход к провайдерам.
HTTP CONNECT / SOCKS либо VPN-туннель — выбранный вариант транспорта.
Не управляет моделями, бюджетами и подписками.
Приложению не нужно знать провайдера
- Приложение отправляет запрос на один корпоративный API, указав логическое имя модели.
- LiteLLM выбирает маршрут: обычный API провайдера или подписку через CLIProxyAPI.
- Внешнее соединение проходит через proxy/VPN на VPS. Ответ возвращается тем же логическим путём.
- При отказе LiteLLM может выбрать заранее настроенный резерв с учётом политики данных и бюджета.
Централизуем доступ, не обещаем магии
Что получаем
Одна точка подключения для команд и приложений.
Ключи провайдеров остаются на корпоративном сервере.
Маршруты, резервы и бюджеты управляются централизованно.
Небольшой VPS решает отдельную сетевую задачу.
Что нужно предусмотреть
Доступ к gateway только из LAN/VPN либо через защищённый API с авторизацией.
Секреты, резервное копирование OAuth-данных и контроль логирования.
Мониторинг обоих серверов, туннеля, квот и upstream API.
Два сервера сами по себе не дают высокой доступности.