01 / Идея

Один вход
ко всем AI-моделям

Простой корпоративный LLM Gateway:
корпоративный сервер управляет запросами,
зарубежный VPS обеспечивает сетевой выход.

Два сервера. LiteLLM + CLIProxyAPI внутри компании. Proxy/VPN — на VPS.
1 / 5pismenny
02 / Размещение компонентов

Что на каком сервере

Простой LLM Gateway на двух серверахПриложения обращаются к LiteLLM на корпоративном сервере. Подписочные маршруты идут через CLIProxyAPI. Внешние запросы выходят через proxy или VPN зарубежного VPS к AI-провайдерам. Корпоративный сервер Зарубежный VPS ПриложенияЧат · агентыCRM · документы LiteLLMЕдиный API · маршрутизация CLIProxyAPIМост к OAuth-подпискам Proxy / VPNСетевой выход AI-провайдерыOpenAI · AnthropicKimi · OpenRouterи другие API-маршрутПодписка Стрелки — логический путь запроса. Ответ возвращается обратно. Внешние вызовы защищаются TLS.
Proxy/VPN — транспорт, а не модель. На VPS не нужны GPU и хранение весов LLM.
2 / 5pismenny
03 / Роли

Три компонента — три задачи

LiteLLM

Управляет запросами.

Единый OpenAI-совместимый API для приложений.

Имена моделей, маршруты, резервные провайдеры.

При настройке: ключи доступа, лимиты и учёт использования.

CLIProxyAPI

Подключает подписки.

Мост между API-запросом и поддерживаемыми OAuth-сервисами.

Хранит и обновляет токены авторизации.

Нужен только для подписочных маршрутов, не для каждого API-вызова.

Proxy / VPN

Обеспечивает связь.

Зарубежный сетевой выход к провайдерам.

HTTP CONNECT / SOCKS либо VPN-туннель — выбранный вариант транспорта.

Не управляет моделями, бюджетами и подписками.

3 / 5pismenny
04 / Путь запроса

Приложению не нужно знать провайдера

  1. Приложение отправляет запрос на один корпоративный API, указав логическое имя модели.
  2. LiteLLM выбирает маршрут: обычный API провайдера или подписку через CLIProxyAPI.
  3. Внешнее соединение проходит через proxy/VPN на VPS. Ответ возвращается тем же логическим путём.
  4. При отказе LiteLLM может выбрать заранее настроенный резерв с учётом политики данных и бюджета.
Смена провайдера не требует переписывать каждое приложение. Но совместимость функций и качество ответов нужно проверять.
4 / 5pismenny
05 / Границы и эксплуатация

Централизуем доступ, не обещаем магии

Что получаем

Одна точка подключения для команд и приложений.

Ключи провайдеров остаются на корпоративном сервере.

Маршруты, резервы и бюджеты управляются централизованно.

Небольшой VPS решает отдельную сетевую задачу.

Что нужно предусмотреть

Доступ к gateway только из LAN/VPN либо через защищённый API с авторизацией.

Секреты, резервное копирование OAuth-данных и контроль логирования.

Мониторинг обоих серверов, туннеля, квот и upstream API.

Два сервера сами по себе не дают высокой доступности.

Важно про данные: запросы отправляются внешнему AI-провайдеру. Корпоративный gateway и VPN не делают обработку локальной. Какие данные можно передавать — отдельная политика компании.
5 / 5pismenny