Aller au contenu principal

ADR-0103 : Rôles de vLLM et LiteLLM, LiteLLM épinglé en 1.106.5

Contexte​

Deux briques sont souvent confondues : le moteur d'inférence et la passerelle.

Décision​

vLLM est le moteur d'inférence local, LiteLLM la passerelle unifiée. LiteLLM est épinglé en v1.106.5 par empreinte, même version pour l'image du proxy et l'extra Python optionnel eai[litellm].

Conséquences​

Une montée de version de LiteLLM touche le catalogue, l'image et l'extra ensemble.

Preuves​

  • RULES.md (section 2, point 3)
  • .navin/continuity/DECISIONS.md (LiteLLM v1.106.5)
  • navin-manager/catalog/services/litellm.yaml
  • services/control-plane/tests/test_platform_litellm_version.py
  • services/control-plane/src/eai/integrations/vllm.py