Aller au contenu principal

Config LiteLLM

L'écran Config LiteLLM permet de lire la configuration que le Control Plane génère depuis le registre des modèles pour le proxy LiteLLM, et de la pousser vers le proxy. Chemin dans le portail : /llm/litellm. Il est utilisé par les administrateurs de la plateforme IA après un changement de fournisseurs ou de modèles, et par les responsables sécurité et les auditeurs qui contrôlent ce que sert le proxy. L'écran est construit dans portal/src/screens/llm.tsx (LiteLLM).

Ce que montre l'écran​

  • Le bouton d'en-tête Synchroniser LiteLLM.
  • Après une synchronisation, la réponse JSON : mode, les modèles added et removed, et le nombre de models. Quand EAI_LITELLM_URL n'est pas renseigné, le mode est in_process : la configuration est générée et rien n'est poussé.
  • La section Configuration générée (« Les secrets sont référencés, jamais inclus. ») : le JSON renvoyé par GET /v1/litellm/config, avec sa model_list. Seuls les modèles au statut approved, non désactivés et dont le fournisseur est actif y figurent ; les identifiants sont des références os.environ/<NOM> résolues par le déploiement LiteLLM, jamais des valeurs secrètes.
  • Quand la liste est vide : « La configuration générée est vide. Enregistrez des modèles approuvés puis synchronisez. » avec un bouton Synchroniser LiteLLM.
  • Pour un platform_admin seulement, la section Consoles d'exploitation avec le lien Ouvrir la console de LiteLLM (passerelle de modèles), lu depuis GET /v1/platform-manager/console, ou la raison pour laquelle elle n'est pas configurée.

Actions​

Bouton ou actionCe qu'il faitAppel d'APIRôles
Synchroniser LiteLLM (en-tête ou état vide)Génère la configuration et pousse la liste des modèles vers le proxy. Notification Configuration LiteLLM synchronisée, puis relit la configuration.POST /v1/litellm/sync, puis GET /v1/litellm/configtenant_admin, platform_admin, ai_platform_engineer (le bouton est affiché à tous, le serveur décide)
Réessayer (panneau d'erreur)Relit la configuration.GET /v1/litellm/configtenant_admin, platform_admin, ai_platform_engineer, security_officer, auditor
Ouvrir la consoleOuvre la console LiteLLM dans un nouvel onglet (adresses https sans identifiants seulement).GET /v1/platform-manager/consoleplatform_admin

Rôles​

  • Lecture GET /v1/litellm/config : ADMIN plus security_officer et auditor dans services/control-plane/src/eai/domains/llm/__init__.py, soit tenant_admin, platform_admin, ai_platform_engineer, security_officer, auditor. Les autres rôles voient un panneau d'erreur.
  • Synchronisation POST /v1/litellm/sync : tenant_admin, platform_admin, ai_platform_engineer (ROLES.llmAdmins de portal/src/lib/kit.ts). Le portail ne masque pas le bouton : les autres rôles reçoivent forbidden.
  • Consoles d'exploitation : affichées seulement quand l'utilisateur détient platform_admin.

Tâches courantes​

Publier un nouveau modèle vers le proxy​

  1. Vérifier le modèle. Dans le Registre des modèles, le modèle doit être approved, actif, et son fournisseur actif, car seuls ceux-là entrent dans la configuration. Résultat attendu : la ligne du modèle affiche approved. En cas d'échec : changez son statut, ou activez son fournisseur dans Fournisseurs.
  2. Synchroniser. Cliquez sur Synchroniser LiteLLM. Résultat attendu : notification Configuration LiteLLM synchronisée, la réponse JSON liste le modèle sous added. En cas d'échec : « Le fournisseur du modèle a renvoyé une erreur. » (upstream_error, 502) signifie que le proxy n'a pas répondu ; vérifiez le proxy et EAI_LITELLM_URL.
  3. Lire le résultat. Contrôlez Configuration générée, pour confirmer l'entrée et sa référence d'identifiant. Résultat attendu : le modèle est dans model_list, sa clé est une référence os.environ/. En cas d'échec : la liste est vide quand aucun modèle n'est approuvé.

Contrôler la configuration du proxy pendant un audit​

  1. Ouvrir l'écran. En tant qu'auditor ou security_officer, ouvrez Gestion des LLM > Config LiteLLM. Résultat attendu : le JSON de Configuration générée. En cas d'échec : un panneau d'erreur forbidden signifie que votre rôle ne peut pas la lire.
  2. Chercher des secrets. Lisez les litellm_params de chaque entrée, pour vérifier qu'aucune valeur secrète n'est exposée. Résultat attendu : les identifiants sont uniquement des références. En cas d'échec : déclarez-le comme incident de sécurité.

Dépannage​

SymptômeCauseCorrection
« La configuration générée est vide »Aucun modèle approuvé, actif et servi par un fournisseur actif.Approuvez un modèle dans le Registre des modèles, puis Synchroniser LiteLLM.
Réponse de synchronisation avec mode: in_process et « EAI_LITELLM_URL not set: config generated, nothing pushed »L'adresse du proxy n'est pas configurée.Renseignez EAI_LITELLM_URL dans les réglages du Control Plane, puis synchronisez à nouveau.
« Le fournisseur du modèle a renvoyé une erreur. » (upstream_error, 502)Le proxy LiteLLM n'a pas répondu à l'envoi.Vérifiez que le proxy tourne et qu'il est joignable, puis réessayez.
forbidden (403) sur Synchroniser LiteLLMLe rôle ne peut pas synchroniser.Demandez à un tenant_admin ou à un ai_platform_engineer.
Consoles d'exploitation indique que la console n'est pas configuréeAucune adresse de console connue.Renseignez le réglage cité dans le message ou installez le service avec le Navin Manager.

Pages liées​