Aller au contenu principal

io.enterpriseai.resources.LitellmClient

Source : sdks/java/enterprise-ai-java/src/main/java/io/enterpriseai/resources/LitellmClient.java. Retour à l'index de la référence du SDK Java.

remarque

Cette page est générée par tools/docs/gen_sdk_reference.py depuis les sources du SDK et les dossiers de textes OpenAPI. Ne la modifiez pas à la main : changez la source et régénérez.

Classe LitellmClient​

LLM et passerelle de modèles. Fournisseurs de modèles, registre des modèles, règles de routage et passerelle de modèles (Model Gateway) : le seul chemin par lequel agents et applications appellent les modèles.

Constructeur LitellmClient​

LitellmClient(Transport transport)

Crée le client sur le transport partagé ; EnterpriseAIClient le construit, on y accède par l'accesseur du même nom.

NomTypeDéfautRequisDescription
transportTransportouiTransport partagé par les sous-clients d'un même client.

LitellmClient.config​

JsonNode config()

Générer la configuration LiteLLM. Configuration du proxy LiteLLM générée à partir des modèles visibles et des fournisseurs activés (un fournisseur du tenant l'emporte sur un fournisseur partagé du même type). Elle ne contient jamais de valeur secrète : les identifiants sont des références os.environ/<NOM> résolues par le déploiement LiteLLM. Demande tenant_admin, platform_admin, ai_platform_engineer, security_officer ou auditor.

Route : /v1/litellm/config (GET).

Cet élément ne prend aucun paramètre.

Retour : JsonNode. Réponse JSON décodée de l'opération « Générer la configuration LiteLLM ».

Erreurs levées : les erreurs typées du transport (Erreurs).

LitellmClient.sync​

JsonNode sync()

Envoyer la configuration à LiteLLM. Fait en sorte que le proxy LiteLLM contienne exactement la liste de modèles générée : les modèles créés par le Control Plane et devenus inutiles sont retirés, ceux qui manquent sont ajoutés ; les modèles ajoutés à la main dans LiteLLM ne sont pas touchés. Sans EAI_LITELLM_URL rien n'est envoyé (mode: in_process). Une erreur de transport répond 502 upstream_error. Audité (litellm.sync). Demande tenant_admin, platform_admin ou ai_platform_engineer.

Route : /v1/litellm/sync (POST).

Cet élément ne prend aucun paramètre.

Retour : JsonNode. Réponse JSON décodée de l'opération « Envoyer la configuration à LiteLLM ».

Erreurs levées : les erreurs typées du transport (Erreurs).