Aller au contenu principal

B12 - Évaluation des modèles

GroupeTechnologieStatutServicePhase de la feuille de routeContrats
B - Gestion des LLM et Model GatewayRagas + Promptfooopen source intégréevaluations8evaluation-contract

Retour à l'index - English

Rôle et responsabilités​

Évalue les modèles candidats et conditionne leur promotion au statut approved.

Modèle de données​

Tables (schéma eai, chaque table tenant porte tenant_id uuid NOT NULL avec une politique RLS sur current_setting('app.tenant_id', true)::uuid) : eai.eval_runs, eai.eval_suites, eai.audit_events.

Endpoints API​

  • POST /v1/evaluations/runs
  • GET /v1/evaluations/runs/{id}
  • POST /v1/evaluations/gates/check
POST /v1/evaluations/runs HTTP/1.1
Host: <control-plane-host>
X-API-Key: eai_xxx_secret
Accept-Language: fr
Content-Type: application/json

{"suite_id": "3a8bdb8e-858a-4619-9832-3c86fa476f2a", "trigger": "manual", "outputs": ["Refunds are accepted within 30 days of purchase."]}
{"schema_version": "1.0", "evaluation_id": "27569be4-49d7-4bb6-a7ea-b458ee836c5f", "tenant_id": "18de5695-21f9-4053-a4ea-beb4bf2a5932", "name": "support-answers", "target": {"type": "model", "ref": "fake-gpt"}, "engine": "custom", "kind": "quality", "dataset": {"ref": "support-golden", "size": 1, "digest": "sha256:0ce686fcfa2070052c234bd1db464e4994992c453859b3dad1ee3351cf26928a", "version": "1"}, "metrics": [{"name": "contains", "threshold": 0.8, "comparator": "gte"}], "gate": {"blocking": true}, "results": [{"value": 1.0, "metric": "contains", "passed": true, "samples": 1}], "status": "passed", "started_at": "2026-10-30T01:38:14.674524Z", "finished_at": "2026-10-30T01:38:14.674524Z", "cost": {"amount": "0", "currency": "USD"}, "run_id": "27569be4-49d7-4bb6-a7ea-b458ee836c5f", "suite_id": "3a8bdb8e-858a-4619-9832-3c86fa476f2a", "trigger": "manual", "case_results": [{"index": 0, "scores": {"contains": 1.0}}], "error": null}

Les erreurs utilisent l'enveloppe commune {"error": {"code", "message", "message_i18n", "details", "request_id"}} ; les listes sont paginées avec limit et cursor.

Utilisation des SDK​

Python (enterprise_ai):

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_xxx_secret")
items = client.evaluation.list_suites()

TypeScript (@enterprise-ai/sdk):

import { EnterpriseAI } from "@enterprise-ai/sdk";

const eai = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY });
const items = await eai.evaluations.listSuites();

Java (enterprise-ai-java):

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .build();
var items = client.evaluations().listSuites();

Go (enterprise-ai-go):

client, _ := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")))
items, err := client.Evaluations.ListSuites(ctx)

Configuration​

  • Environnement : EAI_DATABASE_URL, EAI_OTEL_EXPORTER_OTLP_ENDPOINT.
  • Valeurs Helm : controlPlane.enabled, controlPlane.replicas, controlPlane.resources, controlPlane.config.

Contrôles de sécurité​

  • Authentification par JWT OIDC, clé API tenant avec scopes, ou mTLS SPIFFE ; le tenant est résolu depuis l'identifiant, jamais depuis le corps.
  • Autorisation par décisions OpenFGA et OPA ; chaque mutation et décision écrit une ligne eai.audit_events chaînée par hash.
  • Les secrets ne sont jamais renvoyés par l'API ; TLS partout ; les politiques réseau Cilium restreignent qui peut joindre le service.

Observabilité​

  • Métriques : eai_model_evaluation_requests_total, eai_model_evaluation_errors_total, eai_model_evaluation_latency_seconds (Prometheus).
  • Traces : spans OpenTelemetry eai.evaluations.* avec propagation W3C traceparent, spans IA envoyés à Opik.
  • Actions d'audit : evaluation.suite.create, evaluation.run, evaluation.gate.check, redteam.run, policy.evaluate.

Aspects FinOps​

Le coût d'exploitation est imputé par tenant et projet via les labels des Usage Events et les requêtes de ressources Kubernetes ; pas de coût direct par appel.

Modes de défaillance et résilience​

  • Réplicas sans état derrière l'API Gateway, PostgreSQL HA pour l'état ; la sonde GET /readyz retire les pods défaillants.
  • Système externe indisponible : échec fermé pour les décisions de sécurité, code d'erreur explicite, aucun contournement silencieux.

Adoption autonome (client d'un client)​

Un client d'un client peut adopter cette brique seule avec le sous-client SDK Python client.evaluation (TS eai.evaluations, Java client.evaluations(), Go client.Evaluations). Déploiement minimal : Control Plane API + PostgreSQL + Keycloak (ou clés API), le Control Plane charge tous les domaines de services/control-plane/src/eai/domains ; les composants optionnels du chart se coupent dans deploy/helm/enterprise-ai/values.yaml (vllm.enabled, qdrant.enabled, nats.enabled, workers.enabled).

Tests d'acceptation​

  1. Un tenant ne peut ni lire ni modifier les ressources d'un autre tenant (test RLS).
  2. Chaque mutation produit un événement d'audit vérifiable par GET /v1/audit/verify.
  3. Les erreurs sont renvoyées en anglais et en français selon Accept-Language.

Comparaisons A/B et références (LLM_-013)​

POST /v1/evaluations/comparisons exécute la même suite sur la référence et sur la candidate (modèle ou version) avec les moteurs existants, puis enregistre dans eai.eval_comparisons (V138) les deux exécutions, les écarts par métrique et le verdict (candidate_better, equivalent, regression, inconclusive, selon tolerance). Tests : tests/test_evaluation_ab.py.