io.enterpriseai.resources.EvaluationsClient
Source : sdks/java/enterprise-ai-java/src/main/java/io/enterpriseai/resources/EvaluationsClient.java. Retour à l'index de la référence du SDK Java.
Cette page est générée par tools/docs/gen_sdk_reference.py depuis les sources du SDK et les dossiers de textes OpenAPI. Ne la modifiez pas à la main : changez la source et régénérez.
Classe EvaluationsClient
Évaluation et red team. Qualité des systèmes d'IA du tenant : suites d'évaluation, exécutions, barrières de qualité avant promotion, comparaisons A/B avec une référence et campagnes de red team.
Constructeur EvaluationsClient
EvaluationsClient(Transport transport)
Crée le client sur le transport partagé ; EnterpriseAIClient le construit, on y accède par l'accesseur du même nom.
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
transport | Transport | oui | Transport partagé par les sous-clients d'un même client. |
EvaluationsClient.checkGate
JsonNode checkGate(Object body)
Vérifier la barrière de qualité d'une cible. Vérifie que la dernière exécution terminée de chaque suite bloquante de la cible (pour target.version si elle est donnée, et limitée à suite_ids s'il est donné) a réussi. Avec run_missing: true, une suite sans exécution est exécutée maintenant ; sinon elle compte comme missing.
Route : /v1/evaluations/gates/check (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Cible, suites facultatives et exécution ou non des suites manquantes. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Vérifier la barrière de qualité d'une cible ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.checkGate
JsonNode checkGate(Object body, RequestOptions options)
Vérifier la barrière de qualité d'une cible. Vérifie que la dernière exécution terminée de chaque suite bloquante de la cible (pour target.version si elle est donnée, et limitée à suite_ids s'il est donné) a réussi. Avec run_missing: true, une suite sans exécution est exécutée maintenant ; sinon elle compte comme missing.
Route : /v1/evaluations/gates/check (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Cible, suites facultatives et exécution ou non des suites manquantes. | |
options | RequestOptions | oui | Options de l'appel (clé d'idempotence, traceparent, en-têtes, signal d'annulation). |
Retour : JsonNode. Réponse JSON décodée de l'opération « Vérifier la barrière de qualité d'une cible ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.createComparison
JsonNode createComparison(Object body)
Comparer un candidat à une référence. Exécute une suite deux fois, sur la référence baseline et sur le candidate (chacun {type, ref, version}, type model par défaut, agent ou prompt), et enregistre les deux exécutions, les écarts par métrique et le verdict. Les écarts sont orientés par le comparateur de chaque métrique (gte : plus haut est mieux, lte : plus bas est mieux).
Route : /v1/evaluations/comparisons (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Objet JSON : suite_id, baseline, candidate, et en option tolerance (0 à 1, 0 par défaut) et outputs ({"baseline": [...], "candidate": [...]}, sorties précalculées par cas). |
Retour : JsonNode. Réponse JSON décodée de l'opération « Comparer un candidat à une référence ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.createComparison
JsonNode createComparison(Object body, RequestOptions options)
Comparer un candidat à une référence. Exécute une suite deux fois, sur la référence baseline et sur le candidate (chacun {type, ref, version}, type model par défaut, agent ou prompt), et enregistre les deux exécutions, les écarts par métrique et le verdict. Les écarts sont orientés par le comparateur de chaque métrique (gte : plus haut est mieux, lte : plus bas est mieux).
Route : /v1/evaluations/comparisons (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Objet JSON : suite_id, baseline, candidate, et en option tolerance (0 à 1, 0 par défaut) et outputs ({"baseline": [...], "candidate": [...]}, sorties précalculées par cas). | |
options | RequestOptions | oui | Options de l'appel (clé d'idempotence, traceparent, en-têtes, signal d'annulation). |
Retour : JsonNode. Réponse JSON décodée de l'opération « Comparer un candidat à une référence ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.createRun
JsonNode createRun(Object body)
Exécuter une suite d'évaluation. Exécute une suite maintenant et renvoie l'exécution terminée (201). Exige tenant_admin, developer, security_officer ou ai_governance_officer ou agent.
Route : /v1/evaluations/runs (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Suite, cible facultative, sorties précalculées et déclencheur. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Exécuter une suite d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.createRun
JsonNode createRun(Object body, RequestOptions options)
Exécuter une suite d'évaluation. Exécute une suite maintenant et renvoie l'exécution terminée (201). Exige tenant_admin, developer, security_officer ou ai_governance_officer ou agent.
Route : /v1/evaluations/runs (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Suite, cible facultative, sorties précalculées et déclencheur. | |
options | RequestOptions | oui | Options de l'appel (clé d'idempotence, traceparent, en-têtes, signal d'annulation). |
Retour : JsonNode. Réponse JSON décodée de l'opération « Exécuter une suite d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.createSuite
JsonNode createSuite(Object body)
Créer une suite d'évaluation. Crée une suite. Exige tenant_admin, developer, security_officer ou ai_governance_officer. Erreurs 400 invalid_request : type de cible hors de model, agent, prompt, rag_pipeline, skill ou tool, moteur ou type inconnu, comparateur autre que gte ou lte, ou, pour le moteur custom, une métrique autre que exact_match, contains, not_contains, json_valid, faithfulness, latency ou refusal. Un nom déjà utilisé répond 409 conflict. Le jeu de données reçoit sa taille size et une empreinte SHA-256 digest des cas. Écrit l'événement d'audit evaluation.suite.create.
Route : /v1/evaluations/suites (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Nom, cible, moteur, type, jeu de données, cas, métriques et options de barrière. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Créer une suite d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.createSuite
JsonNode createSuite(Object body, RequestOptions options)
Créer une suite d'évaluation. Crée une suite. Exige tenant_admin, developer, security_officer ou ai_governance_officer. Erreurs 400 invalid_request : type de cible hors de model, agent, prompt, rag_pipeline, skill ou tool, moteur ou type inconnu, comparateur autre que gte ou lte, ou, pour le moteur custom, une métrique autre que exact_match, contains, not_contains, json_valid, faithfulness, latency ou refusal. Un nom déjà utilisé répond 409 conflict. Le jeu de données reçoit sa taille size et une empreinte SHA-256 digest des cas. Écrit l'événement d'audit evaluation.suite.create.
Route : /v1/evaluations/suites (POST).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
body | Object | oui | Nom, cible, moteur, type, jeu de données, cas, métriques et options de barrière. | |
options | RequestOptions | oui | Options de l'appel (clé d'idempotence, traceparent, en-têtes, signal d'annulation). |
Retour : JsonNode. Réponse JSON décodée de l'opération « Créer une suite d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.getComparison
JsonNode getComparison(String comparisonId)
Lire une comparaison A/B. Renvoie une comparaison. Exige tenant_admin, developer, security_officer, auditor, viewer ou finops. Répond 404 comparison_not_found.
Route : /v1/evaluations/comparisons/{comparison_id} (GET).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
comparisonId | String | oui | Identifiant (UUID) de la comparaison. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Lire une comparaison A/B ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.getRun
JsonNode getRun(String id)
Lire une exécution d'évaluation. Renvoie une exécution d'évaluation avec ses résultats par métrique et par cas. Ouvert à tout membre du tenant. Répond 404 not_found.
Route : /v1/evaluations/runs/{run_id} (GET).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
id | String | oui | Identifiant (UUID) de l'exécution d'évaluation. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Lire une exécution d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.getSuite
JsonNode getSuite(String id)
Lire une suite d'évaluation. Renvoie une suite avec la liste complète de ses cas et run_on_promotion. Ouvert à tout membre du tenant. Répond 404 not_found.
Route : /v1/evaluations/suites/{suite_id} (GET).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
id | String | oui | Identifiant (UUID) de la suite. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Lire une suite d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.listComparisons
JsonNode listComparisons()
Lister les comparaisons A/B. Liste les comparaisons du tenant, les plus récentes d'abord, 200 au plus, éventuellement pour une seule suite. Chacune donne la référence, le candidat, les identifiants des deux exécutions, les écarts par métrique, la tolérance et le verdict. Exige tenant_admin, developer, security_officer, auditor, viewer ou finops.
Route : /v1/evaluations/comparisons (GET).
Cet élément ne prend aucun paramètre.
Retour : JsonNode. Réponse JSON décodée de l'opération « Lister les comparaisons A/B ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.listComparisons
JsonNode listComparisons(Map<String, ?> query)
Lister les comparaisons A/B. Liste les comparaisons du tenant, les plus récentes d'abord, 200 au plus, éventuellement pour une seule suite. Chacune donne la référence, le candidat, les identifiants des deux exécutions, les écarts par métrique, la tolérance et le verdict. Exige tenant_admin, developer, security_officer, auditor, viewer ou finops.
Route : /v1/evaluations/comparisons (GET).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
query | Map<String, ?> | oui | Paramètres de la chaîne de requête de la route. |
Retour : JsonNode. Réponse JSON décodée de l'opération « Lister les comparaisons A/B ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.listRuns
Page<JsonNode> listRuns()
Lister les exécutions d'évaluation. Liste les exécutions d'évaluation du tenant, identifiant le plus récent d'abord, paginées, éventuellement filtrées par suite et statut. Chaque élément suit le contrat d'évaluation (cible, moteur, jeu de données, métriques, résultats, statut, coût) avec run_id, suite_id, trigger, case_results et error. Ouvert à tout membre du tenant.
Route : /v1/evaluations/runs (GET).
Cet élément ne prend aucun paramètre.
Retour : Page<JsonNode>. Réponse JSON décodée de l'opération « Lister les exécutions d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.listRuns
Page<JsonNode> listRuns(Map<String, ?> query)
Lister les exécutions d'évaluation. Liste les exécutions d'évaluation du tenant, identifiant le plus récent d'abord, paginées, éventuellement filtrées par suite et statut. Chaque élément suit le contrat d'évaluation (cible, moteur, jeu de données, métriques, résultats, statut, coût) avec run_id, suite_id, trigger, case_results et error. Ouvert à tout membre du tenant.
Route : /v1/evaluations/runs (GET).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
query | Map<String, ?> | oui | Paramètres de la chaîne de requête de la route. |
Retour : Page<JsonNode>. Réponse JSON décodée de l'opération « Lister les exécutions d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.listSuites
Page<JsonNode> listSuites()
Lister les suites d'évaluation. Liste les suites du tenant triées par nom, paginées, sous forme de documents du contrat d'évaluation ; cases donne le nombre de cas. Ouvert à tout membre du tenant.
Route : /v1/evaluations/suites (GET).
Cet élément ne prend aucun paramètre.
Retour : Page<JsonNode>. Réponse JSON décodée de l'opération « Lister les suites d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).
EvaluationsClient.listSuites
Page<JsonNode> listSuites(Map<String, ?> query)
Lister les suites d'évaluation. Liste les suites du tenant triées par nom, paginées, sous forme de documents du contrat d'évaluation ; cases donne le nombre de cas. Ouvert à tout membre du tenant.
Route : /v1/evaluations/suites (GET).
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
query | Map<String, ?> | oui | Paramètres de la chaîne de requête de la route. |
Retour : Page<JsonNode>. Réponse JSON décodée de l'opération « Lister les suites d'évaluation ».
Erreurs levées : les erreurs typées du transport (Erreurs).