enterprise_ai.packs.reports
Source : sdks/python/src/enterprise_ai/packs/reports.py. Retour à l'index de la référence du SDK Python.
Cette page est générée par tools/docs/gen_sdk_reference.py depuis les sources du SDK et les dossiers de textes OpenAPI. Ne la modifiez pas à la main : changez la source et régénérez.
Fonctions
run_tests
run_tests(path: str | Path, digest: str) -> dict[str, Any]
Exécute les tests déclarés dans spec.tests du pack (types pytest unit, integration, authz, security ; opa), puis les contrôles des règles d'alerte et de conformité au SDK.
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
path | str | Path | oui | Dossier du pack. | |
digest | str | oui | Condensat de l'archive du pack auquel le rapport est lié. |
Retour : dict[str, Any]. Dict {digest, results} : par type les compteurs passed, failed, errors, plus observability et sdk_conformance.
run_promptfoo
run_promptfoo(root: Path, config_path: Path) -> dict[str, Any]
Exécute hors ligne une configuration promptfoo : chaque fournisseur exec: reçoit chaque prompt de chaque test, noté par des assertions déterministes.
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
root | Path | oui | Dossier du pack, dossier de travail des commandes des fournisseurs. | |
config_path | Path | oui | Configuration promptfoo YAML (providers, prompts, tests) ; un fournisseur autre que exec: lève ValueError. |
Retour : dict[str, Any]. Dict {cases, passed_cases, score, failures}, score entre 0 et 1, au plus 20 échecs conservés.
Erreurs levées : ValueError.
run_ragas
run_ragas(root: Path, dataset_path: Path) -> dict[str, Any]
Note hors ligne un jeu de données JSONL par rappel de contexte : part des mots de ground_truth trouvés dans les contextes renvoyés par rag/retrieve.py.
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
root | Path | oui | Dossier du pack qui contient rag/retrieve.py. | |
dataset_path | Path | oui | Fichier JSONL, un objet {question, ground_truth, ...} par ligne. |
Retour : dict[str, Any]. Dict {samples, metric, score}, metric valant context_recall et score la moyenne entre 0 et 1.
run_evaluations
run_evaluations(path: str | Path, digest: str) -> dict[str, Any]
Exécute hors ligne chaque évaluation déclarée dans spec.evaluations du pack (promptfoo ou ragas) et compare son score à son seuil.
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
path | str | Path | oui | Dossier du pack. | |
digest | str | oui | Condensat de l'archive du pack auquel le rapport est lié. |
Retour : dict[str, Any]. Dict {digest, results} : par nom d'évaluation son score, threshold (1 par défaut) et passed ; un autre type lève ValueError.
Erreurs levées : ValueError.
scan
scan(path: str | Path, digest: str) -> dict[str, Any]
trivy fs du dossier du pack (vulnérabilités et secrets), base hors ligne, lié au condensat.
| Nom | Type | Défaut | Requis | Description |
|---|---|---|---|---|
path | str | Path | oui | Dossier du pack ; son dossier dist est ignoré. | |
digest | str | oui | Condensat de l'archive du pack auquel le rapport est lié. |
Retour : dict[str, Any]. Dict {tool: trivy, digest, report}, report étant le JSON de trivy sans CreatedAt ; un échec de trivy lève RuntimeError.