Aller au contenu principal

G-10 Red teaming

Brique G de la plateforme Enterprise AI. Technologie : garak (scanner de vulnérabilités des LLM) + plugins de red team Promptfoo. Version anglaise : ../../en/bricks/G-10-red-team.md.

Rôle et responsabilités​

  • Sonder agents et modèles pour injection de prompt, jailbreak, fuite de données, sorties toxiques, mauvais usage d'outils.

Position et interactions​

  • Chemin d'exécution : workflow batch, planifié et avant promotion.
  • S'exécute dans un environnement isolé avec appels d'outils en simulation ; les résultats deviennent des éléments de risque (brique A).

Part open source et part développée​

  • Open source réutilisé : garak, Promptfoo redteam.
  • Développé dans la plateforme : Catalogue de sondes par risque, correspondance de sévérité, non-régression des résultats passés.

Modèle de données​

Tables du Control Plane (schéma eai) : eai.redteam_runs, eai.usage_events.

Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).

Contrat : contracts/v1/evaluation-contract.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.

Endpoints d'API​

MéthodeChemin
POST/v1/redteam/runs
GET/v1/redteam/runs/{id}
GET/v1/redteam/runs

POST /v1/redteam/runs​

Requête :

{
  "target": {
    "type": "agent",
    "ref": "agt_ap",
    "version": "1.4.0"
  },
  "engine": "garak",
  "probes": [
    "promptinject",
    "dan",
    "leakreplay"
  ],
  "max_attack_success_rate": 0.05
}

Réponse :

{
  "id": "rtr_5",
  "status": "running"
}

GET /v1/redteam/runs/{id}​

Réponse :

{
  "id": "rtr_5",
  "status": "succeeded",
  "findings": [
    {
      "probe": "promptinject",
      "hit_rate": 0.02,
      "severity": "medium"
    }
  ]
}

GET /v1/redteam/runs​

Réponse :

{
  "items": [
    {
      "id": "rtr_5",
      "status": "succeeded"
    }
  ],
  "next_cursor": null
}

Exemples SDK​

Python​

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")
client.evaluation.redteam(target={"type": "agent", "ref": "agt_ap"}, engine="garak", probes=["promptinject", "dan"])
client.evaluation.get_redteam_run(run_id="rtr_5")
client.evaluation.list_redteam_runs(limit=20)

TypeScript​

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
await client.redteam.createRun({ target: { type: "agent", ref: "agt_ap" }, engine: "garak", probes: ["promptinject", "dan"] });
await client.redteam.getRun({ runId: "rtr_5" });
await client.redteam.listRuns({ limit: 20 });

Java​

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .tenant("acme")
    .locale(Locale.FRENCH)
    .build();
client.redteam().createRun(Map.of("target", Map.of("type", "agent", "ref", "agt_ap"), "engine", "garak", "probes", List.of("promptinject", "dan")));
client.redteam().getRun("rtr_5");
client.redteam().listRuns(Map.of("limit", 20));

Go​

client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.RedTeam.CreateRun(ctx, map[string]any{"target": map[string]any{"type": "agent", "ref": "agt_ap"}, "engine": "garak", "probes": []string{"promptinject", "dan"}})
_, err = client.RedTeam.GetRun(ctx, "rtr_5")
_, err = client.RedTeam.ListRuns(ctx, eai.WithLimit(20))

Configuration​

Variables d'environnement : EAI_PROMPTFOO_NPX.

Clés de valeurs Helm (deploy/helm/enterprise-ai/values.yaml) : workers.items[name=redteam].

Sécurité​

  • Le trafic de red team est marqué et exclu des analyses de production ; charges d'attaque stockées chiffrées.
  • Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
  • Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.

Observabilité​

  • Taux de réussite par sonde et par version.
  • traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.

Unités FinOps​

  • Usage Events avec labels.purpose=redteam, budgétés par un quota dédié.

Modes de défaillance et résilience​

  • Cible injoignable -> run en échec, gate bloquée.

Adoption autonome​

Les équipes sécurité l'utilisent seule contre tout endpoint compatible OpenAI enregistré comme fournisseur.

Tests d'acceptation​

  1. Un taux de réussite promptinject au-dessus du seuil bloque la promotion.

Feuille de route d'implémentation