Aller au contenu principal

E-03 Service de tokenisation

Brique E: Données, RAG, contexte, mémoire. Version anglaise: E-03-tokenization-service

1. Rôle et responsabilités​

Pseudonymisation réversible : remplace une valeur sensible par un jeton stable, réversible uniquement par un principal autorisé.

  • Tokeniser (déterministe par tenant)
  • Détokeniser sous politique et audit
  • Clé de chiffrement du coffre dans OpenBao

2. Position dans l'architecture et interactions​

  • Appelants: DLP Gateway, applications métier.
  • Chemin d'exécution: Synchrone.
  • Toute interaction passe par l'API Control Plane v1 (/v1) derrière la passerelle API (D-14).

3. Composant open source et partie développée​

  • Open source: OpenBao (transit)
  • Développé: Coffre de jetons, politique de détokenisation.
  • Intégration externe via un adaptateur eai/integrations/<system>.py avec repli in-process lorsque l'URL n'est pas configurée.

4. Modèle de données​

Tables (schéma eai, RLS tenant_id):

  • eai.token_vault

Colonnes communes : id uuid, tenant_id uuid NOT NULL, created_at, updated_at ; politique RLS current_setting('app.tenant_id', true)::uuid.

5. Contrat​

  • Contrat appliqué: policy-contract
  • Schéma JSON: contracts/v1/policy-contract.schema.json
  • Champs clés: action=detokenize, purpose
  • Validation : POST /v1/contracts/{name}/validate ; application d'un manifeste : POST /v1/manifests/apply.

6. Endpoints API​

  • POST /v1/tokenization/tokenize
  • POST /v1/tokenization/detokenize

Requête POST /v1/tokenization/tokenize:

{
  "values": [
    "FR7630006000011234567890189"
  ],
  "type": "IBAN"
}

Réponse:

{
  "tokens": [
    "tok_iban_8f3a1c"
  ]
}

7. Exemples SDK​

Python:

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_xxx_secret")
t = client.tokenization.tokenize(values=[{"type": "IBAN", "value": "FR76..."}])
v = client.tokenization.detokenize(tokens=t.tokens, purpose="remboursement")

TypeScript:

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY });
const t = await client.tokenization.tokenize({ values: ["FR76..."] });

Java:

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .build();
Tokens t = client.tokenization().tokenize(List.of("FR76..."), "IBAN");

Go:

c, _ := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")))
t, _ := c.Tokenization.Tokenize(ctx, []string{"FR76..."}, "IBAN")

8. Configuration​

  • Variables d'environnement: EAI_OPENBAO_URL, EAI_OPENBAO_TRANSIT_MOUNT, EAI_DATABASE_URL
  • Clés Helm: global.openbao

9. Contrôles de sécurité​

  • Détokenisation : rôle + purpose + politique OPA, jamais pour le rôle agent par défaut
  • Toutes les requêtes portent le tenant issu du credential ; RLS PostgreSQL
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné

10. Observabilité​

  • Métriques Prometheus: eai_tokenize_total, eai_detokenize_total{decision}
  • Traces: spans OpenTelemetry avec conventions sémantiques GenAI (gen_ai.operation.name, gen_ai.agent.id, gen_ai.tool.name), attributs eai.tenant_id, eai.run_id, propagation traceparent.
  • Actions d'audit: tokenization.tokenize, tokenization.detokenize

11. Unités FinOps​

  • Opérations de tokenisation.
  • Émis comme Usage Event (POST /v1/finops/usage) avec tenant, projet, agent et run.

12. Modes de défaillance et résilience​

  • Jeton déterministe : nouvelle tentative sans doublon
  • Erreurs normalisées (enveloppe error, message_i18n en/fr)

13. Adoption autonome (client d'un client)​

  • enterprise_ai.dlp + OpenBao.
  • SDK: enterprise_ai.privacy / dlp / knowledge_bases / memory / retention / lineage
  • Déploiement minimal : chart Helm avec controlPlane.enabled=true et PostgreSQL ; les composants externes désactivés utilisent leur repli in-process.

14. Tests d'acceptation​

  1. Même valeur -> même jeton
  2. Détokenisation par agent -> 403
  3. Accès inter-tenant refusé
  4. Erreur renvoyée en fr avec Accept-Language: fr

RAG gouverné (kit L4)​

Le cache sensible du RAG ne contient jamais de valeur en clair : chaque entrée est chiffrée par Tink et liée à sa clé de tenant.