F-11 DLP multimodale
Brique F de la plateforme Enterprise AI. Technologie : composant développé : OCR (Tesseract ou PaddleOCR), analyseurs Presidio, détection des visages et des plaques d'immatriculation, STT pour l'audio, échantillonnage d'images pour la vidéo. Version anglaise : ../../en/bricks/F-11-multimodal-dlp.md.
Rôle et responsabilités
- Détecter les données personnelles et sensibles dans les images (texte OCR, visages, pièces d'identité), l'audio (PII prononcées via transcription) et la vidéo (images échantillonnées + audio).
- Appliquer les modes detect, mask (flou de zones, bip audio), tokenize (texte), block, alignés avec POST /v1/dlp/redact de la brique E.
Position et interactions
- Chemin d'exécution : synchrone pour les images, job pour l'audio et la vidéo, intégré à l'upload média.
- Invoquée par les obligations de politique renvoyées par POST /v1/policies/evaluate avant tout appel de modèle sur un média.
- Les résultats mettent à jour la classification du média et sont écrits dans la chaîne d'audit.
Part open source et part développée
- Open source réutilisé : Presidio, Tesseract/PaddleOCR, détecteurs OpenCV, faster-whisper.
- Développé dans la plateforme : Composant complet : orchestration, masquage par zones, bip audio horodaté, détecteurs français (NIR, SIRET, IBAN FR).
Modèle de données
Tables du Control Plane (schéma eai) : eai.media, eai.multimodal_jobs, eai.audit_events.
Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).
Contrat : contracts/v1/multimodal-contract.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.
Endpoints d'API
| Méthode | Chemin |
|---|---|
| POST | /v1/multimodal/dlp |
| POST | /v1/privacy/classify |
| POST | /v1/media |
POST /v1/multimodal/dlp
Requête :
{
"media_id": "med_01HZX3K9",
"mode": "mask"
}
Réponse :
{
"job_id": "mmj_P01",
"status": "succeeded",
"findings": [
{
"type": "iban",
"location": {
"page": 1,
"bbox": [
412,
1880,
980,
1920
]
},
"action": "masked"
}
],
"redacted_media_id": "med_RED1",
"classification": "confidential"
}
POST /v1/privacy/classify
Requête :
{
"media_id": "med_01HZX3K9"
}
Réponse :
{
"classification": "confidential",
"findings": [
{
"type": "person_name",
"count": 3
}
]
}
POST /v1/media
Requête :
{
"filename": "invoice-scan.png",
"mime_type": "image/png",
"operation": "vision_understanding",
"classification": "internal",
"content_base64": "iVBORw0KGgo..."
}
Réponse :
{
"media_id": "med_01HZX3K9",
"media_type": "image",
"mime_type": "image/png",
"size_bytes": 482113,
"resolution": "1654x2339",
"classification": "internal",
"dlp": {
"status": "clean",
"findings": 0
},
"storage": {
"uri": "s3://eai-media/tenant/med_01HZX3K9",
"encrypted": true
}
}
Exemples SDK
Python
from enterprise_ai import EnterpriseAI
client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")
client.multimodal.audio.dlp("med_01HZX3K9", mode="mask")
client.privacy.classify(media_id="med_01HZX3K9")
client.multimodal.upload(open("invoice-scan.png", "rb").read(), "invoice-scan.png", "image/png", classification="internal")
TypeScript
import { EnterpriseAI } from "@enterprise-ai/sdk";
const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
await client.multimodal.dlp({ media_id: "med_01HZX3K9", mode: "mask" });
await client.privacy.classify({ media_id: "med_01HZX3K9" });
await client.media.upload({ file: new Blob([await readFile("invoice-scan.png")], { type: "image/png" }), filename: "invoice-scan.png", operation: "vision_understanding", classification: "internal" });
Java
EnterpriseAIClient client = EnterpriseAIClient.builder()
.baseUrl("<control-plane-url>")
.apiKey(System.getenv("EAI_API_KEY"))
.tenant("acme")
.locale(Locale.FRENCH)
.build();
client.multimodal().dlp(Map.of("media_id", "med_01HZX3K9", "mode", "mask"));
client.privacy().classify(Map.of("media_id", "med_01HZX3K9"));
client.media().upload(Map.of("content_base64", Base64.getEncoder().encodeToString(Files.readAllBytes(Path.of("invoice-scan.png"))), "mime_type", "image/png", "filename", "invoice-scan.png", "classification", "internal"));
Go
client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.Multimodal.Dlp(ctx, map[string]any{"media_id": "med_01HZX3K9", "mode": "mask"})
_, err = client.Privacy.Classify(ctx, map[string]any{"media_id": "med_01HZX3K9"})
_, err = client.Media.Upload(ctx, map[string]any{"content_base64": base64.StdEncoding.EncodeToString(scan), "mime_type": "image/png", "filename": "invoice-scan.png", "classification": "internal"})
// worker package: run a media worker consuming multimodal jobs
w, err := worker.New(worker.Config{Source: jobs, Handler: handle, Client: client, Concurrency: 2})
if err != nil { log.Fatal(err) }
err = w.Run(ctx)
Configuration
Variables d'environnement : EAI_OCR_LANG.
Clés de valeurs Helm (deploy/helm/enterprise-ai/values.yaml) : workers.items[name=dlp].replicas.
Sécurité
- Le média masqué est un nouveau média ; l'original reste chiffré avec accès restreint (security_officer).
- Les résultats ne contiennent jamais la valeur brute, seulement le type, la position et une empreinte.
- Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
- Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
- Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.
Observabilité
- Résultats par type et par tenant, boucle de retour sur les faux positifs via les suites d'évaluation.
- traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.
Unités FinOps
- Enregistré en cpu_seconds/gpu_seconds avec labels.operation=dlp, documents ou images comptés.
Modes de défaillance et résilience
- Échec OCR -> classification relevée au niveau le plus prudent (échec fermé), statut needs_review.
Adoption autonome
Un client régulé peut n'adopter que la DLP multimodale devant sa propre pile IA.
Tests d'acceptation
- Un RIB scanné voit son IBAN masqué dans le média masqué.
- Un numéro de téléphone prononcé à 00:42 est masqué par un bip dans l'audio de sortie.
- Un scan illisible est classé confidentiel avec needs_review.
Feuille de route d'implémentation
Preuves vocales du kit L4
Transcriptions temps réel : DLP mask, tokenize ou block avant stockage, client, modèle et journaux ; detect refusé ; lignes stockées, journaux, audit et spans vérifiés sans donnée personnelle brute (MULT-009). Voir le guide du runtime vocal.