Aller au contenu principal

E-11 Lignage des données

Brique E: Données, RAG, contexte, mémoire. Version anglaise: E-11-data-lineage

1. Rôle et responsabilités​

Trace l'origine et les transformations des données (source -> document -> chunk -> réponse) en événements OpenLineage.

  • Ingestion d'événements OpenLineage
  • Graphe interrogeable
  • Lien avec runs et audit

2. Position dans l'architecture et interactions​

  • Appelants: Connector Hub, Document Processing, RAG, runs.
  • Chemin d'exécution: Asynchrone (événements).
  • Toute interaction passe par l'API Control Plane v1 (/v1) derrière la passerelle API (D-14).

3. Composant open source et partie développée​

  • Open source: OpenLineage (Marquez optionnel)
  • Développé: Service interne de graphe.
  • Intégration externe via un adaptateur eai/integrations/<system>.py avec repli in-process lorsque l'URL n'est pas configurée.

4. Modèle de données​

Tables (schéma eai, RLS tenant_id):

  • eai.lineage_events

Colonnes communes : id uuid, tenant_id uuid NOT NULL, created_at, updated_at ; politique RLS current_setting('app.tenant_id', true)::uuid.

5. Contrat​

  • Contrat appliqué: OpenLineage RunEvent
  • Champs clés: eventType, run, job, inputs, outputs
  • Validation : POST /v1/contracts/{name}/validate ; application d'un manifeste : POST /v1/manifests/apply.

6. Endpoints API​

  • POST /v1/lineage/events
  • GET /v1/lineage/graph
  • GET /v1/lineage/datasets/{id}

Requête POST /v1/lineage/events:

{
  "eventType": "COMPLETE",
  "eventTime": "2025-01-10T10:00:00Z",
  "run": {
    "runId": "run_01J9"
  },
  "job": {
    "namespace": "eai",
    "name": "kb_support.ingest"
  },
  "inputs": [
    {
      "namespace": "salesforce",
      "name": "Case"
    }
  ],
  "outputs": [
    {
      "namespace": "eai",
      "name": "kb_support"
    }
  ]
}

Réponse:

{
  "accepted": true,
  "id": "lin_301"
}

7. Exemples SDK​

Python:

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_xxx_secret")
client.privacy.lineage_event(event)
g = client.privacy.lineage_graph(node="kb_support")

TypeScript:

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY });
await client.lineage.emit(event);

Java:

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .build();
client.lineage().emit(event);

Go:

c, _ := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")))
c.Lineage.Emit(ctx, event)

8. Configuration​

  • Variables d'environnement: EAI_DATABASE_URL
  • Clés Helm: controlPlane.config, controlPlane.secrets

9. Contrôles de sécurité​

  • Lecture réservée auditor / security_officer / developer
  • Toutes les requêtes portent le tenant issu du credential ; RLS PostgreSQL
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné

10. Observabilité​

  • Métriques Prometheus: eai_lineage_events_total
  • Traces: spans OpenTelemetry avec conventions sémantiques GenAI (gen_ai.operation.name, gen_ai.agent.id, gen_ai.tool.name), attributs eai.tenant_id, eai.run_id, propagation traceparent.
  • Actions d'audit: lineage.ingest

11. Unités FinOps​

  • Événements stockés.
  • Émis comme Usage Event (POST /v1/finops/usage) avec tenant, projet, agent et run.

12. Modes de défaillance et résilience​

  • Événements idempotents par (runId, eventType)
  • Erreurs normalisées (enveloppe error, message_i18n en/fr)

13. Adoption autonome (client d'un client)​

  • enterprise_ai.privacy + Control Plane.
  • SDK: enterprise_ai.privacy / dlp / knowledge_bases / memory / retention / lineage
  • Déploiement minimal : chart Helm avec controlPlane.enabled=true et PostgreSQL ; les composants externes désactivés utilisent leur repli in-process.

14. Tests d'acceptation​

  1. Graphe relie source -> knowledge base
  2. Accès inter-tenant refusé
  3. Erreur renvoyée en fr avec Accept-Language: fr

RAG gouverné (kit L4)​

L'ingestion émet un événement OpenLineage source vers document versionné (avec les fragments) ; la requête émet document versionné vers réponse (answer/<run_id>). Consultables par GET /v1/lineage/graph.