Aller au contenu principal

E-07 Base vectorielle

Brique E: Données, RAG, contexte, mémoire. Version anglaise: E-07-vector-database

1. Rôle et responsabilités​

Stocke les vecteurs des chunks dans Qdrant avec payload (tenant_id, kb_id, acl, classification).

  • Une collection par knowledge base ou par tenant
  • Filtre obligatoire tenant_id
  • Snapshots et réplication

2. Position dans l'architecture et interactions​

  • Appelants: RAG Pipelines (E-06), Memory Manager (E-10).
  • Chemin d'exécution: Synchrone (gRPC/HTTP).
  • Toute interaction passe par l'API Control Plane v1 (/v1) derrière la passerelle API (D-14).

3. Composant open source et partie développée​

  • Open source: Qdrant
  • Développé: adaptateur eai/integrations/qdrant.py et repli in-process.
  • Intégration externe via un adaptateur eai/integrations/<system>.py avec repli in-process lorsque l'URL n'est pas configurée.

4. Modèle de données​

Tables (schéma eai, RLS tenant_id):

  • eai.kb_chunks (vector_id)
  • eai.knowledge_bases (collection)

Colonnes communes : id uuid, tenant_id uuid NOT NULL, created_at, updated_at ; politique RLS current_setting('app.tenant_id', true)::uuid.

5. Contrat​

  • Contrat appliqué: memory-contract
  • Schéma JSON: contracts/v1/memory-contract.schema.json
  • Champs clés: embedding_ref
  • Validation : POST /v1/contracts/{name}/validate ; application d'un manifeste : POST /v1/manifests/apply.

6. Endpoints API​

  • POST /v1/knowledge-bases/{id}/query
  • POST /v1/memory/search

Requête POST /v1/memory/search:

{
  "query": "préférences de langue",
  "scope": { "type": "user", "id": "usr_42" },
  "top_k": 3
}

Réponse:

{
  "items": [
    {
      "memory_id": "mem_5",
      "score": 0.88,
      "content": "Préfère le français"
    }
  ]
}

7. Exemples SDK​

Python:

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_xxx_secret")
client.memory.search(query="préférences", scope={"type": "user", "id": "usr_42"}, top_k=3)

TypeScript:

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY });
await client.memory.search({ query: "preferences", scope: { type: "user", id: "usr_42" }, top_k: 3 });

Java:

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .build();
client.memory().search(Map.of("query", "preferences", "scope", Map.of("type", "user", "id", "usr_42"), "top_k", 3));

Go:

c, _ := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")))
c.Memory.Search(ctx, map[string]any{"query": "preferences", "scope": map[string]any{"type": "user", "id": "usr_42"}, "top_k": 3})

8. Configuration​

  • Variables d'environnement: EAI_QDRANT_URL, EAI_QDRANT_API_KEY, EAI_DATABASE_URL
  • Clés Helm: qdrant.enabled, qdrant.replicaCount, qdrant.persistence.size

9. Contrôles de sécurité​

  • Qdrant non exposé hors cluster
  • Filtre tenant ajouté côté serveur
  • Toutes les requêtes portent le tenant issu du credential ; RLS PostgreSQL
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné

10. Observabilité​

  • Métriques Prometheus: qdrant_collections_vector_total, eai_vector_search_latency_seconds
  • Traces: spans OpenTelemetry avec conventions sémantiques GenAI (gen_ai.operation.name, gen_ai.agent.id, gen_ai.tool.name), attributs eai.tenant_id, eai.run_id, propagation traceparent.
  • Actions d'audit: knowledge.query, memory.search

11. Unités FinOps​

  • Stockage vecteurs (Go-mois), requêtes.
  • Émis comme Usage Event (POST /v1/finops/usage) avec tenant, projet, agent et run.

12. Modes de défaillance et résilience​

  • Réplication factor 2, snapshots vers S3 (E-13)
  • Réindexation possible depuis eai.kb_chunks
  • Erreurs normalisées (enveloppe error, message_i18n en/fr)

13. Adoption autonome (client d'un client)​

  • Qdrant + Control Plane (qdrant.enabled=true).
  • SDK: enterprise_ai.privacy / dlp / knowledge_bases / memory / retention / lineage
  • Déploiement minimal : chart Helm avec controlPlane.enabled=true et PostgreSQL ; les composants externes désactivés utilisent leur repli in-process.

14. Tests d'acceptation​

  1. Requête tenant A ne renvoie jamais un vecteur tenant B
  2. Accès inter-tenant refusé
  3. Erreur renvoyée en fr avec Accept-Language: fr

RAG gouverné (kit L4)​

Qdrant réel (binaire officiel 1.20.0, tools/rag/fetch.sh, sha256 vérifié) : une collection par tenant et espace d'embedding, filtres côté serveur kb_id, readers, chunk_readers, classification_level et active. tests/test_rag_qdrant_real.py prouve qu'aucun point du tenant B n'est rendu au tenant A.