Aller au contenu principal

G-04 Entrepôt analytique

Brique G de la plateforme Enterprise AI. Technologie : ClickHouse (projections usage_events, spans, audit) avec vues matérialisées. Version anglaise : ../../en/bricks/G-04-analytics.md.

Rôle et responsabilités​

  • Héberger les faits à fort volume : Usage Events, résumés de spans, résultats d'évaluation, pour des agrégations rapides.
  • Servir les agrégats de /v1/finops/summary et /v1/telemetry/overview.

Position et interactions​

  • Chemin d'exécution : insertions batch et streaming.
  • eai.usage_events dans PostgreSQL est la source transactionnelle ; les lignes sont répliquées vers ClickHouse eai_finops.usage_events (ReplacingMergeTree par event_id), et eai.telemetry_spans vers eai_telemetry.spans, par le job analytics_export du worker (voir docs/operations/analytics-export.md).

Part open source et part développée​

  • Open source réutilisé : ClickHouse, clickhouse-operator.
  • Développé dans la plateforme : Schémas, vues matérialisées par jour/tenant/modèle, worker de réplication idempotent.

Modèle de données​

Tables du Control Plane (schéma eai) : eai.usage_events, ClickHouse usage_events.

Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).

Contrat : contracts/v1/usage-event.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.

Endpoints d'API​

MéthodeChemin
GET/v1/finops/summary
GET/v1/telemetry/overview
GET/v1/finops/usage

GET /v1/finops/summary​

Réponse :

{
  "group_by": "agent",
  "currency": "EUR",
  "items": [
    {
      "key": "agt_ap",
      "estimated": "41.20",
      "measured": "38.75",
      "billed": "39.02"
    }
  ]
}

GET /v1/telemetry/overview​

Réponse :

{
  "window": "24h",
  "requests": 18234,
  "error_rate": 0.012,
  "p95_latency_ms": 2140,
  "tokens": {
    "input": 9120044,
    "output": 1203400
  },
  "top_models": [
    {
      "model_id": "gpt-4o-mini",
      "share": 0.61
    }
  ]
}

GET /v1/finops/usage​

Réponse :

{
  "items": [
    {
      "event_id": "use_01J",
      "usage_type": "llm",
      "cost": {
        "measured": {
          "amount": "0.000228",
          "currency": "USD"
        }
      }
    }
  ],
  "next_cursor": null
}

SLO et budget d'erreur​

GET /v1/telemetry/slo donne, par service et sur une fenêtre en minutes, les requêtes, les erreurs 5xx, les requêtes au-dessus du seuil de latence, le budget restant et le taux de brûlage, à partir des mesures de requêtes de la plateforme. Voir docs/operations/slo.md.

Exemples SDK​

Python​

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")
client.finops.summary(group_by="agent")
client.telemetry.overview(days=1)
client.finops.usage(agent_id="agt_ap", limit=100)

TypeScript​

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
await client.finops.summary({ group_by: "agent" });
await client.telemetry.overview({ days: 1 });
await client.finops.usage.list({ agent_id: "agt_ap", limit: 100 });

Java​

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .tenant("acme")
    .locale(Locale.FRENCH)
    .build();
client.finops().summary(Map.of("group_by", "agent"));
client.telemetry().overview(Map.of("days", 1));
client.finops().listUsage(Map.of("agent_id", "agt_ap", "limit", 100));

Go​

client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.FinOps.Summary(ctx, eai.WithQuery(map[string]string{"group_by": "agent"}))
_, err = client.Telemetry.Overview(ctx, eai.WithQuery(map[string]string{"days": "1"}))
_, err = client.FinOps.ListUsage(ctx, eai.WithQuery(map[string]string{"agent_id": "agt_ap"}), eai.WithLimit(100))

Configuration​

Variables d'environnement : EAI_CLICKHOUSE_URL.

Clés de valeurs Helm (deploy/helm/enterprise-ai/values.yaml) : controlPlane.config.EAI_CLICKHOUSE_URL.

Sécurité​

  • Row policies par tenant_id ; utilisateurs en lecture seule pour Grafana.
  • Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
  • Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.

Observabilité​

  • Latence d'insertion, nombre de parts, retard de réplication par rapport à PostgreSQL.
  • traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.

Unités FinOps​

  • Coût de stockage et de requêtes imputé par tenant via la taille des partitions.

Modes de défaillance et résilience​

  • ClickHouse indisponible -> le résumé se replie sur les agrégats PostgreSQL (plus lents), marqué source=postgres.

Adoption autonome​

Une équipe data peut interroger directement les vues ClickHouse avec des identifiants en lecture seule.

Tests d'acceptation​

  1. Rejouer deux fois le même Usage Event produit une ligne après fusion.
  2. Le résumé par modèle correspond aux totaux PostgreSQL au centime près.

Feuille de route d'implémentation