Aller au contenu principal

H-04 Comptabilité GPU

Brique H de la plateforme Enterprise AI. Technologie : NVIDIA DCGM exporter + Prometheus, échantillonneur qui pousse vers /v1/finops/gpu/samples, politiques d'allocation. Version anglaise : ../../en/bricks/H-04-gpu-accounting.md.

Rôle et responsabilités​

  • Mesurer GPU-secondes, mémoire GPU, puissance (énergie estimée) par pod, déploiement et tenant.
  • Imputer le coût des modèles locaux (GPU, infra, énergie, stockage) aux tenants selon l'usage réel.

Position et interactions​

  • Chemin d'exécution : batch (échantillonnage et allocation périodiques).
  • Les déploiements vLLM partagés sont répartis selon les tokens servis par tenant (usage gateway) pondérés par les GPU-secondes ; les déploiements dédiés vont entièrement au propriétaire.

Part open source et part développée​

  • Open source réutilisé : DCGM exporter, Prometheus.
  • Développé dans la plateforme : Échantillonneur, moteur d'allocation, politique de capacité inactive.

Modèle de données​

Tables du Control Plane (schéma eai) : eai.gpu_samples, eai.allocation_policies, eai.usage_events.

Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).

Contrat : contracts/v1/usage-event.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.

Endpoints d'API​

MéthodeChemin
POST/v1/finops/gpu/samples
GET/v1/finops/gpu/allocation
POST/v1/finops/allocation-policies
GET/v1/providers/catalog

POST /v1/finops/gpu/samples​

Requête :

{
  "samples": [
    {
      "node": "gpu-node-3",
      "gpu_uuid": "GPU-5e1f",
      "model": "H100-80GB",
      "namespace": "eai-inference",
      "pod": "vllm-llama-70b-0",
      "tenant_id": "8f0c2a4e-1b7d-4c55-9a51-2f3e6d7c9b10",
      "deployment_id": "vllm-llama-70b",
      "window_seconds": 15,
      "utilization": 0.82,
      "memory_used_gb": 61.2,
      "power_w": 512
    }
  ]
}

Réponse :

{
  "accepted": 1
}

GET /v1/finops/gpu/allocation​

Réponse :

{
  "period": "2026-10",
  "items": [
    {
      "tenant_id": "8f0c2a4e-1b7d-4c55-9a51-2f3e6d7c9b10",
      "deployment_id": "vllm-llama-70b",
      "gpu_seconds": 182300,
      "gpu_memory_gb_seconds": 10230000,
      "energy_wh": 25900,
      "allocated": {
        "amount": "412.70",
        "currency": "EUR"
      },
      "policy_id": "alp_1"
    }
  ]
}

POST /v1/finops/allocation-policies​

Requête :

{
  "name": "local-gpu-default",
  "deployment_pattern": "*",
  "currency": "EUR",
  "gpu_hourly_cost": "2.10",
  "overhead_pct": "18",
  "energy_kwh_price": "0.21",
  "pue": "1.4",
  "storage_gb_month_price": "0.02"
}

Réponse :

{
  "id": "alp_1",
  "status": "active"
}

GET /v1/providers/catalog​

Réponse :

{
  "items": [
    {
      "id": "vllm",
      "label": "vLLM (local inference engine)",
      "local": true,
      "base_url": "http://vllm-llama-70b:8000/v1",
      "provider_id": "7fcf4489-04d6-4992-9187-0ccca12986e6",
      "enabled": true,
      "discovery": "api"
    }
  ]
}

Exemples SDK​

Python​

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")
client.finops.gpu_samples(samples=samples)
client.finops.gpu_allocation(start="2026-10-01", end="2026-10-31")
client.finops.create_allocation_policy({"name": "local-gpu-default", "deployment_pattern": "*"})
client.providers.catalog()

TypeScript​

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
await client.finops.gpu.ingestSamples({ samples: samples });
await client.finops.gpu.allocation({ from: "2026-10-01", to: "2026-10-31" });
await client.finops.allocationPolicies.create({ name: "local-gpu-default", gpu_hourly_cost: "2.50", currency: "EUR" });
await client.providers.catalog();

Java​

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .tenant("acme")
    .locale(Locale.FRENCH)
    .build();
client.finops().gpuSamples(Map.of("samples", samples));
client.finops().gpuAllocation(Map.of("from", "2026-10-01", "to", "2026-10-31"));
client.finops().createAllocationPolicy(Map.of("name", "local-gpu-default", "gpu_model", "L40S", "gpu_hourly_cost", 2.10));
client.providers().catalog();

Go​

client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.FinOps.GpuSamples(ctx, map[string]any{"samples": samples})
_, err = client.FinOps.GpuAllocation(ctx, eai.WithQuery(map[string]string{"from": "2026-10-01", "to": "2026-10-31"}))
_, err = client.FinOps.CreateAllocationPolicy(ctx, map[string]any{"name": "local-gpu-default", "gpu_hourly_cost": "2.50"})
_, err = client.Providers.Catalog(ctx)

// usage package: emit a Usage Event from a local worker
emitter := usage.NewEmitter(client, usage.Options{})
defer emitter.Close(ctx)
ev, err := usage.NewEvent("acme", "gpu_local", "worker").Model("local", "llama-70b-local", "", "").Unit("gpu_seconds", 12.4).Unit("energy_wh", 1.7).Build()
if err == nil { err = emitter.Emit(ev) }
// gatewaymw: reserve, call, commit around any http.Handler
http.Handle("/llm", gatewaymw.New(gatewaymw.Config{Client: client, Action: func(r *http.Request) string { return "llm.invoke" }, Reserve: func(r *http.Request) map[string]any { return map[string]any{"cost": "0.50", "tokens": 4000} }})(llmHandler))

Configuration​

Variables d'environnement : EAI_DATABASE_URL, EAI_CLICKHOUSE_URL.

Clés de valeurs Helm (deploy/helm/enterprise-ai/values.yaml) : vllm.nodeSelector, global.monitoring.

Sécurité​

  • Les échantillons ne portent aucun contenu métier ; pousser des échantillons exige une identité de service.
  • Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
  • Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.

Observabilité​

  • Tableaux de bord d'utilisation, mémoire, puissance et ratio d'inactivité GPU.
  • traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.

Unités FinOps​

  • Unités gpu_seconds, gpu_memory_gb_seconds, energy_wh ; coût imputé enregistré en usage_type gpu_local avec allocation_policy_id.

Modes de défaillance et résilience​

  • Fenêtre d'échantillons manquante -> interpolation marquée estimée, jamais un zéro silencieux.

Adoption autonome​

Les clients on-prem l'utilisent seul pour la refacturation GPU.

Tests d'acceptation​

  1. Deux tenants partageant un déploiement à 70/30 en tokens reçoivent 70/30 du coût imputé.

Feuille de route d'implémentation