Aller au contenu principal

H-14 Sauvegarde et reprise après sinistre

Brique H de la plateforme Enterprise AI. Technologie : Velero (ressources du cluster, volumes) + outils de base de données (pgBackRest ou CloudNativePG barman, clickhouse-backup, Redis RDB), réplication du stockage objet. Version anglaise : ../../en/bricks/H-14-backup-dr.md.

Rôle et responsabilités​

  • Tenir les objectifs RPO/RTO : PITR PostgreSQL (RPO en minutes), sauvegarde quotidienne du cluster, copies inter-régions, exercices de restauration.

Position et interactions​

  • Chemin d'exécution : batch (planifié) et workflow de reprise.
  • Après restauration, GET /v1/audit/verify prouve l'intégrité de la chaîne d'audit.

Part open source et part développée​

  • Open source réutilisé : Velero, pgBackRest/barman, clickhouse-backup.
  • Développé dans la plateforme : Runbooks, automatisation des exercices, tests de vérification de restauration.

Modèle de données​

Tables du Control Plane (schéma eai) : eai.audit_exports.

Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).

Contrat : contracts/v1/audit-event.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.

Endpoints d'API​

MéthodeChemin
GET/readyz
GET/v1/audit/verify

GET /readyz​

Réponse :

{
  "status": "ready",
  "checks": {
    "postgres": "ok",
    "redis": "ok",
    "clickhouse": "ok"
  }
}

GET /v1/audit/verify​

Réponse :

{
  "valid": true,
  "checked": 90311,
  "first_sequence": 1,
  "last_sequence": 90311,
  "broken_at": null
}

Exemples SDK​

Python​

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")
client.system.readyz()
client.audit.verify()

TypeScript​

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
await client.meta.ready();
await client.audit.verify();

Java​

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .tenant("acme")
    .locale(Locale.FRENCH)
    .build();
client.meta().ready();
client.audit().verify();

Go​

client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.Meta.Ready(ctx, nil)
_, err = client.Audit.Verify(ctx, nil)

Configuration​

Aucune variable EAI_* : configuration par les valeurs Helm et la configuration propre de l'outil.

Sécurité​

  • Sauvegardes chiffrées avec des clés par tenant ; la restauration exige deux personnes.
  • Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
  • Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.

Observabilité​

  • Alertes sur l'âge de la dernière sauvegarde réussie.
  • traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.

Unités FinOps​

  • Stockage de sauvegarde imputé par tenant.

Modes de défaillance et résilience​

  • Perte de région -> restauration en région secondaire selon le runbook PRA.

Adoption autonome​

S'intègre aux outils de sauvegarde du client via les plugins Velero.

Tests d'acceptation​

  1. L'exercice trimestriel restaure un snapshot de prod dans un namespace isolé dans le RTO et la vérification d'audit renvoie valid=true.

Feuille de route d'implémentation