Aller au contenu principal

F-02 Génération et édition d'images

Brique F de la plateforme Enterprise AI. Technologie : Hugging Face Diffusers (SDXL, FLUX.1 schnell sous licence compatible) sur des workers GPU + génération d'images LiteLLM pour les fournisseurs externes. Version anglaise : ../../en/bricks/F-02-image-generation.md.

Rôle et responsabilités​

  • Générer des images à partir de texte, éditer avec un masque (inpainting), produire des variations.
  • Appliquer la modération des sorties et la provenance (manifeste C2PA, filigrane invisible si le modèle le permet).

Position et interactions​

  • Chemin d'exécution : job asynchrone (file) avec enveloppe synchrone pour les petites images.
  • Une réservation de quota (H-01) est prise avant le démarrage du job GPU, puis confirmée avec les GPU-secondes mesurées.
  • Les résultats sont stockés comme nouveaux médias (F-12) et rattachés au run dans l'Execution Contract.

Part open source et part développée​

  • Open source réutilisé : Diffusers, PyTorch, modèles de safety checker, LiteLLM image_generation.
  • Développé dans la plateforme : API de jobs, politique de prompts (marque et sujets interdits), provenance, estimation de coût par taille/qualité/nombre.

Modèle de données​

Tables du Control Plane (schéma eai) : eai.media, eai.multimodal_jobs, eai.usage_events, eai.quota_reservations.

Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).

Contrat : contracts/v1/multimodal-contract.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.

Endpoints d'API​

MéthodeChemin
POST/v1/multimodal/images/generate
POST/v1/multimodal/images/edit
GET/v1/multimodal/jobs/{id}

POST /v1/multimodal/images/generate​

Requête :

{
  "model": "sdxl-local",
  "prompt": "Isometric illustration of a secure data center, corporate colors",
  "size": "1024x1024",
  "n": 2
}

Réponse :

{
  "job_id": "mmj_9A1",
  "status": "succeeded",
  "media_ids": [
    "med_IMG1",
    "med_IMG2"
  ],
  "provenance": {
    "c2pa": true,
    "model_id": "sdxl-local"
  },
  "usage": {
    "images": 2,
    "image_size": "1024x1024",
    "image_quality": "standard",
    "gpu_seconds": 7.4
  }
}

POST /v1/multimodal/images/edit​

Requête :

{
  "model": "sdxl-inpaint",
  "media_id": "med_IMG1",
  "prompt": "Replace the logo with a neutral shape",
  "size": "1024x1024"
}

Réponse :

{
  "job_id": "mmj_9A2",
  "status": "succeeded",
  "media_ids": [
    "med_IMG3"
  ],
  "usage": {
    "images": 1,
    "image_size": "1024x1024"
  }
}

GET /v1/multimodal/jobs/{id}​

Réponse :

{
  "job_id": "mmj_V01",
  "operation": "video_process",
  "status": "succeeded",
  "outputs": {
    "frames": 118,
    "audio_media_id": "med_AUD7"
  },
  "attempts": 1
}

Exemples SDK​

Python​

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")

with client.quotas.reservation(agent_id="agt_ap", amount="1.80", currency="EUR") as r:
    result = client.multimodal.video.generate("Teaser", model="video-gen-gpu", seconds=15)
    r.commit(cost=result.get("cost_measured"))  # released automatically on exception
estimate = client.finops.estimate("openai", usage_type="llm", model_id="gpt-4o-mini", units={"input_tokens": 12000, "output_tokens": 2000})
client.multimodal.image.generate("Isometric secure data center", model="sdxl-local", size="1024x1024", n=2)
client.multimodal.image.edit("med_IMG1", "Replace the logo", size="1024x1024")
client.multimodal.job(job_id="mmj_V01")

TypeScript​

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
await client.multimodal.generateImage({ model: "sdxl-local", prompt: "Isometric secure data center", size: "1024x1024", n: 2 });
await client.multimodal.editImage({ media_id: "med_IMG1", prompt: "Replace the logo" });
await client.multimodal.getJob("mmj_V01");

Java​

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .tenant("acme")
    .locale(Locale.FRENCH)
    .build();
client.multimodal().generateImage(Map.of("model", "sdxl-local", "prompt", "Isometric secure data center", "size", "1024x1024", "n", 2));
client.multimodal().editImage(Map.of("media_id", "med_IMG1", "prompt", "Replace the logo"));
client.multimodal().job("mmj_V01");

Go​

client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.Multimodal.GenerateImage(ctx, map[string]any{"model": "sdxl-local", "prompt": "Isometric secure data center", "size": "1024x1024", "n": 2})
_, err = client.Multimodal.EditImage(ctx, map[string]any{"media_id": "med_IMG1", "prompt": "Replace the logo"})
_, err = client.Multimodal.Job(ctx, "mmj_V01")

// worker package: run a media worker consuming multimodal jobs
w, err := worker.New(worker.Config{Source: jobs, Handler: handle, Client: client, Concurrency: 2})
if err != nil { log.Fatal(err) }
err = w.Run(ctx)

Configuration​

Variables d'environnement : EAI_IMAGE_MODEL.

Clés de valeurs Helm (deploy/helm/enterprise-ai/values.yaml) : workers.items[name=image-gen].resources.limits.nvidia.com/gpu, workers.items[name=image-gen].keda.

Sécurité​

  • Modération des prompts et des sorties ; les sujets refusés sont des règles de politique (POST /v1/policies/evaluate).
  • Les images d'entrée pour l'édition passent par la DLP F-11 (visages, documents) avant usage.
  • Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
  • Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.

Observabilité​

  • Métriques eai_image_jobs_total, eai_image_job_seconds (histogramme), profondeur de file par pool de workers.
  • traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.

Unités FinOps​

  • usage_type image_generation : images, image_size, image_quality, nombre ; pour les modèles locaux gpu_seconds et energy_wh sont aussi enregistrés et valorisés par la politique d'allocation (H-04).

Modes de défaillance et résilience​

  • OOM GPU -> nouvelle tentative avec un batch plus petit, puis échec explicite du job et libération de la réservation.
  • La modération bloque la sortie -> statut blocked, aucun média stocké, coût mesuré quand même enregistré.

Adoption autonome​

Utilisable seule comme service interne d'images : un outil marketing appelle POST /v1/multimodal/images/generate puis interroge GET /v1/multimodal/jobs/{id}.

Tests d'acceptation​

  1. n=2 en 1024x1024 crée deux médias avec provenance et un Usage Event avec images=2.
  2. Une requête au-delà du quota renvoie quota_exceeded avant toute consommation GPU.

Feuille de route d'implémentation