Aller au contenu principal

F-09 Détection d'activité vocale (VAD)

Brique F de la plateforme Enterprise AI. Technologie : Silero VAD (ONNX) intégré aux workers STT et aux pipelines temps réel. Version anglaise : ../../en/bricks/F-09-vad.md.

Rôle et responsabilités​

  • Détecter début et fin de parole, piloter les tours de parole et l'interruption dans F-08.
  • Retirer les silences avant le STT pour réduire coût et hallucinations.

Position et interactions​

  • Chemin d'exécution : temps réel (dans le flux) et batch (pré-filtre).
  • Seuil par défaut fixé par déploiement (EAI_VAD_THRESHOLD) ; une session temps réel règle sa propre VAD dans config.vad (à la création ou par session.update) : enabled (booléen, false marque chaque segment comme parole) et threshold (de 0 à 1, transmis à Silero et à la VAD par énergie). Toute autre clé ou valeur donne un refus 422 traduit parameter_invalid.

Part open source et part développée​

  • Open source réutilisé : Silero VAD, onnxruntime.
  • Développé dans la plateforme : Profils de réglage (centre d'appels, réunion, terrain bruyant), détection de fin combinée à la détection sémantique de tour.

Modèle de données​

Tables du Control Plane (schéma eai) : eai.realtime_sessions, eai.multimodal_jobs.

Chaque table de tenant a tenant_id uuid NOT NULL et une politique de sécurité au niveau des lignes sur current_setting('app.tenant_id', true)::uuid. ClickHouse usage_events est la réplique analytique de eai.usage_events (ReplacingMergeTree par event_id).

Contrat : contracts/v1/multimodal-contract.schema.json (schema_version 1.0). L'usage est toujours remonté avec contracts/v1/usage-event.schema.json, l'audit avec contracts/v1/audit-event.schema.json.

Endpoints d'API​

MéthodeChemin
POST/v1/realtime/sessions
POST/v1/multimodal/stt

POST /v1/realtime/sessions​

Requête :

{
  "room": "support-voice-42",
  "pipeline": "stt",
  "ttl_seconds": 900,
  "config": {
    "language": "fr",
    "sample_rate": 16000,
    "dlp_mode": "mask"
  }
}

Réponse :

{
  "session_id": "rts_3K",
  "livekit_url": "wss://<livekit-host>",
  "token": "eyJhbGciOi...",
  "ws_url": "wss://<control-plane-host>/v1/realtime/ws/rts_3K",
  "expires_at": "2026-10-29T10:15:00Z"
}

POST /v1/multimodal/stt​

Requête :

{
  "media_id": "med_AUD1",
  "model": "faster-whisper-large-v3",
  "language": "fr",
  "dlp_mode": "detect"
}

Réponse :

{
  "job_id": "mmj_S01",
  "status": "succeeded",
  "text": "Bonjour, je vous appelle au sujet de ma facture.",
  "language": "fr",
  "segments": [
    {
      "start": 0.0,
      "end": 2.8,
      "text": "Bonjour, je vous appelle"
    }
  ],
  "usage": {
    "audio_seconds": 184.2,
    "output_tokens": 912
  }
}

Exemples SDK​

Python​

from enterprise_ai import EnterpriseAI

client = EnterpriseAI(base_url="<control-plane-url>", api_key="eai_live_xxx", tenant="acme", locale="fr")
session = client.realtime.create_session("stt", config={"language": "fr"})
client.multimodal.stt.transcribe("med_AUD1", model="faster-whisper-large-v3", language="fr")

TypeScript​

import { EnterpriseAI } from "@enterprise-ai/sdk";

const client = new EnterpriseAI({ baseUrl: "<control-plane-url>", apiKey: process.env.EAI_API_KEY, tenant: "acme", locale: "fr" });
const session = await client.realtime.createSession({ pipeline: "stt", config: { language: "fr" } });
await client.multimodal.stt({ media_id: "med_AUD1", model: "faster-whisper-large-v3", language: "fr" });

Java​

EnterpriseAIClient client = EnterpriseAIClient.builder()
    .baseUrl("<control-plane-url>")
    .apiKey(System.getenv("EAI_API_KEY"))
    .tenant("acme")
    .locale(Locale.FRENCH)
    .build();
JsonNode session = client.realtime().createSession(Map.of("pipeline", "stt", "config", Map.of("language", "fr")));
client.multimodal().stt(Map.of("media_id", "med_AUD1", "model", "faster-whisper-large-v3", "language", "fr"));

Go​

client, err := eai.NewClient(eai.WithBaseURL("<control-plane-url>"), eai.WithAPIKey(os.Getenv("EAI_API_KEY")), eai.WithTenant("acme"), eai.WithLocale("fr"))
if err != nil { log.Fatal(err) }
ctx := context.Background()
_, err = client.Realtime.CreateSession(ctx, map[string]any{"pipeline": "stt", "config": map[string]any{"language": "fr"}})
_, err = client.Multimodal.Stt(ctx, map[string]any{"media_id": "med_AUD1", "model": "faster-whisper-large-v3", "language": "fr"})

// worker package: run a media worker consuming multimodal jobs
w, err := worker.New(worker.Config{Source: jobs, Handler: handle, Client: client, Concurrency: 2})
if err != nil { log.Fatal(err) }
err = w.Run(ctx)

Configuration​

Variables d'environnement : EAI_VAD_THRESHOLD.

Clés de valeurs Helm (deploy/helm/enterprise-ai/values.yaml) : controlPlane.config, controlPlane.secrets.

Sécurité​

  • S'exécute dans le processus, l'audio ne quitte jamais le worker pour la VAD.
  • Tenant déduit de l'identifiant d'accès, jamais du corps ; sécurité au niveau des lignes PostgreSQL sur chaque table de tenant.
  • Chaque mutation et décision de politique écrit un événement d'audit chaîné par hachage (G-11).
  • Les erreurs utilisent l'enveloppe standard avec message_i18n en et fr.

Observabilité​

  • Ratio de parole et taux de fausses interruptions par session.
  • traceparent W3C propagé, X-Request-Id renvoyé, les spans portent eai.tenant_id, eai.project, eai.agent_id, eai.run_id.

Unités FinOps​

  • Pas d'unité facturable propre ; l'économie apparaît comme moins d'audio_seconds envoyées au STT.

Modes de défaillance et résilience​

  • Environnement bruyant -> changement de profil ou seuil plus haut, mesuré par le taux de fausses interruptions.

Adoption autonome​

Fournie avec F-05 et F-08 ; aucun déploiement séparé nécessaire.

Tests d'acceptation​

  1. Sur le jeu de référence, segments de parole détectés avec un F1 au-dessus de la cible.
  2. Un fichier avec 30 % de silence réduit d'autant les secondes STT.

Feuille de route d'implémentation

Preuves vocales du kit L4​

Silero VAD v6.2.3 en ONNX sur onnxruntime (adaptateurs silero-onnx et http-vad) : segment de parole trouvé dans la parole Kokoro, aucun dans le silence (MULT-005). Voir le guide du runtime vocal.