Scalabilité
En bref
L'enjeu
Une exécution d'agent dure des secondes ou des heures, appelle des dizaines d'outils et consomme des GPU par pics. Une architecture pensée pour des requêtes courtes casse au premier passage à l'échelle.
La montée en charge
Requêtes et événements
API, webhooks, canaux, planificateur
NATS JetStream
Files durables et déclencheurs
Workers et agents
Mis à l'échelle par KEDA et HPA
Points de reprise
Checkpoints PostgreSQL, reprise après bail
Inférence
vLLM sur pools GPU, fournisseurs distants
Tenir la charge
Agents, voix temps réel, traitements par lots et médias, tâches périodiques et inférence montent en charge séparément.
HPA et KEDA dimensionnent les services selon la charge et la profondeur des files NATS JetStream.
Les exécutions d'agents enregistrent des points de reprise et reprennent après un incident, sans repartir de zéro.
Chaque exécution est bornée en temps, en mémoire, en appels et en jetons ; un heartbeat détecte les exécutions bloquées.
Quotas et budgets isolent les tenants : un usage intensif n'affecte pas les autres.
NVIDIA GPU Operator, DCGM et comptabilité GPU pour les modèles servis par vLLM, avec des pools dédiés par tenant si nécessaire.
LiteLLM et le routeur de modèles basculent vers un fournisseur ou un modèle de repli en cas de panne.
La haute disponibilité est déclarée service par service ; Velero assure sauvegardes et reprise après sinistre.
La preuve
Les métriques d'usage, de coût et de performance sont disponibles par tenant, par projet et par modèle pour dimensionner l'infrastructure avant qu'elle ne sature.
Pour aller plus loin
Autoscaling avec HPA et KEDA, déclencheurs d'événements sur NATS JetStream, checkpoints durables, quotas et comptabilité GPU : comment Navin Enterprise AI exécute de nombreux agents sans perdre de travail ni de contrôle, avec une haute disponibilité déclarée par service.
Nous estimons avec vous la capacité nécessaire à vos cas d'usage, du pilote à la production.