ai-llm-telemetry
Observer les applications LLM et les agents à partir de leur télémétrie. Lit les traces et spans Opik (Comet), les journaux de dépenses, budgets et limites de clés du proxy LiteLLM et les spans OpenTelemetry GenAI (attributs gen_ai.*) pour calculer le coût par modèle, équipe, utilisateur et jour, les percentiles de tokens, le taux de succès du cache, la fréquence des appels d'outils, le taux d'échec et la latence, le temps jusqu'au premier token, les taux d'erreur et de nouvelle tentative, les anomalies de coût et les boucles d'outils incontrôlées. Les scripts fournis agrègent hors ligne des exports JSON ou JSONL.
Quand l'utiliser
À utiliser quand l'utilisateur demande « combien ont coûté nos appels LLM », « quelle équipe consomme le plus de tokens », « audite les appels d'outils de l'agent », « trouve les boucles incontrôlées dans les traces », « configure Opik avec LiteLLM », « le cache LLM fonctionne-t-il », ou quand la facture, la latence ou le taux d'erreur d'une fonctionnalité IA doit être expliqué.
Entrées et outils
Le skill reçoit la demande de l'utilisateur en langage naturel : son frontmatter ne déclare aucun argument. Il ne déclare pas d'allowed-tools : les outils disponibles sont ceux de l'agent qui le charge, selon la politique d'outils du projet.
Référence
| Champ | Valeur |
|---|---|
| Nom | ai-llm-telemetry |
| Catégorie | DevOps |
| Version | Aucune valeur |
| Licence | Aucune valeur |
| Outils autorisés | Aucune valeur |
| Plugins | - |
| Source | catalog/navin/skills/ai-llm-telemetry/SKILL.md |
| Digest | sha256:7fb03d56b7be2a3bfdf82024d579dc32594f13ef6b7481ba302529488dfd00d1 |
skill_md_digest | sha256:d72914e3ff2d79ed37b22ce80b94480b34e49f6ee38e8581afcb8b097dd5013c |
| Emoji | 🧠 |
Fichiers fournis
| Chemin | Nombre |
|---|---|
catalog/navin/skills/ai-llm-telemetry/examples | 3 |
catalog/navin/skills/ai-llm-telemetry/references | 3 |
catalog/navin/skills/ai-llm-telemetry/scripts | 2 |
Frontmatter
Chaque champ du frontmatter de SKILL.md, avec la valeur de la source :
| Champ | Valeur |
|---|---|
name | ai-llm-telemetry |
description | Observe LLM applications and agents from their telemetry. Reads Opik (Comet) traces and spans, LiteLLM proxy spend logs, budgets and key limits, and OpenTelemetry GenAI spans (gen_ai.* attributes) to compute cost per model, team, user and day, token percentiles, cache hit ratio, tool call frequency, failure rate and latency, time to first token, error and retry rates, cost anomalies and runaway tool loops. Bundled scripts aggregate JSON or JSONL exports offline. Use when the user asks to "how much did our LLM calls cost", "which team burns the most tokens", "audit the agent tool calls", "find runaway loops in traces", "set up Opik with LiteLLM", "is the LLM cache working", or when an AI feature bill, latency or error rate needs an explanation. In French "cout des appels LLM", "analyser les traces Opik", "audit des tool calls de l'agent". |
metadata.navin.emoji | 🧠 |
metadata.navin.category | devops |