data-lineage-observer
Observer les pipelines de données à travers les événements OpenLineage et les catalogues de lignage (Marquez, DataHub, OpenMetadata) pour savoir d'où vient un jeu de données, ce qui en dépend et s'il est à jour. Lit les RunEvents (START, COMPLETE, FAIL, facettes schema, columnLineage, errorMessage, outputStatistics) émis par Airflow, dbt, Spark, Flink ou Dagster, parcourt le graphe pour l'analyse d'impact et la cause racine, repère les jeux de données orphelins, suit les données personnelles colonne par colonne et vérifie les SLA de fraîcheur à partir d'un export JSONL.
Quand l'utiliser
À utiliser quand l'utilisateur demande « qu'est-ce qui casse si je modifie cette table », « pourquoi ce tableau de bord est-il périmé », « d'où vient cette colonne », « configure OpenLineage pour Airflow », « quels jeux de données sont orphelins », ou quand un incident de qualité de données a besoin d'un producteur et d'une chronologie.
Entrées et outils
Le skill reçoit la demande de l'utilisateur en langage naturel : son frontmatter ne déclare aucun argument. Il ne déclare pas d'allowed-tools : les outils disponibles sont ceux de l'agent qui le charge, selon la politique d'outils du projet.
Référence
| Champ | Valeur |
|---|---|
| Nom | data-lineage-observer |
| Catégorie | Données |
| Version | Aucune valeur |
| Licence | Aucune valeur |
| Outils autorisés | Aucune valeur |
| Plugins | - |
| Source | catalog/navin/skills/data-lineage-observer/SKILL.md |
| Digest | sha256:19337139c5e8f16145225a8ea4dcbccc7ab042768b695f84a437a114ec035b46 |
skill_md_digest | sha256:8af91a5d86a028a15506f1d1f458ff99b3a2b9e5dd27d4d5848425e0123afa4a |
| Emoji | 🧬 |
Fichiers fournis
| Chemin | Nombre |
|---|---|
catalog/navin/skills/data-lineage-observer/examples | 2 |
catalog/navin/skills/data-lineage-observer/references | 3 |
catalog/navin/skills/data-lineage-observer/scripts | 2 |
Frontmatter
Chaque champ du frontmatter de SKILL.md, avec la valeur de la source :
| Champ | Valeur |
|---|---|
name | data-lineage-observer |
description | Observe data pipelines through OpenLineage events and lineage catalogs (Marquez, DataHub, OpenMetadata) to answer where a dataset comes from, what depends on it and whether it is fresh. Reads RunEvents (START, COMPLETE, FAIL, facets schema, columnLineage, errorMessage, outputStatistics) emitted by Airflow, dbt, Spark, Flink or Dagster, walks the graph for impact and root cause, finds orphan datasets, traces personal data column by column and checks freshness SLAs from a JSONL export. Use when the user asks to "what breaks if I change this table", "why is this dashboard stale", "where does this column come from", "set up OpenLineage for Airflow", "which datasets are orphaned", or when a data quality incident needs a producer and a timeline. In French "analyse d'impact sur une table", "lineage des donnees", "pourquoi la donnee est perimee". |
metadata.navin.emoji | 🧬 |
metadata.navin.category | data |