Marquez (marquez)

Lignage des jeux de données, des travaux et des exécutions collecté avec OpenLineage : la plateforme configure l'API qui reçoit les événements de lignage de l'ingestion RAG et des pipelines d'agents, sa base PostgreSQL et l'interface web du lignage.

Généré depuis catalog/services/marquez.yaml : ne pas modifier à la main.

Résumé

Version	0.51.1
Usage	installer et configurer, configurer et connecter
Couche	fonctionnelle (catalogue IA)
Catégorie	Plateformes de données
Méthodes d'installation	podman
Connexion externe	non
Réservé au bac à sable	non

Licence

Identifiant SPDX	Apache-2.0
Politique de licence	licence socle (MIT ou Apache-2.0)
Exception de licence	-
Composant de la plateforme	openlineage

Paquets et artefacts

Un paquet que publie le projet du service (son image, son archive binaire, son paquet Python ou système) porte la licence du service ; un paquet tiers porte la licence écrite sur sa ligne, lue dans les métadonnées officielles du projet amont.

Type	Paquet	Version	Licence	Détails
image de conteneur	docker.io/marquezproject/marquez	0.51.1	Apache-2.0	clé d'image api, utilisée par api, condensé sha256:0721c976cff17d8b14f7949d85d6dac9c7ea37cb9fe857caa19833730fcb1a50
image de conteneur	docker.io/marquezproject/marquez-web	0.51.1	Apache-2.0	clé d'image web, utilisée par web, condensé sha256:7312112ca0e611b0a37b00d3da6a677485ae4a97622b23d3ae24d849a927868b

Les images sont épinglées par étiquette dans le descripteur, et par condensé (digest) quand le descripteur en déclare un (le bundle hors ligne refuse alors une image téléchargée qui ne le porte pas) ; le condensé est enregistré dans le miroir du Manager à l'import du bundle hors ligne, et chaque téléchargement ou chargement est vérifié par rapport à lui.

Systèmes et architectures pris en charge

Méthode	Systèmes d'exploitation	Architectures
podman	famille RHEL (dnf), famille Debian (apt), Arch Linux (pacman)	x86_64, aarch64 (non restreintes par le descripteur)

Systèmes hôtes certifiés : RHEL 8/9/10, Rocky Linux 8/9/10, AlmaLinux 8/9/10, Oracle Linux 8/9, CentOS Stream 9/10, Ubuntu 22.04/24.04, Debian 12, Arch Linux (rolling). Le contrôle préalable des hôtes accepte ces systèmes (une autre version d'une famille connue donne un avertissement, une version en fin de vie est refusée) et les architectures x86_64 et aarch64.

Prérequis

Hôte

• au moins 2048 Mo de mémoire (avertissement, memory).

Réseau et ports

Composant	Nom du port	Port	Ouvert dans le pare-feu de l'hôte
api	api	5000/tcp	oui
api	admin	5001/tcp	non
web	ui	3000/tcp	oui

Services et connexions nécessaires

• database : postgresql.

Détail et résolution : voir Dépendances.

Méthodes et modes d'installation

Méthode	Défaut	Ce que la méthode utilise
podman	oui	les images de conteneur du descripteur, exécutées par Podman sous systemd

Composants

Composant	Type	Méthodes d'installation	Ports
API de lignage (api)	maître	podman	5000/tcp, 5001/tcp
Interface de lignage (web)	maître	podman	3000/tcp

Serveur unique (standalone) (par défaut)

Une API et une interface.

Ce que le mode déploie :

Composant	Placement
api	min 1, max 1
web	min 1, max 1

Répliqué (replicated)

Plusieurs instances sans état de l'API derrière le répartiteur de charge, avec la même base.

Ce que le mode déploie :

Composant	Placement
api	min 2, recommandé 2
web	min 1, recommandé 1

Installer ce service

L'assistant d'installation du Navin Manager planifie, valide et exécute l'installation ; il faut la permission services:install sur le cluster.

1. Ouvrez l'assistant. Dans Clusters, choisissez l'action de ligne Installer des services du cluster cible. L'assistant s'ouvre sur sa première étape, Service.

2. Choisissez le service. À l'étape Service, sélectionnez Marquez. La carte affiche la licence Apache-2.0 et les dépendances dont l'installation a besoin.

3. Choisissez les hôtes et le mode. À l'étape Hôtes, cochez les hôtes, puis choisissez le Mode : standalone (par défaut), replicated. Chaque mode déploie les composants listés dans Méthodes et modes d'installation. Avec plusieurs composants, placez chacun sur ses hôtes dans Répartition des composants (Proposer un placement propose un placement qui respecte les cardinalités).

4. Liez les dépendances. À l'étape Liaisons, choisissez pour chaque dépendance (database) Installer avec la plateforme ou Utiliser une connexion existante ; une dépendance facultative peut rester sur Aucune liaison.

5. Configurez. À l'étape Configuration, relisez les paramètres (voir Paramètres de configuration). Les mots de passe laissés vides avec une valeur générée par défaut sont générés et scellés par le Manager.

6. Relisez et installez. À l'étape Installation, le Manager valide le plan et affiche l'ordre d'installation ; quand il indique « Le plan est valide. Prêt pour l'installation. », choisissez Installer. Un mode hautement disponible n'est installé que si ses contrôles HA réussissent.

7. Vérifiez. L'opération se termine quand les contrôles de santé de chaque instance réussissent (voir Contrôles de santé) ; le service apparaît alors en marche dans Services.

Connecter un service existant

Schémas	https, http
Port par défaut	5000
Authentification	aucune
Contrôle de santé	/api/v1/namespaces

Méthode d'authentification	Champs	Description
none	-	Marquez n'a pas d'authentification propre : protégez-le par le réseau ou une passerelle authentifiante.

Documentation officielle : https://github.com/MarquezProject/marquez

Champ	Type	Défaut	Description	Remarques
Espace de noms (namespace)	string	navin	Espace de noms OpenLineage des travaux de la plateforme.	-

Haute disponibilité

Cluster	réplicas (replication)
Haute disponibilité	externe (external)
Bascule	répartiteur (load-balancer)
Réplication	stockage partagé (shared-store)
Quorum	aucun (none)
Découverte	aucun (none)
Point d'entrée	répartiteur (load-balancer)
Documentation officielle	https://marquezproject.ai/docs/deployment/

Prérequis

Prérequis	Doit être hautement disponible	Modes	Description
database	oui	modes de niveau ha ou cluster	PostgreSQL hautement disponible portant les métadonnées de lignage.

Topologie par mode

Modes	Niveau le plus haut du catalogue	Répartition	Composant du quorum	Domaines de panne	Description
standalone	autonome (standalone)	unique (single)	-	1	Une API et une interface.
replicated	ha (ha)	actif-actif (active-active)	-	2	Plusieurs instances d'API sans état partageant PostgreSQL derrière le répartiteur.

Remarques

• Plusieurs instances d'API ne sont pas décrites par le projet amont : à valider sur votre charge. L'interface web reste une instance unique tant que son nombre n'est pas augmenté.

Paramètres de configuration

Général

Paramètre	Type	Défaut	Valeurs permises	Obligatoire	Secret	Redémarrage	Description
Port de l'API (api_port)	port	5000	-	non	non	oui	Port de l'API de lignage (/api/v1/lineage reçoit les événements OpenLineage).
Port d'administration (admin_port)	port	5001	-	non	non	oui	Port de /healthcheck et /metrics.
Port de l'interface (web_port)	port	3000	-	non	non	oui	Port de l'interface web du lignage.
TLS (tls_enabled)	bool	false	-	non	non	oui	Servir l'API de lignage et l'interface web en HTTPS avec un certificat de l'autorité du Manager. L'API reçoit un connecteur https de Dropwizard dont le conteneur construit le magasin de clés PKCS12 à chaque démarrage à partir du certificat (openssl de l'image, mot de passe aléatoire) ; l'interface est servie en HTTPS par un frontal aux mêmes routes qui appelle l'API en HTTPS et la vérifie avec l'autorité du Manager. Le port d'administration (/healthcheck, /metrics) reste en HTTP, publié sur la boucle locale de l'hôte uniquement.
Espace de noms par défaut (default_namespace)	string	navin	-	non	non	non	Espace de noms OpenLineage des travaux de la plateforme.

Dépendances

Pour chaque dépendance active, le Manager prend la première solution parmi : la liaison choisie dans l'assistant ; un service de la même installation qui la fournit ; un service déjà installé dans le cluster ; la seule connexion du type attendu. Sinon, une dépendance facultative reste non liée, et une dépendance obligatoire est ajoutée à l'installation dans son mode par défaut (la colonne ci-dessous nomme le service du catalogue ajouté).

Liaison	Fournie par	Type de connexion	Point d'accès	Facultative	Quand rien n'est lié	Description
database	postgresql	postgresql	sql	non	postgresql est ajouté à l'installation	Base des métadonnées de lignage (espaces de noms, jeux de données, travaux, exécutions).

Points d'accès

Point d'accès	Schéma	Composant	Port	Chemin	Paramètre TLS	Paramètres de liaison	Secrets de liaison	Commande de provisionnement
api	http	api	5000 (api_port)	/api/v1	tls_enabled	-	-	-
web	http	web	3000 (web_port)	-	tls_enabled	-	-	-

Fichiers de configuration client

Fichiers rendus pour le téléchargement de la configuration client :

• marquez.env (client.env.j2)

Contrôles de santé

Vivacité (par instance)

Composant	Contrôle	Détails
api	HTTP http://127.0.0.1:{{ config.admin_port }}/healthcheck	Attendu 200 ; 60 tentatives ; intervalle 3 s ; délai 5 s
web	HTTP {{ 'https' if config.tls_enabled else 'http' }}://{{ host.ip or '127.0.0.1' }}:{{ config.web_port }}/	Attendu 200 ; 30 tentatives ; intervalle 2 s ; délai 5 s

Disponibilité (contrôle du service)

Contrôle	Détails
HTTP {{ 'https' if config.tls_enabled else 'http' }}://{{ host.ip or '127.0.0.1' }}:{{ config.api_port }}/api/v1/namespaces	Attendu 200 ; Attendu namespaces

Contrôles préalables

Contrôle	Type	Signification	Sévérité	Composants
memory	memory_mb {"min": 2048}	au moins 2048 Mo de mémoire	avertissement	api
api_port_free	port_free {"param": "api_port"}	port 5000 libre sur l'hôte	bloquant	api

Désinstallation

Chemins supprimés quand les données sont purgées : {{ paths.log }}.

Liens rapides

• Lignage Marquez : {{ 'https' if config.tls_enabled else 'http' }}://{{ host.fqdn }}:{{ config.web_port }}/

Documentation amont

• Site : https://marquezproject.ai
• Sources : https://github.com/MarquezProject/marquez
• Haute disponibilité : https://marquezproject.ai/docs/deployment/
• Authentification : https://github.com/MarquezProject/marquez