Ragas (ragas)
Bibliothèque d'évaluation de la génération augmentée par récupération (fidélité, pertinence des réponses, précision du contexte) lancée à la demande via la passerelle LiteLLM.
Généré depuis catalog/services/ragas.yaml : ne pas modifier à la main.
Résumé
| Version | 0.3.2 |
| Usage | exécuter à la demande |
| Couche | fonctionnelle (catalogue IA) |
| Catégorie | Évaluation et exploitation des LLM |
| Méthodes d'installation | python |
| Connexion externe | non |
| Réservé au bac à sable | non |
Licence
| Identifiant SPDX | Apache-2.0 |
| Politique de licence | licence socle (MIT ou Apache-2.0) |
| Exception de licence | - |
| Composant de la plateforme | ragas |
Paquets et artefacts
Un paquet que publie le projet du service (son image, son archive binaire, son paquet Python ou système) porte la licence du service ; un paquet tiers porte la licence écrite sur sa ligne, lue dans les métadonnées officielles du projet amont.
| Type | Paquet | Version | Licence | Détails |
|---|---|---|---|---|
| paquet Python | ragas | 0.3.2 | Apache-2.0 | interpréteurs, par ordre de préférence python3.11, python3.12, python3.10 |
| paquet Python | langchain-openai | 0.3.28 | MIT | interpréteurs, par ordre de préférence python3.11, python3.12, python3.10 |
| paquet Python | datasets | 4.0.0 | Apache-2.0 | interpréteurs, par ordre de préférence python3.11, python3.12, python3.10 |
Systèmes et architectures pris en charge
| Méthode | Systèmes d'exploitation | Architectures |
|---|---|---|
python | famille RHEL (dnf), famille Debian (apt), Arch Linux (pacman) | x86_64, aarch64 (non restreintes par le descripteur) |
Systèmes hôtes certifiés : RHEL 8/9/10, Rocky Linux 8/9/10, AlmaLinux 8/9/10, Oracle Linux 8/9, CentOS Stream 9/10, Ubuntu 22.04/24.04, Debian 12, Arch Linux (rolling). Le contrôle préalable des hôtes accepte ces systèmes (une autre version d'une famille connue donne un avertissement, une version en fin de vie est refusée) et les architectures x86_64 et aarch64.
Prérequis
Hôte
Le descripteur ne déclare aucun contrôle préalable de l'hôte.
Réseau et ports
Aucun.
Services et connexions nécessaires
litellm:litellm(facultative).
Détail et résolution : voir Dépendances.
Méthodes et modes d'installation
| Méthode | Défaut | Ce que la méthode utilise |
|---|---|---|
python | oui | un environnement virtuel Python qui contient les paquets Python du descripteur |
Composants
| Composant | Type | Méthodes d'installation | Ports |
|---|---|---|---|
Client Ragas (ragas) | client | python | - |
Client (client) (par défaut)
Installé sur les hôtes d'évaluation, lancé à la demande.
Ce que le mode déploie :
| Composant | Placement |
|---|---|
ragas | min 1, recommandé 1 |
Installer ce service
L'assistant d'installation du Navin Manager planifie, valide et exécute l'installation ; il faut la permission services:install sur le cluster.
-
Ouvrez l'assistant. Dans Clusters, choisissez l'action de ligne Installer des services du cluster cible. L'assistant s'ouvre sur sa première étape, Service.
-
Choisissez le service. À l'étape Service, sélectionnez Ragas. La carte affiche la licence
Apache-2.0et les dépendances dont l'installation a besoin. -
Choisissez les hôtes et le mode. À l'étape Hôtes, cochez les hôtes, puis choisissez le Mode :
client(par défaut). Chaque mode déploie les composants listés dans Méthodes et modes d'installation. -
Liez les dépendances. À l'étape Liaisons, choisissez pour chaque dépendance (
litellm) Installer avec la plateforme ou Utiliser une connexion existante ; une dépendance facultative peut rester sur Aucune liaison. -
Configurez. À l'étape Configuration, relisez les paramètres (voir Paramètres de configuration) ; les paramètres obligatoires sont
llm_api_key. Les mots de passe laissés vides avec une valeur générée par défaut sont générés et scellés par le Manager. -
Relisez et installez. À l'étape Installation, le Manager valide le plan et affiche l'ordre d'installation ; quand il indique « Le plan est valide. Prêt pour l'installation. », choisissez Installer. Un mode hautement disponible n'est installé que si ses contrôles HA réussissent.
-
Vérifiez. L'opération se termine quand les contrôles de santé de chaque instance réussissent (voir Contrôles de santé) ; le service apparaît alors en marche dans Services.
Exécutions à la demande
Note un jeu de réponses RAG (fidélité, pertinence des réponses, précision du contexte) quand une évaluation est demandée ; rien ne tourne entre deux évaluations.
Écran du portail : /quality/runs
Haute disponibilité
| Cluster | aucun (none) |
| Haute disponibilité | aucun (none) |
| Bascule | aucun (none) |
| Réplication | aucun (none) |
| Quorum | aucun (none) |
| Découverte | aucun (none) |
| Point d'entrée | aucun (none) |
| Documentation officielle | https://docs.ragas.io/en/v0.3.2/getstarted/rag_eval/ |
Topologie par mode
| Modes | Niveau le plus haut du catalogue | Répartition | Composant du quorum | Domaines de panne | Description |
|---|---|---|---|---|---|
client | autonome (standalone) | jobs parallèles (parallel-jobs) | - | - | Installé sur les hôtes d'évaluation ; les workers d'évaluation sont orchestrés hors de l'outil. |
Remarques
- Outil en ligne de commande lancé à la demande : jamais un cluster hautement disponible ; plusieurs analyses tournent comme des jobs parallèles indépendants.
Paramètres de configuration
Général
| Paramètre | Type | Défaut | Valeurs permises | Obligatoire | Secret | Redémarrage | Description |
|---|---|---|---|---|---|---|---|
Point d'accès compatible OpenAI (llm_base_url) | url | http://127.0.0.1:4000/v1 | - | non | non | non | URL de base de LiteLLM utilisé comme juge et pour les plongements quand aucune liaison LiteLLM n'est définie. |
Clé d'API (llm_api_key) | password | - | - | oui | oui | non | Clé virtuelle de la passerelle. |
Modèle juge (judge_model) | string | navin-judge | - | non | non | non | Alias du modèle utilisé pour noter les réponses. |
Modèle de plongement (embedding_model) | string | navin-embedding | - | non | non | non | Alias de plongement de la passerelle. |
Dépendances
Pour chaque dépendance active, le Manager prend la première solution parmi : la liaison choisie dans l'assistant ; un service de la même installation qui la fournit ; un service déjà installé dans le cluster ; la seule connexion du type attendu. Sinon, une dépendance facultative reste non liée, et une dépendance obligatoire est ajoutée à l'installation dans son mode par défaut (la colonne ci-dessous nomme le service du catalogue ajouté).
| Liaison | Fournie par | Type de connexion | Point d'accès | Facultative | Quand rien n'est lié | Description |
|---|---|---|---|---|---|---|
litellm | litellm | - | api | oui | reste non liée (facultative) | Passerelle LiteLLM de la plateforme utilisée comme juge et pour les plongements (OPENAI_BASE_URL) ; sans elle le paramètre point d'accès est utilisé. |
Commandes
| Commande | Composant | Cible | Description |
|---|---|---|---|
Évaluer un jeu de données (evaluate) | ragas | hôte choisi | Note un jeu JSONL (question, answer, contexts, ground_truth) et écrit le résultat à côté. |
Paramètres des commandes
| Commande | Paramètre | Type | Défaut | Obligatoire | Description |
|---|---|---|---|---|---|
evaluate | Fichier du jeu de données (dataset) | path | - | oui | Fichier JSONL sous le répertoire de données. |
Contrôles de santé
Vivacité (par instance)
| Composant | Contrôle | Détails |
|---|---|---|
ragas | {{ paths.opt }}/venv/bin/python -c import ragas | 1 tentatives ; intervalle 1 s ; délai 60 s |
Désinstallation
Chemins supprimés quand les données sont purgées : {{ paths.data }}, {{ paths.opt }}.
Documentation amont
- Site : https://docs.ragas.io
- Sources : https://github.com/explodinggradients/ragas
- Haute disponibilité : https://docs.ragas.io/en/v0.3.2/getstarted/rag_eval/