Il s'agit de l'application Linux nommée q pipeline manager à exécuter sous Linux en ligne dont la dernière version peut être téléchargée sous le nom q-1.0.2.tar.gz. Il peut être exécuté en ligne sur le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne cette application nommée q pipeline manager pour une exécution gratuite sous Linux en ligne avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
q gestionnaire de pipeline à exécuter sous Linux en ligne
DESCRIPTION
L'utilitaire q est une plate-forme pour créer et gérer des pipelines d'analyse de données. Il étend la valeur de votre planificateur de travaux existant - Grid Engine ou TORQUE PBS - grâce à de nombreuses fonctions qui vous aident à organiser, soumettre, surveiller, gérer et partager votre travail informatique.Les pipelines de traitement des données nécessitent une organisation et une parallélisation du travail de haut niveau pour optimiser l'utilisation des ressources et réduire le délai d'obtention des résultats. q (depuis la file d'attente) permet d'assembler et de gérer efficacement des séquences de tâches complexes, y compris le suivi des dépendances, la parallélisation et la surveillance au niveau du pipeline, la récupération d'erreurs et la protection des données. Les pipelines sont construits à partir de fichiers de script modulaires, avec des définitions de tâches et des résultats stockés dans des fichiers de tâches faciles à récupérer. Une interface Web facilite la soumission et la surveillance des travaux, avec le pipeline complet exportable pour une transparence totale.
Fonctionnement
- Organisation du travail en unités d'ordre supérieur à partir de morceaux de code existants dans n'importe quelle langue.
- Les pipelines sont soumis et gérés comme une unité par des appels à un seul fichier maître.
- Définition et suivi robustes des dépendances des tâches.
- Plusieurs modes de parallélisation maximisent l'utilisation des ressources et minimisent le délai d'obtention des résultats.
- Le mélange de commandes de temps de soumission et de temps d'exécution prend en charge la configuration dynamique des tâches.
- Le suivi intelligent des tâches en file d'attente prend en charge l'exécution incrémentielle de nouvelles tâches.
- Quelques éléments de syntaxe spécifiques à q créent des pipelines complexes avec un code minimal.
- La structure hautement modulaire facilite la réutilisation et le partage du code.
- Diverses fonctionnalités facilitent la mise en œuvre multiplateforme des pipelines.
- Une vérification approfondie de la syntaxe au moment de la soumission permet d'éviter les ruptures de pipeline.
- Rapports de travaux améliorés et interfaces dans les fonctions du planificateur de travaux, y compris la gestion des erreurs.
- Protection en écriture et sauvegarde des fichiers de sortie intégrés dans les fichiers de définition de pipeline.
- Suivi de l'historique de tous les travaux effectués dans un pipeline, avec restauration.
- Interface Web pour la soumission et la gestion des travaux.
- Partage entièrement transparent du travail lors de la publication via des rapports HTML complets.
- Installation par l'utilisateur final sans gestion requise par les administrateurs système.
Langage de programmation
Perl
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/q-ppln-mngr/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
