Composants élémentaires du système de traitement distribué Apple Qmaster

Clients

Les lots sont soumis en vue d’un traitement distribué à partir d’ordinateurs clients. Un ordinateur client peut être n’importe quel ordinateur sur lequel Compressor est installé et qui réside sur le même réseau (sous-réseau) que le contrôleur de clusters. Plusieurs ordinateurs client peuvent être connectés au même sous-réseau et utilisent donc le même cluster pour le traitement des différentes applications.

Utilisez Compressor ou l’application Apple Qmaster pour soumettre des lots en vue du traitement pour un client. Consultez Flux de production de transcodage de base et le Manuel de l’utilisateur Apple Qmaster .

Clusters

Lorsqu’un client envoie des lots au système de traitement distribué Apple Qmaster, l’intégralité du traitement et du déplacement des fichiers de sortie est effectuée par un groupe d’ordinateurs configurés par Apple Qmaster, appelé un cluster. Vous pouvez créer un ou plusieurs clusters de nœuds de service, avec un contrôleur de clusters inclus dans chaque cluster. Chaque ordinateur du cluster est connecté aux autres ordinateurs du cluster via une connexion réseau.

Remarque : ce schéma illustre un exemple simple de cluster. D’autres possibilités sont décrites dans la section Exemples de réseaux de traitement distribué.

Nœuds de service

Les nœuds de service correspondant à l’emplacement où le traitement est effectué. Lorsque vous affectez un groupe de nœuds de service à un cluster, ils fonctionnent comme un seul ordinateur très puissant, car toutes leurs ressources sont partagées. Si un même nœud de service est surchargé ou inaccessible, un autre nœud de service est utilisé.

Pour faire d’un ordinateur un nœud de service, configurez-le dans la fenêtre Apple Qmaster Sharing accessible dans Compressor en choisissant Partager cet ordinateur dans le menu Apple Qmaster.

Connaissances minimales

Voici les règles élémentaires à respecter lors de la configuration d’un réseau de traitement distribué :

• Un cluster doit contenir un (et un seul) ordinateur jouant le rôle de contrôleur de clusters et au moins un ordinateur jouant le rôle de nœud de service. (Ces deux fonctions peuvent être assumées par le même ordinateur, comme indiqué dans Utilisation d’un ordinateur unique pour jouer deux fonctions de traitement distribué.)

• Les ordinateurs clients et les ordinateurs de tout cluster qui les prend en charge doivent résider sur le même réseau.

• Le réseau doit prendre en charge la technologie de mise en réseau Apple intégrée à Mac OS X.

• Tous les ordinateurs d’un cluster doivent avoir accès en lecture et en écriture à tous les ordinateurs (ou à tous les périphériques de stockage) désignés comme destinations de sortie pour les fichiers.

Exemples de réseaux de traitement distribué

Une configuration minimale de traitement distribué peut inclure seulement deux ordinateurs :

• Un ordinateur connecté au client et configuré pour servir de nœud de service et de contrôleur de clusters

• Un ordinateur client

  

Bien que simple, cette configuration est utile dans un environnement limité, car elle permet à l’ordinateur client de se décharger d’une grande partie du travail de traitement.

La configuration suivante concerne un environnement utilisant des ordinateurs de bureau. Elle est dite de « traitement à temps partiel », car chaque ordinateur sert de poste de travail à un utilisateur, tout en faisant partie du cluster de traitement distribué. L’essentiel des tâches de traitement peut être envoyé via Compressor ou Apple Qmaster à la fin de la journée, de sorte que les ordinateurs soient occupés à traiter une file d’attente importante de lots de traitement distribué lorsque chacun est rentré chez soi. (Consultez À propos des réglages avancés de la fenêtre Apple Qmaster Sharing et Planification de la disponibilité des services dans la zone de dialogue Programmation des tâches pour en savoir plus sur la planification de la disponibilité des nœuds de service.)

Dans l’exemple de configuration illustré ci-dessus, cinq ordinateurs agissent à la fois en tant que clients (postes de travail à partir desquels des utilisateurs soumettent des tâches en vue d’un traitement distribué) et en tant qu’ordinateurs de cluster (lesquels prennent en charge le traitement). Chaque ordinateur comporte un volume supplémentaire, tel qu’un lecteur FireWire, utilisé pour les données avant et après leur rendu, ainsi que pour les fichiers associés.

Pour un rendu plus puissant, un réseau peut inclure plusieurs ordinateurs clients en réseau local, connectés à un cluster via un commutateur haut débit. Un rack de serveurs associé à un périphérique de stockage partagé, jouant le rôle de cluster, constitue dans ce cas un moteur de rendu extrêmement puissant. Les nœuds de service comportent alors chacun une copie locale des logiciels applicatifs clients appropriés, de façon à pouvoir traiter les tâches de rendu.

Distribution des lots par le système Apple Qmaster

Le contrôleur de clusters Apple Qmaster détermine l’utilisation la plus efficace des ressources du cluster. Pour ce faire, il se base sur la disponibilité de chaque nœud de service et sur le nombre de parties du lot pouvant être séparées (à ce sujet, consultez la description ci-après).

Apple Qmaster répartissant les différents lots sur plusieurs nœuds de service, le travail est partagé et est effectué plus rapidement. Dans la mesure du possible, cette méthode utilise tous les nœuds de service, vous évitez donc également la sous-utilisation des ressources.

Le contrôleur de clusters peut distribuer les lots sur un cluster en procédant de différentes façons (pour des lots spécifiques, Apple Qmaster détermine le moyen le plus efficace, en fonction des circonstances).

• Le lot est divisé en segments de données : par exemple, pour un lot de rendu, le contrôleur de clusters peut diviser les images en groupes (segments). Chaque segment est alors traité en parallèle sur les nœuds de service du cluster.
• Le lot est divisé en tâches : par exemple, pour un lot de rendu, le contrôleur de clusters peut diviser le travail de rendu en différentes tâches de traitement. Ces tâches sont alors exécutées sur différents nœuds de service.

Plutôt que de déplacer réellement les segments, Apple Qmaster indique aux nœuds de service quels segments lire via le réseau, où les trouver et quoi faire avec. Un exemple de traitement d’un lot dans un système Apple Qmaster est fourni ci-après.

Lors de la distribution des lots, Apple Qmaster utilise la technologie intégrée à Mac OS X pour localiser les services d’un cluster sur le même sous-réseau IP, ainsi que pour partager et recevoir dynamiquement des informations. Comme les ordinateurs peuvent transmettre en permanence leur état de disponibilité de traitement, Apple Qmaster peut distribuer (équilibrer) la charge de travail de manière uniforme sur le cluster.

Autres composants possibles d’un réseau de traitement distribué

Un réseau de traitement distribué peut se limiter à un ou deux ordinateurs, mais un réseau amené à traiter des volumes importants peut très bien comporter de nombreux ordinateurs, un système Xserve et des nœuds de clusters Xserve installés en rack, ainsi que des infrastructures de mise en réseau à haut débit. Vous pouvez augmenter la capacité d’un système de traitement distribué en fonction de vos besoins, en ajoutant des fonctionnalités et des périphériques sur le réseau qui les prend en charge.

Il existe de nombreux moyens d’accroître la capacité d’un réseau de traitement distribué. À titre d’exemple, vous pouvez y intégrer les composants suivants.

• Commutateurs et câbles haut débit : commutateur 100Base-T ou Gigabit Ethernet et câbles compatibles, afin de transférer les données à vitesse maximale sur le réseau local.
• Clients multiples : plusieurs ordinateurs client peuvent utiliser les services du même cluster. Vous pouvez également installer plusieurs applications client sur le même ordinateur client, avec le même cluster.
• Clusters multiples : en fonction de l’étendue de votre réseau et du nombre de clients qu’il doit desservir, vous pouvez diviser les ordinateurs disponibles et créer plusieurs clusters pour desservir différents clients. Lors de l’envoi d’un lot, les utilisateurs sélectionnent le cluster vers lequel ils souhaitent l’envoyer.
• Nœuds de service multiples : en général, plus le nombre de nœuds de service est important, plus la puissance de traitement augmente. Au moment où vous déterminez le nombre de nœuds de service d’un cluster, tenez compte du rapport entre le temps de déplacement des données et le temps de traitement. Si la demande de traitement est supérieure à la demande réseau requise pour déplacer les segments de tâches via le cluster, comme c’est le cas avec le rendu, il est judicieux de disposer de davantage de nœuds de service. Si la charge de traitement, par tâche, est plus proche de la charge réseau, le fait de disposer d’un nombre plus limité de nœuds de service par cluster peut s’avérer plus efficace. Si vous utilisez le système de traitement distribué Apple Qmaster avec des applications autres que Shake ou Compressor, consultez le manuel de l’utilisateur de l’application afin de savoir comment optimiser le nombre de nœuds de service.
• Périphérique de stockage : un périphérique de stockage, tel qu’un disque distant ou un groupe de baies de disques, peut servir de stockage de travail pour les clusters, c’est-à-dire d’emplacement réservé au stockage à court terme des données temporaires générées par le contrôleur de clusters, les clients et les nœuds de service. (Vous pouvez définir l’emplacement du stockage de travail dans la fenêtre Apple Qmaster Sharing de Compressor. Pour en savoir plus, consultez À propos des réglages avancés de la fenêtre Apple Qmaster Sharing et Utilisation du stockage de clusters.) Un périphérique de stockage peut également être utilisé comme destination finale pour les fichiers après leur traitement.

Pour en savoir plus, consultez Exemples de réseaux de traitement distribué.