Informations générales sur les clusters

Une fois que votre réseau est configuré et que vous avez installé les composants nécessaires, vous êtes prêt à créer des clusters de traitement distribué.

Il existe trois approches pour créer un cluster :

Si vous avez des questions sur les concepts et les termes utilisés dans ces pages, reportez-vous au chapitre Notions élémentaires sur le traitement distribué.

Remarque : si vous utilisez Apple Qmaster et que vous souhaitez créer un cluster comprenant des ordinateurs sur lesquels Apple Qmaster n’est pas installé, consultez le Manuel de l’utilisateur Apple Qmaster pour obtenir des instructions.

Options de la fenêtre Apple Qmaster Sharing de Compressor

La section suivante décrit certains réglages facultatifs que vous pourriez être amené à utiliser.

Important : si vous apportez des modifications aux réglages existants et que cet ordinateur fournit déjà des services de traitement, le fait de cliquer sur OK réinitialise immédiatement les services de cet ordinateur. Si cet ordinateur est également contrôleur de clusters, toutes les tâches en cours sont annulées.

Pour obtenir une liste complète des options et des réglages de la fenêtre Apple Qmaster Sharing de Compressor, consultez À propos des réglages élémentaires de la fenêtre Apple Qmaster Sharing et À propos des réglages avancés de la fenêtre Apple Qmaster Sharing.

Définition du nom

Par défaut, un ordinateur est identifié par son nom sur le réseau (tel qu’il est saisi dans la sous-fenêtre Partage des Préférences Système). Vous pouvez remplacer ce nom par un nom plus significatif, car il s’agit du nom utilisé pour identifier cet ordinateur dans le système de traitement distribué Apple Qmaster. Si vous configurez un QuickCluster, ce nom apparaît dans le menu local Cluster de Compressor ou dans le menu local Soumettre à d’Apple Qmaster. Si vous configurez un contrôleur de clusters géré, il s’agit du nom qui apparaîtra dans le menu local Contrôleur d’Apple Qadministrator.

Pour attribuer un nom à un QuickCluster
  • Saisissez le nouveau nom du cluster dans le champ « Identifier ce QuickCluster sous le nom ».

Pour attribuer un nom à un contrôleur de clusters à utiliser avec Apple Qadministrator
  1. Cliquez sur Avancé pour ouvrir la sous-fenêtre correspondante.

  2. Saisissez le nouveau nom dans le champ « Identifier cet ordinateur par Qadministrator sous le nom ».

Et services non gérés

Vous pouvez activer les services non gérés pour un QuickCluster. Pour en savoir plus, consultez Comparaison entre services gérés et services non gérés.

Configuration du mot de passe

Pour forcer la saisie d’un mot de passe, cochez la case « Exiger le mot de passe ».

  • Si vous configurez un QuickCluster : les autres utilisateurs devront saisir ce mot de passe avant d’être autorisés à soumettre des demandes à cet ordinateur.
  • Si vous configurez un cluster à utiliser avec Apple Qadministrator : tout administrateur devra saisir ce mot de passe avant d’être autorisé à ajouter cet ordinateur à un cluster.

Pour en savoir plus, consultez Configuration d’un mot de passe de service pour l’inclusion d’un ordinateur dans un cluster. (Si vous configurez l’ordinateur en tant que contrôleur de clusters et nœud de service, ce mot de passe est utilisé pour les deux.)

Configuration du stockage de clusters

Vous pouvez changer l’emplacement par défaut du stockage de travail pour tout traitement réalisé sur cet ordinateur dans la sous-fenêtre Avancé. Pour en savoir plus, consultez Utilisation du stockage de clusters.

Comparaison entre services gérés et services non gérés

Vous disposez d’une certaine latitude lors de la création de clusters pour le traitement distribué avec Compressor ou Apple Qmaster. Lorsque vous configurez des services de traitement, vous pouvez choisir d’en faire des services gérés ou des services non gérés (par défaut).

Figure. Services section in the Apple Qmaster pane of System Preferences.

Services gérés

Les services gérés peuvent être affectés pour servir de contrôleur de clusters particulier. Une fois affectés, les services gérés restent exclusivement dédiés à ce cluster jusqu’à ce qu’ils soient supprimés à l’aide de l’application Apple Qadministrator. Les QuickClusters ne peuvent pas utiliser les services gérés d’autres nœuds, sauf en cas de clusters de nœuds étendus. Pour en savoir plus, voir le Manuel de l’utilisateur d’Apple Qadministrator. Consultez le Manuel de l’utilisateur Apple Qmaster pour de plus amples informations sur les clusters de nœuds étendus.

Et services non gérés

Les services non gérés sont automatiquement affectés au premier cluster Cet ordinateur plus ou QuickCluster disponible sur lequel ce type de services est activé. Les QuickClusters écoutent les annonces de services non gérés et peuvent les marquer ou les mémoriser en vue d’une utilisation ultérieure. Un service non géré reste lié à son cluster Cet ordinateur plus ou QuickCluster le temps nécessaire pour terminer la tâche en cours. Une fois la tâche terminée, le service non géré est « libéré » et annonce sa disponibilité à tous les clusters Cet ordinateur plus et QuickCluster.

Remarque : les clusters gérés (créés avec Apple Qadministrator) peuvent également utiliser des services non gérés. Lorsque la prise en charge des services non gérés est activée sur un cluster géré, ce cluster ajoute automatiquement les services non gérés disponibles, en plus de ses services gérés (ajoutés explicitement par le biais d’Apple Qadministrator).

Activation de services non gérés sur des QuickClusters

Suivez les étapes décrites ci-après pour activer les services non gérés sur des QuickClusters.

Pour activer des services non gérés sur des QuickClusters
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur.

  2. Cochez la case « Partager cet ordinateur » et sélectionnez le bouton « en tant que QuickCluster avec services » pour créer un QuickCluster.

  3. Cochez la case « Inclure des services non gérés provenant d’autres ordinateurs ».

    Figure. QuickCluster section in the Apple Qmaster pane of System Preferences.
  4. Cliquez ensuite sur OK.

Pour en savoir plus sur la création de QuickClusters, consultez Premiers contacts rapides avec QuickClusters.

Activation de services non gérés sur des clusters gérés

Suivez les étapes décrites ci-après pour activer les services non gérés sur des clusters gérés.

Pour activer des services non gérés sur des clusters gérés
  1. Dans Apple Qadministrator, sélectionnez un cluster dans la liste Cluster ou cliquez sur le bouton Ajouter (+) afin d’ajouter un nouveau cluster.

  2. Cliquez sur « Autoriser l’utilisation de services non gérés ».

Pour en savoir plus sur la création de clusters gérés, consultez Création de clusters avec Apple Qadministrator.

Gestion des services de traitement

Suivez les étapes décrites ci-après pour gérer les services de traitement sur un ordinateur d’un cluster.

Important : si vous apportez des modifications aux réglages existants et que cet ordinateur fournit déjà des services de traitement, le fait de cliquer sur OK réinitialise immédiatement les services de cet ordinateur. Si cet ordinateur est également contrôleur de clusters, toutes les tâches en cours sont annulées.

Pour configurer des services de traitement gérés
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur.

  2. Procédez de l’une des façons suivantes :

    • Cochez la case « Exiger que ces services ne soient utilisés que dans les clusters gérés » pour utiliser cet ordinateur uniquement dans les clusters gérés.

    • Désélectionnez la case « Exiger que ces services ne soient utilisés que dans les clusters gérés » pour utiliser cet ordinateur dans les clusters non gérés et les clusters gérés.

  3. Cliquez ensuite sur OK.

Pour désactiver les services de traitement
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur.

  2. Dans la section Services, effectuez l’une des opérations suivantes :

    • Pour désactiver les services Compressor : désélectionnez la case Compressor.
    • Pour désactiver les services Apple Qmaster : désélectionnez la case Rendu.
  3. Cliquez ensuite sur OK.

Activation ou désactivation des services de contrôleur de clusters

Utilisez la zone Services dans la fenêtre Apple Qmaster Sharing de Compressor pour activer ou désactiver le contrôleur de clusters sur un ordinateur spécifique.

Pour activer les services du contrôleur de clusters
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur, afin d’ouvrir la fenêtre Apple Qmaster Sharing.

  2. Cochez la case « Partager cet ordinateur », puis sélectionnez l’un des boutons suivants :

    • en tant que QuickCluster avec services : sélectionnez cette option pour créer un cluster « instantanément » avec des services non gérés.
    • en tant que contrôleur de services et de clusters : sélectionnez cette option pour constituer un cluster dans Apple Qadministrator. (Pour en savoir plus, consultez Création de clusters avec Apple Qadministrator.)

    Pour en savoir plus, consultez Comparaison entre services gérés et services non gérés.

  3. Dans la zone Services, cochez la case Rendu et/ou Compressor.

  4. Cliquez ensuite sur OK.

    Le cluster est activé, ce qui fait de cet ordinateur un contrôleur de cluster.

Pour désactiver les services du contrôleur de clusters
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur, afin d’ouvrir la fenêtre Apple Qmaster Sharing.

  2. Désélectionnez la case « Partager cet ordinateur » et cliquez sur OK.

    Important : si vous apportez des modifications aux réglages existants et que cet ordinateur fournit déjà des services de traitement, le fait de cliquer sur OK réinitialise immédiatement les services de cet ordinateur. Si cet ordinateur est également contrôleur de clusters, toutes les tâches en cours sont annulées.

Vous avez également la possibilité de désactiver le contrôleur et faire ainsi de ce nœud un simple nœud de service. Pour ce faire, sélectionnez « en tant que services uniquement » dans la section « Partager cet ordinateur ».

Utilisation de clusters virtuels pour tirer le meilleur parti des ordinateurs multicœurs

Vous pouvez régler le nombre d’instances d’un service de traitement, ce qui revient essentiellement à créer des clusters virtuels sur des ordinateurs individuels. Pour les tâches sollicitant considérablement le processeur, l’existence de plusieurs instances peut augmenter la vitesse et l’efficacité du traitement, en fonction de l’application utilisée. Cependant, un nombre trop élevé d’instances peut entraîner une réduction de la vitesse et de l’efficacité.

Un bonne règle générale utilisable pour choisir le nombre d’instances consiste à autoriser deux Go de mémoire pour chaque instance. Si votre ordinateur dispose de huit Go de mémoire et propose huit instances dans le menu local, le choix de quatre instances devrait produire de bons résultats. Ce nombre peut cependant varier considérablement, notamment si cet ordinateur est également utilisé pour d’autres tâches.

Remarque : par défaut, le système Apple Qmaster crée une instance de service de rendu par processeur. Les services de rendu sont réservés à Shake (avec Apple Qmaster), Autodesk Maya et d’autres programmes de ligne de commande UNIX, alors que les services de Compressor sont uniquement destinés au traitement distribué de Compressor. Consultez la documentation fournie avec l’application, afin de savoir si l’utilisation individuelle de chaque processeur constitue la solution idéale.

Pour changer le nombre d’instances de services de traitement sur un ordinateur
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur.

  2. Sélectionnez Compressor ou Rendu dans la section Services, puis cliquez sur le bouton Options.

  3. Dans la zone de dialogue qui apparaît, sélectionnez le nombre d’instances dans le menu local et cliquez sur OK.

    Figure. "Number of Instances" pop-up menu.
  4. Cliquez sur OK dans la fenêtre Apple Qmaster Sharing.

    Remarque : la zone de dialogue Options des services sert également à ajouter des nœuds étendus à un cluster, comme expliqué dans le Manuel de l’utilisateur Apple Qmaster.

Configuration d’un mot de passe de service pour l’inclusion d’un ordinateur dans un cluster

Si vous souhaitez contrôler qui est autorisé à ajouter un contrôleur de clusters ou un nœud de service spécifique à un cluster, vous pouvez créer pour un mot de passe appelé mot de passe de service pour l’ordinateur concerné.

Remarque : un mot de passe de service peut être stocké dans le trousseau d’un utilisateur.

Pour définir ou modifier un mot de passe de service
  1. Sur l’ordinateur désigné comme nœud de service ou contrôleur de clusters, ouvrez Compressor et choisissez Apple Qmaster > Partager cet ordinateur.

  2. Procédez de l’une des façons suivantes :

    • Pour exiger un mot de passe : sélectionner Exiger un mot de passe
    • Pour modifier un mot de passe existant : cliquez sur Modifier le mot de passe.

    La zone de dialogue Mot de passe apparaît.

    Figure. Password dialog in the Apple Qmaster pane of System Preferences.
  3. Saisissez un mot de passe, vérifiez-le, puis cliquez sur OK.

  4. Cliquez sur OK dans la fenêtre Apple Qmaster Sharing pour appliquer cette modification.

    Important : si vous apportez des modifications aux réglages existants et que cet ordinateur fournit déjà des services de traitement, le fait de cliquer sur OK réinitialise immédiatement les services de cet ordinateur. Si cet ordinateur est également contrôleur de clusters, toutes les tâches en cours sont annulées.

Planification de la disponibilité des services

Si vous avez activé les services non gérés, vous pouvez ouvrir une interface de calendrier et planifier la disponibilité de ces services pour le système de traitement distribué.

L’interface de calendrier affichée dans la zone de dialogue Programmation des tâches contient plusieurs fonctions très pratiques.

Figure. Work schedule dialog in the Apple Qmaster pane of System Preferences.

Vous pouvez utiliser les contrôles suivants pour limiter la disponibilité des services non gérés sur chaque jour de la semaine :

  • Champ Heure de début : saisissez une heure de début.
  • Champ Heure de fin : saisissez une heure de fin.

Planification de la disponibilité des services dans la zone de dialogue Programmation des tâches

Suivez les étapes décrites ci-après pour programmer la disponibilité des services non gérés.

Pour planifier la disponibilité des services
  1. Dans la zone des réglages de service avancés de la sous­fenêtre Avancé de la sous-fenêtre Préférences Apple Qmaster, cliquez sur Définir.

    La zone de dialogue Programmation des tâches apparaît.

  2. Pour limiter la disponibilité des services, choisissez l’une des options proposées par le menu local affiché en regard d’un jour particulier de la semaine. Pour en savoir plus, consultez Planification de la disponibilité des services.

  3. Saisissez des créneaux horaires de limitation dans les champs Heure de début et Heure de fin prévus à cet effet.

    Remarque : vous devez saisir des jours et heures valides. Une heure indiquée ne doit pas correspondre au jour suivant l’entrée choisie. Lorsque la plage se termine après minuit, vous devez configurer deux entrées. Pour en savoir plus, consultez Définition de la disponibilité entre le dimanche soir et le lundi matin.

  4. Cliquez sur OK pour enregistrer les réglages et fermer la zone de dialogue.

  5. Cliquez sur OK pour appliquer les modifications à cet ordinateur.

    Important : si vous apportez des modifications aux réglages existants et que cet ordinateur fournit déjà des services de traitement, le fait de cliquer sur OK réinitialise immédiatement les services de cet ordinateur. Si cet ordinateur est également contrôleur de clusters, toutes les tâches en cours sont annulées.

Définition de la disponibilité entre le dimanche soir et le lundi matin

Vous devez saisir des jours et heures valides. Une heure indiquée ne doit pas correspondre au jour suivant l’entrée choisie. Lorsque la plage se termine après minuit, vous devez configurer deux entrées.

Par exemple, pour régler la disponibilité des services de 18 h 00 le dimanche à 8 h 00 le lundi, suivez les étapes décrites ci-après.

Pour garantir la disponibilité des services du dimanche soir au lundi matin
  • Effectuez les deux entrées suivantes :

    • Dimanche : actif entre 18 h 00 et 24 h 00
    • Lundi : actif entre 0 h 00 et 8 h 00

Utilisation du stockage de clusters

Par défaut, le système de traitement distribué Apple Qmaster enregistre les fichiers temporaires dans le répertoire /Bibliothèque/Application Support/Apple Qmaster/Storage sur le contrôleur de clusters. Vous avez la possibilité de choisir un autre emplacement sur un disque local pour ce stockage de travail. Les ordinateurs du cluster accèdent au besoin à cet emplacement.

Ajustement des réglages de stockage de clusters

Suivez les étapes décrites ci-après pour modifier les réglages liés au stockage de travail pour un cluster.

Pour modifier les réglages liés au stockage de clusters
  1. Sur le contrôleur de clusters, ouvrez Compressor et choisissez Apple Qmaster > Partager cet ordinateur.

  2. Cliquez sur Avancé pour ouvrir la sous-fenêtre correspondante.

  3. Configurez les réglages facultatifs suivants :

    • Pour modifier l’emplacement du stockage de clusters : cliquez sur le bouton Définir en regard du champ « Emplacement de stockage », naviguez jusqu’au dossier de votre choix dans la zone de dialogue, puis cliquez sur Choisir.

      Remarque : si vous utilisez le réglage par défaut du menu local Cluster, à savoir Cet ordinateur, dans la fenêtre Lot de Compressor et que vous choisissez Stockage de clusters comme destination, le fichier de sortie est copié à l’emplacement Source.

    • Pour modifier la fréquence à laquelle les fichiers de stockage de clusters sont supprimés : saisissez une nouvelle valeur dans le champ « Supprimer les fichiers antérieurs à N jours ».
      Figure. The Delete Files Older Than N Days field, the Cluster storage Set button, and the Stop Sharing button in the Advanced pane in the Apple Qmaster pane of System Preferences.
  4. Clique sur OK pour appliquer les modifications.

    Important : si vous apportez des modifications aux réglages existants et que cet ordinateur fournit déjà des services de traitement, le fait de cliquer sur OK réinitialise immédiatement les services de cet ordinateur. Si cet ordinateur est également contrôleur de clusters, toutes les tâches en cours sont annulées.

Capacité de stockage de clusters

Si vous traitez des fichiers de données source volumineux dépassant l’espace de stockage disponible sur le disque de démarrage, vous risquez de saturer ce disque même si les fichiers sont destinés à un autre disque. Il existe un certain nombre d’astuces à mettre en œuvre pour éviter ce cas de figure.

Nettoyage de l’espace de stockage de cluster

Si une erreur se produit alors que vous utilisez un espace de stockage de cluster, des fichiers partiels peuvent être conservés à cet emplacement de stockage. Vérifiez qu’aucun fichier multimédia ne réside à l’emplacement de stockage de cluster désigné. Si vous y trouvez des fichiers multimédias partiels, supprimez-les et soumettez à nouveau le travail.

Séquences de référence QuickTime

Si vous soumettez une séquence de référence en vue d’un traitement distribué, le système de traitement distribué Apple Qmaster copie automatiquement les fichiers multimédias appropriés sur le cluster de traitement. Pour des performances optimales, vous pouvez éviter ce transfert de fichiers en vous assurant que les fichiers multimédias spécifiés dans la séquence de référence sont disponibles pour chaque nœud du cluster Apple Qmaster.

Définition de ports pour les annonces de services

La case et les champs « Activer la plage de ports », dans la section Réseau de la sous-fenêtre Avancé de la fenêtre Apple Qmaster Sharing de Compressor, vous permettent de définir les ports utilisés par Apple Qmaster pour les annonces de services.

Pour définir des ports pour les annonces de services dans Apple Qmaster
  1. Dans Compressor, choisissez Apple Qmaster > Partager cet ordinateur.

  2. Cliquez sur Avancé pour ouvrir la sous-fenêtre correspondante.

  3. Sélectionnez « Activer la plage de ports ».

  4. Dans le champ De, saisissez un nombre entier compris entre 50 000 et 65 535 pour définir le début de la plage.

  5. Dans le champ « Nombre de ports », entrez la taille de la plage (par exemple, 1 000).

Fonctionnalités de récupération et de notification en cas d’échec

Le système de traitement distribué Apple Qmaster comporte un certain nombre de fonctionnalités intégrées conçues pour tenter une récupération en cas de problème, ainsi que pour vous informer si le système tente une récupération.

Fonctionnalités de récupération

Les actions de récupération décrites ci-après sont automatiquement initiées en cas d’échec dans le système de traitement distribué Apple Qmaster. En tant qu’administrateur, vous n’avez pas besoin d’activer ou de configurer ces fonctionnalités.

Si un service s’arrête de manière inattendue

Si le service de contrôleur de clusters ou le traitement activé sur un nœud de service s’arrête de manière inattendue, le système de traitement distribué Apple Qmaster redémarre ce service. Pour éviter tout risque d’arrêt et de redémarrage incessants, le système redémarre le service en échec quatre fois, au maximum. Les deux premières fois, il redémarre le service immédiatement. Si le service s’interrompt brusquement une troisième ou une quatrième fois, le système ne redémarre ce service que si il a fonctionné au moins 10 secondes avant de s’arrêter.

Si un lot est interrompu

Lorsqu’un service s’arrête soudainement pendant le traitement d’un lot Apple Qmaster, le contrôleur de clusters renvoie le lot interrompu de façon à empêcher le retraitement des éventuels segments du lot terminés avant l’arrêt du service. Le contrôleur de clusters retarde le renvoi du lot pendant environ une minute à partir de l’instant où il perd le contact avec le service.

Si un lot échoue

Lorsque le service est en cours d’exécution, mais que le traitement d’un lot échoue, une exception de service se produit. Dans ce cas, le contrôleur de clusters soumet à nouveau le lot sans délai. Le contrôleur procède à une nouvelle soumission du lot deux fois, au maximum. Si la tâche échoue lors du troisième envoi, le système de traitement distribué arrête le renvoi de la tâche. Dans Share Monitor, l’état de la tâche est réglé sur Échec.

Notification d’échec

Le système de traitement distribué Apple Qmaster dispose de deux moyens différents pour fournir des informations sur un problème.

Notification par message électronique

Lorsqu’un service de traitement s’arrête de manière inattendue, Apple Qmaster envoie un message de notification à l’adresse saisie dans la zone de dialogue Préférences de cluster Apple Qadministrator pour ce cluster. Si aucune adresse n’y a été indiquée, le courrier électronique est envoyé à l’adresse mentionnée dans les réglages Internet de l’ordinateur sur lequel le contrôleur de cluster est activé.

Remarque : Apple Qmaster ne prend pas en charge les serveurs SMTP nécessitant une authentification.

Fichier journal des tâches ou lots individuels

Si une tâche ou un lot échoue, un fichier journal décrivant cet échec est généré automatiquement. Pour rechercher le nom et l’emplacement de ce fichier journal via Share Monitor, sélectionnez le lot ou la tâche, cliquez sur l’icône Afficher les infos, puis sur le bouton Afficher l’historique.

Étiquettes de notification et de journal

Le tableau ci-dessous dresse la liste des étiquettes de service utilisées dans les notifications par courrier électronique et les journaux.

Type de service de traitement
Étiquette de notification
Service Compressor local
servicecontroller:com.apple.stomp.transcoder
Service Compressor distribué
servicecontroller:com.apple.stomp.transcoderx
Service Apple Qmaster distribué
servicecontroller:com.apple.qmaster.executor