Grundlegende Komponenten des Apple Qmaster-Systems für die verteilte Verarbeitung

Obwohl die Apple Qmaster-Software verschiedene Programme (vgl. Die Oberflächen des Apple Qmaster-Systems für die verteilte Verarbeitung) umfasst, stellt sie als Ganzes einen Teil eines vernetzten Systems dar, zu dem die folgenden Komponenten zählen.

Hinweis: Innerhalb eines Systems für die verteilte Verarbeitung müssen die Versionsnummern von Compressor, QuickTime und Mac OS übereinstimmen.

Client(s): Der oder die Computer, die mithilfe von Compressor oder Apple Qmaster Aufträge für die verteilte Verarbeitung senden. Zu den Programmen, die Apple Qmaster-Dienste für die Verarbeitung verwenden können, zählen Compressor, Shake, Autodesk Maya und zahlreiche UNIX-Befehlszeilenprogramme. Die Computer, auf denen Final Cut Pro und Motion ausgeführt werden, können ebenfalls Clients sein.
Ein Apple Qmaster-Cluster: ein Apple Qmaster-Cluster enthält:
- Dienstknoten: Die Computer, die die Verarbeitung von Stapeln ausführen, die über Compressor oder Apple Qmaster gesendet wurden. Ein Stapel kann einen oder mehrere Aufträge enthalten.
- Cluster-Steuerung: Die Software, die auf einem Computer mithilfe des Fensters „Apple Qmaster - Sharing“ in Compressor aktiviert wird. Sie teilt Stapel auf, bestimmt die Dienstknoten, die Aufträge erhalten, und verfolgt und steuert die Prozesse.

Client-Computer, Dienstknoten und Cluster-Steuerung befinden sich häufig auf unterschiedlichen (jedoch vernetzten) Computern, wodurch eine schnellstmögliche Verarbeitung erzielt wird. Die Cluster-Steuerung kann sich jedoch auch auf einem Client-Computer oder Dienstknoten befinden. Weitere Informationen hierzu finden Sie unter Verwenden eines Computers mit zwei Funktionen bei der verteilten Verarbeitung.

Nachfolgend werden die Aufgaben der einzelnen Komponenten im Apple Qmaster-System näher beschrieben.

Clients

Die Client-Computer senden Stapel zur verteilten Verarbeitung. Jeder Computer mit installierter Compressor-Software, der sich im gleichen Netzwerk (Teilnetzwerk) wie die Cluster-Steuerung befindet, kann als Client-Computer verwendet werden. In einem Teilnetzwerk können mehrere Client-Computer vorhanden sein, die den gleichen Cluster zur Verarbeitung für verschiedene Programme verwenden.

Sie verwenden Compressor oder Apple Qmaster zum Senden von Stapeln, die für einen Client verarbeitet werden sollen. Weitere Informationen finden Sie unter Der grundlegende Arbeitsablauf beim Umcodieren und im Apple Qmaster User Manual finden Sie Näheres zur Verwendung dieser Programme.

Cluster

Wenn ein Client Stapel an das Apple Qmaster-System für die verteilte Verarbeitung sendet, wird die gesamte Verarbeitung und das nachfolgende Bewegen von Ausgabedateien von einer Gruppe von Computern ausgeführt, die für Apple Qmaster konfiguriert sind. Diese Gruppe wird als Cluster bezeichnet. Sie können einen oder mehrere Dienstknoten-Cluster mit einer Cluster-Steuerung pro Cluster erstellen. Jeder Computer im Cluster ist über eine Netzwerkverbindung mit den anderen Computern im Cluster verbunden.

Hinweis: In dieser Abbildung wird nur ein einfaches Beispiel eines Clusters dargestellt. Weitere Möglichkeiten werden unter Beispiele für ein Netzwerk für die verteilte Verarbeitung beschrieben.

Dienstknoten

Die Dienstknoten sind die Komponenten, in denen die Verarbeitung stattfindet. Wenn Sie einem Cluster eine Gruppe von Dienstknoten zuweisen, funktionieren diese als ein extrem leistungsfähiger Computer, da alle Ressourcen gemeinsam verwendet werden. Ist ein Dienstknoten überlastet oder kann aus einem anderen Grund nicht darauf zugegriffen werden, wird ein anderer Dienstknoten verwendet.

Sie machen einen Computer als Dienstknoten verfügbar, indem Sie ihn im Fenster „Apple Qmaster - Sharing“ konfigurieren, das Sie in Compressor durch Auswahl von „Diesen Computer freigeben“ im Menü „Apple Qmaster“ öffnen.

Einige Grundregeln

Dies sind die Grundregeln für das Einrichten eines Netzwerks mit verteilter Verarbeitung:

Ein Cluster muss einen (und nur einen) Computer enthalten, der als Cluster-Steuerung fungiert, und mindestens einen Computer, der die Rolle eines Dienstknotens übernimmt. (Dabei kann es sich um den gleichen Computer handeln, wie unter Verwenden eines Computers mit zwei Funktionen bei der verteilten Verarbeitung erklärt wird.)
Die Client-Computer und die Computer in jedem sie unterstützenden Cluster müssen sich im gleichen Netzwerk befinden.
Das Netzwerk muss die in Mac OS X integrierte Apple-Netzwerktechnologie unterstützen.
Jeder Computer in einem Cluster benötigt Lese- und Schreibrechte für alle Computer (oder Massenspeichergeräte), die als Ausgabeziele für Dateien definiert werden.

Beispiele für ein Netzwerk für die verteilte Verarbeitung

Eine sehr kleine Konfiguration mit verteilter Verarbeitung könnte sich aus nur zwei Computern zusammensetzen:

Ein Computer, der mit dem Client verbunden und so konfiguriert ist, dass er sowohl als Dienstknoten als auch als Cluster-Steuerung fungiert
Ein Client-Computer

Obwohl dies eine sehr einfache Konfiguration ist, ist sie in einem kleineren Netzwerk nützlich, weil sie es dem Client-Computer ermöglicht, einen großen Teil der zu verarbeitenden Daten auszulagern.

Verwenden eines Computers mit zwei Funktionen bei der verteilten Verarbeitung

Damit Ihre Ressourcen optimal genutzt werden, empfiehlt es sich, einige Computer für mehrere Funktionen bei der verteilten Verarbeitung einzusetzen.

Dienstknoten und Cluster-Steuerung: In einer klein bemessenen Konfiguration kann einer der Dienstknoten in einem Cluster auch als Cluster-Steuerung dienen, sodass er beide Funktionen übernimmt. In einem Cluster mit einer Vielzahl von Dienstknoten sind die Verarbeitungsanforderungen an die Cluster-Steuerung jedoch u. U. so groß, dass die gleichzeitige Verwendung eines Computers als Dienstknoten und Cluster-Steuerung nicht effizient wäre.
Client-Computer und Cluster-Steuerung oder Dienstknoten: Sie können einen Client-Computer außerdem so konfigurieren, dass er als Cluster-Steuerung oder als Dienstknoten in einem Cluster fungiert. Auch hier gilt es, Folgendes zu bedenken: Je größer die verfügbare Verarbeitungsleistung eines Computers ist, desto schneller kann dieser Computer Aufträge verwalten oder verarbeiten.

Die folgende Konfiguration gilt für eine Umgebung mit Desktop-Computern. Die Verarbeitung wird als „zeitweilig“ bezeichnet, weil jeder Computer als Client-Computer für einen Benutzer fungiert, zugleich aber auch Teil des Clusters für die verteilte Verarbeitung ist. Der Großteil der Verarbeitungsaufträge kann mit Compressor oder Apple Qmaster am Ende des Tages gesendet werden, sodass die Computer eine lange Liste von Stapeln für die verteilte Verarbeitung verarbeiten, nachdem die Benutzer gegangen sind. (Weitere Informationen zur Planung der Verfügbarkeit von Dienstknoten finden Sie unter Erweiterte Einstellungen im Fenster „Apple Qmaster - Sharing“ und Planen der Dienstverfügbarkeit im Dialogfenster „Arbeits-Zeitplan“.)

Figure. Diagram showing a network of five computers in which each computer acts as both a client and a service node.

In der hier gezeigten Beispielkonfiguration dienen fünf Computer sowohl als Clients (Client-Computer, von denen Benutzer Aufträge für die verteilte Verarbeitung senden) als auch als Cluster-Computer (führen die Verarbeitungen aus). Jeder Computer besitzt ein zusätzliches Volume, wie z. B. ein FireWire-Laufwerk, das für Medien vor und nach dem Rendervorgang sowie für die verknüpften Dateien verwendet wird.

Für anspruchsvolle Renderaufgaben könnte ein Netzwerk eine Anzahl von Client-Computern in einem LAN umfassen, die über einen Hochgeschwindigkeits-Switch mit einem Cluster verbunden sind. Ein Rack mit Servern plus ein freigegebenes Massenspeichergerät, die zusammen als Cluster fungieren, würde ein besonders leistungsfähiges Render-Modul darstellen. Die Dienstknoten hätten jeweils eine lokale Kopie der erforderlichen Client-Programmsoftware, sodass sie die Renderaufträge verarbeiten könnten.

Figure. Diagram showing client computers, high-speed switches, and a rack of servers containing the cluster controller and service nodes.

Die Verteilung von Stapeln durch das Apple Qmaster-System

Die Apple Qmaster-Cluster-Steuerung ermittelt die effizienteste Nutzung der Cluster-Ressourcen. Sie bestimmt dies auf Grundlage der Verfügbarkeit jedes Dienstknotens und der Anzahl der trennbaren Teile (nachfolgend beschrieben) des Stapels.

Da Apple Qmaster einzelne Stapel auf verschiedene Dienstknoten verteilt, wird die Arbeit geteilt und schneller ausgeführt. Weil mit dieser Methode alle Dienstknoten bestmöglich genutzt werden, vermeiden Sie eine zu geringe Auslastung Ihrer Ressourcen.

Stapel können auf eine oder beide der folgenden Weisen von der Cluster-Steuerung an einen Cluster verteilt werden. (Apple Qmaster bestimmt, welche Vorgehensweise abhängig von den Umständen am effektivsten für den jeweiligen Stapel ist.)

Der Stapel wird in Datensegmente unterteilt: Bei einem Renderstapel könnte die Cluster-Steuerung die Bilder beispielsweise in Gruppen (Segmente) unterteilen. Jedes Segment würde parallel auf den Dienstknoten im Cluster verarbeitet werden.
Der Stapel wird in Aufgaben unterteilt: Bei einem Renderstapel könnte die Cluster-Steuerung die zu rendernden Daten beispielsweise in verschiedene Verarbeitungsaufgaben unterteilen. Die unterschiedlichen Aufgaben würden dann auf unterschiedlichen Dienstknoten ausgeführt werden.

Anstelle Segmente tatsächlich zu bewegen, informiert Apple Qmaster die Dienstknoten darüber, welche Segmente über das Netzwerk gelesen werden sollen, wo diese zu finden sind und was damit geschehen soll. Unten finden Sie ein Beispiel dazu, wie ein Stapel in einem Apple Qmaster-System verarbeitet werden könnte.

Figure. Diagram showing the batch, the cluster controller, instructions to individual service nodes, and the processed output file.

Bei der Verteilung von Stapeln verwendet Apple Qmaster die in Mac OS X integrierte Technologie zum Suchen von Diensten in einem Cluster im gleichen IP-Teilnetzwerk und zum dynamischen Austauschen von Informationen. Da die Computer ihren aktuellen Verfügbarkeitsstatus für die Verarbeitung fortlaufend übertragen können, kann Apple Qmaster die Arbeit gleichmäßig im Cluster verteilen (Lastausgleich).

Andere mögliche Komponenten eines Netzwerks mit verteilter Verarbeitung

Ein Netzwerk mit verteilter Verarbeitung kann aus nur einem oder zwei Computern bestehen. Ein umfangreiches Netzwerk kann sich dagegen aus einer Vielzahl von Computern, einem Xserve-System und Xserve-Cluster-Knoten in einem Rack sowie den Komponenten für ein schnelles Netzwerk zusammensetzen. Sie können ein System für die verteilte Verarbeitung bei gestiegenen Leistungsanforderungen erweitern, indem Sie dem zugehörigen Netzwerk Funktionen und Geräte hinzufügen.

Es gibt viele Möglichkeiten, die Kapazität eines Netzwerks mit verteilter Verarbeitung zu erweitern. Folgendes kann hinzugefügt werden:

Hochgeschwindigkeits-Switch mit Kabeln: Ein 100BASE-T oder Gigabit-Ethernet-Switch mit kompatiblen Kabeln, mit dem Ihre Daten mit Höchstgeschwindigkeit im LAN übertragen werden können.
Mehrere Clients: Mehrere Client-Computer können die Dienste des gleichen Clusters verwenden. Außerdem können Sie mehrere Client-Programme, die den gleichen Cluster verwenden, auf einem Computer installieren.
Mehrere Cluster: Abhängig davon, wie umfangreich Ihr Netzwerk ist und wie viele Clients integriert sind, möchten Sie die verfügbaren Computer vielleicht aufteilen und mehrere Cluster erstellen, um Dienste für verschiedene Clients bereitzustellen. (Benutzer wählen den Zielcluster für einen Stapel aus, wenn sie den Stapel senden.)
Mehrere Dienstknoten: Im Allgemeinen bedeutet eine größere Zahl von Dienstknoten eine größere Verarbeitungsleistung. Bei der Entscheidung, wie viele Dienstknoten ein Cluster haben soll, sollten Sie das Verhältnis zwischen der Datenübertragungsgeschwindigkeit und Verarbeitungsgeschwindigkeit berücksichtigen. Wenn der Verarbeitungsbedarf größer ist als der Netzwerkbedarf für die Übertragung der Auftragssegmente innerhalb des Clusters, wie dies z. B. beim Rendern der Fall ist, empfiehlt sich eine größere Anzahl von Dienstknoten. Wenn der Verarbeitungsbedarf pro Auftrag eher im Bereich des Netzwerkbedarfs liegt, ist eine kleinere Anzahl von Dienstknoten pro Cluster u. U. die effizientere Lösung. Wenn Sie das Apple Qmaster-System für die verteilte Verarbeitung mit anderen Programmen als Shake oder Compressor verwenden, lesen Sie bitte im Benutzerhandbuch des entsprechenden Programms nach, wie die Anzahl an Dienstknoten optimiert werden kann.
Massenspeichergerät: Ein Massenspeichergerät, wie z. B. ein entferntes Volume oder eine Gruppe von Festplatten-Arrays, kann als Cluster-Arbeitsvolume verwendet werden. Hierbei handelt es sich um einen Ort für die kurzzeitige Speicherung temporärer Daten, die von der Cluster-Steuerung, von Clients und von Dienstknoten erzeugt werden. (Sie können den Speicherort auf dem Arbeitsvolume im Fenster „Apple Qmaster - Sharing“ in Compressor festlegen. Weitere Informationen hierzu finden Sie unter Erweiterte Einstellungen im Fenster „Apple Qmaster - Sharing“ und Verwenden des Cluster-Speichers.) Alternativ kann ein Massenspeichergerät als endgültiges Ziel für die verarbeiteten Dateien verwendet werden.

Weitere Informationen hierzu finden Sie unter Beispiele für ein Netzwerk für die verteilte Verarbeitung.