Componentes básicos del sistema de procesamiento distribuido de Apple Qmaster

Clientes

Los lotes se envían para su procesamiento distribuido desde los ordenadores cliente. Un ordenador cliente puede ser cualquier ordenador que tenga instalado Compressor y que esté en la misma red (subred) que el controlador de clúster. Varios ordenadores cliente pueden estar en la misma subred y utilizar el mismo clúster para hacer el procesamiento de varias aplicaciones.

Para enviar los lotes con el fin de que sean procesados por un cliente se utiliza Compressor o la aplicación Apple Qmaster. Consulte Flujo de trabajo básico en la transcodificación y el Manual del usuario de Apple Qmaster para obtener información detallada sobre el uso de estas aplicaciones.

Clústers

Cuando un cliente envía lotes al sistema de procesamiento distribuido de Apple Qmaster, todo el procesamiento y consiguiente desplazamiento de archivos de salida lo realiza una serie de ordenadores configurados con Apple Qmaster y denominado clúster. Se pueden crear uno o más clústers de nodos de servicio, con un controlador de clúster incluido en cada clúster. Cada ordenador del clúster se conecta a los otros ordenadores del clúster a través de una conexión de red.

Nota: Esta ilustración ofrece solo un ejemplo sencillo de un clúster. En Ejemplos de una red de procesamiento distribuido se presentan otras posibilidades.

Nodos de servicio

Los nodos de servicio es donde se lleva a cabo el trabajo de procesamiento. Cuando se asigna un grupo de nodos de servicio a un clúster, estos funcionan como un ordenador muy potente porque se comparten todos sus recursos. Si se sobrecarga un nodo de servicio o, por el contrario, no se puede acceder a él, se utiliza otro nodo de servicio.

Para convertir un ordenador en un nodo de servicio, debe configurarlo como tal en la ventana “Compartir Apple Qmaster”, que puede abrir desde Compressor seleccionando “Compartir este ordenador” en el menú “Apple Qmaster”.

Lo mínimo que necesita saber

A continuación se explican las reglas básicas para configurar una red de procesamiento distribuido:

• Un clúster debe contener un ordenador (solo uno) que actúe como el controlador de clúster y, al menos, un ordenador que actúe como el nodo de servicio (Estos dos papeles puede asumirlos el mismo ordenador, tal como se explica en Uso de un ordenador para desempeñar dos funciones de procesamiento distribuido.)

• Los ordenadores cliente y los ordenadores de cualquier clúster que los soporte deben estar en la misma red.

• La red debe admitir la tecnología de conexión a redes de Apple integrada en Mac OS X.

• Todos los ordenadores de un clúster deben tener acceso de lectura y escritura a cualquiera de los ordenadores (o dispositivos de almacenamiento) que se especifiquen como destinos de salida para los archivos.

Ejemplos de una red de procesamiento distribuido

Una configuración de procesamiento distribuido muy pequeña puede llegar a incluir solo dos ordenadores:

• Un ordenador conectado al cliente y configurado para actuar como el nodo de servicio y el controlador de clúster

• Un ordenador cliente

  

Aunque sencilla, esta configuración resulta útil en un entorno a pequeña escala porque permite al ordenador cliente descargar mucho trabajo de procesamiento.

La configuración presentada a continuación es para un entorno que utilice ordenadores de sobremesa. Se denomina procesamiento a “tiempo parcial” porque cada ordenador actúa como una estación de trabajo de una persona, pero a la vez forma parte del clúster de procesamiento distribuido. La mayor parte de las tareas de procesamiento puede enviarse con Compressor o Apple Qmaster al final de la jornada, para que los ordenadores se encarguen del procesamiento de una gran cola de lotes de procesamiento distribuido después de que todos los empleados se hayan marchado (Consulte Acerca de los ajustes avanzados de la ventana “Compartir Apple Qmaster y Programación de la disponibilidad de los servicios en el cuadro de diálogo de programación del funcionamiento para obtener información acerca de cómo programar la disponibilidad de los nodos de servicio)

En la configuración de ejemplo, tal como se muestra arriba, cinco ordenadores actúan como clientes (puestos de trabajo desde los que los usuarios envían tareas para su procesamiento distribuido) y como ordenadores de clúster (que se encargan del procesamiento). Cada ordenador dispone de un volumen adicional, como una unidad FireWire, que se utiliza para los contenidos, antes y después de ser generados, y para los archivos asociados.

Para contar con una mayor potencia para la renderización, una red puede incluir una serie de ordenadores cliente en una red local, conectados a un clúster mediante un conmutador de alta velocidad. La combinación de un rack de servidores y un dispositivo de almacenamiento compartido, que actúen como el clúster, daría como resultado un motor de generación muy potente. Cada uno de los nodos de servicio tendría una copia local del software de la aplicación cliente relevante para procesar las tareas de generación.

Cómo distribuye el sistema de Apple Qmaster los lotes

El controlador de clúster de Apple Qmaster determina el uso más eficaz de los recursos del clúster. Esta determinación la hace basándose en la disponibilidad de cada nodo de servicio y el número de partes divisibles (como se describe a continuación) del lote.

Dado que Apple Qmaster subdivide lotes individuales en diferentes nodos de servicio, el trabajo se comparte y se completa más rápidamente. Y, puesto que este método utiliza todos los nodos de servicio que le es posible, se evita un mal aprovechamiento de sus recursos.

Los lotes pueden ser distribuidos a un clúster por el controlador de clúster de las siguientes maneras (Apple Qmaster determina cuál es el modo más eficaz para los lotes específicos, según las circunstancias).

• El lote se subdivide en segmentos de datos: por ejemplo, para un lote de generación, el controlador de clúster podría dividir los fotogramas en grupos (segmentos). Cada segmento se procesaría en paralelo en los nodos de servicio del clúster.
• El lote se subdivide en tareas: por ejemplo, para un lote de generación, el controlador de clúster podría subdividir el trabajo de generación en diferentes tareas de procesamiento. Las diferentes tareas se ejecutarían en diferentes nodos de servicio.

En lugar de mover segmentos, lo que Apple Qmaster hace en realidad es indicarle a los nodos de servicio qué segmentos deben leerse a través de la red, dónde encontrarlos y qué hacer con ellos. A continuación se muestra un ejemplo de cómo se podría procesar un lote en un sistema con Apple Qmaster.

A la hora de distribuir lotes, Apple Qmaster utiliza la tecnología integrada en Mac OS X para ubicar los servicios en un clúster en la misma subred IP y para compartir y recibir información de manera dinámica. Dado que los ordenadores pueden transmitir continuamente su estado de capacidad de procesamiento actual, Apple Qmaster puede distribuir (equilibrar) la carga de manera uniforme en el clúster.

Otros posibles componentes de una red de procesamiento distribuido

Una red de procesamiento distribuido puede estar compuesta por solo uno o dos ordenadores, mientras que una red de alto volumen puede incluir varios ordenadores, un sistema Xserve y nodos de clúster Xserve en rack e infraestructuras de redes de alta velocidad. Es posible escalar un sistema de procesamiento distribuido según las demandas de su carga de trabajo, añadiendo características y dispositivos a la red en la que se haya integrado.

Existen muchas maneras para expandir la capacidad de una red de procesamiento distribuido. Puede utilizar cualquiera de los siguientes recursos.

• Conmutador y cables de alta velocidad: un conmutador Ethernet Gigabit o 100Base-T y cables compatibles que le permitan mover sus datos en una red local a máxima velocidad.
• Varios clientes: varios ordenadores cliente pueden utilizar los servicios del mismo clúster. También puede tener varias aplicaciones cliente en el mismo ordenador cliente, utilizando el mismo clúster.
• Varios clústers: según la extensión de su red y el número de clientes que necesita servir, es posible que desee dividir los ordenadores disponibles y crear más de un clúster para servir a varios clientes (los usuarios seleccionan el clúster al que desean enviar un lote cuando lo envían).
• Varios nodos de servicio: por lo general, cuantos más nodos de servicio hay, más potencia de procesamiento se obtiene. A la hora de decidir el número de nodos de servicio que debe tener un clúster, tenga en cuenta la relación entre el tiempo de movimiento de datos y el tiempo invertido por el ordenador. Si la demanda de procesamiento es superior a la demanda de la red para mover segmentos de tareas en el clúster, como ocurre con la renderización, sería buena idea añadir más nodos de servicio. Si la carga que soporta el ordenador, por tarea, está próxima a la carga de la red, es posible que sea más efectivo tener un menor número de nodos de servicio por clúster. Si va a utilizar el sistema de procesamiento distribuido de Apple Qmaster con aplicaciones que no sean Shake o Compressor, consulte el manual del usuario de la aplicación para informarse sobre cómo optimizar el número de nodos de servicio.
• Dispositivo de almacenamiento: un dispositivo de almacenamiento, como un disco remoto o un grupo de discos, puede utilizarse como almacenamiento básico de clúster, es decir, un lugar para el almacenamiento a corto plazo de datos temporales generados por el controlador de clúster, clientes y nodos de servicio. (La ubicación del almacenamiento básico se configura en la ventana “Compartir Apple Qmaster” de Compressor. Consulte Acerca de los ajustes avanzados de la ventana “Compartir Apple Qmaster y Uso del almacenamiento de clúster para obtener más información.) Si lo prefiere, puede utilizar un dispositivo de almacenamiento como destino final para los archivos después de ser procesados.

Para obtener más información, consulte Ejemplos de una red de procesamiento distribuido.