5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 1/10

 

DESCRIPCION GENERAL DE LA IMPLEMENTACIÓN DE UN CLUSTERINGENIERIA DE SISTEMAS

TEINCO2012

Gilberto Ardila Ruiz

CONCEPTOS BASICOS

De la manera más técnica posible defina:

1. Que es un Clúster.

Es un conjunto de sistemas computacionales interconectados mediante conexiones de red de altavelocidad, configurados de forma coordinada para dar la apariencia de ser un único recurso, queejecuta parte o una misma aplicación paralela.

El cual debe tener la compartición de recursos como son:

Ciclo de CPU (Central Processing Unit). 

Memoria.Datos.Servicios.

Los clúster buscan resolver es el poder disponer de una capacidad computacional comparable conel que proporcionan las costosas y poderosas supercomputadoras pero a un más bajo costo.

2. Defina que es un Nodo Maestro y un Nodo de computo.

Nodo Maestro: (“head node”). Utilizado para proveer al usuario con el acceso a losrecursos de cómputo, planificación de tareas o espacio para almacenamiento. Esconde losrecursos, dando al mundo externo la visión de un único recurso.

Nodos de Cómputo: Realizan las porciones asignadas de los cálculos o cómputos de laaplicación paralela, o una unidad de un servicio escalable.

3. La clasificación de un clúster según su utilización enumere características importantes decada uno.

Clústers Científicos

High Performance

Para tareas que requieren gran poder computacional, grandes cantidades dememoria, o ambos a la vez.

Las tareas podrían comprometer los recursos por largos periodos de tiempo.

Clúster de IT Comerciales

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 2/10

 

High Availability 

Máxima disponibilidad de servicios.Rendimiento sostenido.

High Throughput 

Independencia de datos entre las tareas individuales.El retardo entre los nodos del cluster no es considerado un gran problema.La meta es el completar el mayor número de tareas en el tiempo más corto posible.

4. De todos los sistemas operativos que permiten la implementación de un clúster cualconsidera que es el más funcional (Justifique su respuesta).

Desde mi punto de vista el mas funcional es los basados en Linux, ya que por ser un software

GNU disminuye los costos al tener disponibilidad del código fuente hace posible que sea

adaptado a las necesidades o problema especifico que se busca satisfacer.

5. Defina que es la Taxonomía de Flynn.

Es una clasificación de arquitecturas de computadoras propuesta por Michael J. Flynn en 1972,quien define cuatro categorías basado en el número de instrucciones concurrentes (control) y enlos flujos de datos disponibles en la arquitectura.

6. Según la taxonomía de Flynn que modelos se pueden implementar físicamente.

SISD: Single Instruction Single Data (Una instrucción, un dato); Computador secuencial que no

explota el paralelismo en las instrucciones ni en flujos de datos. Ejemplos de arquitecturas SISD

son las máquinas con uni-procesador o monoprocesador tradicionales como el PC o los antiguos

mainframe (Computadora grande y potente) como las usadas en las transacciones bancarias.

SIMD: Single Instruction Multiple Data (Múltiples instrucciones, un dato) este tipo se usa ensituaciones de paralelismo redundante, como por ejemplo en navegación aérea, donde senecesitan varios sistemas de respaldo en caso de que uno falle. También se han propuestoalgunas arquitecturas teóricas que hacen uso de MISD, pero ninguna llegó a producirse en masa.

MIMD: Multiple Instruction Multiple Data (Una instrucción, múltiples datos) Un computador queexplota varios flujos de datos dentro de un único flujo de instrucciones para realizar operacionesque pueden ser paralelizadas de manera natural. Por ejemplo, un procesador vectorial. 

MISD: Multiple Instruction Single Data (Múltiples instrucciones, Múltiples datos) Variosprocesadores autónomos que ejecutan simultáneamente instrucciones diferentes sobre datosdiferentes. Los sistemas distribuidos suelen clasificarse como arquitecturas MIMD; bien seaexplotando un único espacio compartido de memoria, o uno distribuido.

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 3/10

 

 

SISD  MISD 

SIMD  MIMD

 

7. Qué soluciones de hardware existen actualmente para clúster. Mencione al menos 3fabricantes detallando las características más importantes de las soluciones.

CLUSTER HPC 

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 4/10

 

 

Fabricado por Flytech usa servidores Bi Procesador más avanzados disponen de 6 Núcleos porprocesador en el caso de equipar Intel Xeon serie 5600 y 8-12 núcleos por procesador en el casode AMD con los nuevos Opteron de la serie 6200 de 16 cores.

Usa Redes de baja latencia Infiniband : que es de vital importancia para la escalabilidad delCluster HPC ya que Infiniband se ha impuesto como la red de baja latencia por excelencia

InfinibandSDR

InfinibandDDR 

InfinibandQDR 

InfinibandFDR 

Teorico 10 Gb/s 20 Gb/s 40 Gb/s 56Gb/s

Encoding 8/10 Btis 8/10 Btis 8/10 Btis 64/66 Btis

8 Gb/s 16 Gb/s 32 Gb/s 54,3Gb/s

También ofrecen la posibilidad de montar clusters con FPGAs in Socket ó con tarjetas PCI-E x8 olos chipsets más avanzados del mercado como el Stratix IV de Altera y el Virtex-5 de Xilinx.

Además contamos con desarrolladores de software propio para portar tus aplicaciones de cálculomediante FPGAs.

La última tendencia en sistemas HPC es la inclusión de servidores con múltiples GPUs NvidiaTesla Fermi  de 512 núcleos cada una con una potencia de hasta 665 GFLOPs. Actualmentedisponen de servidores con soporte para 2 tarjetas en 1U, hasta 4 GPUs en 2U/4U y Blade dehasta 2 GPU por hoja, todos ellos con soporte para GPUdirect, una tecnología que acelera lacomunicación entre GPUs permitiendo la comunicación directa a través de una red InfinibandMellanox.

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 5/10

 

 

Flytech entregar con todos los componentes necesarios, incluidos los elementos auxiliares como elarmario Rack especial que garantiza la refrigeración, KVM analógico y/o digital, conectividad,pantalla teclado y ratón en 1U, y todo ello estructurado de tal manera que la administración del

sistema y agregar o sustituir componentes se haga de una manera rápida, fácil y cómoda.

IBM

IBM ha sido el líder en sistemas de computadora con clusters durante muchos años y actualmentedomina en la lista de supercomputadoras Top 500 (www.top500.org) (este link reside fuera deibm.com); en realidad, los dos sistemas más importantes de la lista son de IBM e IBM es el primervendedor que ha capturado más de la mitad de los sistemas de la lista. No obstante ello, elliderazgo de IBM en el clustering va mucho más allá de la supercomputación, ya que aborda unaamplia variedad de industrias y demandas empresariales.

Resumen de características de IBMIntelligent Cluster 

Sistemas Servidores blade: HX5, HS22, HS22VServidores empresariales: x3850X5Servidores iDataPlex: dx360M3

Servidores de bastidor: x3550M3, x3650M3, x3690X5, x3755M3Interconexiones Switches Ethernet Red de sistemas IBM: BLADE Network

Technologies,Cisco, Force10Networks, Juniper,LG Ericsson,Voltaire

Adaptadores Ethernet Chelsio, MellanoxSwitches y adaptadores InfiniBand Mellanox, QLogic,VoltaireFC Brocade, Emulex, QLogicAlmacenamientoexterno Servidores dealmacenamiento

SystemStorage DS5020, DS5100, DS5300, DS3950, DS3500, DS3512, DS3524

Expansión dealmacenamiento

Unidad de expansión de almacenamiento EXP5000Unidad de expansión de almacenamiento EXP2512Unidad de expansión de almacenamiento EXP 2524Unidad de expansión de almacenamiento EXP520Unidad de expansión de almacenamiento EXP 395

Unidades deprocesamiento gráfico(GPU)

Módulos informáticos M2050, M2070, M2070-Q, M2090, M2075y Quadro 4000, 5000AMD Firestorm9370

Sistemas operativos RedHat Enterprise Linux (RHEL) 5SUSE Linux Enterprise Server (SLES) 11Microsoft ® Windows HPCServer 2008

Software de gestión declúster

xCAT (Extreme Cloud Administration Toolkit)Moab Adaptive HPC SuiteMoab Adaptive ComputingSuiteIBMGeneral Parallel File System(GPFS) para Linux

Armarios de bastidor Cabina de bastidor500042U

79,5 Alto x 2020mm Ancho x 640mm Fondo x 1100mm; 261kg2

Cabina de bastidor 49,0 Alto x 1.344mm Ancho x 605mm Fondo x 1.001mm; 100,2kg2

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 6/10

 

500025UCabina de bastidoriDataPlex 100U

82,4 Alto x 2093mm Ancho x 1235mm x Fondo x 844mm; 174,6kg

Alimentación yrefrigeración

Calibrated Vectored Cooling, consumibles de ahorro de energía, procesadores de bajovoltaje,IBMPowerConfigurator, Thermal Diagnostics

Capacidad de ampliación Un nodo de gestión es necesario y un nodo de gestión redundante para failover es opcional.Soportados un mínimo de dos y un máximo de 1.024nodos (el software opcional puede limitar losnodos soportados). Estetotal puede incluir un máximo de 64nodos de almacenamiento. Laconfiguración máxima es de 1.026nodos, incluyendo nodos de cálculo, de almacenamiento y degestión. Están disponibles configuraciones superiores a través de un proceso especial para pedidos

Servicios ●La instalación de hardware de Intelligent Clusterse incluye sin coste alguno en los bastidores 100U,47U, 42U y 25U●Servicios de software de clúster HPC y SupportLine para clústeres Linux y Windowsdisponibles como servicios de pago opcionales● Servicios de soporte de instalación de clústeresdisponibles a través de ClusterEnablement Team (CET) como servicios de pago opcionales

Garantía Tres años de garantía limitada, unidades sustituibles por el cliente (CRU) o trabajos in situ, con nodosindividuales que conservan la garantía y las ofertas de actualizaciones

Cluster X

En la lista «TOP 500» de noviembre de 2004 fue considerado el séptimo sistema más rápido delmundo; sin embargo, en julio de 2005 ocupaba la posición catorce. Cluster X fue construido en elTecnológico de Virginia en el 2003; su instalación fue realizada por estudiantes de ese instituto.Está constituido por 2200 procesadores Apple G5 de 2,3 GHz. Utiliza dos redes: Infiniband 4x paralas comunicaciones entre procesos y Gigabit Ethernet para la administración. Cluster X posee 4terabytes de memoria RAM y 176 terabytes de disco duro, su rendimiento es de 12,25 TFlops. Selo conoce también como Terascale.

8. Defina los comandos básicos para manejo de software libre, especificando bajo quésistema operativo corren y qué función ejecutan.

Tabla de los comandos principales de Linux

Comando Descripción Equivalente a

DOS

ls listas del contenido de un directorio dir

cd cambio de directorio cd

cd .. directorio principal cd..

mkdir crea un nuevo directorio md

rmdir elimina un directorio deltree

cp copia de un archivo copy, xcopy

mv mueve un archivo move

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 7/10

 

rm elimina un archivo del

passwd cambia la contraseña del usuario

cat muestra el contenido del archivo type

more muestra el contenido del archivo con pausas type |more

man

apropos

ayuda para el comando requerido help

lpr imprime el archivo requerido print

chmod

cambia el atributo de un archivo

chmod XXX file  

XXX= Usuario|Grupo|Otro en el que X representa un númeroentero 1<X<7

Lectura=4, Escritura=2, Ejecución=1

X=Leer+Escribir+Ejecutar

0 significa ningún derecho

1 significa derecho de ejecución

2 significa derecho de escritura

3 significa derechos de escritura y ejecución

4 significa derecho de lectura

5 significa derechos de lectura y de ejecución

6 significa derechos de lectura y de escritura7 significa todos los derechos

chfn cambia la información personal vista tipográficamente

chsh cambia la shell: chsh user ubicación_de_la_shell  

finger lista de usuarios conectados

traceroute traza la ruta entre el equipo local y el equipo visualizado

ftp [machine]

[port]

get

put

quit

transfiere el archivo entre el equipo local y el equipo de destino

recupera un archivo (get)

envía un archivo(put)

sale de la sesión FTP (quit)

telnet [machine] realiza una aplicación telnet

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 8/10

 

talkpermite hablar con un usuario conectado

talk user

mesg

autoriza o rechaza el comando talk

mesg n : Impide la recepción de mensajes talk

mesg y : Permite recibir mensajes talk

logout desconexión

9. Que es una solución HPC,

Computación de alto rendimiento (High performance Computing o HPC en inglés) es una

herramienta muy importante en el desarrollo de simulaciones computacionales aproblemas complejos.

Esta tecnología se base en el uso de los clusters, supercomputadores o mediante el uso

de la computación paralela  para la realización de cálculos o solución de problemas

complejos que una computadora norma puede tardar años.

La mayoría de las ideas actuales de la computación distribuida se han basado en la

computación de alto rendimiento.

10. Elabore una lista (Lo más detallada posible) de los requerimientos necesarios para laimplementación de un clúster (Hardware, Software, etc.).

En general, un clúster necesita de varios componentes de software y hardware para poderfuncionar:

nodos

almacenamiento

sistemas operativos

conexiones de red

middleware

protocolos de comunicación y servicios

aplicaciones

ambientes de programación paralela

Nodos

Pueden ser simples ordenadores, sistemas multiprocesador o estaciones de trabajo (workstations).En informática, de forma muy general, un nodo es un punto de intersección o unión de varioselementos que confluyen en el mismo lugar. Ahora bien, dentro de la informática la palabra nodopuede referirse a conceptos diferentes según el ámbito en el que nos movamos:

En redes de computadoras cada una de las máquinas es un nodo, y si la red es Internet, cadaservidor constituye también un nodo.

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 9/10

 

Almacenamiento

El almacenamiento puede consistir en una NAS, una SAN, o almacenamiento interno en elservidor. El protocolo más comúnmente utilizado es NFS (Network File System), sistema deficheros compartido entre servidor y los nodos. Sin embargo existen sistemas de ficherosespecíficos para clústeres como Lustre (CFS) y PVFS2.

Tecnologías en el soporte del almacenamiento en discos duros:

  IDE o ATA: velocidades de 33, 66, 100, 133 y 166 MB/s

  SATA: velocidades de 150, 300 y 600 MB/s

  SCSI: velocidades de 160, 320, 640 MB/s. Proporciona altos rendimientos.

  SAS: aúna SATA-II y SCSI. Velocidades de 300 y 600 MB/s

Las unidades de cinta (DLT) son utilizadas para copias de seguridad por su bajo coste.

Sistema operativo

Un sistema operativo debe ser multiproceso y multiusuario. Otras características deseables son lafacilidad de uso y acceso. Un sistema operativo es un programa o conjunto de programas decomputadora destinado a permitir una gestión eficaz de sus recursos. Comienza a trabajar cuandose enciende el computador, y gestiona el hardware de la máquina desde los niveles más básicos,permitiendo también la interacción con el usuario. Se puede encontrar normalmente en la mayoríade los aparatos electrónicos que utilicen microprocesadores para funcionar, ya que gracias a estospodemos entender la máquina y que ésta cumpla con sus funciones (teléfonos móviles,reproductores de DVD, radios, computadoras, etc.).

Ejemplos 

  GNU/Linux

  Solaris

  HP-UX

  Aix

  Windows

  NT

  2000 Server

  2003 Server

  2008 Server

  Mac OS X

  Xgrid

Conexiones de red

Los nodos de un clúster pueden conectarse mediante una simple red Ethernet con placas comunes

(adaptadores de red o NICs), o utilizarse tecnologías especiales de alta velocidad como FastEthernet, Gigabit Ethernet, Myrinet, InfiniBand, SCI, etc.

Middleware

El middleware es un software que generalmente actúa entre el sistema operativo y lasaplicaciones con la finalidad de proveer a un clúster lo siguiente:

Una interfaz única de acceso al sistema, denominada SSI (Single System Image ), la cualgenera la sensación al usuario de que utiliza un único ordenador muy potente;

5/16/2018 Taller 1 Electiva II Gilberto Ardila - slidepdf.com

http://slidepdf.com/reader/full/taller-1-electiva-ii-gilberto-ardila 10/10

 

Herramientas para la optimización y mantenimiento del sistema: migración deprocesos, checkpoint-restart (congelar uno o varios procesos, mudarlos de servidor y continuarsu funcionamiento en el nuevo host), balanceo de carga, tolerancia a fallos, etc.;

Escalabilidad: debe poder detectar automáticamente nuevos servidores conectados al clústerpara proceder a su utilización.

Existen diversos tipos de middleware, como por ejemplo: MOSIX, OpenMOSIX, Cóndor, OpenSSI, 

El middleware también debe poder migrar procesos entre servidores con distintas finalidades:

balancear la carga: si un servidor está muy cargado de procesos y otro está ocioso, puedentransferirse procesos a este último para liberar de carga al primero y optimizar elfuncionamiento;

Mantenimiento de servidores: si hay procesos corriendo en un servidor que necesitamantenimiento o una actualización, es posible migrar los procesos a otro servidor y proceder adesconectar del clúster al primero;

Priorización de trabajos: en caso de tener varios procesos corriendo en el clúster, pero uno deellos de mayor importancia que los demás, puede migrarse este proceso a los servidores queposean más o mejores recursos para acelerar su procesamiento.

Ambientes de Programación ParalelaLos ambientes de programación paralela permiten implementar algoritmos que hagan uso derecursos compartidos: CPU (central processing unit: „unidad central de proceso), memoria, datos yservicios.