Post on 11-Feb-2017
CONTRUCCIN DE UN CLUSTERCONTRUCCIN DE UN CLUSTERDE COMPUTADORAS DE COMPUTADORAS
Ing. Ricardo ColomaIng. Ricardo ColomaROJROJ
INDICEINDICE
IntroduccinIntroduccinArquitecturas y porqu ClusterArquitecturas y porqu ClusterComponentes del Hardware y SoftwareComponentes del Hardware y SoftwareSoluciones con RedesSoluciones con RedesAdministracin del ClusterAdministracin del ClusterEl Nodo en instalacin y nuevos NodosEl Nodo en instalacin y nuevos NodosProgramacin y LibrerasProgramacin y LibrerasAmbiente ParaleloAmbiente Paralelo
IntroduccinIntroduccin
Supercomputadoras= Tiempo de Supercomputadoras= Tiempo de procesamiento + ancho de banda de red procesamiento + ancho de banda de red interna + grandes capacidades de I/O y interna + grandes capacidades de I/O y almacenamientoalmacenamientoSistema operativo y software escrito Sistema operativo y software escrito especialmente especialmente Procesamiento ParaleloProcesamiento ParaleloNo ampliableNo ampliable
Arquitecturas y porqu ClusterArquitecturas y porqu Cluster
Procesamiento ParaleloProcesamiento ParaleloEl uso de El uso de ArrayArray ProcessorsProcessors VAX Cluster VAX ClusterComputo distribuido en base a MPI Computo distribuido en base a MPI ((messagemessage passingpassing interfaces)interfaces)Files Files ServersServersCluster de PC enCluster de PC enbase a Linuxbase a LinuxFcil IntegracinFcil Integracin
EstructuraEstructura
Hardware y ClusterHardware y ClusterCPUsCPUs, tecnologas RISC, tecnologas RISCParalelismo Paralelismo
FinoFinoGruesoGrueso
MemoriasMemoriasCacheCache -- nanosegundosnanosegundosPrincipal Principal 100 100 nsecnsecDDRDDR
Velocidad del Velocidad del BussBussI/OI/ODisco DuroDisco Duro
RAID( RAID( RedundantRedundant ArrayArray ofof InexpensiveInexpensive Disks)Disks)SCSISCSI
Software y ClusterSoftware y Cluster
GranularidadGranularidadDependenciaDependencia
De los datosDe los datosDel controlDel control
MultiprocesamientoMultiprocesamientoSincronizacinSincronizacinSubordinacin de procesos hijosSubordinacin de procesos hijos
IntranetIntranet
ClusterCluster
Configuracin SimpleConfiguracin Simple
CLUSTER HOMOGENEO
(4) MICROCOMPUTADORAS
(1) KVM Switch= Keyboard, Video, Mouse
(1) LINUX RED HAT
CONFIGURACION INICIALCONFIGURACION INICIAL
MONITORES OPCIONALES
SOLO SE REQUIERE UNO , SI
SE DISPONE DEL MDULO
KVM X 4
CONFIGURACIN X 8CONFIGURACIN X 8
CLUSTER AMPLIADO A 8
MICROCOMPUTADORAS
PUEDE UTILIZARSE PLACAS
MADRE CON DOS PROCESADORES
XEON.
CLUSTER DE 16 PCCLUSTER DE 16 PC
CLUSTER DE 64 PCCLUSTER DE 64 PC
COMBINACION DE DIFERENTES
MODELOS, VERSIONES, CAPACIDADES
EN PROCESADORES, RAM, DISCO DURO
CASE Norma 3U ( 5.25 inch)Norma 2U ( 3.5 inch)
CLUSTER 29 PCCLUSTER 29 PC
CLUSTER MULTICLUSTER MULTI--EQUIPOEQUIPO
CLUSTER HETEROGENEO
INTEGRACIN DEVARIADOS EQUIPOSMARCAS, MODELOSVELOCIDADES, RAMPROCESADORES, DISCOSETC.
UPS
SUPER CLUSTER 64 PCSUPER CLUSTER 64 PC
SISTEMAS OPERATIVOSSISTEMAS OPERATIVOSKernelKernel LinuxLinux
REDHAT LinuxCaldera OpenLinuxSuSE LinuxGNU/Debian LinuxSlackware LinuxTurboLinuxSGI Linux
SIMPLE O MULTIPROCESADORESPOR NODO
Componentes del Hardware y Componentes del Hardware y SoftwareSoftware
Solucin que se busca encontrarSolucin que se busca encontrarParalelismo y Paralelismo y multimulti--procesamientoprocesamiento
1.1. SMPSMP-- ((SymmetricSymmetric MultiprocessorMultiprocessor))2.2. NUMANUMA--(Non(Non--UniformUniform MemoryMemory Access)Access)3.3. UMAUMA--((UniformUniform MemoryMemory Access)Access)4.4. SIMDSIMD--(Single (Single InstructionInstruction MultipleMultiple Data)Data)5.5. MIMDMIMD--((MultipleMultiple InstructionInstruction MultipleMultiple Data, Linux Data, Linux
Cluster por definicinCluster por definicin
Soluciones con RedesSoluciones con Redes
Protocolos de redes Protocolos de redes EthernetEthernetInterfaces del hardware (cable o fibra)Interfaces del hardware (cable o fibra)Ancho de Banda en Ancho de Banda en MbitsMbits/seg./seg.HubHub , , RoutersRouters o o SwitchesSwitchesCubos , Cubos , HipercubosHipercuboso Redeso RedesTCP/IPTCP/IP
Comunicacin Comunicacin EthernetEthernet
TCP/IPTCP/IPClase A 10.0.0.0Clase A 10.0.0.0Clase B 172.16.0.0 Clase B 172.16.0.0 -- 172.31.0.0172.31.0.0Clase C 192.168.0.0 Clase C 192.168.0.0 192.168.0.0192.168.0.0
Cadenas IPCadenas IPSeguridadSeguridad
Sistemas de ProgramacinSistemas de Programacin
MPI MPI -- MessageMessage PassingPassing InterfaceInterfacePVM PVM -- ParallelParallel Virtual Virtual MachineMachine
CLUSTERTOOLS
Aplicaciones
MPI
LINUX
Nodos
LANNODOMAESTRO
MVICH LAM/MPI MPI/PRO MPICH
APLICACIONES PARALELAS
VIATCP/IP GM
FAST ETHERNET
SERVIDOR
LINUX
MyrinetGiganet Nics
Configuracin del ClusterConfiguracin del Cluster
Cubos o Cubos o HipercubosHipercubosMallas o AnillosMallas o AnillosEscalabilidadEscalabilidadAcceso al ClusterAcceso al ClusterSistema de MensajeraSistema de Mensajera
El Nodo en instalacin y nuevos El Nodo en instalacin y nuevos NodosNodos
El Nodo Maestro y el montaje del softwareEl Nodo Maestro y el montaje del softwareEl El BootBoot del del serverserverConstruccin de los nodos esclavosConstruccin de los nodos esclavosAdministracin de las cuentas y del Administracin de las cuentas y del sistemasistema
Administracin de la DemandaAdministracin de la Demanda
Actividad del SistemaActividad del Sistema
Cluster en RedCluster en Red
Programacin y LibrerasProgramacin y Libreras
CompiladoresCompiladoresGNU C , GNU F77/F90GNU C , GNU F77/F90C/C++C/C++NAGNAGOtras herramientasOtras herramientasLibreriasLibrerias ParaleloParaleloLibreriasLibrerias MatematicasMatematicas
Desarrollo ParaleloDesarrollo Paralelo
PADE PADE -- ParallelParallel AplicationsAplications DevelopmentDevelopmentEnviromentEnviroment (NITS)(NITS)
XPVM XPVM -- FrontFront--EndEnd PVMPVM
LAM LAM -- Local Local AreaArea MulticomputerMulticomputer
MOSIXMOSIX
LibreriasLibrerias ParaleloParalelo
ACL ACL -- AdvancedAdvanced ComputingComputing LabLab ToolsToolsSILON SILON ScriptingScripting InterfaceInterface LanguagesLanguages forforObjectObject-- OrientedOriented NumericsNumericsPAWS PAWS ParallelParallel ApplicationApplication WorkSpaceWorkSpacePOOMA POOMA ParallelParallel ObjectObject OrientedOrientedMethodsMethods andand ApplicationsApplicationsPETScPETSc ParallelParallel scientificscientific computingcomputingPLAPACK PLAPACK ParallelParallel Linear Algebra Linear Algebra PackagePackage
Software Software BeowolfBeowolf
ScaLAPACK
FORTRAN
Absoft FORTRAN
NAG (Numerical Algorith Group)
The Portland Group F90, C++
Parallel Tools Consortium
MAPLABIDL
Ambiente ParaleloAmbiente Paralelo
El cuarto El cuarto Aire acondicionadoAire acondicionadoPotencia ConsumidaPotencia ConsumidaUPSUPSSeguridadSeguridadMontajeMontaje
SUPER CLUSTER 512 PCSUPER CLUSTER 512 PC
Ambiente TemperadoFalso pisoUPSRacks
CLUSTER COMPACTOCLUSTER COMPACTO
ProcesamientoProcesamiento
Datos SAR del satlite ERS-2De la Agencia Espacial EuropeaProcesados por equipo SUN Ultracon dos procesadores RISC de 800 MHz.Imagen multitemporal de zona de selvaen el Per250 MB cada imagen
Composicin Composicin MultibandaMultibanda
CmbinacionCmbinacion de Sensoresde Sensores
Datos SARRadarsat
Integracin de datosSAR, SPOT-P, TMSFormato IHS
Integracin de datosSAR, SPOT-P, TMSFormato RGB
Proceso Proceso MultitemporalMultitemporal
Imagen SAR-ESAProcesada en el INPEBrasil por computadorDigital y Array Processor
Procesamiento 3DProcesamiento 3D
Imagen GOESImagen GOES
GoesGoes RegionalRegional
Imagen utilizada por el
CPTEC para pronstico
Modelado ECHAM5Modelado ECHAM5
Modelado Modelado SismicoSismico
Modelado ClimticoModelado Climtico
Modelos 3D Modelos 3D