Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”
description
Transcript of Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”
![Page 1: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/1.jpg)
Curso de Postgrado ‘GRIDS y e-Ciencia’
” UTILIZACION DE UNA INFRAESTRUCTURA GRID”
J. SaltGrupo de GRID Computing del IFIC
IFCA, Santander; 21-23 de Junio de 2004
![Page 2: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/2.jpg)
Contenidos
Descripcion de GoG ( la Infraestructura GRID del IFIC)Utilizacion en I+D de tecnologias GRIDUtilizacion como infraestructura de ProduccionConclusiones y Perspectivas
• Participacion esencial del Servicio de Informatica del IFIC en la operacion del GoG
• Grupo: F. Fassi, A. Fernandez, S. Gonzalez, V.Lara, J. Lozano, L. March, J. Salt, J. Sanchez
![Page 3: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/3.jpg)
1.-DESCRIPCION DE GOG,LA INFRAESTRUCTURA GRID
DEL IFIC
![Page 4: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/4.jpg)
Ordenadores de cálculo
192 Ordenadores (134 IFIC + 58 ICMOL)
96 Atlhon 1.2 GHz 1Gbyte SDRAM
96 Athlon 1.4 GHz 1Gbyte DDR
Disco duro local de 40 GBytes
FastEthernet agregando con gigabit ethernet.
![Page 5: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/5.jpg)
Adquisiciones recientes
Robot STK L700e700 4 Servidores de disco
2 Servidores de cinta
![Page 6: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/6.jpg)
Almacenamiento discodiscos para
datos
contr CPU Network Capacidad
RAID 1
gse01 20x80GB
2x120GB
IDE 2x Atlhon 1.5 GHz 1x100Base-T
1x1000Base-SX
920 GB
gse02 16x120GB SATA 2 x XEON 2.0 GHz 1x1000Base-T
1x1000Base-SX
960 GB
gse03 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse04 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse05 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse06 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
5720 GB
![Page 7: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/7.jpg)
Almacenamiento en cintaceldas Lectores interface Capacidad
(sin comp.)
IBM 3583 54 1 x LTO Gen1
100 GB (sin compr.)
SCSI 5.4 TB
STK L700e700 690 4 x LTO Gen2
200 GB (sin compr.)
FibreChannel 138 TB
interface CPU Network
tpsrv1 SCSI 1x Athlon 1.5 GHz 1x100Base-T
tpsrv2 FC 2 x XEON 2.8 GHz 2x1000Base-T
tpsrv3 FC 2 x XEON 2.8 GHz 2x1000Base-T
![Page 8: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/8.jpg)
Almacenamiento de datos
En septiembre de 2002 se instaló CASTOR con: 1 TapeServer 1 Compaq TL891DLX (1 lector DLT8000, 10 slots)
CASTOR en producción desde entonces.
Durante el 2003 migración a la librería IBM 3583.
Diciembre de 2003 se añadio la librería de STK y los dos nuevos servidores de cinta.
![Page 9: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/9.jpg)
2.- UTILIZACION PARA EL I+D DE TECNOLOGIAS GRID
![Page 10: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/10.jpg)
CROSSGRID: Resource Broker
Hace de punto único donde enviar los trabajos.•Un Usuario debe describir las necesidades de su trabajo y el RB se encargará del envío y recogida de resultados cuando finalice.• Selección autómatica de recursos donde correr los trabajos.•Reenvio de trabajos en caso de fallo.•Mantiene historia de las distintas fases por las que pasa un trabajo (Logging & Bookeping)•Cuando acaba el trabajo, recoge los resultados que serán guardados hasta que el usuario los requiera.
![Page 11: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/11.jpg)
CROSSGRID: Helpdesk
User Support del Proyecto: desarrollo, implementacion y mantenimiento de un Helpdesk
Ver la presentacion de Farida Fassi
![Page 12: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/12.jpg)
EGEE: Organizaciones Virtuales
•Las Organizaciones Virtuales (VO) agrupan usuarios de diferentes dominios. que desean compartir sus recursos•Un Usuario debe pertenecer al menos a una VO.•Los diferentes Recursos deben soportar la VO para poder mandar trabajos:
RB debe aceptar trabajos de esa VOUn Computing element (CE), representando
un conjunto de recursos soporta una o más Vos, que permiten el correr trabajos
de las mismas.
![Page 13: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/13.jpg)
•Un Storage Element (SE) servira archivos a las VO’s ‘soportadas’•Los Servicios de Replica (RLS) tambien deben soportar las VO’s que efectuen consultas
.
![Page 14: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/14.jpg)
3.- UTILIZACION COMO INFRAESTRUCTURA DE
PRODUCCION
![Page 15: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/15.jpg)
El Reto de la Computación en LHC
![Page 16: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/16.jpg)
Almacenamiento- Ratio de registro de datos 0.1 – 1
GBytes/sec
Acumulando a 5-8 PetaBytes/year
10 PetaBytes de disco
Procesamiento 200,000 de los PC’s más rápidos actuales
![Page 17: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/17.jpg)
* El GoG en Pre-Grid
En el IFIC se ha realizado producción de Monte Carlo para los experimentos: ATLAS, LHCb y CMS.En ATLAS se ha producido tanto
simulación, como reconstrucción (IFIC).En LHCbLHCb solo se ha producido simulación
(UB)En CMS tanto generación, como
simulación (IFCA)
![Page 18: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/18.jpg)
Simulación y Reconstrucción en números para ATLAS
Tipo de sucesos
Tamaño por
suceso (MB)
Con pile-up a baja lumi (MB)
Con pile-up a alta
lumi (MB)
Tiempo por
suceso (s)
Tiempo por
suceso a baja
lumi (s)
Tiempo por
suceso a alta lumi
(s)
Di-jets 2.5 3 - 250 30 -
WHgg
2.5 3.6 10 200 30 130
WHbb
2.5 3.7 7.5 200 30 150
![Page 19: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/19.jpg)
Simulación y Reconstrucción en números, para ATLAS
Colaboración
(Pentium III 500 MHz)
IFIC
(Athlon 1.4 GHz)
Número de sucesos
50x106 2.2x106
Ficheros 35 000 2 500
Horas de CPU 1722K horas 30K horas
Capacidad 30 Tbytes 3 Tbytes
![Page 20: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/20.jpg)
Contribución a los Data Challenge 1 de
ATLAS por parte del IFICContribution (%) per country(37 institutes in 18 countries)
1,43
0,02
10,89
28,60
0,00
1,379,572,375,00
10,69
2,21
3,23
4,41
1,91
4,06
14,25
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
ValenciaIFIC
5*107 events generated1*107 events simulated3*107 single particles30 Tbytes
35 000 files
1: Australia2: Austria3: Canada4: CERN5: Czech Republic6: France7: Germany8: Israel9: Italy10: Japan11: NorduGrid (Denmark, Norway, Sweden)12: Russia13: Spain (Valencia)14: Taiwan15: UK16: USA
![Page 21: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/21.jpg)
Resumen para ATLAS en el IFIC
Sucesos simulados: 890 Kevt
Sucesos reconstruidos: 250 Kevt
Volumen de datos almacenados en disco: 1.5 TB
Volumen de datos almacenados en cinta: 4 TB
Los datos han sido volcados tanto al CERN (20%) como a Lyon (70%)
![Page 22: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/22.jpg)
Generación y Simulación en números para CMS
Sucesos generados en el IFIC: 100
Sucesos simulados en el IFIC: 100 Kevt
Horas de CPU: 4400 horas
Tiempo por suceso: 160 s
Tamaño por suceso: 0.46 MB
Volumen de datos producidos: 46 GB
Los sucesos se transfieren al IFCA
![Page 23: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/23.jpg)
**El GoG en modo GRID
80% del GoG en LCG-2
Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2Coordinacion ‘centralizada’ del envio de
trabajos
Mover a los usuarios del IFIC al modo GRID
![Page 24: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/24.jpg)
Modo Grid *EN PRUEBAS* Grid *EN PRUEBAS* para usuarios de GoGpara usuarios de GoG
Guia para el usuario; Obtencion de los certificados Alta en la Organización Virtual de ATLAS
Se ha ejecutado ATLAS-6.0.4 a la grid (versión dada en la release del Grid)
Se ha utilizado la distribución estándar de RPM’s usada en los DC1.
Se puede hacer tanto simulación como reconstrucción.
La simulación ha corrido bien en todos los sitios:
![Page 25: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/25.jpg)
4.- CONCLUSIONES Y PERSPECTIVAS
![Page 26: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/26.jpg)
Actividades I+D en GRID OK , in progress
Explotacion (EGEE) de comienzo reciente: ‘in progress’
Buen funcionamiento de los DC1 (pre-GRID): OK
Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2: muchos problemas, ‘in progress’
![Page 27: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/27.jpg)
Analisis Distribuido de datos LHC (ATLAS). Prototipo de Sistema de Analisis. Problema complejo, primeros pasos
Mover a los usuarios del IFIC al modo GRID opinion: El éxito reside en enseñar bien el
nuevo sistema y minimizando el aprendizaje de la capa GRID para aquellos que no lo necesiten)
![Page 28: Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”](https://reader036.fdocuments.es/reader036/viewer/2022062518/56814073550346895dabf236/html5/thumbnails/28.jpg)
Iniciativa IRISGRID: e-Ciencia en España
Iniciativas a nivel autonomico