Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup...

32
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo- 1 GOG G Grup d’ O Ordinadors per al G Grid (Desde el punto de vista del usuario ATLAS en el IFIC ) Santiago González de la Hoz (Santiago.Gonzalez@ific.uv.es) Grid & ATLAS compunting team @ IFIC Grid & ATLAS compunting team @ IFIC Reunión TICAL-IFIC 3-Mayo-2004

Transcript of Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup...

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

1

GOGGGrup d’OOrdinadors per al GGrid

(Desde el punto de vista del usuario ATLAS en el IFIC)

Santiago González de la Hoz ([email protected])

Grid & ATLAS compunting team @ IFICGrid & ATLAS compunting team @ IFIC

Reunión TICAL-IFIC 3-Mayo-2004

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

2

Índice

• Infraestructura: GoG

• Uso del GoG a la no-Grid (de forma clásica, y como ha sido utilizado hasta ahora)– Caso específico del Monte Carlos de ATLAS

• Uso del GoG a la Grid (disponible dentro de pocas semanas)– Caso específico del Monte Carlo de ATLAS

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

3

INFRAESTRUCTURA: GOG

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

4

Ordenadores de cálculo

• 192 Ordenadores (134 IFIC + 58 ICMOL)

• 96 Atlhon 1.2 GHz 1Gbyte SDRAM

• 96 Athlon 1.4 GHz 1Gbyte DDR

• Disco duro local de 40 GBytes

• FastEthernet agregando con gigabit ethernet.

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

5

Adquisiciones recientes

Robot STK L700e700 4 Servidores de disco

2 Servidores de cinta

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

6

Almacenamiento disco

discos para

datos

contr CPU Network Capacidad

RAID 1

gse01 20x80GB

2x120GB

IDE 2x Atlhon 1.5 GHz 1x100Base-T

1x1000Base-SX

920 GB

gse02 16x120GB SATA 2 x XEON 2.0 GHz 1x1000Base-T

1x1000Base-SX

960 GB

gse03 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

gse04 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

gse05 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

gse06 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

5720 GB

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

7

Almacenamiento en cinta

celdas Lectores interface Capacidad

(sin comp.)

IBM 3583 54 1 x LTO Gen1

100 GB (sin compr.)

SCSI 5.4 TB

STK L700e700 690 4 x LTO Gen2

200 GB (sin compr.)

FibreChannel 138 TB

interface CPU Network

tpsrv1 SCSI 1x Athlon 1.5 GHz 1x100Base-T

tpsrv2 FC 2 x XEON 2.8 GHz 2x1000Base-T

tpsrv3 FC 2 x XEON 2.8 GHz 2x1000Base-T

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

8

Almacenamiento de datos

• En septiembre de 2002 se instaló CASTOR con:– 1 TapeServer– 1 Compaq TL891DLX (1 lector DLT8000, 10 slots)

• CASTOR en producción desde entonces.• Durante el 2003 migración a la librería IBM

3583.• Datos del DC1 de Atlas en:

/castor/ific.uv.es/atlas/project/dc1• Diciembre de 2003 se añadio la librería de STK

y los dos nuevos servidores de cinta.

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

9

USO DEL GOG A LA NO-GRID

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

10

Uso del GoG (Hasta ahora)(Forma no-Grid)

• Es necesario pedir una cuenta para ello:

• El front-end de la granja es reglar.ific.uv.es• Se envían los trabajos en BATCH a través de PBS• Cada cuenta dispone de un directorio /home con 200

MB visible por todos los trabajadores.• Para cada trabajo se crea un directorio temporal en cada

trabajador de 40 GB /data/$PBS_JOBID, el cual se borra al final del trabajo (los ficheros útiles deben ser copiado por el propio script).

http://ific.uv.es/gog/uso/page.shtml

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

11

Uso del GoG (Hasta ahora)(Forma no-Grid)

• Sistema de Colas para la ejecución de comandos en OpenPBS.

• Existen las colas que se pueden ver en la tabla, alimentadas de una cola default, a la cual se deben enviar los trabajos.

• Esta los envía a las distintas colas en función del tiempo solicitado . Sino se especifica el tiempo, irá a la cola small.

Nombre Tiempo CPU

Num. Trab.

Limimete

small 00:20:00 20

medium 02:00:00 20

long 12:00:00 60

verylong 72:00:00 40

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

12

Uso del GoG (Hasta ahora)(Forma no-Grid)

• Enviar programas, es necesario escribir un fichero de comandos que contiene las instrucciones necesarias para la ejecución de aquel y las órdenes al sistema de colas.

• El software de los experimentos se instala en /soft/:– /soft/atlas– /soft/alice– /soft/cmsprod

• El software es instalado por el responsable en el IFIC de cada experimento, en el caso de ATLAS (Santiago González). Todos los usuarios del grupo ATLAS pueden ver /soft/atlas

• Última versión de ATLAS instalada es la 7.0.0 /soft/atlas/7.0.0/software/dist/7.0.0/

Applications Calorimeter genz pythiaatdummy commons ggenz Reconstructionatgen Control graphics SimulationAtlasCxxPolicy Database InnerDetector slugAtlasFortranPolicy DetectorDescription InstallArea taginfoAtlasPolicy dice jetfinder TestPolicyAtlasRelease Event jetset TileCalorimeterAtlasSystemSettings External LArCalorimeter ToolsAtlasTest gcalor MagneticField Triggeratlfast geant3 matele Utilitiesatlsim gencl MuonSpectrometeratrecon Generators njetsatutil genslug Physics

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

13

Uso del GoG (Hasta ahora)(Forma no-Grid)

• Ejemplo: Simulación del detector ATLAS (versión 6.5.0)• Utilizo 2 scripts en mi home directory /home/sgonzale/:

– atlas_pbs.sh (script necesario para enviar nuestro trabajo de simulación/reconstrucción a las colas de PBS)

– dc1.zsh (script dado por la colaboración ATLAS DC y adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción).

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

14

Uso del GoG (Hasta ahora)(Forma no-Grid)

#!/bin/sh##PBS -q special#PBS -l cput=48:00:00# #PBS -l nodes=cpu085# WORKDIR=/data/$PBS_JOBID cd $WORKDIR echo "CDW: " pwd echo "ENV: " printenv echo "date: " date OUTPART=1500 INDISK=data06 OUTDISK=data10 if [ $OUTPART -lt 10 ]; then OUTPARTNR="0000$OUTPART" elif [ $OUTPART -lt 100 ]; then OUTPARTNR="000$OUTPART" elif [ $OUTPART -lt 1000 ]; then OUTPARTNR="00$OUTPART" elif [ $OUTPART -lt 10000 ]; then OUTPARTNR="0$OUTPART" else OUTPARTNR=$OUTPART fi echo "Running job" echo "/home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK" /home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK \ >& job-$OUTPARTNR.log echo "Copying log file" hh=`hostname | cut -d'.' -f 1` for ((i=1; i<20; ++i)) ; do if [ ! -f /home/atlsoft/dc1_simul_650/validation/$hh-$i.log ] ; then cp job-$OUTPARTNR.log /home/atlsoft/dc1_simul_650/validation/$hh-$i.log break fi done echo "Directory listing...." ls -al .# clean at the end date echo "Cleaning..." cd /#EOF

atlas_pbs.sh

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

15

Uso del GoG (Hasta ahora)(Forma no-Grid)

#!/bin/zsh

if test $#argv -ne 3; then; echo usage: dc1.zsh "<outpartnr>" "<indisk>" "<outdisk>" exit 0fi

#example dc1.zsh 97 data01 data07

#####################################################

export PATH="/usr/local/gcc-alt-3.2.3/bin/:$PATH"echo $PATHwhich gcc

echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"echoecho "##working directory is:" `pwd`grep MHz /var/log/dmesg | grep processorecho

export WORKDIR=`pwd`export system="`uname -a`"export userid="` id `"export HOSTMACHINE=`hostname -f`

#five digits for simul partitionstypeset -Z 5 OUTPARTNR=$argv[1]

INDISK=$argv[2]OUTDISK=$argv[3]

export OUTPARTNR

export INPARTSZ=100000export OUTPARTSZ=200

((inpnr = (1 + (($OUTPARTNR - 1) / ($INPARTSZ / $OUTPARTSZ))) ))#four digits for input partition

dc1.zsh(dado por la colaboración

Data Challenge)(afs/cern.ch/atlas/project/dc1/

Los nuevos DC2/afs/cern.ch/atlas/project/dc2

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

16

Uso del GoG (Hasta ahora)(Forma no-Grid)

typeset -Z 4 INPARTNR=$inpnrexport INPARTNR

((FIRST = (($OUTPARTNR - 1) * $OUTPARTSZ) + 1))export FIRST((NSKIP = $OUTPARTSZ * (($OUTPARTNR - 1) % ($INPARTSZ / $OUTPARTSZ)) ))export NSKIP((LAST = $FIRST + $OUTPARTSZ - 1))export LAST

echo "FIRST: $FIRST"echo "LAST: $LAST"echo "NSKIP: $NSKIP"echo "INPARTNR: $INPARTNR"

# Source the kit environmentexport ATLAS_ROOT=/soft/atlas/6.5.0source $ATLAS_ROOT/etc/atlas.shrc

echo "++++++++++++++++++++++++++++"printenvecho "++++++++++++++++++++++++++++"

export PROJECT=dc1export DSET=002030export STEP=simulexport PGROUP=hlt#export PRODSITE=EXTSITEexport PRODSITE=IFICexport DESCRIPTOR=pythia_jet_17

export LFN=$PROJECT.$DSET.$STEP.$OUTPARTNR.$PGROUP.$DESCRIPTOR

export INSET=002000export INPUT_DIR=/castor/ific.uv.es/atlas/project/dc1/evgen/data/$INSETexport INFILE=$INPARTNRexport INPUT_FILE=$PROJECT.$INSET.evgen.$INPARTNR.$PGROUP.$DESCRIPTOR.root

export ZEBDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/data/$DSETexport HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSET

dc1.zsh(dado por la colaboración

Data Challenge)(afs/cern.ch/atlas/project/dc1/

Los nuevos DC2/afs/cern.ch/atlas/project/dc2

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

17

Uso del GoG (Hasta ahora)(Forma no-Grid)

export HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSETexport LOGDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/log/$DSETexport JOBDIR=/home/atlsoft/dc1_simul_650/scripts

export MAGLOC=cerncastor:/castor/cern.ch/atlas/project/dc1

#################################################################### applications bootstrap ####################################################################

export COMPILERS=$ATLAS_ROOT/i386_redhat73/usr.local/gcc-alt-3.2export ROOTSYS=$ATLAS_ROOT/ROOT/v3.05.05/rh73_gcc32/rootexport LHCXX=none

# The following line is used to copy the input file locally,# uncomment if necessary and customize for your siterfcp $INPUT_DIR/$INPUT_FILE $WORKDIR/$INPUT_FILE

unset DISPLAY# if this unset is not done ROOT will hang or crash !!

############################################################################# create local links to data files #############################################################################

# link atlas data files, most of them have standard .dat extention

ln -sf $ATLSIMMAINROOT/atlas.kumac .ln -sf $ATLSIMMAINROOT/atlsim.logon.kumac .

ln -sf $ATLASDATA/bmagatlas02.data fieldmap.datln -sf $ATLASDATA/amdb_simrec.p.03 amdb_simrec.dataln -sf $ATLASDATA/xsneut96.dat xsneut.datln -sf $ATLASDATA/*.dat .

dc1.zsh(dado por la colaboración

Data Challenge)(afs/cern.ch/atlas/project/dc1/

Los nuevos DC2/afs/cern.ch/atlas/project/dc2

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

18

Uso del GoG (Hasta ahora)(Forma no-Grid)

###################################################################### run dice-atlsim in batch with built-in kumac below ####################################################################### print env infoprintenv | grep -v 'CONFIG=' | grep -v "ROOT=$DISTREL"echoecho "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"echoATLASLIB="${CMTATLAS}/InstallArea/${CMTCONFIG}/lib"rm -f mykumaccat > mykumac <<EOF gexec $ATLASLIB/libRootKernel.so Ag/Version batch gexec $ATLASLIB/libatlroot.so gexec $ATLASLIB/libatlprod.so gtime 0 1000 1 Rung 0 1 Ranlux $OUTPARTNR ghist $WORKDIR/atlas.$OUTPARTNR.his

* - set atlas-standard configuration (inner, center, all) exec atlas#config ALL exec atlas#calo_shift 4 exec atlas#inner_cut 4 all mode OUTP simu 2 mode FWDC geom 2 mode HEPE hist 100 DETP HEPE Hepa.Vcut=0* mode filter hist 300* detp filter fgen.ntyp=1 call adice

* - select filters, IO etc.* call filter Gspread 0.0015 0.0015 5.6 TFLT ETAP -5.0 5.0 0.0 6.3 call AguDSET(\$quote($DSET.$INSET)) call AguFILE($INFILE)* - next line may produce an uncorrect error message which should be ignored* gfile u $INPUT_DIR/$INPUT_FILE E

rfcp $WORKDIR/atlas.$OUTPARTNR.zebra $ZEBDIR/$LFN.zebra* - uncomment the next line (and comment out the previous 'gfile')* - if you use a local copy of the input file gfile u $WORKDIR/$INPUT_FILE E gfile O $WORKDIR/atlas.$OUTPARTNR.zebra skip $NSKIP* trig $OUTPARTSZ trig 2 quitEOFatlsim.exe -w 0 -g 90 < mykumacexit 0

dc1.zsh(dado por la colaboración

Data Challenge)(afs/cern.ch/atlas/project/dc1/

Los nuevos DC2/afs/cern.ch/atlas/project/dc2

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

19

USO DEL GOG A LA GRID

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

20

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Ver página web: http://ific.uv.es/~sgonzale/certificado• Dos pasos:

– Obtención de certificado– Darse de alta en la Organización Virtual de ATLAS (ATLAS VO)

• OBTENCIÓN DE CERTIFICADOOBTENCIÓN DE CERTIFICADO1) Solicitar cuenta en la granaja GOG 2) Abrirse una cuenta en el User Interface (UI), lcg2ui.ific.uv.es (pedir esto a Javier

Sánchez) 3) Una vez logado en el User Interface, ejecutar el comando "grid-cert-request" y

meter una clave para dicho certificado4) Después de haber ejecutado el comando se creará el directorio ".globus", el

cual contendrá tres ficheros (usercert.pem, userkey.pem, usercert_request.pem)5) Enviar usercert_request.pem a la Autoridad Certificadora (datagrid-es-

[email protected]) para que sea firmado adecuadamente. 6) Una vez la Autoridad Certificadora lo firme adecuadamente (se recibirá un e-

mail con el request firmado), copiar dicho request en el fichero usercert.pem 7) Para comprobar que el certificado ha sido firmado correctamente y funciona

adecuadamente, hacer las siguientes pruebas: • grid-proxy-init, si el comando tiene éxito el resultado deberia ser como el siguiente

– Your identity: /C=ES/O=DATAGRID-ES/O=IFIC/CN=Santiago Gonzalez de la Hoz Enter GRID pass phrase for this identity: Creating proxy ...................................... Done Your proxy is valid until: Tue Apr  6 01:07:21 2004

• grid-proxy-info,

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

21

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• DARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLASDARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLAS

0) Asegurarse que eres usuario ATLAS en el CERN, este paso es el principal (por ejemplo logate en lxplus.cern.ch y haz un xwho, ahí se puede ver si perteneces a ATLAS o no)

1) Convertir el certificado en un formato que reconozca el browser (formato p12), para ello utilizar el siguiente comando en el User Inteface:  

openssl pkcs12 -export -in usercert.pem -inkey userkey.pem -out cert.p12 2)

2) Importar el certificado al Browser (Netscape, Mozilla, etc...):  Ir a las opcione seguridad (en el mozillar dentro de Edit y luego dentro de Preferences) e importar el certificado (el cert.p12)

3) Ir a la siguiente página web: http://lcg-registrar.cern.ch/ y alli rellenar el LCG Registar form (pinchar en ese link), elegiendo como VO ATLAS

4) Ir a la página web: http://www.nordugrid.org/monitor/atlasvo/ y ver que se pertenece al grupo lcg1

5) Leer la guía del usuario para utilizar un testbed con el middleware del proyecto LCG, disponible en la página: http://lcg.web.cern.ch/LCG/peb/grid_deployment/user_intro.htm

6) Visitar la siguiente página web y ver que se está dado de alta: http://www.nordugrid.org/monitor/atlasvo/

7) Pasado unas 6 horas o así intentar correr un simple trabajo: globus-job-run lcg2ce.ific.uv.es/jobmanager-lcgpbs /bin/bash -c "hostname;pwd", si el comando se ejecuta con éxito deberia salir algo como lo siguiente:

wn101.ific.uv.es /home/atlas001

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

22

Com3

IDC

ResourceBroker

HEWLETTPACKARD

ConfigurationMachine(LCFG)

InformationIndex

• Single Job Submission (from site j)

– Running in another site (in site i)

Com3

IDC

Worker Nodes GatekeeperStorageElement

UserInterface

ConfigurationMachine(LCFG)

Com3

IDC

Worker Nodes GatekeeperStorageElement

UserInterface

ConfigurationMachine(LCFG)

Grid Global Service (CERN)Site i

Com3

Monitoring ReplicaCatalogue

VirtualOrganization

Data General

MyProxyServer

latigid

network

IIJSSLB

Globus

Globus

Site j

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

23

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Se ha corrido ATLAS-6.0.4 a la grid (versión dada en la release del Grid)

• Se ha utilizado la distribución estándar de RPM’s usada en los DC1.

• Se puede hacer tanto simulación como reconstrucción.

• La simulación ha corrido bien en todos los sitios:– ATLAS_ROOT=/opt/exp_software/atlas/– ATL_VERSION=/opt/exp_software/atlas/

software/dist/6.0.4

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

24

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Fichero JDL (Job Description Language):Executable = "/usr/bin/time";Arguments = "/bin/sh dc1-ds2000.sh 23";StdOutput = "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.log";StdError = "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.err";InputSandbox = {"dc1-ds2000.sh"};OutputSandbox = {"ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.zebra","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.log","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.his","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.MAG","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.AMI","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.err"};InputData = {"lfn:ific-20031028-dc1.002000.evgen.0002.hlt.pythia_jet_17.root"};DataAccessProtocol = "file";Requirements = other.GlueCEPolicyMaxCPUTime > 86400 ;Requirements =

member("ATLAS6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment);Rank = other.GlueCEStateFreeCPUs;RetryCount = 0;

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

25

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Ejemplo: Simulación del detector ATLAS (versión 6.0.4) con el GRID

• Utilizo 2 scripts en mi directorio de afs a través del UI (lcg2ui.ific.uv.es) *los trabajadores no montan AFS, diferencia respecto antes*:– loop2000 (script necesario para enviar nuestro trabajo de

simulación/reconstrucción a la GRID)– dc1-ds2000.sh (script dado por la colaboración ATLAS DC y

adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción).

IDÉNTICO AL UTILIZADO DE LA FORMA NO GRID

*La única diferencia es copiar el fichero de salida,se utiliza un comando gridglobus-url-copy file://$TEMPO/$LFN.zebra

gsiftp://$closeSE/flatfiles/SE00/atlas/test-ific/$LFN.zebra

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

26

#!/bin/sh# Submits several DC1 simulation jobsif [ $# -eq 0 ]; then echo 1>&2 Usage: $0 njobs [first partition] exit 127fiNJOB=$1outpart=${2:-1}

PROJ="ific-20031028-dc1"STEP="simul"DSET="002000"TEAM="hlt"PROC="pythia_jet_17"

estime=86400

BNAM=${PROJ}.${DSET}.${STEP}IBAS=${PROJ}.${DSET}.evgen

echo 1>&2 "Submitting $NJOB jobs, first input partition: $outpart"

count=1

while [ "$count" -le $NJOB ] do inpart=$(( 1 + (($outpart -1)/20) )) PART=$(( $outpart + 100000 )) PART=`echo $PART | sed -e 's/.\{1\}//'` IPAR=$(( $inpart + 10000 )) IPAR=`echo $IPAR | sed -e 's/.\{1\}//'` IFIL=${IBAS}.${IPAR}.${TEAM}.${PROC}.root ZLOC=atlas.${PART}.zebra HLOC=atlas.${PART}.his JNAM=${BNAM}.${PART}.${TEAM}.${PROC} ZFIL=${JNAM}.zebra HFIL=${JNAM}.his AFIL=${JNAM}.AMI MFIL=${JNAM}.MAG ONAM=${JNAM}.log ENAM=${JNAM}.err# LFN=evgen/data/002000/${IFIL} LFN=${IFIL}

cat << EOJDL > dc1-ds2000.jdl

loop2000

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

27

## this file is created authomatically, don't edit!##Executable = "/usr/bin/time";Arguments = "/bin/sh dc1-ds2000.sh $outpart";StdOutput = "$ONAM";StdError = "$ENAM";InputSandbox = {"dc1-ds2000.sh", "rc.conf"};OutputSandbox = {"$ZFIL","$ONAM","$HFIL","$MFIL","$AFIL","$ENAM"};InputData = {"lfn:$LFN"};DataAccessProtocol = "file";Requirements = other.GlueCEPolicyMaxCPUTime > $estime ;##### Puesto por OxanaRequirements = member("ATLAS-6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment);Requirements = other.GlueCEInfoHostName == "lcg2ce.ific.uv.es";#####Requirements = other.GlueCEInfoHostName == "grid003.ft.uam.es";#####Requirements = other.GlueCEInfoHostName == "lcg02.ciemat.es";#####Requirements = other.GlueCEInfoHostName == "lcg-ce.ecm.ub.es";#####Requirements = other.GlueCEInfoHostName == "lcg-ce.usc.cesga.es";#####Requirements = other.GlueCEInfoHostName == "grid-w1.ifae.es";Rank = other.GlueCEStateFreeCPUs;RetryCount = 0;EOJDL count=$(( $count + 1 )) outpart=$(( $outpart + 1))

edg-job-submit --vo atlas -o myjoblist dc1-ds2000.jdl

sleep 30done

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

28

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Algunos comandos utilizados (Manuals Series LCG-2 User Guide)

– grid-proxy-init → “para acceder al testbed con mi certificado”

– edg-gridftp-ls --verbose gsiftp://loki03.ific.uv.es/flatfiles/SE00/atlas/test-ific/ “para ver el contenido en un directorio del SE (equivalente al ls)”

– globus-url-copy file://(path completo donde esté el fichero) gsiftp://castorgrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root “para copiar un fichero al SE”

– edg-replica-manager --vo atlas registerFile srm://castrogrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root -l lfn:ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root “para registrar el fichero en el catálogo”

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

29

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Futuro en ATLAS:– Data Challenges 2 dentro del LCG2

– Validar la cadena de producción de ATLAS» Generación de sucesos, Geant4-simulation» Digitalización, Byte-stream» Pile-up, datos ESD (Event Summary Data) y AOD

(Analysis Object Data)– Utilizar el GRID (el LCG2)

» Correr simulación en diferentes “sites”» Reconstruir lo sucesos en diferentes “sites”» Proveer acceso a los datos a los miembros de la

VO de ATLAS» Analizar datos de forma On-line y Off-line

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

30

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Futuro en ATLAS:– Versión del Monte Carlo 8.0.1 o superiores

– La utilizada en los DC2 y a partir de ahora, las personas responsables en el CERN-ATLAS instalarán y validarán el software en los diferentes sites (utilizando el GRID).

– Se instalará en todos los WN’s y podran vivir dos o tres versiones del Monte Carlo a la vez (/opt/exp_software/atlas/dist/8.0.1).

– Se enviarán trabajos utilizando el JDL (Job Description Language):

» Aquí específico en inputsanbox el ejecutable y lo necesario para correr el programa

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

31

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

• Grupo de Computación Grid del IFIC– http://ific.uv.es/grid/c

omputacion-grid/

En la foto falta Farida Fassi

Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04

32

Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)

GRACIAS por vuestra atención

¿ALGUNA PREGUNTA, COMENTARIO O SUGERENCIA?