Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup...
-
Upload
theresa-vallejos -
Category
Documents
-
view
217 -
download
0
Transcript of Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup...
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
1
GOGGGrup d’OOrdinadors per al GGrid
(Desde el punto de vista del usuario ATLAS en el IFIC)
Santiago González de la Hoz ([email protected])
Grid & ATLAS compunting team @ IFICGrid & ATLAS compunting team @ IFIC
Reunión TICAL-IFIC 3-Mayo-2004
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
2
Índice
• Infraestructura: GoG
• Uso del GoG a la no-Grid (de forma clásica, y como ha sido utilizado hasta ahora)– Caso específico del Monte Carlos de ATLAS
• Uso del GoG a la Grid (disponible dentro de pocas semanas)– Caso específico del Monte Carlo de ATLAS
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
4
Ordenadores de cálculo
• 192 Ordenadores (134 IFIC + 58 ICMOL)
• 96 Atlhon 1.2 GHz 1Gbyte SDRAM
• 96 Athlon 1.4 GHz 1Gbyte DDR
• Disco duro local de 40 GBytes
• FastEthernet agregando con gigabit ethernet.
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
5
Adquisiciones recientes
Robot STK L700e700 4 Servidores de disco
2 Servidores de cinta
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
6
Almacenamiento disco
discos para
datos
contr CPU Network Capacidad
RAID 1
gse01 20x80GB
2x120GB
IDE 2x Atlhon 1.5 GHz 1x100Base-T
1x1000Base-SX
920 GB
gse02 16x120GB SATA 2 x XEON 2.0 GHz 1x1000Base-T
1x1000Base-SX
960 GB
gse03 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse04 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse05 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse06 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
5720 GB
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
7
Almacenamiento en cinta
celdas Lectores interface Capacidad
(sin comp.)
IBM 3583 54 1 x LTO Gen1
100 GB (sin compr.)
SCSI 5.4 TB
STK L700e700 690 4 x LTO Gen2
200 GB (sin compr.)
FibreChannel 138 TB
interface CPU Network
tpsrv1 SCSI 1x Athlon 1.5 GHz 1x100Base-T
tpsrv2 FC 2 x XEON 2.8 GHz 2x1000Base-T
tpsrv3 FC 2 x XEON 2.8 GHz 2x1000Base-T
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
8
Almacenamiento de datos
• En septiembre de 2002 se instaló CASTOR con:– 1 TapeServer– 1 Compaq TL891DLX (1 lector DLT8000, 10 slots)
• CASTOR en producción desde entonces.• Durante el 2003 migración a la librería IBM
3583.• Datos del DC1 de Atlas en:
/castor/ific.uv.es/atlas/project/dc1• Diciembre de 2003 se añadio la librería de STK
y los dos nuevos servidores de cinta.
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
10
Uso del GoG (Hasta ahora)(Forma no-Grid)
• Es necesario pedir una cuenta para ello:
• El front-end de la granja es reglar.ific.uv.es• Se envían los trabajos en BATCH a través de PBS• Cada cuenta dispone de un directorio /home con 200
MB visible por todos los trabajadores.• Para cada trabajo se crea un directorio temporal en cada
trabajador de 40 GB /data/$PBS_JOBID, el cual se borra al final del trabajo (los ficheros útiles deben ser copiado por el propio script).
http://ific.uv.es/gog/uso/page.shtml
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
11
Uso del GoG (Hasta ahora)(Forma no-Grid)
• Sistema de Colas para la ejecución de comandos en OpenPBS.
• Existen las colas que se pueden ver en la tabla, alimentadas de una cola default, a la cual se deben enviar los trabajos.
• Esta los envía a las distintas colas en función del tiempo solicitado . Sino se especifica el tiempo, irá a la cola small.
Nombre Tiempo CPU
Num. Trab.
Limimete
small 00:20:00 20
medium 02:00:00 20
long 12:00:00 60
verylong 72:00:00 40
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
12
Uso del GoG (Hasta ahora)(Forma no-Grid)
• Enviar programas, es necesario escribir un fichero de comandos que contiene las instrucciones necesarias para la ejecución de aquel y las órdenes al sistema de colas.
• El software de los experimentos se instala en /soft/:– /soft/atlas– /soft/alice– /soft/cmsprod
• El software es instalado por el responsable en el IFIC de cada experimento, en el caso de ATLAS (Santiago González). Todos los usuarios del grupo ATLAS pueden ver /soft/atlas
• Última versión de ATLAS instalada es la 7.0.0 /soft/atlas/7.0.0/software/dist/7.0.0/
Applications Calorimeter genz pythiaatdummy commons ggenz Reconstructionatgen Control graphics SimulationAtlasCxxPolicy Database InnerDetector slugAtlasFortranPolicy DetectorDescription InstallArea taginfoAtlasPolicy dice jetfinder TestPolicyAtlasRelease Event jetset TileCalorimeterAtlasSystemSettings External LArCalorimeter ToolsAtlasTest gcalor MagneticField Triggeratlfast geant3 matele Utilitiesatlsim gencl MuonSpectrometeratrecon Generators njetsatutil genslug Physics
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
13
Uso del GoG (Hasta ahora)(Forma no-Grid)
• Ejemplo: Simulación del detector ATLAS (versión 6.5.0)• Utilizo 2 scripts en mi home directory /home/sgonzale/:
– atlas_pbs.sh (script necesario para enviar nuestro trabajo de simulación/reconstrucción a las colas de PBS)
– dc1.zsh (script dado por la colaboración ATLAS DC y adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción).
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
14
Uso del GoG (Hasta ahora)(Forma no-Grid)
#!/bin/sh##PBS -q special#PBS -l cput=48:00:00# #PBS -l nodes=cpu085# WORKDIR=/data/$PBS_JOBID cd $WORKDIR echo "CDW: " pwd echo "ENV: " printenv echo "date: " date OUTPART=1500 INDISK=data06 OUTDISK=data10 if [ $OUTPART -lt 10 ]; then OUTPARTNR="0000$OUTPART" elif [ $OUTPART -lt 100 ]; then OUTPARTNR="000$OUTPART" elif [ $OUTPART -lt 1000 ]; then OUTPARTNR="00$OUTPART" elif [ $OUTPART -lt 10000 ]; then OUTPARTNR="0$OUTPART" else OUTPARTNR=$OUTPART fi echo "Running job" echo "/home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK" /home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK \ >& job-$OUTPARTNR.log echo "Copying log file" hh=`hostname | cut -d'.' -f 1` for ((i=1; i<20; ++i)) ; do if [ ! -f /home/atlsoft/dc1_simul_650/validation/$hh-$i.log ] ; then cp job-$OUTPARTNR.log /home/atlsoft/dc1_simul_650/validation/$hh-$i.log break fi done echo "Directory listing...." ls -al .# clean at the end date echo "Cleaning..." cd /#EOF
atlas_pbs.sh
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
15
Uso del GoG (Hasta ahora)(Forma no-Grid)
#!/bin/zsh
if test $#argv -ne 3; then; echo usage: dc1.zsh "<outpartnr>" "<indisk>" "<outdisk>" exit 0fi
#example dc1.zsh 97 data01 data07
#####################################################
export PATH="/usr/local/gcc-alt-3.2.3/bin/:$PATH"echo $PATHwhich gcc
echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"echoecho "##working directory is:" `pwd`grep MHz /var/log/dmesg | grep processorecho
export WORKDIR=`pwd`export system="`uname -a`"export userid="` id `"export HOSTMACHINE=`hostname -f`
#five digits for simul partitionstypeset -Z 5 OUTPARTNR=$argv[1]
INDISK=$argv[2]OUTDISK=$argv[3]
export OUTPARTNR
export INPARTSZ=100000export OUTPARTSZ=200
((inpnr = (1 + (($OUTPARTNR - 1) / ($INPARTSZ / $OUTPARTSZ))) ))#four digits for input partition
dc1.zsh(dado por la colaboración
Data Challenge)(afs/cern.ch/atlas/project/dc1/
Los nuevos DC2/afs/cern.ch/atlas/project/dc2
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
16
Uso del GoG (Hasta ahora)(Forma no-Grid)
typeset -Z 4 INPARTNR=$inpnrexport INPARTNR
((FIRST = (($OUTPARTNR - 1) * $OUTPARTSZ) + 1))export FIRST((NSKIP = $OUTPARTSZ * (($OUTPARTNR - 1) % ($INPARTSZ / $OUTPARTSZ)) ))export NSKIP((LAST = $FIRST + $OUTPARTSZ - 1))export LAST
echo "FIRST: $FIRST"echo "LAST: $LAST"echo "NSKIP: $NSKIP"echo "INPARTNR: $INPARTNR"
# Source the kit environmentexport ATLAS_ROOT=/soft/atlas/6.5.0source $ATLAS_ROOT/etc/atlas.shrc
echo "++++++++++++++++++++++++++++"printenvecho "++++++++++++++++++++++++++++"
export PROJECT=dc1export DSET=002030export STEP=simulexport PGROUP=hlt#export PRODSITE=EXTSITEexport PRODSITE=IFICexport DESCRIPTOR=pythia_jet_17
export LFN=$PROJECT.$DSET.$STEP.$OUTPARTNR.$PGROUP.$DESCRIPTOR
export INSET=002000export INPUT_DIR=/castor/ific.uv.es/atlas/project/dc1/evgen/data/$INSETexport INFILE=$INPARTNRexport INPUT_FILE=$PROJECT.$INSET.evgen.$INPARTNR.$PGROUP.$DESCRIPTOR.root
export ZEBDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/data/$DSETexport HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSET
dc1.zsh(dado por la colaboración
Data Challenge)(afs/cern.ch/atlas/project/dc1/
Los nuevos DC2/afs/cern.ch/atlas/project/dc2
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
17
Uso del GoG (Hasta ahora)(Forma no-Grid)
export HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSETexport LOGDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/log/$DSETexport JOBDIR=/home/atlsoft/dc1_simul_650/scripts
export MAGLOC=cerncastor:/castor/cern.ch/atlas/project/dc1
#################################################################### applications bootstrap ####################################################################
export COMPILERS=$ATLAS_ROOT/i386_redhat73/usr.local/gcc-alt-3.2export ROOTSYS=$ATLAS_ROOT/ROOT/v3.05.05/rh73_gcc32/rootexport LHCXX=none
# The following line is used to copy the input file locally,# uncomment if necessary and customize for your siterfcp $INPUT_DIR/$INPUT_FILE $WORKDIR/$INPUT_FILE
unset DISPLAY# if this unset is not done ROOT will hang or crash !!
############################################################################# create local links to data files #############################################################################
# link atlas data files, most of them have standard .dat extention
ln -sf $ATLSIMMAINROOT/atlas.kumac .ln -sf $ATLSIMMAINROOT/atlsim.logon.kumac .
ln -sf $ATLASDATA/bmagatlas02.data fieldmap.datln -sf $ATLASDATA/amdb_simrec.p.03 amdb_simrec.dataln -sf $ATLASDATA/xsneut96.dat xsneut.datln -sf $ATLASDATA/*.dat .
dc1.zsh(dado por la colaboración
Data Challenge)(afs/cern.ch/atlas/project/dc1/
Los nuevos DC2/afs/cern.ch/atlas/project/dc2
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
18
Uso del GoG (Hasta ahora)(Forma no-Grid)
###################################################################### run dice-atlsim in batch with built-in kumac below ####################################################################### print env infoprintenv | grep -v 'CONFIG=' | grep -v "ROOT=$DISTREL"echoecho "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"echoATLASLIB="${CMTATLAS}/InstallArea/${CMTCONFIG}/lib"rm -f mykumaccat > mykumac <<EOF gexec $ATLASLIB/libRootKernel.so Ag/Version batch gexec $ATLASLIB/libatlroot.so gexec $ATLASLIB/libatlprod.so gtime 0 1000 1 Rung 0 1 Ranlux $OUTPARTNR ghist $WORKDIR/atlas.$OUTPARTNR.his
* - set atlas-standard configuration (inner, center, all) exec atlas#config ALL exec atlas#calo_shift 4 exec atlas#inner_cut 4 all mode OUTP simu 2 mode FWDC geom 2 mode HEPE hist 100 DETP HEPE Hepa.Vcut=0* mode filter hist 300* detp filter fgen.ntyp=1 call adice
* - select filters, IO etc.* call filter Gspread 0.0015 0.0015 5.6 TFLT ETAP -5.0 5.0 0.0 6.3 call AguDSET(\$quote($DSET.$INSET)) call AguFILE($INFILE)* - next line may produce an uncorrect error message which should be ignored* gfile u $INPUT_DIR/$INPUT_FILE E
rfcp $WORKDIR/atlas.$OUTPARTNR.zebra $ZEBDIR/$LFN.zebra* - uncomment the next line (and comment out the previous 'gfile')* - if you use a local copy of the input file gfile u $WORKDIR/$INPUT_FILE E gfile O $WORKDIR/atlas.$OUTPARTNR.zebra skip $NSKIP* trig $OUTPARTSZ trig 2 quitEOFatlsim.exe -w 0 -g 90 < mykumacexit 0
dc1.zsh(dado por la colaboración
Data Challenge)(afs/cern.ch/atlas/project/dc1/
Los nuevos DC2/afs/cern.ch/atlas/project/dc2
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
20
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Ver página web: http://ific.uv.es/~sgonzale/certificado• Dos pasos:
– Obtención de certificado– Darse de alta en la Organización Virtual de ATLAS (ATLAS VO)
• OBTENCIÓN DE CERTIFICADOOBTENCIÓN DE CERTIFICADO1) Solicitar cuenta en la granaja GOG 2) Abrirse una cuenta en el User Interface (UI), lcg2ui.ific.uv.es (pedir esto a Javier
Sánchez) 3) Una vez logado en el User Interface, ejecutar el comando "grid-cert-request" y
meter una clave para dicho certificado4) Después de haber ejecutado el comando se creará el directorio ".globus", el
cual contendrá tres ficheros (usercert.pem, userkey.pem, usercert_request.pem)5) Enviar usercert_request.pem a la Autoridad Certificadora (datagrid-es-
[email protected]) para que sea firmado adecuadamente. 6) Una vez la Autoridad Certificadora lo firme adecuadamente (se recibirá un e-
mail con el request firmado), copiar dicho request en el fichero usercert.pem 7) Para comprobar que el certificado ha sido firmado correctamente y funciona
adecuadamente, hacer las siguientes pruebas: • grid-proxy-init, si el comando tiene éxito el resultado deberia ser como el siguiente
– Your identity: /C=ES/O=DATAGRID-ES/O=IFIC/CN=Santiago Gonzalez de la Hoz Enter GRID pass phrase for this identity: Creating proxy ...................................... Done Your proxy is valid until: Tue Apr 6 01:07:21 2004
• grid-proxy-info,
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
21
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• DARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLASDARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLAS
0) Asegurarse que eres usuario ATLAS en el CERN, este paso es el principal (por ejemplo logate en lxplus.cern.ch y haz un xwho, ahí se puede ver si perteneces a ATLAS o no)
1) Convertir el certificado en un formato que reconozca el browser (formato p12), para ello utilizar el siguiente comando en el User Inteface:
openssl pkcs12 -export -in usercert.pem -inkey userkey.pem -out cert.p12 2)
2) Importar el certificado al Browser (Netscape, Mozilla, etc...): Ir a las opcione seguridad (en el mozillar dentro de Edit y luego dentro de Preferences) e importar el certificado (el cert.p12)
3) Ir a la siguiente página web: http://lcg-registrar.cern.ch/ y alli rellenar el LCG Registar form (pinchar en ese link), elegiendo como VO ATLAS
4) Ir a la página web: http://www.nordugrid.org/monitor/atlasvo/ y ver que se pertenece al grupo lcg1
5) Leer la guía del usuario para utilizar un testbed con el middleware del proyecto LCG, disponible en la página: http://lcg.web.cern.ch/LCG/peb/grid_deployment/user_intro.htm
6) Visitar la siguiente página web y ver que se está dado de alta: http://www.nordugrid.org/monitor/atlasvo/
7) Pasado unas 6 horas o así intentar correr un simple trabajo: globus-job-run lcg2ce.ific.uv.es/jobmanager-lcgpbs /bin/bash -c "hostname;pwd", si el comando se ejecuta con éxito deberia salir algo como lo siguiente:
wn101.ific.uv.es /home/atlas001
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
22
Com3
IDC
ResourceBroker
HEWLETTPACKARD
ConfigurationMachine(LCFG)
InformationIndex
• Single Job Submission (from site j)
– Running in another site (in site i)
Com3
IDC
Worker Nodes GatekeeperStorageElement
UserInterface
ConfigurationMachine(LCFG)
Com3
IDC
Worker Nodes GatekeeperStorageElement
UserInterface
ConfigurationMachine(LCFG)
Grid Global Service (CERN)Site i
Com3
Monitoring ReplicaCatalogue
VirtualOrganization
Data General
MyProxyServer
latigid
network
IIJSSLB
Globus
Globus
Site j
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
23
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Se ha corrido ATLAS-6.0.4 a la grid (versión dada en la release del Grid)
• Se ha utilizado la distribución estándar de RPM’s usada en los DC1.
• Se puede hacer tanto simulación como reconstrucción.
• La simulación ha corrido bien en todos los sitios:– ATLAS_ROOT=/opt/exp_software/atlas/– ATL_VERSION=/opt/exp_software/atlas/
software/dist/6.0.4
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
24
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Fichero JDL (Job Description Language):Executable = "/usr/bin/time";Arguments = "/bin/sh dc1-ds2000.sh 23";StdOutput = "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.log";StdError = "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.err";InputSandbox = {"dc1-ds2000.sh"};OutputSandbox = {"ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.zebra","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.log","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.his","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.MAG","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.AMI","ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.err"};InputData = {"lfn:ific-20031028-dc1.002000.evgen.0002.hlt.pythia_jet_17.root"};DataAccessProtocol = "file";Requirements = other.GlueCEPolicyMaxCPUTime > 86400 ;Requirements =
member("ATLAS6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment);Rank = other.GlueCEStateFreeCPUs;RetryCount = 0;
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
25
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Ejemplo: Simulación del detector ATLAS (versión 6.0.4) con el GRID
• Utilizo 2 scripts en mi directorio de afs a través del UI (lcg2ui.ific.uv.es) *los trabajadores no montan AFS, diferencia respecto antes*:– loop2000 (script necesario para enviar nuestro trabajo de
simulación/reconstrucción a la GRID)– dc1-ds2000.sh (script dado por la colaboración ATLAS DC y
adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción).
IDÉNTICO AL UTILIZADO DE LA FORMA NO GRID
*La única diferencia es copiar el fichero de salida,se utiliza un comando gridglobus-url-copy file://$TEMPO/$LFN.zebra
gsiftp://$closeSE/flatfiles/SE00/atlas/test-ific/$LFN.zebra
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
26
#!/bin/sh# Submits several DC1 simulation jobsif [ $# -eq 0 ]; then echo 1>&2 Usage: $0 njobs [first partition] exit 127fiNJOB=$1outpart=${2:-1}
PROJ="ific-20031028-dc1"STEP="simul"DSET="002000"TEAM="hlt"PROC="pythia_jet_17"
estime=86400
BNAM=${PROJ}.${DSET}.${STEP}IBAS=${PROJ}.${DSET}.evgen
echo 1>&2 "Submitting $NJOB jobs, first input partition: $outpart"
count=1
while [ "$count" -le $NJOB ] do inpart=$(( 1 + (($outpart -1)/20) )) PART=$(( $outpart + 100000 )) PART=`echo $PART | sed -e 's/.\{1\}//'` IPAR=$(( $inpart + 10000 )) IPAR=`echo $IPAR | sed -e 's/.\{1\}//'` IFIL=${IBAS}.${IPAR}.${TEAM}.${PROC}.root ZLOC=atlas.${PART}.zebra HLOC=atlas.${PART}.his JNAM=${BNAM}.${PART}.${TEAM}.${PROC} ZFIL=${JNAM}.zebra HFIL=${JNAM}.his AFIL=${JNAM}.AMI MFIL=${JNAM}.MAG ONAM=${JNAM}.log ENAM=${JNAM}.err# LFN=evgen/data/002000/${IFIL} LFN=${IFIL}
cat << EOJDL > dc1-ds2000.jdl
loop2000
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
27
## this file is created authomatically, don't edit!##Executable = "/usr/bin/time";Arguments = "/bin/sh dc1-ds2000.sh $outpart";StdOutput = "$ONAM";StdError = "$ENAM";InputSandbox = {"dc1-ds2000.sh", "rc.conf"};OutputSandbox = {"$ZFIL","$ONAM","$HFIL","$MFIL","$AFIL","$ENAM"};InputData = {"lfn:$LFN"};DataAccessProtocol = "file";Requirements = other.GlueCEPolicyMaxCPUTime > $estime ;##### Puesto por OxanaRequirements = member("ATLAS-6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment);Requirements = other.GlueCEInfoHostName == "lcg2ce.ific.uv.es";#####Requirements = other.GlueCEInfoHostName == "grid003.ft.uam.es";#####Requirements = other.GlueCEInfoHostName == "lcg02.ciemat.es";#####Requirements = other.GlueCEInfoHostName == "lcg-ce.ecm.ub.es";#####Requirements = other.GlueCEInfoHostName == "lcg-ce.usc.cesga.es";#####Requirements = other.GlueCEInfoHostName == "grid-w1.ifae.es";Rank = other.GlueCEStateFreeCPUs;RetryCount = 0;EOJDL count=$(( $count + 1 )) outpart=$(( $outpart + 1))
edg-job-submit --vo atlas -o myjoblist dc1-ds2000.jdl
sleep 30done
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
28
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Algunos comandos utilizados (Manuals Series LCG-2 User Guide)
– grid-proxy-init → “para acceder al testbed con mi certificado”
– edg-gridftp-ls --verbose gsiftp://loki03.ific.uv.es/flatfiles/SE00/atlas/test-ific/ “para ver el contenido en un directorio del SE (equivalente al ls)”
– globus-url-copy file://(path completo donde esté el fichero) gsiftp://castorgrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root “para copiar un fichero al SE”
– edg-replica-manager --vo atlas registerFile srm://castrogrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root -l lfn:ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root “para registrar el fichero en el catálogo”
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
29
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Futuro en ATLAS:– Data Challenges 2 dentro del LCG2
– Validar la cadena de producción de ATLAS» Generación de sucesos, Geant4-simulation» Digitalización, Byte-stream» Pile-up, datos ESD (Event Summary Data) y AOD
(Analysis Object Data)– Utilizar el GRID (el LCG2)
» Correr simulación en diferentes “sites”» Reconstruir lo sucesos en diferentes “sites”» Proveer acceso a los datos a los miembros de la
VO de ATLAS» Analizar datos de forma On-line y Off-line
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
30
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Futuro en ATLAS:– Versión del Monte Carlo 8.0.1 o superiores
– La utilizada en los DC2 y a partir de ahora, las personas responsables en el CERN-ATLAS instalarán y validarán el software en los diferentes sites (utilizando el GRID).
– Se instalará en todos los WN’s y podran vivir dos o tres versiones del Monte Carlo a la vez (/opt/exp_software/atlas/dist/8.0.1).
– Se enviarán trabajos utilizando el JDL (Job Description Language):
» Aquí específico en inputsanbox el ejecutable y lo necesario para correr el programa
Santiago González , Grup d’Ordinadors per al Grid a València 3-Mayo-04
31
Uso del GoG (Forma Grid *EN PRUEBAS*Grid *EN PRUEBAS*)
• Grupo de Computación Grid del IFIC– http://ific.uv.es/grid/c
omputacion-grid/
En la foto falta Farida Fassi