Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de...

33
Conceptos y Arquitectura Rafael A. García Leiva [email protected] Departamento de Física Teórica Universidad Autónoma de Madrid

Transcript of Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de...

Page 1: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Conceptos y Arquitectura

Rafael A. García [email protected] de Física TeóricaUniversidad Autónoma de Madrid

Page 2: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Contenido

Introducción

Criterios de Diseño

Base de Datos de Configuraciones

Caché de Configuraciones en Cliente

Gestión de la Configuración de los Clientes

Gestión de Paquetes Software

Instalaciones Automáticas

Módulos Servidores

Otros Subsistemas

Conclusiones

Page 3: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

quattor is an administration toolkit for optimizing resources

Objetivo: proporcionar una herramienta potente, portable y modular, para la automatización de las tareas de instalación, configuración y mantenimiento de clusters y redes de ordenadores basadas en Unix y derivados (como Linux y Solaris)

Licencia: EU DataGrid Software License (Open Source)Página Oficial: http://www.quattor.org

Page 4: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Elementos de Diseño

Áltamente Modular No Intrusivo Reutilización de Software existente Uso de Estándares (HTTP, XML, etc.) Diseño Distribuido Librerías de Base

Page 5: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

�� �

� �Nodo

Cliente

Arquitectura de quattor

� ��� �

��

�� �

� �

� � � � �

� ��� � �

Page 6: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

CDB: Base de Datos de Configuraciones

HLD: Descripción de Alto Nivel

LLD: Descripción a Bajo Nivel

Acceso para Administradores

Base de Datos deConfiguraciones

Page 7: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

CDB: Base de Datos de Configuraciones

HLD: Descripción de Alto Nivel

Lenguaje Pan

LLD: Descripción a Bajo Nivel

Acceso para Administradores

Base de Datos deConfiguraciones

Host1

Users

System

Network

Hard.

Host2

Page 8: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

CDB: Base de Datos de Configuraciones

HLD: Descripción de Alto Nivel

Lenguaje Pan

LLD: Descripción a Bajo Nivel

Acceso para Administradores

Base de Datos deConfiguraciones

Host1

Users

System

Network

Hard.

Host2

# Tipo: CPUdefine type cpu_t = { “vendor” : string “model” : string “speed” : double};

# Estructurasstructure template cpu_intel_p3_800; “vendor” = “Intel”; “model” = “Pentium III (Coppermine)”; “speed” = 796.550 # Mhz

# Código de Validación# nos aseguramos de que tenemos 256MB de RAM por CPUvalid “/hardware/memory/size” = self >= 256 * length(value(“/hardware/cpus”));

# Funcionesdefine function increment = { argv[0] = argv[0] + argv[1];};

Page 9: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

CDB: Base de Datos de Configuraciones

HLD: Descripción de Alto Nivel

LLD: Descripción a Bajo Nivel

Basado en XML

Acceso para Administradores

Base de Datos deConfiguraciones

Host1

Users

System

Network

Hard.

Host2Host1XML

Host1

Host2XML

panc cake

Page 10: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

CDB: Base de Datos de Configuraciones

HLD: Descripción de Alto Nivel

LLD: Descripción a Bajo Nivel

Acceso para Administradores

Accesos Concurrentes

Transacciones

Control de Versiones

Base de Datos deConfiguraciones

�� �

SOAP

Control deSesiones

GUI

CLI

Page 11: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Gestión de la Configuración en los Clientes

Configuration Cache Manager

Node Configuration Manager�� �

Nodo Cliente� �

Page 12: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Notificaciones (listend)

Cache de perfiles (y fetch)

Acceso con NVA-API

Otros: purge

Node Configuration Manager

�� �� �

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 13: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Notificaciones (listend)

Cache de perfiles (y fetch)

Acceso con NVA-API

Otros: purge

Node Configuration Manager

�� �� �

listend

cdp

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 14: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Notificaciones (listend)

Cache de perfiles (y fetch)

Acceso con NVA-API

Otros: purge

Node Configuration Manager

�� �� �

listend

perfi les

cdp fetch

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 15: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Notificaciones (listend)

Cache de perfiles (y fetch)

Acceso con NVA-API

Otros: purge

Node Configuration Manager

�� �� �

listend

NVAAPI

perfi les

cdp fetch

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 16: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Notificaciones (listend)

Cache de perfiles (y fetch)

Acceso con NVA-API

Otros: purge

Node Configuration Manager

�� �� �

listend

purge

NVAAPI

perfi les

cdp fetch

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 17: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Node Configuration Manager

Configuration Dispatch Daemon

Node Configuration Deployer

Configuration Components

�� �� �

listend

purge

NVAAPI

cdispd

perfi les

cdp fetch

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 18: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Node Configuration Manager

Configuration Dispatch Daemon

Node Configuration Deployer

Configuration Components

�� �� �

listend

purge

NVAAPI

ncd

cdispd

perfi les

cdp fetch

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 19: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Node Configuration Manager

Configuration Dispatch Daemon

Node Configuration Deployer

Configuration Components

�� �� �

listend

purge

NVAAPI

ncd

cdispd

perfi les

cdp fetch

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 20: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Node Configuration Manager

Configuration Dispatch Daemon

Node Configuration Deployer

Configuration Components

�� �� �

listend

purge

NVAAPI

ncd

cdispd

perfi les

cdp fetch

/etc/passwd/etc/shadow/etc/groups

auth

Nodo Cliente

Gestión de la Configuración en los Clientes

Page 21: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Configuration Cache Manager

Node Configuration Manager

Configuration Dispatch Daemon

Node Configuration Deployer

Configuration Components

�� �� �

listend

purge

NVAAPI

ncd

cdispd

perfi les

cdp fetch

/etc/passwd/etc/shadow/etc/groups

auth

Nodo Cliente

Gestión de la Configuración en los Clientes[...]

sub Conf i gur e {

my ( $sel f , $conf i g) = @_;

# Acceso a l a i nf or mac i ón de conf i gur ac i ón

my $ar ch=$conf i g- >get Val ue( ' / sys t em/ ar chi t ec t ur e’ ) ; # NVA- API

$sel f - >Fai l ( “ not suppor t ed" ) unl ess ( $ar ch eq ‘ i 386’ ) ;

# gener a y / o ac t ual i za el f i cher o de conf i gur ac i ón l ocal

open ( myconf i g, ’ / et c / myconf i g’ ) ; …

# i nf or ma a l os ser v i c i os ( SysV) af ec t ados

i f ( $changed) {

sys t em( ‘ / sbi n/ ser v i ce myser v i ce r el oad’ ) ; …

}

}

sub Unconf i gur e { . . . }

Page 22: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Repositorio Software

Soft. Package Management Agent

Equipo Cliente

Gestión de Paquetes Software

Repositorio Software

Page 23: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Repositorio Software

Plataformas

Áreas

Gestión de Réplicas

Soft. Package Management Agent

Gestión de Paquetes Software

SWRepRPMs

http | ftp | nfs

Equipo Cliente

Page 24: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Repositorio Software

Soft. Package Management Agent

Componente spma

SPMA

Gestor de Paquetes: rmpt, pkg

��

NVAAPI

ncd

spma.pm

Gestión de Paquetes Software

target.cf

SWRepRPMs

http | ftp | nfs

Page 25: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Repositorio Software

Soft. Package Management Agent

Componente spma

SPMA

Gestor de Paquetes: rmpt, pkg

��

NVAAPI

ncd

Gestión de Paquetes Software

SPMAtarget.cf

SWRepRPMs

http | ftp | nfs

spma.pm

Page 26: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Repositorio Software

Soft. Package Management Agent

Componente spma

SPMA

Gestor de Paquetes: rmpt, pkg

��

NVAAPI

ncd

Gestión de Paquetes Software

SPMA

rpmt

target.cf

SWRepRPMs

http | ftp | nfs

spma.pm

Page 27: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Automated Installation Infrastructure

Gestor de DHCP

Gestor de NBP (PXElinux)

Gestor del Instalador (KS)

Frontend

GestorDHCP

Frontend

Instalación Automática de Nodos� �� � � � �

GestorNBP

GestorInstal.

PXElinux

DHCP

KickStart

AII �� �

RPMs

Page 28: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Módulos de Servicios

Consultas SQL

Consultas LDAP

Réplicas XML

Módulos de Servicios

� � � � �

� ���� �

Page 29: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Módulos de Servicios

Consultas SQL

Consultas LDAP

Réplicas XML

Módulos de Servicios

¿Algún Vonluntar io?

� ��� � �

� � ��� �

Page 30: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Módulos de Servicios

Consultas SQL

Consultas LDAP

Réplicas XML

Módulos de Servicios� � � �� � � �

� �

�� �

� � � �� � � �

� �

Page 31: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Subsistema de Sincronización

Configuration Distribution Protocol

Notification Cache Repository

Notification Client Handler

Notification Client Library

Notification Claent Daemon

Subsistema de Sincronización

�� �

listend

NCH

NCLnotif.

cdp

local actions

Nodo Cliente

Page 32: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Entorno Gráfico

Page 33: Conceptos y Arquitectura - UAMhepexp.ft.uam.es/quattor/tutorials/uam-feb2004/quattor.pdf · de grandes centros de computación; sobre todo en aquellas integradas en entronos Grid.

Quattor es una her ramienta para la instalación, configuración y mantenimiento del sistema operativo y del software de aplicación en los equipos de una red.

Actualmente existen versiones de quattor para RedHat L inux y Solar is.

Quattor es una solución que puede escalar a miles de nodos, ofreciendo una reducción significativa de los costes asociados al las tareas de mantenimiento de grandes centros de computación; sobre todo en aquellas integradas en entronos Gr id.

Quattor incluye innovaciones con respecto a otras soluciones existentes.

Quattor se encuentra actualmente en producción en centros como el CERN (más de 2000 nodos) y la UAM. Otros centros interesados son NI KHEF, I N2P3/LAL , etc.

Resumen