Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 ·...

27
Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP Pedro Mart´ ınez-Juli´ a Antonio F. G´ omez-Sk´ armeta {pedromj,skarmeta}@um.es Departamento de Ingenier´ ıa de la Informaci´ on y las Comunicaciones Universidad de Murcia 26 noviembre 2009 Pedro Mart´ ınez-Juli´ a, Antonio F. G´ omez Sk´ armeta Almacenamiento de Bloques en Redes IP

Transcript of Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 ·...

Page 1: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Almacenamiento Orientado a Bloques, Flexible,

Escalable y Seguro Sobre Redes IP

Pedro Martınez-JuliaAntonio F. Gomez-Skarmeta

{pedromj,skarmeta}@um.es

Departamento de Ingenierıa de la Informacion y las Comunicaciones

Universidad de Murcia

26 noviembre 2009

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 2: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Agenda

1 Motivacion

2 Requisitos de un servicio de almacenamiento distribuido

3 Solucion propuesta

4 Posibles escenarios de produccion

5 Trabajo realizado

6 Escenarios de experimentacion

7 Resultados

8 Conclusiones

9 Trabajo futuro

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 3: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Motivacion

Los servicios emergentes entorno a Cloud Computing ofrecen laposibilidad de externalizar diversos recursos que generalmente seencontraban en los servidores propios de una organizacion ymuchas veces localizados en sus propias instalaciones. Entre estospodemos encontrar almacenamiento ofrecido como servicio, oCloud Storage, que esta disenado para complementar a cualquierservicio de la nube que necesite almacenar informacion.

El presente trabajo analiza una solucion para la construccion yconsumo de nubes de almacenamiento de altas prestaciones.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 4: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Requisitos de un servicio de almacenamiento distribuido

Permitir que la eleccion y gestion del sistema de ficheros serealice en los equipos del consumidor.

Soportar la distribucion y la replica del almacenamiento entredistintos servidores y proveedores.

Poder ampliar o reducir el espacio de almacenamientodisponible de forma dinamica.

Consumir varios servicios de almacenamiento en paralelo paraaumentar la velocidad.

Que la seguridad en las comunicaciones de datos no provoqueun gran impacto en el rendimiento.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 5: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Solucion propuesta

Utilizar la tecnologıa RAID aplicada sobre redes IP.

Utilizar NBD o iSCSI en los servidores de almacenamiento.

Utilizar IPSec para la seguridad en las comunicaciones.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 6: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Posibles escenarios de produccion

Segun el usuario de la solucion:

Proveedor Un proveedor de servicios que desea agregar lacapacidad de almacenamiento que dispone paraofrecer servicios de almacenamiento de mayorcapacidad.

Consumidor Una organizacion final u otro proveedor de serviciosdesea fusionar la capacidad de almacenamiento devarios proveedores para obtener mayor velocidad yfiabilidad.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 7: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Proveedor (Cloud Storage Provider)

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 8: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Consumidor (Cloud Storage Consumer)

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 9: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Trabajo realizado

Estudio de factibilidad en el uso de dispositivos NBD en RAID.

Comparacion de la velocidad de almacenamiento deNBD+RAID para distintos niveles RAID (0, 1, 5, 6 y 10), condistintos tamanos de fichero y en varios escenarios.

Comparacion de la latencia de NBD+RAID 0 en variosescenarios, realizando gran cantidad de almacenamientos deficheros pequenos en un intervalo de tiempo concreto.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 10: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Escenarios de experimentacion

Se han definido cuatro escenarios, uno por cada tipo deinterconexion utilizado:

Switch 100/1000

Switch Gigabit Ethernet

Red CWDM

Red PASITO

Ademas del mecanismo de interconexion, cada escenario estacompuesto de 3 hosts, de los cuales, 2 actuan de proveedores y 1de consumidor. Cada proveedor exporta 2 dispositivos NBD, paraası disponer de 4 dispositivos en total.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 11: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Interconexion mediante switch 100/1000

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 12: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Interconexion mediante switch Gigabit Ethernet

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 13: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Interconexion mediante red CWDM

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 14: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Interconexion mediante red PASITO

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 15: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Resultados

Los resultados de los experimentos han sido procesados paraobtener las siguientes graficas de rendimiento:

Switch 100/1000

Ancho de banda

Red CWDM

Ancho de bandaLatencia observada

Comparacion de latencias(CWDM vs GE)

Switch Gigabit Ethernet

Ancho de bandaLatencia observada

Red PASITO

Ancho de bandaLatencia observada

Comparacion de latencias(CWDM vs GE vs PASITO)

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 16: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Switch 100/1000: Ancho de banda conseguido

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 17: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Switch Gigabit Ethernet: Ancho de banda conseguido

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 18: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Siwtch Gigabit Ethernet: Latencia observada

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 19: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Red CWDM: Ancho de banda conseguido

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 20: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Red CWDM: Latencia observada

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 21: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Comparacion de latencias: CWDM vs Gigabit Ethernet

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 22: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Red PASITO: Ancho de banda conseguido

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 23: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Red PASITO: Latencia observada

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 24: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Comparacion de latencias: CWDM vs GE vs PASITO

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 25: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Conclusiones

Ya que la velocidad observada en los experimentos se acercamucho al ancho de banda teorico de cada uno de losescenarios, se puede concluir que la sobrecarga que puedaintroducir la capa RAID es aceptable.

La latencia provocada por los sistemas de interconexionprobados no afecta en los escenarios simulados y afecta enpequena medida en el escenario real (PASITO).

El incremento de latencia de la red CWDM sobre lainterconexion por switch GE es de 500 microsegundos.

La solucion propuesta (NBD+RAID+IPSec) es valida paraconstruir nubes de almacenamiento.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 26: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

Trabajo futuro

Especificar formalmente el comportamiento del sistemaNBD+RAID+IPSec ante los posibles fallos de red o decualquier dispositivo.

Disenar y crear un prototipo de un gestor autonomo paraservicios de almacenamiento en base a la especificacion CDMI(Cloud Data Management Interface) de SNIA.

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP

Page 27: Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes … · 2009-12-12 · Almacenamiento Orientado a Bloques, Flexible, Escalable y Seguro Sobre Redes IP

GRACIAS POR SU

ATENCION

Pedro Martınez-Julia, Antonio F. Gomez Skarmeta Almacenamiento de Bloques en Redes IP