Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

25
@ildeMas @salvador_ramos #SQSummit13 Diagnosticar y curar, todo es empezar Salvador Ramos [email protected] MVP SQL Server, MCSE BI 2012 Ildefonso Mas [email protected] MCTP de SQL Server 2008 BI

description

http://summit.solidq.com/madrid/ ¿Siguen nuestros sistemas unos mismos patrones de logging, configuración, diseño? ¿Están preparados para una migración rápida a un nuevo servidor? ¿Aplicamos buenas prácticas? No siempre hay una respuesta afirmativa a estas preguntas, y esto tiene importantes consecuencias. ¿Somos capaces de chequear la salud de nuestros sistemas e identicar rápidamente sus carencias? ¿Podemos automatizar este diagnostico y su posterior solución? La respueta a estas dos últimas preguntas es "Sí" y os mostraremos las herramientas de que disponemos para llevarlo a cabo.

Transcript of Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Page 1: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

@ildeMas

@salvador_ramos

#SQSummit13

Diagnosticar y curar,

todo es empezar

Salvador Ramos

[email protected]

MVP SQL Server, MCSE BI 2012

Ildefonso Mas

[email protected]

MCTP de SQL Server 2008 BI

Page 2: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Agenda

1. Desde los inicios … hasta hoy

2. Diagnosticar

3. Desglose de problemas encontrados

4. Soluciones a los problemas

3

Page 3: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Detectamos que SSIS puede ayudarnos

- Desarrollo rápido

- Aplicamos lo que

ya conocemos

- No tenemos tiempo

de formarnos

- Hacemos paquetes para ayer

Necesidades

4

Page 4: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Los primeros paquetes

- Foco en cada paquete

- Conectamos a los orígenes

- Uso intenso de T-SQL

- Mejoras progresivas

Manos a la obra

5

Page 5: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

¿Creamos sólo las necesarias?

¿Usamos configuraciones?

¿Reutilizamos?

¿Consensuamos?

Conexiones

6

Page 6: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Diseño del paquete

7

Page 7: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Logging

8

Page 8: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Dependencias entre paquetes

9

Page 9: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

N Paquetes (¿Cientos?)

M Conexiones

X Dependencias

N * M * X = ¡Miles!

¿Y ahora qué?

10

Page 10: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

¿Y ahora qué?

11

Page 11: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

5 años de desarrollo con SSIS

4 personas han pasado por el equipo

Quedan 2

Procesos ETL creados bajo presión (para ayer)

300 paquetes en carpetas y 75 en MSDB

Decenas/Centenas de ellos no se utilizan

Caso Real¿Qué nos encontramos?

12

Page 12: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

¿Quién se atreve a …

- Tocar algún paquete?

- Restaurar todo o parte?

- Mover a otro servidor?

- Migrar?

- A documentar lo que hay?

Caso Real

13

Page 13: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Inventariar

Diagnosticar

Buscar

soluciónAutomatizar

Curar

Proceso seguido

14

Page 14: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Caso práctico

Conjunto de 5 paquetes a diagnosticar y

curar:

16

Page 15: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

DEMO

17

Presentación de la aplicación

Backup\Restore

Extrayendo información de los paquetes. Diagnóstico

Page 16: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

DEMO

18

Unificar Sistema de logging

Page 17: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Standard de logging definido

Se utilizaran 2 logProviders

1. Windows EventLog

2. SQL Server

• Almacena el logging en una base de

datos de Operaciones

• La base de datos de operaciones se

configura desde el fichero:"C:\SSIS Config Files\DemoSummit_ConfiguracionDB.dtsConfig"

19

Page 18: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

DEMO

20

Consolidar orígenes de datos

Page 19: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Standard de configuraciones

Se guardaran las configuraciones de SSIS

en la tabla “[dbo].[SSIS_Configuracion]” de la

base de datos de Operaciones.

21

Page 20: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

DEMO

22

Modo script

Page 21: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Otros aspectos a revisar

23

1. GUID de paquetes

2. Nombre interno y nombre externo del paquete

3. Unificar las configuraciones de SSIS

4. Revisión de variables no utilizadas

5. Detección de data flows sin componentes de destino

6. Revisión de otros tipos de orígenes de datos

7. Análisis procedimientos almacenados

Page 22: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

¿Cómo esta construida la aplicación?

24

Aplicación en Vb.NET utilizando la API de SSIS

Dispone de un lenguaje propio que es traducido a llamadas

de esta API

Pensado para reutilizar todo lo que se desarrolle sobre la API.

Extender el lenguaje mencionado

Page 23: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Ten en cuenta que…

25

No es una ciencia exacta. Cada caso que encontremos es

diferente al anterior

Estas herramientas y metodologías tratan de acelerar el

trabajo que tengamos que hacer en cada caso

Page 24: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Conclusiones

26

Utiliza siempre Buenas Prácticas

Si ya estás en esa situación:

- Hay solución

- Se puede automatizar

Page 25: Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Si quieres disfrutar de las mejores sesiones de

nuestros mentores de España y Latino América,

ésta es tu oportunidad.

http://summit.solidq.com/madrid/

Síguenos:

29