Monile testing como generar el nuevo desafio

Post on 22-Nov-2014

151 views 2 download

description

Monile testing como generar el nuevo desafio

Transcript of Monile testing como generar el nuevo desafio

#GX24

Mobile testing ¿CÓMO ENFRENTAR LOS NUEVOS DESAFÍOS?

PhD. Federico Toledo

@fltoledo federico.toledo@abstracta.com.uy

Ing. Guillermo Skrilec

@gskrilec gskrilec@genexusconsulting.com

#GX24 #mobiletesting

#GX24 #mobiletesting

bit.do/librodetesting ¿Es suficiente para ser un buen tester de aplicaciones mobile?

#GX24 #mobiletesting

Saber cómo se hace, para saber cómo se puede romper

Nuevas herramientas

Nuevos ingredientes para la vieja receta del testing

Desafío por la variedad de dispositivos

Desafío por la variedad de dispositivos

#GX24 #mobiletesting

¿Puedo usar Emuladores?

White paper from tcs.com: Mobile application testing

Dispositivo (Red de datos)

Dispositivo (Wi-Fi + Simulador de red)

Emuladores

#GX24 #mobiletesting

¿Emuladores o dispositivos?

#GX24 #mobiletesting

Emuladores – Ventajas

• Reducir costos

#GX24 #mobiletesting

Emuladores – Desventajas No son reales. No se prueba la verdadera sensación del usuario al dispositivo. No se puede medir la performance real del dispositivo. No cuenta con implementaciones del fabricante: (tienen la implementación oficial de Android). No cuenta con sensores reales. No tienen plan de datos. …

#GX24 #mobiletesting

¿Emuladores o simuladores?

#GX24 #mobiletesting

En iOS solo hay Simuladores

#GX24 #mobiletesting

Lo que mata es la variedad. ¡En mi celular anda! ¿Cómo seleccionar los dispositivos?

¿EN QUÉ DISPOSITIVOS PRUEBO?

#GX24 #mobiletesting

Entonces, ¿qué dispositivos elijo?

Entre 5 y 10 dispositivos.

Selección basada en riesgo.

? ? ? ? ?

#GX24 #mobiletesting

Testing basado en Riesgo

Los dispositivos más usados.

#GX24 #mobiletesting

Testing basado en Riesgo

Menos recursos. Los que no hemos probado. Dispositivos más nuevos.

#GX24 #mobiletesting

Preguntas para seleccionar los dispositivos (1/4)

¿Smartphones o tablets? ¿O ambos?

#GX24 #mobiletesting

Preguntas para seleccionar los dispositivos (2/4)

¿Variedad de tamaños de pantalla?

#GX24 #mobiletesting

Preguntas para seleccionar los dispositivos (3/4)

¿Se cuenta con al menos un gama baja y un gama alta?

#GX24 #mobiletesting

Preguntas para seleccionar los dispositivos (4/4)

#GX24 #mobiletesting

Preguntas para seleccionar los dispositivos (4/4)

Para cada Sistema Operativo ¿Cuáles son los dispositivos y versiones más

populares del público objetivo?

¿Cómo calculo eso?

#GX24 #mobiletesting

Diversidad en Android Estadísticas iniciales proporcionadas por Android.

http://developer.android.com/about/dashboards/index.html

#GX24 #mobiletesting

Diversidad iOS

Septiembre de 2014: 95% en la versión anterior o superior - 49% en iOS 7 - 46% en iOS 8

#GX24 #mobiletesting

Estadísticas solo al inicio

#GX24 #mobiletesting

Google Analytics – por SO

#GX24 #mobiletesting

Google Analytics – por dispositivo

¡Ojo con esto! • ¿No será que estos son los dispositivos más comunes porque

no funcionan en el resto?

#GX24 #mobiletesting

Set de ejemplo Dispositivo Tipo Gama Sistema Operativo

iPad Mini Tablet Alta iOS 7

iPhone 5S Smart Phone

Alta iOS 8

Galaxy Tab Tablet Alta Android 4.4

Sony Xperia X10 Smart Phone

Baja Android 2.1

Galaxy ACE Smart Phone

Baja Android 2.2

#GX24 #mobiletesting

Set de ejemplo Dispositivo Tipo Gama Sistema Operativo

iPad Mini Tablet Alta iOS 7

iPhone 5S Smart Phone

Alta iOS 8

Galaxy Tab Tablet Alta Android 4.4

Sony Xperia X10 Smart Phone

Baja Android 2.1

Galaxy ACE Smart Phone

Baja Android 2.2

¡¿Pruebo todo en todos los dispositivos?!

#GX24 #mobiletesting

Cobertura en el tiempo Versión 1

Test Suite Critica

Todos los dispositivos

Test Suite 1 iPad Mini

Test Suite 2 iPhone 5S

Test Suite 3 Galaxy Tab

Test Suite 4 Xperia

Test Suite 5 ACE

Versión 2 Todos los dispositivos

ACE

iPad Mini

iPhone 5S

Galaxy Tab

Xperia

Versión 4 Todos los dispositivos

Galaxy Tab

Xperia

ACE

iPad Mini

iPhone 5S

Versión 3 Todos los dispositivos

Xperia

ACE

iPad Mini

iPhone 5S

Galaxy Tab

Tiempo

Versión 5 Todos los dispositivos

iPhone 5S

Galaxy Tab

Xperia

ACE

iPad Mini

#GX24 #mobiletesting

Ok, ya sé qué dispositivos elijo

¿Todos vamos a comprar un set?

#GX24 #mobiletesting

#GX24 #mobiletesting

COMPARTIR: OpenDeviceLab.com

#GX24 #mobiletesting

Open Device Lab - Uruguay • Donaciones de particulares:

– 4 Android gama baja – 1 Android gama alta – 1 iPhone – 1 FirefoxOS – 1 Tablet Android

• Convenios con proveedores.

• Reservas y donaciones ODL@abstracta.com.uy

@OpenDeviceLabUY

Saber cómo se hace, para saber cómo se puede

romper

#GX24 #mobiletesting

Ciclo de vida App iOS

- No ejecutando, pero debe poder enviar notificaciones.

- Activa, recibe eventos de usuario.

- Inactiva, no recibe eventos. - Background, ejecuta código. - Suspendida, no ejecuta código.

- Abrirla por primera vez.

#GX24 #mobiletesting

Integración Apps Android

#GX24 #mobiletesting

Sensores Android

#GX24 #mobiletesting

Mock Location

#GX24 #mobiletesting

iOS 8

#GX24 #mobiletesting

Pruebas “avanzadas”

Nuevas herramientas

#GX24 #mobiletesting @monkopapps

Ejecución automática Reproducir en distintos dispositivos Dispositivos remotos SaaS (PaaS) Capturadores de tráfico

Muchas herramientas

#GX24 #mobiletesting @monkopapps Ghostlab

#GX24 #mobiletesting @monkopapps

Remote preview

#GX24 #mobiletesting @monkopapps

1. monkop.com 2. Subir APP 3. Ver reporte

Rápido y sin esfuerzo

#GX24 #mobiletesting @monkopapps

La magia

• Performance • Seguridad • Robustez • Buenas prácticas

#GX24 #mobiletesting @monkopapps

Oportunidades de mejora detectadas

#GX24 #mobiletesting @monkopapps

Oportunidades de mejora detectadas

#GX24 #mobiletesting @monkopapps

Oportunidades de mejora detectadas

#GX24 #mobiletesting @monkopapps

http://www.monkop.com

#GX24 #mobiletesting @monkopapps

RESUMIENDO

#GX24

PhD. Federico Toledo

@fltoledo federico.toledo@abstracta.com.uy

Ing. Guillermo Skrilec

@gskrilec gskrilec@genexusconsulting.com