Sesion08 evaluacion

EvaluaciónDavid Díez Cebollero

Departamento de InformáticaUniversidad Carlos III de Madrid

DISEÑO DE

SISTEMAS INTERACTIVOS

Grado en

Ingeniería Informática

Diseño de Sistemas Interactivos

Evaluación > Contenido sesión 8

Comprender el concepto de evaluación

Entender el sentido de la fase de evaluación en el desarrollo de

sistemas interactivos

Conocer la diferencia entre evaluación formativa y aditiva

Conocer los métodos de evaluación de sistemas interactivos

Inspección

Prueba

Conocer el sentido y estructura del “plan de evaluación” y el “informe

de resultados”

26/02/2016 David Díez Cebollero


Evaluación


¿Por qué se evalúa?

Para conocer la opinión de

terceros (usuarios) y obtener

mejores productos


Evaluación


¿Qué se evalúa?

¿Prototipo de

baja fidelidad o de

alta fidelidad?

¿La estética?

¿El uso?

¿La eficiencia?


Evaluación


¿Dónde se evalúa?

En entorno controlado

En entorno real

En remoto

http://www.youtube.com/watch?v=dwzXay8oGgY&feature=related

http://www.youtube.com/watch?v=dwzXay8oGgY&feature=related


Evaluación


¿Cuándo se evalúa?

Durante el proceso de análisis/síntesis

Evaluación formativa (ex-ante):

• Predecir la usabilidad del producto

• Validar requisitos

• Probar ideas

Al final del proceso de análisis/síntesis

Evaluación aditiva (ex-post):

• Identificar problemas de uso

• Establecer áreas de mejora


Evaluación


¿Cuál es el riesgo?

No adecuar la evaluación a:

El artefacto a evaluar

Las características a evaluar

El momento de la evaluación

El entorno

El tipo de usuario

La actividad



Evaluación > Definición

“La evaluación es la

actividad del proceso

de diseño de un

sistema interactivo

encargada de

determinar si la

solución satisface o no

las necesidades del

usuario.”


Evaluación


1. Comprender el contexto real

2. Comparar alternativas

3. Comprobar si el sistema es

conforme a estándares

4. Determinar el cumplimiento

de los requisitos

Objetivos de la evaluación

Planificación

• Establecer objetivos

• Seleccionar tipo de evaluación

• Definir tareas de evaluación

• Seleccionar evaluadores

Realización

• Preparar entorno de evaluación

• Realizar tareas de evaluación (por parte de los evaluadores)

• Recopilar información

Interpretación de resultados

• Categorizar información

• Analizar datos

• Documentar



Evaluación > Proceso

Proceso de evaluación



Evaluación > Proceso > Planificación

“Actividad de evaluación

dirigida establecer las

condiciones en las

cuales se evaluará el

sistema”

Planificación





Realización






• Analizar datos

• Documentar




1. Definir la estrategia de evaluación

1. Establecer objetivos

2. Fijar el tipo de producto a evaluar

3. Establecer las características que se desean evaluar

4. Establecer el tipo de evaluación a realizar

2. Por cada tipo, definir el modo de evaluación

1. Definir condiciones de evaluación

2. Fijar el método de evaluación

3. Definir tareas de evaluación

4. Seleccionar evaluadores (número y perfil)

5. Fijar la forma de recopilar la información

3. Redactar el plan de evaluación


Tipos de evaluación



Según procedimiento

Monitorización

Recopilación de opiniones

Observación

Predicción

Según entorno

Entorno controlado

Entorno real

Entorno de diseño

Según los implicados

Usuarios

Expertos

Equipo de diseño

Sin implicación / no intrusivos

Según propósito

Inspección

Prueba

Indagación





Entorno controlado con implicación del usuario

Evaluación de usabilidad

Experimentación

Entorno real con implicación del usuario

Estudios de campo

Sin implicación de usuarios

Predicción: heurísticas, estándares y modelos

Revisión por pares

No intrusivo

1.1

1.2

2.1

3.1

3.2

3.3





Objetivo Entorno

controlado con

implicación

usuarios

Entorno real

con implicación

usuarios

Sin implicación

usuarios

Comprender el contexto real

Comparar alternativas

Comprobar sistema de

acuerdo a estándares

Determinar el cumplimiento

de los requisitos

2.1

2.1

2.11.1 1.2

1.1 3.1 3.3

3.1

3.1 3.2 3.3




Métodos de evaluación

Prueba

Inspección

Indagación

Inspección (Inspect)

Revisión del sistema a fin de validar el cumplimiento tanto de estándares como de requisitos de usuario. Habitualmente realizado por expertos

Prueba (Testing)

Uso del sistema por sus potenciales usuarios a fin de comprobar que el sistema satisface adecuadamente sus necesidades

Indagación (Inquiry)

Recolección de información en el contexto de utilización del sistema a fin de estudiar y validar las necesidades del usuario




Método Descripción Tipo evaluación

Evaluación mediante

heurísticas

Basado en la revisión de un conjunto de

características de la interfaz de usuario de

acuerdo a un catálogo de características de

diseño

Evaluación mediante

estándares

Basado en la revisión de un conjunto de

características de la interfaz de usuario de

acuerdo a un catálogo de estándares, normas y

reglas

Cognitive walkthroughs Basado en la revisión por parte de una serie de

evaluadores de un conjunto preestablecido de

tareas a fin de probar su facilidad de uso y

aprendizaje

Pluralistic walkthrough Basado en la revisión en grupo por parte de una

serie de evaluadores de un conjunto

preestablecido de tareas a fin de probar su

facilidad de uso y aprendizaje

3.1

3.1

3.2

3.1

1.1

3.1

3.2

1.1

1.1

(*)

Métodos de evaluación- Inspección -

http://www.youtube.com/watch?v=wsVPb8aE4G8

http://www.youtube.com/watch?v=wsVPb8aE4G8

http://www.sidar.org/traducciones/wcag20/es/

http://www.sidar.org/traducciones/wcag20/es/

http://dl.acm.org/citation.cfm?id=285219&coll=portal&dl=ACM

http://dl.acm.org/citation.cfm?id=285219&coll=portal&dl=ACM




Métodos de evaluación- Prueba -


Retrospective testing Basado en la la grabación de las acciones

ejecutadas por el usuario y su posterior discusión

con el mismo

Thinking aloud protocol Basado basado en solicitar al usuario que

verbalices sus opiniones, sensaciones y

pensamientos durante la ejecución de las

pruebas del sistema

Question-asking protocol Basado en realizar preguntas específicas al

usuario durante la ejecución de las pruebas del

sistema

Evaluación subjetiva Basado en preguntar a los usuarios sus

sensaciones y experiencia a la hora de utilizar la

solución

- Uso de cuestionarios -

1.1

1.2

1.1

1.2

1.1

1.2

1.1

1.2

2.1

2.1

2.1

2.1

http://www.youtube.com/watch?v=9wQkLthhHKA&feature=related





Métodos de evaluación- Prueba -


Comparativa Basado en la comparación, de acuerdo a alguna

característica de antemano, el rendimiento de los

usuarios al utilizar dos soluciones distintas

Medición de rendimiento Basado en la comparación, de acuerdo a alguna

característica de antemano, el rendimiento de los

usuarios al utilizar dos soluciones distintas

Tiempo en completar una tarea

Número y tipo de errores por tarea

Número de errores por unidad de tiempo

Número de usuarios que cometen un determinado error

Número de usuario que completan la tarea correctamente

Número de consultas realizadas al manual de usuario

3.3

3.3






Introducción

Estrategia de evaluación

Objetivos de evaluación


Por cada tipo de evaluación

Establecer métodos de evaluación

Fijar participantes

Definir tareas de evaluación

Definir mecanismos de recolección de información

Establecer medios necesarios

Conclusiones

“Definición en detalle de la

evaluación a realizar,

recogiendo el por qué, el

qué, el cómo, el cuándo y

por quién.”

Documentación- Plan de evaluación -



Evaluación > Proceso > Realización

“Conjunto de labores

realizadas a fin de

poner en práctica la

evaluación y recopilar

información”

Planificación





Realización






• Analizar datos

• Documentar




1. Dar la bienvenida a los participantes

1. Explicar a los participantes el propósito de la evaluación

2. Solicitar a los participantes su consentimiento (y confidencialidad)

2. Ejecutar la evaluación

1. Indicar a los participantes las tareas a realizar o, en su caso, solicitar a

los participantes realizar su actividad habitual

2. Recolectar datos sobre las tareas/actividad realizada

3. En su caso, repasar las tareas/actividad con los participantes

3. Despedir a los participantes

1. Agradecer a los participantes su participación

2. (Remunerar a los participantes)




Es necesario el acuerdo de los

participantes tanto para tomar parte en la

evaluación como para grabarlos

Recopilar el perfil

del participante

Siempre agradecer

la participación…

http://www.stcsig.org/usability/resources/toolkit/toolkit.html

http://www.stcsig.org/usability/resources/toolkit/toolkit.html




Método Descripción Ventajas Desventajas

Tratamiento de trazas

(logging)

Grabación automática por parte

del ordenador de las acciones

realizadas por el usuario en el

sistema

No intrusivo

Permite medir

rendimientos

Identificar patrones

No permite conocer

impresiones o

motivaciones del

usuario

Grabación Captación de imágenes y/o sonido

sobre la actividad del usuario

Permite fijarse en

comportamientos

repetitivos

Permite conocer la

impresión del usuario

Intrusivo

Tratamiento de la

información muy

costoso

Recolección de notas Poner por escrito, de manera

manual o digital, comentarios,

impresiones u observaciones

sobre la evaluación

Muy efectivo para captar

observaciones

Puede resultar

intrusivo

Opinión sesgada

Recopilación a posteriori

(retrospective collection)

Revisión a posteriori, en presencia

del usuario, de las tareas

realizadas durante la ejecución de

la evaluación

No intrusivo

Permite conocer la

opinión y motivación de

los usuarios

El usuario puede

interpretar los

resultados más que

explicarlos

Cuestionarios Realización de cuestionarios sobre

el sistema evaluado, impresiones

de los evaluadores, sensaciones,

expectativas, etc.

No intrusivo

Permite conocer la

opinión, motivación y

satisfacción de los

usuarios

Puede originar sesgo

Difícil diseño

En el caso de

preguntas abiertas,

difícil tratamiento

Recolección de datos

http://www.youtube.com/watch?v=tpLUkKN3AWE

http://www.youtube.com/watch?v=tpLUkKN3AWE




Cuestionarios más

utilizados:

SUS, SUMI y QUIS

Recolección de datos- Cuestionarios -

http://www.usabilitynet.org/trump/documents/Suschapt.doc

http://www.usabilitynet.org/trump/documents/Suschapt.doc

http://www.stcsig.org/usability/resources/toolkit/utd_csms.doc

http://www.stcsig.org/usability/resources/toolkit/utd_csms.doc




Recolección de datos- Cuestionarios -

Cuestionario de aceptación de la

tecnología

Encuesta sobre

incidentes críticos



Evaluación > Proceso > Interpretación

“Actividad de

evaluación dirigida a

extraer conclusiones a

partir de la información

recopilada en la

evaluación”

Planificación





Realización






• Analizar datos

• Documentar




1. Tratamiento de los resultados

1. Organizar información

2. Analizar datos

3. Establecer consecuencias

2. Redactar informe de evaluación

1. Explicar las condiciones en las cuales se realizó la evaluación

2. Enunciar y priorizar problemas encontrados

3. Teorizar causas

4. Proponer soluciones

5. Enunciar ventajas o casos de éxito

6. Enunciar áreas de incertidumbre

Conceptualmente:

el mismo proceso que el

tratamiento de la información

recopilada en la fase de

análisis




Introducción

Resumen de la evaluación

Estructura de la sesión

Participantes

Tareas

Resultados

Tasas de ejecución

Métricas de desempeño

Recomendaciones

Conclusiones

“Exposición de la ejecución de

la evaluación indicando tanto el

modo en que se realizó como

los resultados obtenidos en la

misma.”

Documentación- Informe de evaluación -



Evaluación > Ejercicio

La Oficina de Turismo de una gran ciudad está desarrollando un

sistema informático que permita a los turistas recibir información a

través de pantallas y grandes monitores distribuidos a lo ancho de la

ciudad. Una vez realizada la especificación completa del sistema, y

tras elaborar un prototipo preliminar, se desea realizar una evaluación

formativa del mismo. En particular, la Oficina de Turismo está

interesada en evaluar aspectos referidos a la presentación de la

información (uso de gráficos, colores, disposición de elementos, etc.),

a la facilidad de acceso a la información y a la adecuación de los

medios de interacción con el sistema. Como limitación, la evaluación

deberá desarrollarse en un tiempo inferior a dos meses.


Evaluación > Contenido sesión 8

Comprender el concepto de evaluación

Entender el sentido de la fase de evaluación en el desarrollo de

sistemas interactivos

Conocer la diferencia entre evaluación formativa y aditiva

Conocer los métodos de evaluación de sistemas interactivos

Inspección

Prueba

Conocer el sentido y estructura del “plan de evaluación” y el “informe

de resultados”


Sesion08 evaluacion

Design

Transcript of Sesion08 evaluacion