Técnicas de evaluación. Contenido : Evaluación de utilidad y funcionalidad de un sistema...

64
Técnicas de evaluación

Transcript of Técnicas de evaluación. Contenido : Evaluación de utilidad y funcionalidad de un sistema...

Page 1: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de

evaluación

Page 2: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Contenido : Evaluación de utilidad y funcionalidad de un sistema interactivo

La evaluación puede tener lugar en:

El laboratorio

En el ambiente de trabajo

Diseños de evaluación.

Métodos de análisis

Métodos de revisión

Métodos basados en modelo

Aplicaciones de evaluación.

Métodos experimentales

Métodos de observación

Métodos de cuestión

Escoger el método de evaluación.

Page 3: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de evaluación• La evaluación sirve para evaluar nuestros planes y probar nuestros sistemas, para asegurarnos de que funcionan como esperamos y reúnen los requisitos que el usuario necesita.

• No debemos pensar en la evaluación como si fuese una fase sencilla del proceso de diseño sino como una actividad importante si el tiempo lo permite.

• Lo ideal seria realizar la evaluación a lo largo del ciclo de vida del diseño. Esto tiene la ventaja de que los problemas se pueden eliminar sin realizar un esfuerzo considerable.

Page 4: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Metas de la evaluaciónLa evaluación tiene tres metas principales:

• Evaluar la magnitud de la funcionalidad del sistema.

La funcionalidad del sistema es importante ya que debe ofrecer los requisitos necesarios para que el usuario realice sus tareas.

• Evaluar el efecto de la interfaz en el usuario.

Es decir si el sistema es fácil de aprender su utilidad y la actitud del usuario frente a el.

• Identificar cualquier problema especifico con el sistema.

Aspectos del diseño que cuando se usan no proporcionan los resultados esperados o crean confusión entre los usuarios.

Page 5: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Estilos de la evaluación

Tenemos dos estilos principales de evaluación:

• Los que se realizan en laboratorio. Este involucra al diseñador sin tener en cuenta a los usuarios. Aunque pueden llevarse usuarios al laboratorio para que formen parte del estudio de evaluación. Esto tiene ventajas y desventajas.

• Los que se realizan en el ambiente de trabajo(Estudios de campo). Se puede ver el sistema en acción, pero las continuas interrupciones, hacen que la observación en el campo de trabajo sea muy difícil.

Page 6: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación del diseño

• La evaluación debe realizarse a lo largo de todo el proceso de diseño. La primera evaluación del sistema debería de realizarse antes de empiece cualquier trabajo con la aplicación.

• Pueden evitarse caros errores, el diseño puede modificarse a priori para lograr un mejor resultado. Cuanto mas tarde se descubra un error en el diseño mas costara corregirlo.

• Por consiguiente se han propuesto varios métodos de evaluar a priori el diseño de la aplicación.

Page 7: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación del diseño (II)

Cuatro posibles modos de evaluar un diseño:

• Walkthrough cognoscitivo. (Walkthrough Sistema de analisis de archivos informaticos)

• La evaluación heurística

• Evaluación basada en la revisión

• Uso de modelos

Page 8: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo.

• Fue propuesto por Polson y sus colegas

• Normalmente, el enfoque principal del walkthrough cognoscitivo es establecer el fácil aprendizaje de un sistema. Mas específicamente, el enfoque esta en aprender a través de la exploración.

• La experiencia demuestra que los usuarios prefieren aprender a usar un sistema explorando ellos mismos las funcionalidades, y no después de haberles dado un entrenamiento o se hayan aprendido el manual del usuario.

Page 9: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (II). Para hacer un walkthrough cognoscitivo se necesitan cuatro cosas:

I. Una descripción del prototipo del sistema. No tiene que estar completo pero debe detallarse lo máximo posible. Detalles como la situación y la formulación de un menú, que pueden representar grandes diferencias.

II. Una descripción de la tarea que el usuario va a realizar en el sistema. Debe de ser una representación de las tareas que la mayoría de los usuarios querrán hacer.

Page 10: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (III).

III. Una lista completa de las acciones que se necesito para realizar las acciones con el prototipo dado.

IV. Una indicación de quienes son los usuarios, que tipo de experiencia tienen, y el conocimiento que los evaluadores tienen sobre ellos.

Page 11: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (IV).• Para esto, para cada acción, los evaluadores intentan contestar a las siguientes cuatro preguntas:

• ¿Estarán los usuarios intentando producir el efecto propio de la acción?. Esta supuestamente el usuario realizando la tarea que produce la acción que el quiere, de acuerdo con su experiencia y conocimiento.

• ¿Podrán los usuarios saber si la acción correcta esta disponible?¿Verán los usuarios el botón o el menú, por ejemplo, de una acción que esta activa en el sistema?.

Esto no significa que el botón sea el que ellos quieren. Simplemente nos preguntamos si estará visible cuando ellos lo necesiten. Por ejemplo, un mando con un tablero de botones oculto.

Page 12: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (V).

• Una vez que los usuarios encuentran la acción correcta en la interface, ¿sabrán ellos que es la correcta para el efecto que intentan producir?.

• Después de que se realiza la acción ¿entenderán los usuarios lo que consiguen con ello?. Suponiendo que los usuarios han realizado la acción correcta

Page 13: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (VI). Es vital documentar el walkthrough cognoscitivo para guardar un registro de lo que es bueno y de las mejoras que necesita el diseño. Por lo tanto por cada acción hay que contestar a cada una de las preguntas anteriormente citadas.

Cada respuesta negativa para cualquiera de las preguntas se debe de documentar en una hoja separada del informe. Esta hoja de problemas reflejara el comienzo de la creación del sistema, la fecha, los evaluadores y una descripción detallada del problema de utilidad.

También sería útil determinar la gravedad del problema,

Page 14: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (VII).Ejemplo de walkthrogh :

Programación de un video para grabar un programa que empieza a las 18:00 y termina 19:35.

Especificaremos la acción que debe realizar el usuario (acción) y la respuesta del sistema (contestación):

Acción A: pulse el botón de grabación.

Respuesta A: el display muestra el modo de grabación. El cursor aparece en “start:”

Acción B: pulse los dígitos 1800 ........................

Page 15: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (VIII). Una vez determinada nuestra lista de acciones ya podemos proceder con el walkthrough. Para cada acción (A, B, C,.....), debemos contestar las cuatro preguntas y realizar un historial sobre la utilidad del sistema: lo haremos para la Acción A

Acción A: pulse el botón de grabación.

Pregunta 1: ¿Estarán los usuarios intentando producir el efecto propio de la acción?. La interfaz no indica que los usuarios tengan que pulsar el botón de grabación. Sin embargo, es razonable pensar que un usuario familiarizado con un video sabrá que esto es necesario

Pregunta 2: ¿Podrán los usuarios saber si la acción correcta esta disponible?. El botón de grabación es visible en el control remoto

Page 16: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (IX).

Pregunta 3: Una vez que los usuarios encuentran la acción correcta en la interface, ¿sabrán ellos que es la correcta para el efecto que intentan producir?. No esta claro cual es el botón de grabación. El icono de un reloj (el cuarto botón de abajo a la derecha) es un posible candidato, pero podía interpretar como un botón para cambiar la hora. Otro posible candidato seria el cuarto botón de abajo a la izquierda o el del circulo completo (asociado con grabación). De hecho el icono del reloj es la acción correcta, pero es posible que el usuario se pudiera confundir.

 

Page 17: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Walkthrough cognoscitivo (X).

Pregunta 4: Después de que se realiza la acción ¿entenderán los usuarios lo que consiguen con ello?. Una vez que se realiza la acción el display cambia a modo record y muestra los ya conocidos títulos(start, end, channel, date). Es razonable pensar que el usuario reconocerá que la primera acción ha sido exitosa.

• Vemos que nos encontramos con un problema de utilidad potencial al elegir el botón de grabación usado en el control remoto que puede dar lugar a confusión. Tendríamos que establecer si el usuario distinguiría el icono correctamente frente a los otros botones del control remoto.??????

Page 18: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística. Desarrollada por Jacob Nielsen y Rolf Molich

“ Un heurístico es un principio general o regla que puede guiar una decisión del diseño o se puede usar para criticar una decisión que ya se ha tomado “

Ósea es un método para estructurar la critica de un sistema.

Nielsen indica que normalmente deberá haber alrededor de cinco evaluadores y que descubrirán el 75% de los problemas de utilidad globales.

Page 19: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (II). Para ayudar a los evaluadores a descubrir los problemas de utilidad hay una lista con 9 heurísticos que pueden usarse para generar ideas para criticar el sistema. Estos son:

1. El dialogo simple y natural

2. Hablar el idioma del usuario.

3. Minimizar el uso de memoria.

4. Que sea consistente.

5. Proporcionar regeneración.

6. Proporcionar claramente salidas marcadas

Page 20: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (III).

7. Proporcionar atajos

8. Permitir buenos mensajes de error

9. Prevenir errores

Page 21: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (IV).Estos heurísticos se han mejorado recientemente para hacerlos más comprensivos. Ahora son diez:

 1.     Visibilidad del estado del sistema. El sistema siempre debe guardar información sobre lo que esta pasando para que los usuarios lo sepan a través de la generación de dicha información dentro de un tiempo razonable. 

2. Relación entre el sistema y el mundo real. El sistema debe hablar el mismo idioma que el usuario, con palabras, frases y conceptos que le sean familiares en lugar de en términos orientados al sistema. Que siga las convenciones del mundo real y que la información aparezca en un orden natural y lógico.

 

3.     

Page 22: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (V).

3. Libre control de usuario. Los usuarios escogen a menudo las funciones del sistema por error y necesitan saber claramente como salir sin tener que pasar por un cuadro de dialogo extendido. Soporte para hacer y deshacer.

 

 4.  Consistencia y estándares. Los usuarios no tienen por que saber que diferentes palabras, situaciones o acciones significan la misma cosa. Siguen convecciones del programa.

 

5.     

Page 23: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (VI). 6. Prevención de errores. Aun mejor que los mensajes de error es un plan detallado impida que un error ocurra por primera vez.

6. 7.   Mejor reconocimiento y aviso. Crear objetos, acciones y opciones visibles. El usuario no tiene por que recordar información de una parte del dialogo en otra parte del mismo. Las instrucciones para el uso del sistema deben de ser visibles o fáciles de recordar siempre que esto sea lo apropiado. 

7.   8.   Flexibilidad y eficiencia de uso. Los aceleradores – que sean inadvertidos para un usuario principiante – pueden ayudar a incrementar la velocidad de interacción para un usuario experto y el sistema puede proveer tanto a usuarios expertos como inexpertos. Permite a los usuarios especializarse en acciones frecuentes.

 

8.    

Page 24: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (VII).

  9. Diseño estético y minimizado. Los diálogos no deben contener información que no sea pertinente o se utiliza raramente. Cada unidad extra de información en un dialogo compite con las unidades pertinentes de información y disminuye su visibilidad relativa.  

9  10.   Ayuda a los usuarios para reconocer, diagnosticar y recuperar errores. Los mensajes de error deben expresarse en un idioma coloquial (sin ningún código), precisamente debe de indicar cual es el problema y constructivamente como llegar a una solución.

Page 25: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación heurística (VII).

El propósito de la evaluación es descubrir problemas de utilidad. Cualquier problema que usted como evaluador piense que es un problema potencial es un problema de utilidad.

“ El heurístico es una guía para encontrar el problema. “

Una vez que todos los problemas son localizados el equipo de diseño puede determinar cuales son los mas importantes y trabajar sobre ellos.

Page 26: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación basada en la revisión.

• Se basa en revisar la evaluación.

• Todos evitan malgastar tiempo en repetir experimentos continuamente y aunque una revisión de los términos, consume tiempo, probablemente compensaría el tiempo que se tomaría para repetir un simple experimento.

• El analista debe seleccionar cuidadosamente los resultados de los experimentos obtenidos del diseño, la población en que los probó, los análisis que se realizaron y las propuestas tratadas.

Page 27: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación basada en el modelo.

• El objetivo final a evaluar en el diseño es el uso de modelos. Los modelos de diseño proporcionan los medios para combinar la especificación y evaluación del diseño en la misma estructura.

• Existen varios modelos. Por ejemplo, el modelo GOMS predice la actuación del usuario con una interfaz particular

Page 28: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Evaluación de la implementación.

Hasta ahora nos hemos centrado en diferentes técnicas de evaluación centradas en el diseño, ahora veremos diferentes técnicas de evaluación centradas en el usuario.

Incluyen métodos empíricos y experimentales, métodos de observación y técnicas que llamaremos de la pregunta, que piden una actuación directa del usuario.

La principal diferencia entre este tipo de evaluación y la evaluación de diseño, a parte del desenvolvimiento del usuario, es la existencia en el sistema de una aplicación real.

Page 29: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Métodos empíricos: Evaluación experimental

Uno de los métodos mas poderosos para evaluar un diseño o un aspecto del diseño es usar un experimento controlado.

Cualquier experimento tiene la misma forma básica. El evaluador escoge una determinada hipótesis para probar el comportamiento.

Hay varios factores que son importantes para determinar la fiabilidad global del experimento que son: los sujetos escogidos, las variables que se probaron y manipularon y la hipótesis que se probó.

Page 30: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Métodos empíricos: Evaluación experimental (II).

Los sujetos

• Un primer problema es que si los sujetos no pertenecen a usuarios reales, deben escogerse con una edad similar y un nivel de educación parecido al del usuario particular.

En un juego hecho con estudiantes de informática se ve que ellos no representan la intención del usuario en general.

• Un segundo problema relacionado con los sujetos es elegir adecuadamente el tamaño.

El tamaño de la muestra debe de ser lo suficientemente grande como para considerarse representativo de la población, que tiene en cuenta el diseño del experimento y los métodos estadísticos elegidos. Se recomiendan por lo menos 10 sujetos.

Page 31: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Métodos empíricos: Evaluación experimental (III).

Las variables

• Los experimentos manipulan y miden variables para probar hipótesis bajo condiciones controladas.

• Hay dos tipos principales de variables: las que se manipulan (variables independientes) y las que se miden (variables dependientes).

Page 32: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Métodos empíricos: Evaluación experimental (III).

Las variables (II)

• Las variables independientes son aquellas características del experimento que se manipulan para producir condiciones diferentes para su posterior comparación.

• Por ejemplo, un experimento que quiere probar si la velocidad de búsqueda mejora con la disminución de temas en el menú, va a experimentar con menús con cinco, siete y diez temas. En este caso la variable independiente número de temas del menú tiene tres niveles.

Page 33: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Métodos empíricos: Evaluación experimental (III).

Las variables (III)• Las variables dependientes, son por otro lado, las variables que pueden medirse en el experimento.

• En ejemplo dado esta seria la velocidad de selección del menú. La variable dependiente debe poder medirse de alguna manera, y debe ser influenciada por la variable independiente, y si es posible no por otros factores.

• Por tanto las variables independientes influyen sobre las dependientes.

Page 34: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Métodos empíricos: Evaluación experimental (III).

La hipótesis

• Una hipótesis es una predicción del resultado de un experimento.

• Esta estructurada en términos de variables dependientes e independientes, y declara que una variación de la variable independiente podría causar diferencias en la variable dependiente.

• De esta manera podrá demostrar que la predicción es correcta esto se hace eliminando la hipótesis nula en el que no existe ninguna diferencia entre la variable dependiente y los niveles de la variable independiente.

Page 35: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observación Una manera popular de recoger información sobre el uso real de un sistema, es observar a los usuarios que actúan recíprocamente con él. Una forma es la:

Evaluación cooperativa

La simple observación, raramente es suficiente para determinar si el sistema reúne los requisitos del usuario.

Por consiguiente se pide a los usuarios que elaboren sus acciones en voz alta; describiendo lo que creen que está pasando, por qué toman una decisión, qué están intentando hacer, etc..

Page 36: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observación

Evaluación cooperativa.

• Una variación de hablar en voz alta, se conoce como evaluación cooperativa en la que el usuario se ve como un colaborador en la evaluación y no simplemente como un asunto experimental.

• Como el usuario habla en voz alta, el evaluador puede hacerle preguntas (normalmente, el por qué, o que tipo), si el comportamiento del usuario es incierto, el usuario puede pedir al evaluador como se resuelve un problema, en caso de que surja.

Page 37: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos

• Con este tipo de observación se obtiene mucha información que ha de ser recopilada de alguna forma.

• El registro de una sesión de evaluación de este tipo se conoce como protocolo y hay varios métodos a escoger.

Hay varios métodos para grabar las acciones del usuario entre las que podemos destacar:

Papel y lápiz, Grabación de audio, Grabación de video, Registro en un ordenador y Cuadernos de usuario.

 

Page 38: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos (II)

• Papel y lápiz: esto es primitivo, pero barato, y le permite al analista anotar interpretaciones y eventos extraños cuando estos ocurren. Sin embargo, es duro obtener información detallado cuando está limitada a la velocidad de escritura del analista.

• Grabación de audio: esto es útil si el usuario piensa continuamente en alto. Sin embargo, puede resultar difícil grabar la suficiente información para identificar las acciones exactas, para su posterior análisis, y además difícil enlazar el audio que se graba con alguna otra forma de protocolo (como la escritura manual).

Page 39: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos (III)

• Grabación de video: esto tiene la ventaja de que podemos ver lo que el sujeto está haciendo siempre que esté dentro del rango de la cámara. Para grabar a un usuario individual realizando sus tareas en el ordenador se utilizan dos cámaras una que apunta a la pantalla del ordenador y otra con un enfoque más amplio (enfoca las manos y la cara del usuario).

• Cuadernos de usuario: a los usuarios se les puede pedir que guarden los errores y problemas de la actividad. Nos da una interpretación que tiene sus ventajas y sus inconvenientes.

Page 40: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos (IV)

• Registro en un ordenador: un sistema automático para grabar las acciones de usuario a nivel de pulsación.

La grabación en el ordenador solo registra lo que el usuario está haciendo en el sistema, lo que puede no ser suficiente para algunos propósitos.

Un problema técnico es que el volumen de datos puede ser muy grande y volverse inmanejable si el análisis no es automático.

En la práctica se usa una mezcla de estos métodos.

Page 41: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos (V)

Herramientas automáticas de análisis de protocolos.

Analizar protocolos, el video, el audio o el sistema de anotaciones, es algo tedioso si hay que hacerlo manualmente.

Este proceso se complica cuando tenemos que sincronizar más de un protocolo.

Una posible solución a este problema es proporcionar herramientas de análisis automáticas para apoyar la tarea.

Page 42: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos (VI)

EVA (anotador de video experimental)

Es un sistema que funciona en una estación de trabajo multimedia.

Durante la sesión, el usuario trabaja en una estación de trabajo, se graba usando video ,quizás audio y anotando los errores del sistema para su posterior análisis.

Este sistema requiere un hardware especializado y que normalmente solo está disponible en laboratorios bien equipados.

Page 43: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de observaciónRecolección de datos (VII)

TAMBOR

Otro ejemplo es TAMBOR que también proporciona anotaciones de videos y facilidades de anotación.

El TAMBOR es parte de MUSIC (Midiendo la Utilidad de Sistemas en Contexto/Métricas para Normas de Utilidad en Computadora) conjunto de herramientas que apoya y completa una metodología para la evaluación .

Los sistemas como estos son sumamente importantes como herramientas de la evaluación.

Page 44: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de pregunta Las técnicas de pregunta son técnicas menos formales para el control de un experimento, pero pueden resultar muy útiles para sacar el punto de vista del usuario de un sistema.

Su filosofía es que la mejor manera de averiguar los requisitos del usuario de un sistema es preguntando al propio usuario.

La ventaja de tales métodos es que consiguen un punto de vista directamente del usuario y pueden revelar problemas que no han sido considerados por el diseñador y son relativamente simples y baratos de realizar.

Un inconveniente es que esta información recogida es necesariamente subjetiva.

Page 45: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEntrevistas

Es una manera directa y estructurada de recoger información.

La entrevista seguirá una estructura top-down, es decir, empezara con una pregunta general sobre una tarea y progresará a las preguntas mas concretas.

Las entrevistas pueden ser muy eficaces a un nivel alto, particularmente sacando información sobre las preferencias del usuario, impresiones y actitudes.

La entrevista debe prepararse de antemano, con un conjunto de preguntas centrales.

Los evaluadores pueden adaptar la forma de la entrevista para cada usuario concreto.

Page 46: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEncuestas

Es claramente menos flexible que la técnica de la entrevista, pues las preguntas son de antemano fijas, y es probable que sondeen menos al usuario.

Sin embargo, pueden usarse para abarcar un conjunto mas amplio de usuarios, se tarda manos tiempo en desarrollarlas, y pueden analizarse mas rigurosamente.

Dado que el evaluador, es probable que no sea involucrado directamente en la realización de la encuesta, es vital que esta este bien diseñada.

Page 47: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEncuestas (II)

En primer lugar, el evaluador debe establecer cual es el propósito de la encuesta, ósea ¿qué información se busca?.

También es útil decidir en esta fase como serán analizadas las contestaciones de la encuesta. Por ejemplo, ¿quiere usted una información especifica de la interfaz, rasgos de la interfaz, o quiere usted la impresión del usuario del uso de la interfaz?.

Hay varios estilos de pregunta que puede ser incluida en la encuesta. Estos incluyen lo siguiente:

 

Page 48: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEncuestas (III)

Hay varios estilos de pregunta que puede ser incluida en la encuesta. Estos incluyen lo siguiente:

• General. Estas son preguntas para ayudar a situar al usuario dentro del conjunto de sujetos. Estas incluyen preguntas sobre la edad, sexo, ocupación, lugar de residencia, experiencia anterior con computadoras,.......

Page 49: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEncuestas (IV)

• Escala(Scalar). Estos piden al usuario que juzgue de una manera especifica en una balanza numérica y normalmente corresponden a una medida de acuerdo a la discordancia. Por ejemplo: 

Es fácil recuperar errores 

En desacuerdo 1 2 3 4 5 De acuerdo

El grado de la balanza es un factor a considerar, no debe tener pocos valores(por ejemplo, 1 2 3) por que no da una idea de niveles intermedios de acuerdo, ni tener demasiados valores pues son difíciles de interpretar de una manera consciente

Page 50: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEncuestas (V)

• Multi–choice. Aquí se ofrece una serie de respuestas explicitas donde el usuario debe seleccionar uno de ellas, o tantos como crea.

Estos son particularmente útiles para recoger información sobre la experiencia anterior de un usuario.

Por ejemplo: 

Que tipos de software ha usado

        - Procesador de textos

        - Base de datos

        - Hoja de calculo

        - Sistemas de ayuda on-line

       

Page 51: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Técnicas de preguntaEncuestas (VI)

•Alineado. Estos ponen una clasificación de artículos en forma de lista y son muy útiles para indicar las preferencias del usuario. Por ejemplo:

Por favor, alinee la utilidad de estos métodos para mostrar un menú

(1 el mas útil, 2 el siguiente, 0 si no usa)

       - Menú de selección

        - Línea de comandos

        - Control de teclas

Page 52: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Elección del método de evaluación Nosotros hemos visto un conjunto de técnicas que esta disponible para evaluar un sistema interactivo, en las fases de desarrollo.

Hay varios factores que deben tenerse en cuenta, al seleccionar técnicas de evaluación.

Nosotros podemos distinguir ocho factores, que diferencian las técnicas de evaluación, pero nos ayuda a que nosotros hagamos una elección apropiada. Estos son:

       1.  La fase del ciclo en la que la evaluación se lleva a cabo

        2. El estilo de la evaluación

       

Page 53: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Elección del método de evaluación(II)

       3. El nivel de subjetividad o objetividad de la técnica.

4. El tipo de medidas que proporciona

       5. La información proporcionada

       6. La inmediación de la respuesta

       7. El nivel de interferencia que implica

8. Los recursos que se necesitan

Page 54: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Diseño frente a implementación

La evaluación en la fase del plan tiende solo a involucrar a los expertos del plan y busca ser analítico, considerando que la evaluación de la aplicación trata a los usuarios como sujetos y es experimental.

• La evaluación temprana de un diseño o un prototipo, eliminará en gran medido los problemas ya que pueden resolverse más fácilmente en esta fase.

• Cuando un diseño se compromete con una aplicación en particular, aumenta la dificultad para realizar cambios.

Page 55: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Laboratorios frente a estudios de campo

  El proceso de diseño debe incluir ambos estilos de evaluación.

• Los estudios de laboratorio predominan en las fases más tempranas.

• Los estudios de campo se dirigen más a la nueva aplicación.

Page 56: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Subjetivo frente a objetivo

Las técnicas de evaluación varían de acuerdo a sus objetivos, algunas técnicas se basan fielmente en la interpretación del evaluador, otras proporcionan la misma información más o menos sin tener en cuenta quién está realizando la evaluación.

Page 57: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Cualitativo frente a medidas cuantitativas

El tipo de medida proporcionado por la técnica de la evaluación también es algo muy importante que hay que considerar.

Hay dos tipos principales: medidas cuantitativas y medidas cualitativas.

El primero es normalmente numérico y puede analizarse fácilmente usando técnicas estadísticas.

El segundo no es numérico y por consiguiente es más difícil de analizar, pero puede proporcionar detalles más importantes que no se pueden determinar con los números.

Page 58: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Información proporcionada

El nivel de información requerido en una evaluación también puede variar.

La información requerida por un evaluador en cualquier fase del proceso de diseño puede ser:

- Información de alto nivel, esto permite tomar una decisión de diseño.

- Información de bajo nivel para que se pueda medir algún aspecto particular de la interfaz.

Page 59: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Información inmediata

Otro factor que distingue técnica de evaluación es la inmediata información que proporcionan.

Las técnicas inmediatas también pueden ser problemáticas, pues la manera en cómo se mida el proceso puede alterar los trabajos de los usuarios.

Page 60: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Recursos

Otra consideración es que cuando consideramos una técnica de evaluación es la disponibilidad de los recursos.

Los recursos a considerar son el equipo, tiempo, dinero, especialización del evaluador, contexto.

Algunas decisiones están forzadas por las limitaciones del recurso

Page 61: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Clasificación de las técnicas de evaluación Usando los factores vistos anteriormente, podemos clasificar las técnicas de evaluación.

Page 62: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Clasificación de las técnicas de evaluación(II)

Page 63: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Clasificación de las técnicas de evaluación(III)

Page 64: Técnicas de evaluación. Contenido :  Evaluación de utilidad y funcionalidad de un sistema interactivo  La evaluación puede tener lugar en:  El laboratorio.

Resumen

La evaluación es una parte íntegra del proceso de diseño y debe tener lugar a lo largo del ciclo de vida del diseño.

Su objetivo es probar la funcionalidad y utilidad del diseño e identificar y rectificar cualquier problema.

Por Antonio Bermejo Álvarez