Fichas de lectura extra, Módulo de investigación T1 2016

De Casiopea




TítuloFichas de lectura extra, Módulo de investigación T1 2016
CarrerasDiseño, Diseño Gráfico
Alumno(s)Valentina Olivares


Nota: fichas de lectura realizadas pero que no necesariamente fueron utilizadas para el ensayo final de entrega.

Measuring the User Experience

Este libro presenta una introducción de cómo plantear las métricas en la experiencia de usuario, desde el ámbito de los negocios, plantea por qué son útiles y de qué formas podemos sacar provecho para desarrollar servicios y productos eficientes.


Título: Measuring the user experience,collecting, Analyzing, and Presenting Usability Metrics

Autor: Thomas Tullis

Capítulo: Cap. 1

Tipo de documento: Libro

Editorial: Morgan Kaufmann, de Elsevier

Año: 2013

Disponible en: http://store.elsevier.com/product.jsp?isbn=9780124157811&pagename=search


Sobre las métricas en UX

Capítulo 1

A metric is a way of measuring or evaluating a particular phenomenon or thing. 
 We can say something is longer, taller, or faster because we are able to measure
 or quantify some attribute of it, such as distance, height, or speed


Las métricas ux están basadas en un sistema confiable de medición, el usar el mismo conjunto de medidas cada vez que se mide algo es una forma de entregar resultados que puedan compararse.

Las métricas ux parten de una observación, ya sea directa o indirecta, todas las métricas deben ser cuantificables de alguna forma, todas las métricas ux requieren que lo que se está midiendo represente algún aspecto de la experiencia de usuario representada en un formato numérico.

Las métricas nos revelan sobre la experiencia de usuario, sobre la experiencia personal de la persona a la hora de utilizar un producto o servicio. También es interacción entre el usuario y el producto en algún tipo de aspecto, se definen tres:


  1. Efectividad, o el ser capaz de completar un objetivo o tarea.
  2. Eficiencia, la cantidad de tiempo requerido para completar este objetivo o tarea
  3. Satisfacción, el factor emocional del usuario con la experiencia final, desde el desempeño del objetivo o tarea.


Another difference between UX metrics and other metrics is that they measure something 
about people and their behavior or attitudes. Because people are amazingly diverse and 
adaptable, we sometimes encounter challenges in our UX metrics.


Se discuten los intervalos de confianza entre métricas, según la variabilidad de los datos. Y cuáles se consideran relevantes y menos relevantes en un contexto de experiencia de usuario.


UX metrics are not an end unto themselves; rather, they are a means to help you reach 
an informed decision. UX metrics provide answers to questions that are critical to your
organization and that can’t be answered by other means.


La métrica va siempre de la mano con una experiencia y no con una preferencia o actitud. Existen métricas que son cuantificables y reflejan algún tipo de comportamiento pero no están basadas en reflejar la variabilidad de los datos, la métrica debe informar algún tipo de decisión ya que provee de información que puede ser utilizada como respuesta a preguntas críticas dentro de una organización.


Sobre el valor de la métrica

El medir la experiencia de usuario ofrece mucho más que una observación, la métrica ofrece estructura al diseño y al proceso de evaluación, da información sobre nuevos hallazgos, y proveen de información a los que toman desiciones ( más allá de los diseñadores)


UX metrics offer a way to estimate the number of users likely to experience this problem.
Knowing the magnitude of the problem could mean the difference between delaying a major 
product launch and simply adding an additional item to the bug list with a low priority.
Without UX metrics, the magnitude of the problem is just a guess.


Durante una prueba de usabilidad es fácil encontrar problemas más obvios, el problema surge a la hora de estimar el tamaño o magnitud de los errores. Las métricas ux son una forma de estimar el número de usuarios que pueden experimentar estos problemas, al tener conocimiento de la magnitud del problema se puede llevar un conteo o priorizar los problemas más importantes dentro de un producto o servicio.


UX metrics are the only way to really know if the desired improvements have been realized.
By measuring and comparing the current with a new,
“improved” product and evaluating the potential improvement, you create a win–win situation.


Se habla sobre el control de la métrica sobre los cambios de diseño y cómo estas reflejan si estos han sido eficientes o no. Se pueden dar tres resultados:

  1. La primera versión es mejor que el producto actual (deseado)
  1. La versión nueva es peor que la versión actual
  1. No existir diferencia entre el producto actual y el nuevo. El impacto de la experiencia de usuario no afecta el éxito o fracaso del producto nuevo.


Las métricas ux también son útiles a la hora de medir el ROI' (Return of Investment) es parte de el modelo de negocio estar al tanto de cuánto dinero se ha ahorrado a partir de un producto nuevo o una mejora, y comparar entre los resultados que entrega una versión antigua sobre una nueva y mejorada.


UX metrics help you gain new insights and lead toward a better understanding of user behavior.


Las métricas ux pueden revelar patrones que son difíciles o imposibles de visualizar, evaluando un producto con una pequeña muestra (sin recolectar métricas) normalmente muestra los problemas obvios. Mientras que los problemas más sutiles requieren de números, ya que pueden afectar la experiencia de usuario de forma circunstancial y entorpecer el proceso.

Measuring the User Experience

Este libro presenta una introducción de cómo plantear las métricas en la experiencia de usuario, desde el ámbito de los negocios, plantea por qué son útiles y de qué formas podemos sacar provecho para desarrollar servicios y productos eficientes.


Capítulo 11

Conceptos clave para surgir trabajando con datos

Visualizar los datos, la forma en que se presentan a los demás


Make the data come alive for your stakeholders


Entregar los datos visualizados a quienes toman desiciones dentro de un negocio, para influenciar en la forma en que se toman desiciones. Otra forma es invitar directamente a observar pruebas de usabilidad, integrándolas como forma de trabajo. El estar presente y ser capaz de observar patrones que se repiten en diferentes participantes deja muy pocas dudas a la hora de realizar cambios en el diseño de un producto o servicio.

Otra forma es la audiovisual, mostrar clips ilustrando los problemas de usabilidad de algunos participantes que se enfrenten al mismo problema. Cada uno en su contexto adecuado y con la información del participante (informando a una persona, o tipo de usuario)

Otra forma es presentando las métricas ux y relacionarlas con el ROI (Return of investment)


Captar información constantemente

incorporar métricas en pruebas de rutina, categorizando los tipos de problemas y la severidad de estos, es decir clasificando los datos para poder llevar rastro de ellos. Una práctica que se promueve es el captar información sobre SUS (system usability scale) al finalizar una sesión de usabilidad, para probar su efectividad. El tener una medida cuantitativa lleva a mostrar tendencias en el tiempo, una vez que se trabaje con las métricas básicas se pueden considerar nuevas como las de eficiencia, u otras como las expectativas de los usuarios, etc.


Planificar

Siempre tener certeza sobre qué se quiere estudiar para captar cierto tipo de métrica. Siempre se debe especificar, además de planificar cómo capturar y analizar los datos.


Every metric and evaluation method requires its own unique set of plans. 
The best way to build your checklist is through experience.


El tener en cuanta cómo tratar los datos puede significar un ahorro de tiempo, una buena práctica es realizar pruebas piloto manteniéndolas lo más realista posible, permitiendo que surjan cualquier tipo de problema.


Benchmarking, o estudios comparativos

Las métricas ux son relativas, no existe un estándar sobre lo que significa una “buena experiencia de usuario” y una “mala experiencia ux” Por esta razón es necesario hacer estudios comparativos de la experiencia de usuario de un producto. Se deben determinar qué métricas se van a captar en el tiempo, es aconsejable captar en tres áreas sobre tres aspectos que denotan la ux: efectividad, eficiencia y satisfacción. Luego se debe establecer la estrategia para coleccionar estas métricas, lo que incluye la transición en el tiempo entre métricas y cómo van a ser analizadas y presentadas. Finalmente, se identifica el tipo de participantes que se requieren para hacer el estudio comparativo.


Running a competitive user experience study will put your data into perspective. 
What might seem like a high satisfaction score for your product might not be quite
as impressive when compared to the competition 


Explorar los datos

Esto significa apropiarse de los datos y buscar patrones o tendencias que no son obvias. Lo primero que hay que considerar es que el conjunto de datos esté “limpio” , considerar respuestas inconsistentes y remover los valores extremos. Procurar tener variables organizadas y bien catalogadas para poder tener un buen registro de estas y poder generar nuevas variables a partir de las antiguas.

Otra forma de explorar los datos es visualizarlos de diferentes maneras, otra es buscar diferentes fuentes de datos que le de credibilidad a los que ya se tienen y puedan ser presentados como argumento.


Relacionarse con el lenguaje de ventas y negocios

Adoptar la perspectiva de negocios, ya sea en ventas, mercado, etc para demostrar dominio y confianza en la estrategia que se va a presentar.

Simplificar la forma en que se presentan los datos

las metas de quién presenta deben ser las mismas de las de la audiencia a la que se busca convencer. Al equipo de proyectos; al arquitecto de información, al diseñador liderando, al editor, desarrollador, al manager de productos, etc. Quienes están preocupados en las debilidades del diseño y cómo mejorarlas.


When presenting results, it’s important to keep the message as simple as possible.
Avoid jargon, focus on the key message, and keep the data simple and straightforward



Escoger las métricas adecuadas para la experiencia de usuario

Título: Choosing the Right Metrics for User Experience

Autor: Pamela Pavliscak

Tipo de documento: columna

Año:2014

Revista: UX matters (on line)

Disponible en: http://www.uxmatters.com/mt/archives/2014/06/choosing-the-right-metrics-for-user-experience.php


Esta columna planteada desde la experiencia de un profesional ux, contempla el uso de métricas en diferentes estrategias para mejorar experiencias on line. Observando el estado de las métricas en algunos negocios y generalizando en 3 tipos de métricas mayores para ux, cómo identificarlas, llevar registro de estas y cómo integrarlas en las herramientas de medidas que utilizan algunas organizaciones (frameworks)


Se plantea la métrica como una señal evaluativa de una estrategia UX, la cual se considera clave para llevar registro sobre cambios en el tiempo en un proyecto. ¿Cómo definir una métrica para la experiencia de usuario? 3 tipos, como llevar registro, y cómo integrarlas a una herramienta de medición en un negocio o servicio.


Señales:

muchas de las señales que son fáciles de resgistrar no entregan la información deseada sobre la experiencia de los usuarios en una plataforma. ej: visitas, engagement, numero de usuarios. Son fáciles de registrar y entregan una buena base para diagnosticar el rendimiento de un sitio web, pero su utilidad disminuye a la hora de evaluar el impacto que han producido cambios recientes en un sitio web (conducidos por el diseño ux).Estas métricas son muy generales y no se relacionan directamente con la calidad de la experiencia de usuario o las metas del proyecto.


Muchas de las métricas están orientadas al marketing y no a la experiencia, pues no revelan mucho sobre la experiencia de las personas a la hora de utilizar un sitio u aplicación. En general las metricas ux se focalizan en la facilidad de uso, las más comunes son medidas de rendimiento, como tiempo de tarea, porcentaje de éxito, o los errores de los usuarios. Son medidas objetivas que llevan registro de lo que las personas hacen', aunque el porcentaje de éxito puede ser un tanto subjetivo, dependiendo de cómo se mida.

Existen medidas subjetivas como SUS (System Usability Scale) o medida de satisfacción o facilidad de uso en escalas sirven para medir la percepción de las experiencias luego de. Muchas veces se capturan métricas subjetivas y objetivas para obtener una visión más clara sobre la usabilidad de un servicio.


However, many organizations either do not quantify study data at all or track it inconsistently, 
usually because studies relate to a particular problem or are just exploratory and the study size is small.
So they typically capture usability metrics like these only once in a while, if at all.


Archivo:Marketing vs ux.png
comparación entre métricas











"User experience is about more than just ease of use, of course. It is about motivations, attitudes, expectations, behavioral patterns, and constraints. It is about the types of interactions people have, how they feel about an experience, and what actions they expect to take"


Muchas métricas miden lo que las personas hicieron o dicen, aunque parezcan un poco abstractas. Las métricas de marketing se focalizan en la adquisición de clientes, es decir en capturar la atención de éstos y cerrar el trato.

El objetivo de las métricas UX debe ser atraer a las personas, dentro de un contexto y conexiones.

Sobre el contexto: se puede inferir un contexto desde las analíticas ya existentes, para comprender el cómo y el por qué a través de investigación de usuarios creando personas y mapas de experiencia. Si se lleva rastro de cosas como relaciones entre interacciones y los diferentes objetivos y comportamiento que se asocia a algunos usuarios que comienzan desde diferentes canales.

Sobre las conexiones: para llenar el vacío entre lo que sucede y por qué, las métricas de ux pueden complementar los descubrimientos que surgen durante el proceso de desarrollo y lo que se rastrea una vez que el proyecto está terminado o en proceso de “lanzamiento”

Las organizaciones están cada vez más de acuerdo con el conectar y compartir datos desde estudios cualitativos y cuantitativos, servicio al cliente, y sitios de analíticas. Pero sin las métricas, es difícil comprender los cambios o el efecto de estos en el tiempo.


3 métricas importantes


Focalizarse en los valores de negocio no necesariamente significa una mejor experiencia de usuario. Pero las métricas de ux pueden complementar las que utilizan las compañías, utilizando analytics.

Se mencionan 3 métricas que se relacionan con el éxito deuna experiencia de usuario: usabilidad, engagement (compromiso) y conversión.


Archivo:3metricasux.png
comparación entre métricas









Usabilidad: Se centran en qué tan fácil es que las personas cumplan con lo que se les ha pedido (objetivos o tareas) en un contexto de una plataforma. Se incluyen las métricas que ya han sido rastreadas, como tiempo de tarea, la tasa de éxito de la tarea y facilidad de uso del sistema. También puede incluir otras como reconocimiento de iconos, o búsqueday navegación. además incluye patrones de interacción o flujos de eventos (stream events) que pueden mostrar confusión, frustración o duda por parte del usuario.

Engagement: Es el grado de interacción de un usuario con un servicio o marca, desde el área de ux se puede contribuir informando cuántas personas interactúan con un sitio o app, cuánta atención le dedican, cuánto tiempo están en algún estado de flujo y que tan bien se sienten sobre este.Es decir, combinarlo con aproximaciones cualitativas.

Conversión: En marketing, conversión es la acción de convertir las visitas de un sitio en clientes. su uso puede significar el enfoque hacia un pequeño porcentaje de usuarios que están dispuestos a comprometerse a expensas de otras personas que recién están tomando conciencia de un sitio, o pensando en aumentar su compromiso (engagement) con él.

The metrics in this category can help us to spot trends and get past the So what? 
question that applies to all data. The big metrics give us the big picture,
showing how a site or application changes over time and how it lives in the world 
or the broader context of other experiences.


The right signals for user experience are usually a combination of interactions and perceptions.
Interactions are what people actually do, including clicking, scrolling, and filling out a form.
Perceptions are what people think about a user experience and how they feel about it.
And if you track interactions and perceptions together, they become more meaningful.


Métricas ux en organizaciones

existen 3 métricas básicas que se pueden mapear a los KPIs que las organizaciones ya registran,cabe mencionar que muchas organizaciones no tienen métricas para usabilidad.

  1. métricas descriptivas (cuentan lo que sucedió)
  2. métricas de percepción (se centra en la percepción de los clientes de los hechos)
  3. métricas de resultados (lo que los clientes hicieron o esperaron basándose en sus percepciones)


Sobre el framework de google HEART

Título: Google’s HEART Framework for Measuring #UX

Autor: Nick Kellingley

Tipo de documento: columna

Año:--

Sitio web: Interaction design foundation

Disponible en: https://www.interaction-design.org/literature/article/google-s-heart-framework-for-measuring-ux


Diseñado por un equipo de investigación en google: Kerry Rodden, Hilary Hutchinson y Xin Fu.


La finalidad es entregar una serie de métricas centradas en el usuario que permiten medir la experiencia de usuario a gran escala, estas métricas pueden ser utilizadas para informar desiciones en el proceso de desarrollo de un producto. Existen 5 métricas a medir en el framework:


Felicidad: Mide las actitudes del usuario, coleccionadas comúnmente por encuesta (satisfaccion, facilidad de uso, net promoter score), medida de actitud o satisfacción.


You’re most likely to record satisfaction on large scale projects through
some sort of user survey.
An example cited in the report shows that change can impinge on happiness and 
that an initial drop in happiness following a change does not necessarily have
long-term implications.


Engagement/ compromiso:nivel de desenvolvimiento del usuario, medido por proxies de comportamiento como frecuencia, intensidad, o profundiad de la interacción en “x” tiempo. (numero de visitas en x tiempo). Las medidas en esta categoría pueden examinar la regularidad de uso, la intensidad y sobretodo, el nivel de interacción en x tiempo. Las métricas adecuadas pueden variar de producto en producto.


Adopción: nuevos usuarios de un producto o feature. Es definida como el numero de nuevos usuarios sobre x tiempo. Es una medida del éxito a la hora de atraer nuevos negocios. Puede ser discutida como una medida orientada a la experiencia de clientes,marketing y a las ventas, sin embargo es posible que en un corto periodo de tiempo la inversión en ventas y marketing puedan alcanzar problemas de UX. Es necesario ser cauto a la hora de medir el uso.


Retención:a escala en que los usuarios regresan. Se trata de mantener a los usuarios existentes por una x cantidad de tiempo. Que puede ser una cantidad indefinida de tiempo para productos con utilidad a largo plazo. Algunas escalas de tiempo son: semana, mes, un cuarto, un año, todas con intervalos que pueden justificarse como relevantes para un negocio.

Las metricas de adoption & retention se vuelven valiosas cuando hay nuevos lanzamientos de productos o se llevan a cabo cambios sustanciales en estos.


Task Success: Incluye las metricas de ux de comportamiento. Se puede descomponer en el tiempo que requiere cada tarea o el porcentaje de finalización de una tarea específica una vez que se ha comenzado.

El equipo de google notó que mientras las herramientas a pequeña escala tenían como lugar en común, el medir la experiencia a gran escala a través de medios automatizados no tenia marco ni lugar.

Además que el framework está orientado a este tipo de medición. Sin embargo, los principios son igualmente útiles a pequeña escala, aunque las metodologías utilizadas para derivar medidas a una pequeña escala tienen más probabilidades de ser diferentes de manera sustancial.

The HEART framework is a useful framework because it’s simple and easy to understand. 
That makes communicating the reasons for selecting it easy across teams. 
While the framework may be designed for large projects; there’s nothing to stop it 
being implemented on smaller projects either – it’s just that the methods used for
data collection are likely to vary.


Cómo elegir las métricas adecuadas para el diseño de un producto

Título: How to choose the right UX metrics for your product

Autor: Kerry Rodden

Tipo de documento: columna

Año: 2015

Sitio web: Medium

Disponible en: https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be#.a0bw59pyr


En esta columna habla una de las investigadoras y creadoras del framework. El grupo de investigadores sobre información cuantitativa, pensando una herramienta de medición a gran escala como otro método más de investigación de usuarios. Ideando métodos que pueden ayudar a elegir y definir las métricas apropiadas que reflejen:

  1. The quality of user experience (the HEART framework)
  2. The goals of your product or project (the Goals-Signals-Metrics process)

¿Por qué medir la adopción o retención cuando se puede contar con nuevos usuarios? es necesario tener cuenta de la cantidad en los últimos meses


  • Felicidad: mide las actitudes del usuario, recolectadas de forma normal via encuesta.

For example: satisfacción, facilidad de uso percibida, net-promoter score.

  • Engagement: nivel de interacción y relevancia, exiten proxys que miden la frecuencia, intensidad o el fondo de la interacción en un espacio de tiempo.
  • Adopción: Nuevos usuarios de un producto o característica de un producto.
  • Retención: la velocidad en que los usuarios existentes regresan a un sitio, la falla a la hora de retener se denomina como pérdida de clientes.
  • Tiempo de la tarea: Incluye métricas de comportamiento en experiencia de usuario, como eficiencia, efectividad y la tasa de error.

estas métricas pueden ser aplicadas a diferentes niveles, desde el producto completo hasta a algunas características. No necesariamente se deben crear métricas en cada categoría, se deben escoger las que son primordiales para el proyecto en particular en el que se trabaja.

Se ha aplicado el framework a un rango amplio de proyectos en google y se ha descubierto su utilidad a la hora de focalizar discusiones en equipos. El acrónimo lo hace memorable, es es fácil de facilitar en una discusión informal, escribiendo las categorías en la pizarra.


¿Cómo se obtienen del proceso de las categorías del HEART, es decir, métricas que de verdad se puedan implementar y llevar rastro?

Pensar en métricas que sean útiles para todos en el equipo de trabajo,para identificarlas es necesario identificar objetivos, para poder elegir métricas que sirvan para medir el progreso en cuánto a estos objetivos.

Puede ser difícil articular metas, por lo que se definen según el objetivo, dentro de cada categoría en el framework. Existe una cantidad de señales potencialmente útiles en cada objetivo particular. Una vez generados, es necesario pausar y realizar un análisis para ayudar a tomar desiciones.

primero: qué tan difícil es llevar rastro de cada señal? si el producto está dotado de instrumentos para registrar las acciones relevantes? o podría estarlo? ¿Podría desplegar una encuesta incluida en el producto de forma regular?

Si se tiene interés en las métricas de éxito de objetivos, una de las nociones es utilizar objetivos asignados en un estudio de benchmark, que se puede realizar a larga escala.

Segundo: se deben elegir señales que se esperan sensibles ante cambios en el diseño.Si ya se está coleccionando señales potencialmente útiles se pueden analizar datos, y tratar de comprender qué señales suelen ser las mejores predictoras del objetivo asociado.


Una vez que se escogieron las señales, se pueden refinar en métricas que se puedan rastrear en el tiempo o comparar en el tiempo como los A/B test. En este punto, las especificaciones dependen mucho en la infraestructura particular.

El proceso de metas -> señales -> métricas puede conllevar al priorizar de manera natural un set de varias métricas. sobretodo las relacionadas con los objetivos más altos.


If you want your product’s design to be informed by large-scale data,
it really helps to have metrics that reflect the quality of the user experience,
and that map closely to your main goals.


generar datos a través de pruebas de Usabilidad para mejorar la experiencia de usuario

Título: 6 Test de usabilidad fundamentales para asegurar la experiencia de usuario

Autor: Maximiliano Martin

Tipo de documento: columna

Año: 2015

Sitio web: IDA.cl

Disponible en: http://www.ida.cl/blog/estrategia-digital/test-usabilidad-fundamentales-asegurar-experiencia-usuario/


La prueba de usabilidad como herramienta para captar información directamente de la experiencia de los usuarios "Al ser el eje que orienta nuestro trabajo, la experiencia de usuario es el principio y fin de todos los proyectos que desarrollamos"

antes de definir un tipo de test de usabilidad a utilizar, se deben definir los objetivos que llevarán a cabo los usuarios en tu sitio y la acción asociada a este fin.Luego escoges las herramientas que usarás para probar esta acción, percatando la facilidad que tenga un usuario real o simulado en completarla.

Para orientar mejor tu decisión existen cuatro categorías generales de estudios de usabilidad:

  • Uso pauteado del producto: Cuentan con un moderador que impone un listado de tareas a realizar, monitoreando cada acción realizada por el usuario.
  • Uso descontextualizado del producto: Aplica la misma dinámica anterior, esta vez sobre maquetas interactivas que no corresponden al producto final.
  • Uso natural: Se realiza en la plataforma final, con usuarios reales y sin una pauta establecida de acciones.
  • Híbridos: Combinan de forma creativa cualquiera de las pruebas antes descritas.

Una forma de comparar los resultados es aplicar varios métodos complementarios y contrastar los resultados con métricas generadas por la versión online de la plataforma si esta existe. Si se integran elementos de la analítica web se obtiene información importante sobre aspectos que pueden servir como base para hipótesis de trabajo.


  1. Entrevistas y encuestas: encuestas o entrevistas semiestructuradas realizadas a usuarios de un sitio o al público objetivo de la marca a la que pertenece la plataforma.
  2. Pruebas moderadas: Conjunto de tareas encomendadas a un usuario para completar en una plataforma digital.
  3. Card sorting: Ejercicio de ordenación de las categorías de contenido de un sitio, realizado junto a los involucrados en la gestión del proyecto.
  4. Pruebas beta: Acceso a un grupo de usuarios a una plataforma en las etapas finales del desarrollo.
  5. A/B test: Pruebas de dos interfaces con leves diferencias, que son cargadas en el sitio de forma aleatoria a cada visita.
  6. Evaluaciones heurísticas: análisis experto de todos los elementos de usabilidad de un sitio.