¿Qué son la fiabilidad y la validez en la investigación de usuarios?
¿Cómo se puede juzgar la calidad de una investigación de usuario? ¿Cómo puede saber si los resultados son confiables?
Ahí es donde entran en juego la confiabilidad y la validez. En la investigación de usuarios, un estudio confiable es aquel en el que se obtienen resultados consistentes. Si volviera a formular su pregunta de investigación, obtendría la misma respuesta. Un estudio válido mide lo que pretendes medir. La respuesta tiene que ser creíble y realista.
Supongamos que está investigando el viaje de las personas al trabajo para que pueda crear una aplicación que facilite el viaje. Debe asegurarse de que su investigación describa adecuadamente los comportamientos de los viajeros para que cuando cree su aplicación y la lance a una gran audiencia, esas personas encuentren la aplicación útil porque sus comportamientos son similares a las personas que observó para su investigación. A eso nos referimos con datos fiables.
Si no vio una gama completa de comportamientos de los viajeros en su investigación, sus datos no serán confiables. También debe asegurarse de realizar su investigación de una manera que muestre los verdaderos comportamientos de las personas. Darles a las personas una encuesta puede no ser lo suficientemente bueno porque es posible que las personas no recuerden con precisión todo lo que sucedió durante su viaje.
Seguir a las personas en su viaje podría brindarle datos más realistas y válidos
Entonces, ¿cómo aumenta la confiabilidad y validez de sus estudios? Para mejorar la confiabilidad, necesita un grupo de usuarios claramente definido, un tamaño de muestra lo suficientemente grande, una buena forma de medir lo que le interesa y un buen acuerdo entre los diferentes investigadores.
En nuestro ejemplo de investigación de viajeros, puede decidir reducir su grupo de usuarios para centrarse en las personas que utilizan el transporte público, los autobuses y los trenes, en lugar de las personas que conducen sus propios automóviles. También puede limitar su grupo a personas que tienen boletos de temporada en lugar de viajeros ocasionales como los turistas.
Cuanto más reduzca su audiencia, más similar será ese grupo de personas y, por lo tanto, más fácil será describir sus comportamientos. Debe asegurarse de obtener buena información de un grupo lo suficientemente grande de personas para que las tendencias generales sean evidentes. Con un tamaño de muestra pequeño, es posible que vea un comportamiento extraño de un par de personas.
Cuantas más personas observe o entreviste, es menos probable que se vea influenciado por esos comportamientos individuales
Es posible que deba entrevistar u observar a 20 o más personas antes de creer realmente que obtuvo resultados consistentes. También mejorará la confiabilidad si todos los que van a observar o entrevistar están de acuerdo desde el principio con lo que está tratando de medir.
Para nuestra investigación sobre los viajeros, ¿estás tratando de describir todo lo que sucede en el viaje o solo las formas en que las personas lidiarán con el aburrimiento? Es más fácil hacer declaraciones coherentes sobre su grupo de usuarios si ha reducido la cantidad de comportamientos que le interesan. Y eso nos lleva al último de nuestros consejos de confiabilidad, la confiabilidad entre evaluadores, qué tan bien coinciden las investigaciones de diferentes observadores o entrevistadores. Esto puede hacerte sentir más seguro de que realmente has entendido un determinado comportamiento.
Si más de un observador ve el mismo comportamiento o los mismos temas en muchas sesiones, entonces es probable que esas cosas sean un indicador confiable de lo que la gente realmente hace en la situación que le interesa.
La validez aparente es un nombre que los investigadores dan a si el diseño de la investigación tiene sentido
- ¿La investigación está haciendo las preguntas correctas?
- ¿Es probable que pueda responder a las preguntas que está formulando?
- ¿Hay algún sesgo en el diseño del estudio?
- ¿Explicarán los resultados del estudio lo que sucedió, o puede haber otros factores que influyan en los resultados?
- Si planea usar estadísticas, ¿son las correctas y podrán mostrar un efecto si existe?
También puede escuchar términos como validez interna y externa, que son definiciones más formales de validez aparente.
En un entorno académico, haría que otros investigadores revisaran su estudio para ayudar a señalar cualquier problema potencial
Si estuviera realizando la investigación de viajeros en nuestro ejemplo, podría consultar con colegas de la empresa o con otros investigadores en su red para asegurarse de que el diseño de su investigación tenga validez aparente.
Una vez que esté ejecutando el estudio, también puede hacer preguntas a los participantes, como si esto se parecía a su viaje normal o si nos perdimos algo importante, para asegurarse de que va por buen camino. La validez ecológica es una medida de cuán realista fue su entorno de prueba en comparación con el lugar donde las personas normalmente realizan la tarea que le interesa.
Como puede imaginar, en nuestra investigación de viajeros, no sería muy válido desde el punto de vista ecológico llevar a las personas a un laboratorio de usabilidad para observarlas. Hay muchas cosas que suceden durante un viaje que no se pueden replicar en un laboratorio. Necesitarías abordar el autobús o el tren con alguien para ser más válido ecológicamente.
Incluso si sus colegas no conocen los términos confiabilidad y validez, probablemente reconocerán si realiza una investigación poco confiable o inválida, por lo que esto le brinda una excelente manera de pensar sobre cómo diseñar su investigación para que sea consistente y creíble.
