Dejad al robot el usuario medio: la investigación UX se gana en los días malos

Artículo original en inglés: Let AI have the average user: Why User Research should focus on bad days, de Kai Wong en UX Collective.

Ningún ingeniero calcula un puente para un martes tranquilo

Un puente no se diseña para el tráfico de un martes a las once de la mañana. Se diseña para la riada del siglo, para el camión que supera el peso permitido, para el viento racheado que solo sopla tres días al año. Los ingenieros llaman a eso coeficiente de seguridad y es, en el fondo, la aceptación de que el promedio no derriba nada: lo que tumba estructuras son los extremos. Kai Wong propone en UX Collective aplicar exactamente esa lógica a la investigación de usuarios, y su argumento llega en el momento oportuno, justo después de que Nielsen Norman Group publicase los resultados de un experimento con usuarios sintéticos que merece leerse con calma.

La prueba de NN/g es sencilla y por eso convincente. Rachel Banawa recuperó una pregunta abierta de una encuesta anterior en la que 604 profesionales del diseño y la tecnología habían nombrado el campo que mejor describe el trabajo de convertir necesidades de personas en recomendaciones de producto. Después le hizo la misma pregunta a 120 encuestados sintéticos generados con la plataforma Synthetic Users. El veredicto global coincidió: UX sigue siendo el término dominante. Pero debajo del titular había una grieta enorme.

Cincuenta etiquetas humanas, una docena de etiquetas de silicio

Los humanos produjeron más de cincuenta etiquetas distintas para describir su oficio. Los sintéticos repitieron una docena. Y lo hicieron, además, con respuestas más largas: el formato de entrevista simulada les daba más espacio para hablar y aun así decían menos cosas diferentes. El 84 % de los sintéticos usó términos relacionados con UX frente al 70 % de los humanos; entre los jefes de producto, el 93 % de los sintéticos tiró del vocabulario UX, frente al 44 % de los reales. La máquina no inventaba opiniones nuevas: amplificaba la mayoritaria.

NN/g llama a este fenómeno mode collapse, colapso de modo, y es una vieja conocida de quien haya trabajado con modelos generativos: el sistema aprende a devolver la respuesta más probable y, por el camino, aplana la distribución. Lo que desaparece no es el consenso sino la varianza. Y la varianza, en investigación de usuarios, no es ruido estadístico. Es el producto.

Un usuario sintético es un promedio que habla con mucha seguridad. Nunca ha tenido un mal día.

Dos clases de promedio, y las dos salen baratas

Wong lo formula con una idea que conviene subrayar: la investigación sintética te da dos tipos de promedio. El usuario medio y el día medio. Te cuenta qué haría una persona típica en una sesión típica, con buena conexión, tiempo de sobra y la cabeza despejada. Eso tiene valor. Si una herramienta puede entregarlo en una tarde por el precio de una suscripción, celebrémoslo y dejemos de pagar a personas reales por confirmar lo obvio.

El problema es que casi ninguna decisión de diseño importante se juega en el día medio. Se juega el día en que la usuaria intenta bloquear una tarjeta robada desde el móvil de una amiga, con el 3 % de batería y sin recordar la contraseña. Se juega el día en que alguien rellena el formulario de baja de un seguro de vida porque la persona asegurada acaba de morir. Se juega en la madrugada en que un padre busca en la web del hospital el teléfono de urgencias pediátricas y encuentra un carrusel de valores corporativos. Esos días no aparecen en el promedio porque, por definición, son raros. Y por definición, son los que deciden si tu producto es confiable o un adorno.

La arqueología del desastre: qué huellas deja un mal día

Lo interesante del planteamiento de Wong es que los días malos no hay que imaginarlos; dejan evidencia. Dejan tickets de soporte escritos en mayúsculas, llamadas al contact center a horas extrañas, sesiones grabadas con veinte clics furiosos sobre un botón que no responde, reseñas de una estrella con faltas de ortografía de quien escribe con el pulgar y la adrenalina. Esa huella es el equivalente a las marcas que una crecida deja en los pilares de un puente: te dice hasta dónde llegó la presión real, no la teórica.

Un usuario sintético no puede reproducir eso porque no tiene nada que perder. No le vence el plazo, no le llama su madre a mitad de la tarea, no está en un país cuyo idioma no domina intentando entender qué significa “introduce tu NIE”. Puede imitar la frustración si se lo pides, pero lo hará con la frustración promedio de internet, no con la suya. El investigador humano, en cambio, puede sentarse con la persona que vivió el mal día y preguntarle qué sintió en el segundo tres, por qué abandonó, qué hubiera necesitado leer. Eso no se sintetiza. Se gana a pulso.

Repartir el trabajo sin perder el oficio

La tentación, en muchas empresas, será leer el estudio de NN/g al revés: “la conclusión general coincidió, luego podemos sustituir”. Es la lectura perezosa y la más peligrosa. La propia Banawa advierte que la coincidencia en el titular no demuestra que los sintéticos vayan a representar las perspectivas minoritarias que podrían importar en un estudio concreto, y remata con una frase que debería colgarse en cada sala de reuniones: la investigación con usuarios sintéticos sigue sin ser investigación de usuarios, porque no se está estudiando a ningún usuario real.

La división razonable es la que propone Wong. Que la IA se quede con el usuario medio: hipótesis rápidas, comprobación de patrones amplios, primer borrador de una encuesta, el “qué dirá la mayoría” que antes exigía dos semanas de reclutamiento. Y que el presupuesto humano, el escaso, se concentre en los bordes: usuarios en crisis, contextos adversos, accesibilidad, personas mayores, migrantes, clientes a punto de irse. No es una renuncia. Es una reasignación de recursos hacia donde el retorno es mayor, porque un producto que funciona en el peor día funciona también en el martes tranquilo, y lo contrario no es verdad.

El coeficiente de seguridad de un buen producto

Hay una ironía que cierra el círculo. Durante años, la investigación de usuarios tuvo que justificar su existencia frente a quienes la consideraban cara y lenta. Ahora una máquina puede hacer gratis la parte que la hacía parecer prescindible, y eso, lejos de amenazarla, deja a la vista para qué servía realmente. El valor nunca estuvo en saber qué piensa la mayoría. Estuvo en encontrar a la persona que no encaja y descubrir que su problema era también el nuestro, solo que todavía no lo habíamos visto.

Así que la pregunta que un equipo debería hacerse ante cada plan de investigación ya no es “¿cuántos usuarios entrevistamos?” sino “¿para qué riada estamos calculando?”. Si la respuesta es un martes soleado, que lo haga el modelo. Si la respuesta es la tormenta, hay que salir a mojarse. Ahí sigue estando el oficio.