Resumen de errores #4: pruebas de QA de apps móviles

Las pruebas de QA de aplicaciones móviles suelen preguntar si una función funciona. Lo que se les escapa es todo lo que la rodea: una señal perdida, una interrupción, un cliente que ya ha agotado su prueba gratuita. Esas condiciones produjeron casi todos los errores que encontramos en 14 productos el mes pasado.

Son situaciones del todo corrientes. La mayoría de las apps se topan con todas ellas a los pocos días de su lanzamiento. Aun así, un plan de pruebas suele dejar estos casos para el final, y muchos equipos nunca llegan tan lejos. Encontrar esos errores es lo que hacen cada semana nuestros ingenieros de pruebas de aplicaciones móviles.

Estos son los cuatro fallos que merecen su atención, y el producto que se llevó nuestro premio al error del mes.

Apps incluidas en este resumen:

Los otros siete productos que revisamos en agosto están en el archivo completo del bug crawl.

Anuncios que le dejan fuera cuando se va la señal

Apps: Isle Survival: Land Builder, Extreme Makeover: Home Edition (ambas iOS)
Gravedad: Crítica
Tipo: Publicidad y conectividad

Ambos juegos guardan un anuncio en vídeo en el teléfono con antelación para que se reproduzca con fluidez más tarde. Esa parte funcionaba, pero todo lo construido a su alrededor daba por hecho que internet seguiría ahí.

Nuestro tester puso Isle Survival en modo avión, pulsó Ver y se sentó a mirar el vídeo entero. La pantalla de la tienda que debía aparecer después no podía cargarse sin conexión, y tampoco apareció ningún botón de cerrar. No había forma de volver al juego. Un jugador que ve un anuncio de buena fe acaba atrapado detrás de él.

Extreme Makeover: Home Edition falló igual con un final distinto. Su anuncio guardado también se reprodujo sin conexión, y al volver al juego apareció una pantalla negra en la que nada respondía.

Los jugadores interpretan ambos casos como un fallo del juego y no de la red, y esa diferencia cuesta dinero. Quien culpa al producto lo desinstala, mientras que una señal caída suele perdonarse.

Qué comprobar por su parte: Pruebe todos los anuncios que puedan guardarse con antelación con la conexión apagada, y siga probando más allá del propio vídeo. La salida nunca debe depender de una pantalla que solo puede aparecer con internet funcionando. Cuando una recompensa realmente no pueda concederse sin conexión, oculte la oferta en lugar de dejar que un jugador gane algo que usted no puede entregarle.

Cómo se detecta: Pruebas exploratorias en hardware real, con alguien cortando deliberadamente la conexión en los momentos más inoportunos. Las suites automatizadas se ejecutan con una red sana y nunca se encuentran con esto. Nuestro trabajo de pruebas de juegos trata los anuncios como un área propia, no como una función que casualmente vive dentro del juego.

Resumen de errores de QAwerk #4: lo que se les escapa a las pruebas de QA de apps móviles

Apps que olvidan dónde lo dejó

Apps: SUN AI: Audiobook & Podcasts (Android), Grounds: Fitness App for Women (iOS)
Gravedad: De crítica a mayor
Tipo: Interrupciones y reanudación

Todos los teléfonos duermen las aplicaciones. Llega una llamada, alguien mira un mensaje, y su producto se queda quieto en segundo plano durante medio minuto. Lo que hace cuando la persona vuelve es una función, la haya diseñado alguien como tal o no.

SUN AI gestionó la interrupción de la peor manera. Nuestro tester cambió a otra cosa, volvió un instante después y se encontró una pantalla en blanco que no respondía a nada. La única solución era cerrarla por completo y empezar de nuevo.

Grounds falló de forma más suave. Nuestro tester inició un entrenamiento, abrió la página de detalles de un ejercicio, cambió de app brevemente y volvió a la lista general en su lugar.

Ninguno de los dos productos se dio cuenta de que había sido interrumpido, y ese es el hilo común. También explica por qué esto se escapa tan a menudo: una prueba escrita nunca recibe una llamada, así que nunca se le pide a la app que sobreviva a una.

Qué comprobar por su parte: Salga de todas las pantallas que contengan algo en curso, no solo de la pantalla de inicio. Espere unos minutos con otras apps abiertas, el tiempo suficiente para que el teléfono empiece a liberar la suya de la memoria. Luego compruebe tres cosas al volver: que la pantalla sigue donde la dejó, que cualquier número que estuviera contando es correcto, y que el audio o el vídeo están reproduciéndose o en pausa exactamente como la persona eligió.

Cómo se detecta: Pruebas de regresión que incorporen la interrupción a los casos de prueba existentes en lugar de tratarla como un ejercicio aparte. Estos fallos se concentran en las pantallas que sostienen algo en curso, así que ahí es donde debe ir el esfuerzo.

Cuando el cronómetro y la app no se ponen de acuerdo

Apps: Grounds: Fitness App for Women, January: AI Health Tracker (ambas iOS)
Gravedad: De crítica a mayor
Tipo: Cronometraje y seguimiento del progreso

Un número que sube promete que algo se está midiendo. Dos productos rompieron esa promesa en agosto, y ninguno dio forma alguna de notarlo.

January: AI Health Tracker produjo la versión más inquietante. Nuestro tester inició una grabación de voz, sonó una alarma y siguió hablando durante toda ella. El contador siguió corriendo todo el rato, lo que indicaba que la grabación iba bien, pero ni una sola palabra pronunciada durante esa alarma llegó a la transcripción final. La app informaba de un trabajo que había dejado de hacer en silencio.

Grounds tenía el problema más grave. A mitad de sesión, nuestro tester reordenó los ejercicios del entrenamiento. La marca que indicaba qué ejercicio ya estaba terminado se quedó en su posición antigua en lugar de moverse con él. Así, un movimiento que nadie había realizado aparecía como completado, mientras que el que sí se había hecho parecía intacto.

Esa app también mantuvo el cronómetro del entrenamiento en marcha mientras nuestro tester reordenaba la lista, de modo que el tiempo dedicado a organizar quedó registrado como tiempo de entrenamiento.

Para productos cuyo valor entero es un registro honesto de lo que usted hizo, este es el peor desenlace posible. Un número equivocado hace más daño que la ausencia de número, porque la gente actúa en consecuencia.

Qué comprobar por su parte: Interrumpa todo lo que mida tiempo o progreso. Abra otra pantalla, cambie a otra app, haga sonar una alarma, conteste una llamada. Luego compare lo que se informa con lo que realmente ocurrió, y asegúrese de que el cronómetro se detiene en el momento en que lo hace la actividad. Si el teléfono puede quitarle el micrófono sin avisar, su app tiene que darse cuenta y decirlo.

Cómo se detecta: Pruebas funcionales construidas en torno a interrupciones en lugar de ejecuciones limpias. Hace falta alguien dispuesto a arruinar deliberadamente su propio intento, que rara vez es como se escribe un plan de pruebas.

Pruebas gratuitas de las que el producto no sabe llevar la cuenta

Apps: OLY: Personal Fitness Coach (iOS)
Gravedad: Mayor
Tipo: Suscripciones y facturación

Este es el único error que encontramos en agosto que de verdad le quitó dinero a un cliente.

OLY mostró a nuestro tester un muro de pago con un botón que decía Empezar mi prueba gratuita de 7 días, y lo pulsó. Sin embargo, ya había usado su oferta introductoria, así que no quedaba ninguna prueba que darle. Confirmar la compra le cobró un año entero en su lugar. La pantalla prometía una cosa y el pago entregó otra. Nuestro resumen anterior encontró la misma brecha en las pruebas de compras dentro de la app, donde el dinero se cobró y no llegó nada.

Ese es exactamente el patrón que vigilan los reguladores estadounidenses. La FTC ha seguido persiguiendo casos de suscripciones con las competencias que ya tiene mientras reelabora la Negative Option Rule, y una de las denuncias se centra en un botón de prueba gratuita que terminó en un cargo. Un error aquí se parece exactamente a la práctica que se está persiguiendo. Ni el cliente que pagó ni el regulador que se entera pueden distinguir un accidente de un engaño deliberado.

El error en sí es bastante simple: el muro de pago de OLY estaba construido para un visitante primerizo y nunca preguntó con quién estaba hablando.

Qué comprobar por su parte: Pruebe todas las pantallas de suscripción como cliente que vuelve, no solo como cliente nuevo. Compruebe qué ofrece su muro de pago a alguien que ya ha tenido una prueba, y confirme que el cargo posterior coincide con la oferta en pantalla. Trate la promesa y el pago como dos hechos separados que hay que comparar.

Cómo se detecta: Probando la vida entera de una cuenta, usando los sistemas de pago de prueba de las tiendas y cuentas en distintas etapas de su historial. Nuestras pruebas de cumplimiento de la App Store cubren las reglas de plataforma a las que responden estas pantallas junto con las comerciales.

Pruebas de QA de apps móviles: qué añadir a su checklist

Cada punto de la lista siguiente procede de un error que encontramos en agosto. Pásesela a quien pruebe sus versiones.

Todos los anuncios guardados: reprodúzcalos con la conexión apagada y confirme que sigue habiendo una forma de volver a la app.
Todas las pantallas con algo en curso: salga de ellas durante varios minutos y confirme que la pantalla, los números y el audio vuelven correctamente.
Todos los contadores: interrúmpalos con una llamada, una alarma u otra pantalla, y compare lo que informan con lo que ocurrió.
Todos los muros de pago: véalos como alguien que ya ha usado una prueba, y compruebe que el cargo coincide con la oferta.
Todas las pantallas de carga: ábralas sin conexión y confirme que se explican en lugar de esperar eternamente.

Error del mes

Nuestra elección es Weglot, una plataforma de traducción. Las empresas la conectan a su sitio para que los visitantes puedan leer el contenido en su propio idioma. Entregar esa página traducida es la tarea central del producto, y los dos errores que encontramos significan que la app falla justo en eso.

El primero apareció en un sitio web de prueba que nuestro tester construyó con el plugin de Weglot conectado. El diseño de la página se rompía en cuanto cambiaba del idioma original a otro. Este nivel de fallo se consideró crítico porque echaba por tierra la promesa principal de la app al dañar la estructura del sitio.

El segundo tiene que ver con las correcciones escritas a mano. Weglot traduce un sitio automáticamente, y el propietario puede corregir manualmente lo que el software haya hecho mal. Nuestro tester hizo exactamente eso y luego indicó a la plataforma que dejara de usar la salida automática para que solo se mostrara la versión escrita a mano. Ninguna de esas correcciones apareció en el sitio web.

La mención de honor es para Isle Survival. Un jugador aguanta un anuncio entero, no puede volver al juego y tiene que cerrarlo. Muchos simplemente lo borrarán.

Nadie quiere enterarse de errores como estos por boca de un cliente. Cuéntenos cómo es su app y los encontraremos antes.

Preguntas frecuentes

¿Qué son las pruebas de QA de aplicaciones móviles?

Las pruebas de QA de aplicaciones móviles consisten en comprobar que el software se comporta correctamente en dispositivos reales antes de que lo usen los clientes. Cubren si las funciones funcionan, y también cómo se las arregla el producto cuando lo interrumpen, pierde señal o se encuentra con alguien que ya lo ha usado antes. Esas condiciones imprevistas causan los problemas más graves, porque rara vez aparecen en una ejecución de pruebas guionizada.

¿Por qué tantos errores de apps solo aparecen sin conexión?

Porque la mayoría de las pruebas se ejecutan con buena conexión, así que nadie llega a observar qué hace una app sin ella. Los productos se construyen para tener éxito, y normalmente gestionan bien una petición que falla del todo, pero pocos equipos deciden qué ocurre en el punto intermedio. Una pantalla espera eternamente, un botón no hace nada, o un anuncio guardado se reproduce mientras el resto de la app no puede cargar.

¿Pueden las pruebas automatizadas detectar errores de desconexión e interrupción?

Detectan algunos, no la mayoría. La automatización es buena confirmando que una función sigue funcionando y detectando diferencias entre versiones. Le cuesta con las sesiones interrumpidas, las conexiones ausentes y cualquier cosa que una persona tenga que juzgar a ojo. Eso necesita a alguien con un teléfono real en la mano, y por eso las pruebas exploratorias siguen formando parte de cualquier plan serio.

¿Quieres un bug crawl para tu app?

¡Solicítalo!

Pondremos a uno de nuestros ingenieros de QA a trabajar en ello y te enviaremos un informe detallado y reproducible con pruebas en vídeo.