Evolv

Introducción

Evolv potencia a las empresas a través de su plataforma SaaS impulsada por la AI y diseñada para lanzar múltiples experimentos de UX que van mucho más allá de las pruebas A/B tradicionales. Evolv ayuda a sus clientes a aumentar significativamente las métricas clave, como las tasas de conversión, introduciendo las mejoras de UX adecuadas en sus sitios web o aplicaciones. Evolv comenzó en 2019 y es el resultado de una escisión tecnológica de Sentient Technologies que pasó la mayor parte de la década como una empresa de investigación y desarrollo de AI. Ese equipo incubó algunos algoritmos innovadores, que ahora se incluyen como un bloque de construcción en la plataforma de optimización impulsada por la AI de Evolv. Inicialmente, prestábamos nuestro servicio a Sentient Technologies; después de que Sentient vendiera la mayor parte de su negocio a Cognizant, Evolv se estableció a partir de la propiedad intelectual de la ofertante, anteriormente llamada Sentient Ascend.

Una plataforma con una lógica de negocio tan amplia requiere una arquitectura compleja y única con múltiples módulos. Para garantizar que la plataforma siga siendo fiable y operativa, Evolv sigue invirtiendo en pruebas de software y garantía de calidad de forma continuada, y confía a QAwerk la ayuda en esta importante misión.

La solución de optimización del crecimiento digital de Evolv permite a las marcas capitalizar las tendencias cambiantes y las preferencias de los clientes utilizando una investigación probada de mejora de la UX. Ayudan a los clientes a analizar su actual estrategia de experiencia digital del cliente, a generar nuevas ideas a explorar y a aprovechar su software de AI patentado para determinar rápidamente las experiencias ganadoras y dirigir el tráfico hacia ellas en tiempo real.

Supongamos que el propietario de un negocio quiere que más personas utilicen un lead magnet en una página de servicios. Sin embargo, buscar opciones para optimizar el recorrido del usuario en esa página con las pruebas A/B convencionales consume demasiados recursos, tanto económicos como de tiempo. Evolv permite probar varios candidatos de UX simultáneamente, excluyendo automáticamente las opciones de menor rendimiento. Además, cuenta con una segunda fase de experimentos de UX –EVO–, en la que se combinan variantes de diferentes variables en base a los algoritmos de aprendizaje automático de la plataforma. Como resultado, al tener todos los informes estadísticos a mano, el propietario de la empresa sabrá exactamente qué cambios de UX debe implementar para lograr su objetivo de optimización.

Desafío

Al principio, nos resultaba difícil realizar pruebas exhaustivas sin conocer completamente la lógica de negocio de la plataforma y su alcance. En aquel entonces, solo teníamos unos pocos casos de prueba para empezar, y trabajábamos con una versión antigua de la aplicación web de Evolv. Más tarde, empezamos a probar su nueva aplicación de escritorio –Web Editor–, diseñada para desarrollar mejoras de UX para los sitios web de los clientes, y una aplicación web –Manager–, diseñada para lanzar y gestionar las pruebas basadas en la AI, así como para ver todas las estadísticas relevantes de los experimentos. Uno de nuestros mayores retos fue validar que la prueba A/B está diseñada correctamente, que el experimento de UX iba como se esperaba y que la aplicación Manager mostraba informes precisos.

Todos los servicios de control de calidad que ofrecemos para Evolv pueden agruparse en las siguientes categorías:

• Probar las mejoras de UX para los experimentos realizados por los clientes de Evolv: ofrecer soluciones de UX personalizadas para cada visitante y cliente es un componente esencial de la estrategia de crecimiento digital de Evolv. Nuestra tarea en esta parte es asegurarnos de que todos los cambios de UX sugeridos para la optimización del crecimiento digital se apliquen correctamente.
• Pruebas de lanzamientos de productos + pruebas de regresión: Evolv lanza actualizaciones de software cada mes, por lo que regularmente probamos nuevas características, correcciones de errores, y realizamos pruebas de regresión de la funcionalidad principal para mantener la plataforma funcionando 24/7.
• Pruebas automatizadas: nuestro mayor reto en este ámbito es automatizar las pruebas de regresión y de humo para que puedan ejecutarse en lo canales de integración y distribución continuas (CI/CD). También nos esforzamos por crear pruebas que sean fáciles de mantener y de reutilizar centrándonos especialmente en la automatización de pruebas sin código.

Solución

Los obstáculos a los que nos enfrentamos en la fase inicial de pruebas se resolvieron rápidamente gracias a la estrecha colaboración con el equipo de Evolv y a la exhaustiva documentación. Mientras escribíamos casos de prueba en CucumberStudio, el equipo de Evolv preparó documentos de depuración para que pudiéramos entender mejor la lógica de la plataforma. Cuando Evolv pasó a una nueva plataforma, nos resultó más fácil probarla porque participamos en cada paso de su desarrollo, por lo que conocíamos muy bien la arquitectura y toda la lógica que había detrás.

Hasta ahora, hemos terminado un conjunto de casos de prueba de regresión que cubren la funcionalidad principal de la plataforma. Realizamos pruebas de regresión para cada versión y hemo conseguido acelerar este proceso de 3-4 días a 2.

También estamos entusiasmados con la ampliación de nuestros servicios al ámbito de las pruebas automatizadas, lo que reduce significativamente el tiempo que nuestro equipo de QAwerk dedica a la comprobación de la funcionalidad principal en cada nueva compilación. Al implementar las pruebas automatizadas, los ingenieros de control de calidad a menudo tienen que lidiar con el hecho de tener que editar el código continuamente o reescribirlo por completo para conseguir que las pruebas automatizadas se ejecuten. El reto se centra en la necesidad de que la plataforma siga desarrollándose y actualizándose, y cómo el recorrido del usuario puede cambiar varias veces en el proceso. Por lo tanto, cada cambio en el recorrido del usuario conducirá a las respectivas modificaciones en el código de automatización de pruebas, lo que requiere tiempo y esfuerzos. Encontramos un enfoque más productivo para automatizar las pruebas de regresión y de humo, que nos permite escribir código que se puede mantener y reutilizar y crear fácilmente nuevos escenarios de prueba sin escribir ningún código: solo formamos nuevos conjuntos de escenarios en CucumberStudio.

Automatización de pruebas

Veamos con más detalle cómo hemos llegado a automatizar las pruebas sin utilizar código. Inicialmente, Evolv confiaba en CucumberStudio como su herramienta colaborativa de BDD. Cuando empezamos a trabajar con Evolv, inicialmente lo utilizaron para escribir y ejecutar algunos casos y escenarios de prueba manuales. Por nuestra parte, utilizábamos CodeceptJS, concretamente Puppeteer, para el proyecto de automatización. Sin embargo, queríamos aprovechar las ventajas de ambas herramientas para optimizar el proceso de automatización y hacerlo eficiente en cuanto a tiempo y transparencia incluso para los empleados con poca o ninguna formación en programación.

Combinando las capacidades de automatización de CucumberStudio, como la exportación de pruebas para marcos de BDD como CodeceptJS y la importación de archivos .feature, con un poco de magia de Javascript (análisis de AST/generación de código), hemos construido una herramienta para generar automáticamente glue code para la integración de proyectos de automatización basados en CucumberStudio y CodeceptJS. Esta configuración permite una fácil integración en prácticamente cualquier canal de CI/CD.

Con este enfoque, es posible disminuir significativamente la cantidad de código que un ingeniero de control de calidad tiene que escribir para automatizar escenarios de prueba comunes. Además, esta configuración permite que los ingenieros de control de calidad manuales contribuyan a la automatización de las pruebas con un tiempo mínimo de incorporación. Esto es lo que pueden hacer:

• Construir nuevos escenarios de prueba en el proyecto de CucumberStudio (en el cual el archivo .feature generado por nuestra herramienta personalizada había sido importado anteriormente), utilizando más de 100 palabras de acción y contexto de escenario de prueba (variables)
• Añadir escenarios de prueba recién construidos a una herramienta de realización de pruebas en CucumberStudio (con el canal de CI/CD ya configurado)
• Verificar los escenarios de prueba recién construidos: pasan a CI/CD
• Refactorizar palabras de acción de bajo nivel (grupo) en escenarios de prueba recién construidos a nivel de lógica de negocio, también conocidas como verdaderas frases Gherkin en CucumberStudio.

No es ninguna novedad que la automatización de las pruebas puede fácilmente no alcanzar su propósito si se hace de forma incorrecta. Corregir las inconsistencias de las pruebas debido a los cambios en la interfaz gráfica de usuario (que ocurren con bastante frecuencia) es uno de los principales puntos débiles en la automatización de pruebas. Si se mueve un botón o un cuadro de texto, el localizador de elementos no lo encontrará, lo que provocará un fallo en la ejecución de la prueba. Para que las pruebas vuelvan a funcionar, el probador de automatización tendrá que modificar el código y promover/PR/fusionar los cambios, un proceso que consume bastante tiempo.

Nuestro enfoque de la automatización de las pruebas permite reducir el tiempo necesario para estas correcciones (y muchos otros tipos de corrección), ya sean cambios en los nombres de los localizadores o en el orden de los pasos. Los ingenieros de control de calidad manual pueden realizar eficazmente este tipo de modificaciones corrigiendo los pasos de prueba en CucumberStudio y sincronizando estos cambios con las ejecuciones de prueba.