Granola

Introducción

Granola funciona como un bloc de notas con IA que acompaña al usuario durante las reuniones. En lugar de depender de bots virtuales para unirse y grabar llamadas, la aplicación captura el audio directamente del ordenador mientras el usuario escribe sus notas. Una vez finalizada la reunión, la IA de Granola combina la información introducida manualmente por el usuario con la transcripción completa para generar resúmenes organizados, ideas clave y tareas pendientes. Los usuarios conservan el control total para editar estas notas, aplicar plantillas personalizadas para tipos de reuniones específicos, como reuniones individuales o llamadas exploratorias, y exportar la información final directamente a plataformas como Slack, CRM o tableros de proyectos.

Desafío

A medida que la base de usuarios y las funcionalidades de Granola crecían, el equipo reconoció la necesidad de un enfoque específico para el control de calidad. Antes de asociarse con QAwerk, Granola no contaba con un departamento interno de control de calidad, lo que obligaba a los desarrolladores y al equipo de atención al cliente a encargarse de todas las pruebas, además de sus tareas principales. Esta situación, sumada a la falta de dispositivos de prueba diversos, dificultaba el mantenimiento de la estabilidad durante su ritmo acelerado de lanzamientos semanales.

Granola recurrió a QAwerk para que asumiera el control total de la calidad de su software. Para que nuestra colaboración fuera un éxito y lograra resultados comerciales tangibles, necesitábamos superar varios desafíos específicos:

• Mantener el ritmo de los lanzamientos rápidos: Con nuevas funciones que se implementan aproximadamente una vez por semana, tuvimos que implementar una rutina de pruebas rápida y confiable que se alineara perfectamente con el ciclo de desarrollo acelerado de Granola, garantizando la calidad sin causar retrasos en la implementación.
• Ampliación de la cobertura de dispositivos y hardware: Dado que Granola gestiona la captura de audio compleja y se ejecuta en segundo plano, necesita funcionar a la perfección en diversas configuraciones. Tuvimos que utilizar la extensa infraestructura de dispositivos de QAwerk para probar exhaustivamente la aplicación en una amplia gama de configuraciones de hardware y sistemas operativos a los que el equipo interno de Granola no tenía acceso. También validamos su compatibilidad con diversas configuraciones de audio, incluyendo dispositivos de audio integrados, altavoces externos con cable, auriculares con cable y auriculares Bluetooth.
• Alivio de la carga de trabajo de los desarrolladores y los equipos de soporte: Necesitábamos aliviar la carga de pruebas del personal interno de Granola investigando de forma independiente los errores reportados por los usuarios, aislando las causas raíz y creando una documentación de prueba clara y completa desde cero.
• Creación de automatización de pruebas desde cero: Para garantizar la eficiencia a largo plazo y la estabilidad del producto en medio de actualizaciones frecuentes, un objetivo principal fue diseñar e implementar un marco de automatización de pruebas robusto para gestionar las pruebas de regresión y liberar tiempo para una exploración manual más profunda.

Solución

Nos hicimos cargo por completo del flujo de trabajo de control de calidad de Granola para respaldar su ciclo de lanzamiento rápido. Creamos una documentación de pruebas exhaustiva desde cero utilizando Qase.io (manteniendo más de 1100 casos de prueba), reportamos 90 errores en los primeros dos meses e implementamos una estrategia de pruebas multicapa adaptada a una aplicación multiplataforma impulsada por IA.

A continuación, se detallan las soluciones de prueba específicas que implementamos:

• Pruebas funcionales. Validamos las funciones principales de macOS y Windows, incluyendo la transcripción, la generación de notas con IA, los modos sin conexión y el cambio de dispositivo de audio. También brindamos soporte para lanzamientos importantes como el inicio de sesión de Microsoft, Recetas, el servidor MCP, las actualizaciones de Granola Chat, los resúmenes previos a las reuniones y el cambio de marca de febrero de 2026 para garantizar que la aplicación funcionara de manera confiable en condiciones reales.
• Regresión y selección de pruebas asistida por IA. Para mantenernos al día con las actualizaciones semanales sin ralentizar el desarrollo, ejecutamos conjuntos de pruebas de regresión específicos. En colaboración con los ingenieros de Granola, creamos un flujo de IA inteligente que analiza las solicitudes de extracción y selecciona automáticamente los casos de prueba más relevantes.
• Pruebas dedicadas para iOS. Para impulsar el crecimiento móvil de Granola, implementamos un proceso de pruebas estructurado y exclusivo para iOS. Esto incluyó la elaboración de la documentación necesaria y la ejecución de rigurosos ciclos de regresión previos al lanzamiento. Nuestro equipo probó exhaustivamente la aplicación móvil en diferentes versiones de software (iOS 17, 18 y 26) y formatos de pantalla (estándar, mini y Max) para garantizar una experiencia de usuario consistente en cualquier iPhone.
• Marco de automatización de pruebas. Automatizamos el 76 % del conjunto de pruebas de regresión críticas y configuramos informes directos en Slack. Para lograrlo, superamos complejos obstáculos técnicos: eludir las autorizaciones de inicio de sesión único de Google, inyectar audio del sistema directamente en las pruebas y usar IA en nuestros scripts para verificar los resúmenes de reuniones de IA de Granola.
• Pruebas de integración. Probamos las conexiones de Granola con herramientas externas esenciales como Outlook, Google Calendar, Stripe, Slack, HubSpot y Zapier, garantizando que los usuarios pudieran exportar datos de reuniones sin problemas y sin errores de sincronización.
• Pruebas de compatibilidad y multiplataforma. Aprovechando el extenso laboratorio de dispositivos de QAwerk, verificamos la estabilidad de la aplicación en diversas configuraciones de hardware de macOS y Windows, así como en múltiples modelos de iPhone y versiones de iOS, lo que garantiza una experiencia consistente independientemente de la configuración del usuario.
• Pruebas LLM. Nos centramos en evaluar la calidad de respuesta, la coherencia y la precisión factual de la IA en diversos escenarios de reuniones reales. Esto incluyó probar la robustez del modelo frente a casos extremos, como entradas de audio ambiguas y alucinaciones, al tiempo que se garantizaba que mantuviera un contexto preciso a lo largo de conversaciones complejas con múltiples turnos.
• Pruebas de usabilidad. Para garantizar que la aplicación fuera intuitiva y sin distracciones, nuestros ingenieros de control de calidad abordaron las pruebas desde la perspectiva del usuario final. Colaboramos estrechamente con el equipo de producto de Granola para perfeccionar la experiencia del usuario, compartiendo sugerencias prácticas como la aclaración de los mensajes de error y la adición de consejos útiles en la interfaz de usuario.
• Pruebas de API. Realizamos pruebas exhaustivas de los puntos finales de la API de Granola para garantizar un intercambio de datos fiable, integraciones estables y una comunicación fluida con el backend.
• Pruebas de migración. Para garantizar la integridad de los datos durante las actualizaciones de la aplicación, realizamos pruebas de migración rigurosas en cada versión candidata. Esto aseguró que las notas de reuniones, las plantillas y la configuración del espacio de trabajo confidenciales de los usuarios se conservaran de forma segura al migrar a la versión más reciente.

Mediante la investigación activa de las reseñas de los usuarios, la gestión de las solicitudes de pruebas puntuales y la cobertura de todas las nuevas funcionalidades, proporcionamos al equipo de Granola la confianza necesaria para lanzar actualizaciones rápidamente.

Automatización de pruebas

Para acelerar el ciclo de lanzamiento de Granola y reducir drásticamente el tiempo de pruebas de regresión manuales, desarrollamos un marco de automatización de pruebas escalable. Priorizamos la automatización de funcionalidades estables y básicas, como la incorporación de usuarios, la gestión de notas y el uso compartido del espacio de trabajo, dejando los escenarios dependientes del hardware y los pagos externos al equipo de control de calidad manual para mantener la suite automatizada rápida y fiable.

El framework se desarrolló utilizando TypeScript y Playwright para automatizar las pruebas de su aplicación de escritorio basada en Electron, compatible con macOS y Windows. Empleamos la arquitectura Page Object Model (POM) para facilitar el mantenimiento del conjunto de pruebas a medida que la aplicación evoluciona, e integramos pruebas de regresión visual para detectar automáticamente cambios no deseados en el diseño de la interfaz de usuario.

Automatizar una aplicación basada en IA requirió soluciones creativas. Dado que las notas generadas por IA varían según el diseño, no podíamos basarnos en verificaciones de coincidencia exacta. Más allá de la simple validación de palabras clave, implementamos un enfoque de pruebas asistidas por IA, utilizando modelos de lenguaje natural (LLM) para analizar de forma inteligente el contexto y la precisión de los resultados. Además, evitamos los inicios de sesión inestables de terceros (como el inicio de sesión único de Google) mediante la implementación de un sistema de autenticación interno seguro para prevenir falsos fallos en las pruebas.

Finalmente, integramos todo el conjunto de herramientas en el pipeline de CI/CD de Granola mediante GitHub Actions. Ahora, las pruebas se ejecutan automáticamente en paralelo en entornos Mac y Windows, ya sea diariamente o antes de una fusión de código. Para garantizar que los desarrolladores puedan depurar rápidamente, configuramos una integración con Slack para enviar informes de autopruebas al equipo con rapidez, proporcionando retroalimentación ágil y útil en cada compilación.