La pregunta que las métricas no respondían
El cliente ofrece una plataforma SaaS de gestión de la cadena de proveedores que corre en dos nubes, AWS y Azure. Las métricas de infraestructura decían si los servidores estaban en pie, pero no respondían la pregunta que importaba para el negocio: ¿el cliente puede entrar y usar la herramienta ahora?
Fue mi primer proyecto como consultor, y la respuesta que encontré fue poner a alguien a usar la plataforma todo el tiempo.
Un robot que hace lo que hace el cliente
En Elven Monitoring, creé un robot que repite a intervalos regulares el recorrido de un cliente real. Inicia sesión, busca dentro de la plataforma y ejecuta las operaciones de crear, leer, actualizar y borrar registros. Si algún paso se vuelve lento o falla, el robot avisa.
Puse el mismo robot a correr en producción y en staging. En staging, atrapa regresiones antes de que lleguen al cliente.
Dos nubes, un solo lugar
Instalé los agentes de Elven Monitoring en AWS y en Azure, para que las dos nubes aparecieran en una vista única. Centralicé las alertas en Slack, integrando CloudWatch y SNS, y aproveché para quitar alertas que eran solo ruido. También hice la prueba de carga del entorno.
Qué cambió
El equipo pasó a saber si la plataforma funcionaba desde el punto de vista del cliente, y no solo si los servidores estaban en línea. Una degradación en el login, la búsqueda o las operaciones principales pasó a generar una alerta aunque la infraestructura pareciera sana. Los problemas en staging empezaron a aparecer antes de producción, y las alertas de las dos nubes quedaron en un único canal, con menos ruido.
Lo que me llevo
Monitorear la infraestructura y monitorear la experiencia del cliente son cosas distintas. Un robot que hace lo que hace el cliente es la forma más directa de medir si el producto está entregando valor en ese momento.