A pergunta que as métricas não respondiam
O cliente oferece uma plataforma SaaS de gestão da cadeia de fornecedores que roda em duas nuvens, AWS e Azure. As métricas de infraestrutura diziam se os servidores estavam de pé, mas não respondiam a pergunta que importava para o negócio: o cliente consegue entrar e usar a ferramenta agora?
Foi o meu primeiro projeto como consultor, e a resposta que encontrei foi colocar alguém para usar a plataforma o tempo todo.
Um robô que faz o que o cliente faz
No Elven Monitoring, criei um robô que repete em intervalos regulares o caminho de um cliente real. Ele faz login, pesquisa dentro da plataforma e executa as operações de criar, ler, atualizar e apagar registros. Se algum passo fica lento ou falha, o robô avisa.
Coloquei o mesmo robô para rodar em produção e em staging. Em staging, ele pega regressões antes que cheguem ao cliente.
Duas nuvens, um só lugar
Instalei os agentes do Elven Monitoring na AWS e na Azure, para que as duas nuvens aparecessem numa visão única. Centralizei os alertas no Slack, integrando o CloudWatch e o SNS, e aproveitei para remover alertas que eram só ruído. Também fiz o teste de carga do ambiente.
O que mudou
O time passou a saber se a plataforma funcionava do ponto de vista do cliente, e não só se os servidores estavam no ar. Uma degradação no login, na busca ou nas operações principais passou a gerar alerta mesmo com a infraestrutura parecendo saudável. Problemas em staging começaram a aparecer antes da produção, e os alertas das duas nuvens ficaram num único canal, com menos ruído.
O que eu levo disso
Monitorar a infraestrutura e monitorar a experiência do cliente são coisas diferentes. Um robô que faz o que o cliente faz é a forma mais direta de medir se o produto está entregando valor naquele momento.