Erros acontecem, só não erra quem nada faz e ontem, 25 de Junho perto das 18h00, um dos serviços críticos de que depende o InvoiceXpress falhou.
O nosso fornecedor de pesquisa (ElasticSearch) apagou os nossos servidores de produção tornando impossível o acesso ao InvoiceXpress.
# O que aconteceu?
Por erro humano, foram apagadas todas as instâncias do serviço ElasticSearch que é responsável pela pesquisa de documentos no InvoiceXpress. Para agravar a situação, foram apagados também os “backups” dos nossos servidores. Ficámos literalmente sem conseguir pesquisar por dados no InvoiceXpress.
# O que significa ficarmos sem o ElasticSearch?
Na prática significa que os nossos utilizadores não conseguem ver os seus dados de facturaçao na interface de pesquisa do InvoiceXpress. Significa também que os gráficos da Visão Global vão estar inacessíveis.
Embora não se tenha perdido dados de facturas, a verdade é que a experiência de abrir a nossa conta e não ver lá documentos pode ser aterradora.
Para agravar a situação, ontem foi dia 25 de Junho, o último dia para entregar o ficheiro SAF-T para a Autoridade Tributária.
# O que fizemos para corrigir este problema?
As equipas reagiram imediatamente e começaram a trabalhar sobre o problema:
– A equipa de suporte agiu no sentido de responder às dezenas de emails que começámos a receber sobre o produto estar em baixo;
– Em paralelo, a equipa de conteúdos emitiu um comunicado por email, que se é nosso cliente deverá ter recebido, a explicar o que se passava;
– A equipa de engenharia prontamente disponibilizou o acesso à página de download do SAF-T PT para que pudesse emitir o mesmo sem que houvesse qualquer problema. A emissão do SAFT-PT é um dos serviços críticos no InvoiceXpress que, por desenho, não dependente de serviços externos.
# Como resolvemos o problema?
Entretanto, a entidade responsável reconheceu o erro e prontamente criou instâncias de servidores para que pudessemos começar a indexar todos as contas dos nossos clientes e reconstruir o servidor de pesquisa. O processo de indexação é o que permite posteriormente fazer pesquisas sobre toda a informação de documentos, clientes e itens de uma conta no InvoiceXpress.
O desafio que se colocou, é que embora não tenhamos perdido quaisquer dados, a indexação de todas as contas activas e respectivos documentos do InvoiceXpress poderia levar dois dias até estar concluída. Naturalmente isto era inaceitável para os nossos utilizadores.
Imediatamente a nossa equipa de engenharia, que já não se encontrava no escritório, começou a trabalhar remotamente e a comunicar usando as nossas ferramentas de chat interno.
Depois de percebido o problema e como o poderíamos resolver, a equipa dividiu-se em turnos para que durante a madrugada de 26 de Junho, pudéssemos avançar o máximo possível e ter o maior número de contas com o problema corrigido.
Sabendo de antemão que a indexação de contas com menos documentos era mais rápida, começamos com as contas activas com menos documentos. As últimas contas que foram indexadas eram as que tinham centenas de milhares de documentos, emitidos via a API do InvoiceXpress.
A API já agora, nunca deixou de funcionar, pelo que todos os clientes que dependiam da mesma para emitir documentos o conseguiram fazer.
Como a equipa de desenvolvimento se organizou?
– O Ricardo Fiel e o Paulo Silva ficaram das 22h00 às 03h00;
– A Cláudia Alves das 03h00 às 06h00;
– O Pedro Santos das 06h00 às 09h00 e… às 09h00 tinhamos o grosso das contas indexadas com sucesso.
# Corremos o risco de algum dia perdermos dados de facturas?
O risco de algum dia virmos a perder quaisquer dados de facturas é absolutamente mínimo. Isto porque não dependemos de nenhum outro serviço externo, para além do serviço de alojamento da Amazon onde estamos.
Era preciso um ataque nuclear nos principais datacenters do planeta para perdermos dados. Mas aí suspeito que o menor dos nossos problemas era perder dados de facturação…
# Não estamos a expor demasiado as nossas fragilidades?
Toda a gente erra. Não há hipóteses, erros vão acontecer no seu negócio. O que determina o nível de serviço é como damos resposta quando os erros acontecem.
Não podia estar mais orgulhoso da minha equipa. Quando percebemos o problema, todos reagiram de forma impecável, em união e sintonia. Enquanto CEO, não precisei de fazer absolutamente nada para que este problema fosse solucionado no menor tempo possível. A equipa tomou conta do assunto e resolveu tudo sozinha.
Escrevo este artigo porque quero que saibam que vão acontecer mais erros no futuro. Vamos falhar mais vezes. E quero que todos saibam que estaremos cá para o que der e vier.
Obrigado a todos os que depositam confiança em nós.
