Observabilidade Distribuída com OpenTelemetry, Prometheus e Thanos em Produção

O Desafio da Visibilidade em Sistemas Distribuídos

Quando uma aplicação deixa de ser um bloco único rodando em um único servidor e se transforma em dezenas de microsserviços conversando entre si, entender o que aconteceu quando algo falha se torna um enigma complexo. Na prática, isso significa que um simples clique do usuário em um botão de compra pode disparar chamadas por doze serviços diferentes, passando por redes instáveis e filas de mensagens. Sem uma estratégia clara de monitoramento, identificar qual etapa do caminho quebrou vira uma tarefa de tentativa e erro, desperdiçando preciosas horas da equipe de engenharia.

A observabilidade moderna vai muito além de apenas saber se um servidor está ligado ou desligado; ela exige a capacidade de inferir o estado interno de um sistema complexo apenas analisando suas saídas externas. Para alcançar esse nível de clareza, as equipes precisam coletar três pilares fundamentais: métricas, que mostram números agregados como uso de CPU; logs, que registram eventos isolados em texto; e rastreamentos distribuídos, que mostram a jornada exata de uma requisição ponta a ponta. O grande problema histórico era que cada ferramenta usava um formato diferente, criando silos de informação que dificultavam a correlação dos dados.

A Padronização Universal com OpenTelemetry

O OpenTelemetry surge como um projeto de código aberto unificado para resolver o caos de ferramentas proprietárias de telemetria que existiam no mercado. Na prática, ele funciona como um tradutor universal e um conjunto de bibliotecas que você instala no seu código para gerar dados padronizados de métricas, logs e rastreamentos. Em vez de depender de um fornecedor específico de nuvem, sua aplicação passa a falar um idioma padrão que pode ser enviado para qualquer sistema de monitoramento compatível sem alterações complexas no código-fonte.

A arquitetura do OpenTelemetry divide o trabalho em três frentes: as APIs que definem como coletar os dados, os SDKs que processam e exportam esses dados de forma assíncrona, e o OpenTelemetry Collector. O Collector atua como um intermediário inteligente, rodando como um serviço separado que recebe os dados da sua aplicação, filtra informações sensíveis, aplica regras de amostragem para reduzir o volume de tráfego e despacha tudo para os armazenamentos finais. Isso desacopla completamente a aplicação do sistema de monitoramento, permitindo que você troque de ferramenta de backend sem precisar recompilar ou alterar o código das suas aplicações em produção.

Coleta Eficiente de Métricas com o Prometheus

Uma vez que os dados estão padronizados, precisamos de um motor robusto para coletar e armazenar essas métricas em tempo real. O Prometheus consolidou-se como o padrão da indústria para essa tarefa, operando através de um modelo de coleta ativa baseado em varredura periódica, conhecido como scraping. Na prática, o Prometheus vai até as suas aplicações em intervalos regulares (como a cada quinze segundos), bate na porta dos endpoints de telemetria e puxa todas as métricas disponíveis naquele exato momento para o seu banco de dados local.

O grande diferencial do Prometheus é o seu banco de dados de séries temporais otimizado, projetado para escrever grandes volumes de dados numéricos de forma extremamente rápida em discos locais. No entanto, essa arquitetura focada em performance local traz um calcanhar de Aquiles: o armazenamento é limitado pelo tamanho do disco da máquina onde ele roda, e o Prometheus nativo não foi feito para guardar dados por anos a fio. Além disso, se a máquina física falhar, você corre o risco de perder o histórico recente de monitoramento, a menos que adote uma estratégia robusta de replicação e persistência externa.

Expandindo Horizontes com o Armazenamento de Longo Prazo do Thanos

Para superar as barreiras de retenção e escalabilidade do Prometheus sem perder suas vantagens de coleta em tempo real, a comunidade desenvolveu o Thanos. O Thanos é um conjunto de componentes que se acoplam ao ecossistema Prometheus existente para transformá-lo em um sistema de monitoramento global e ilimitado. Na prática, ele funciona como uma camada inteligente que pega os dados gravados localmente pelo Prometheus e os envia de forma compactada e segura para um armazenamento de objetos em nuvem, como o Amazon S3, Google Cloud Storage ou armazenamento compatível com a API S3.

A mágica do Thanos acontece através de seus componentes especializados, como o Thanos Sidecar, que roda junto ao Prometheus empurrando blocos de dados históricos para a nuvem, e o Thanos Querier, que unifica consultas de múltiplas instâncias do Prometheus em uma única interface. Quando um engenheiro busca por uma métrica de três meses atrás, o Thanos Querier sabe exatamente onde buscar essa informação, combinando dados em tempo real da memória do Prometheus com dados históricos guardados na nuvem. Isso elimina qualquer limite físico de armazenamento e garante que o histórico de performance da empresa permaneça intacto para auditorias e análises de tendência.

Implementando a Arquitetura em Produção

Colocar essa arquitetura para rodar em um ambiente de produção exige planejamento cuidadoso da topologia de rede e dos recursos de infraestrutura. O primeiro passo prático consiste em instrumentar as aplicações com o OpenTelemetry SDK e configurar o OpenTelemetry Collector para exportar métricas no formato nativo que o Prometheus consiga ler. Em seguida, o Prometheus é implantado no cluster Kubernetes utilizando operadores dedicados, configurado para coletar os dados locais expostos pelo coletor. Abaixo, exemplificamos um trecho de configuração do Prometheus apontando para o Thanos Sidecar:

global:
  scrape_interval: 15s
  evaluation_interval: 15s

remote_write:
  - url: http://thanos-receive.monitoring.svc:19291/api/v1/receive

scrape_configs:
  - job_name: 'opentelemetry-collector'
    static_configs:
      - targets: ['otel-collector.monitoring.svc:8889']

Com o Prometheus enviando dados ou o Thanos Sidecar lendo o diretório local de dados, o componente Sidecar entra em ação compactando blocos de duas horas em arquivos otimizados e despachando-os para o bucket de objetos. Do outro lado, o Thanos Querier é configurado para apontar tanto para o Thanos Sidecar quanto para o Thanos Store Gateway, o componente responsável por ler os dados compactados diretamente do armazenamento em nuvem sem estourar a memória RAM. Dessa forma, a equipe ganha uma visão unificada, resiliente e altamente escalável de toda a infraestrutura computacional.

Considerações Finais e Práticas Operacionais

Implementar observabilidade distribuída com OpenTelemetry, Prometheus e Thanos não é apenas um exercício de instalação de ferramentas, mas a consolidação de uma cultura de engenharia baseada em dados transparentes e confiáveis. Ao padronizar a telemetria com o OpenTelemetry, a empresa se liberta de travas tecnológicas e garante flexibilidade futura. Paralelamente, a união do Prometheus com o Thanos resolve o eterno dilema entre a velocidade de coleta em tempo real e a necessidade econômica de guardar históricos de longo prazo sem gastar uma fortuna em discos locais de alta performance.

Como recomendação final para equipes que estão iniciando essa jornada, comece pequeno instrumentando serviços críticos antes de tentar monitorar toda a malha de microsserviços de uma só vez. Monitore o consumo de rede do Thanos Sidecar e ajuste as políticas de retenção e compactação no armazenamento de objetos para evitar surpresas na fatura da nuvem ao final do mês. Com disciplina operacional e uma arquitetura bem desenhada, a observabilidade deixa de ser um peso técnico e passa a ser o maior aliado na estabilidade e evolução contínua dos sistemas.