Zeotap: Bigtable Reduz Custos em 46% e Aumenta Performance

Zeotap: Bigtable Reduz Custos em 46% e Aumenta Performance

Zeotap Otimiza Infraestrutura: 46% de Redução em TCO com Google Cloud Bigtable

No cenário atual, onde a agilidade e o processamento de dados em tempo real são cruciais, a escolha da tecnologia de banco de dados se torna um diferencial estratégico. A Zeotap, uma líder em Plataformas de Dados do Cliente (CDP), enfrentou desafios de escalabilidade com sua infraestrutura anterior, impulsionando uma migração para o Google Cloud Bigtable.

Com o manejo de mais de 10 bilhões de novos pontos de dados diariamente e a orquestração de mais de 2000 fluxos de trabalho, a Zeotap necessitava de uma solução robusta e eficiente. A migração para o Bigtable não só atendeu a esses requisitos, mas também resultou em uma impressionante redução de 46% no Custo Total de Propriedade (TCO).

O Desafio da Escalabilidade em Análise em Tempo Real

A plataforma da Zeotap demanda um banco de dados capaz de lidar com altas taxas de escrita (mais de 300.000 por segundo) e leituras ainda maiores em picos. Anteriormente, a infraestrutura baseada em ScyllaDB apresentava limitações significativas.

Principais Obstáculos Enfrentados:

  • Limitações de Escalabilidade: O gerenciamento self-service do ScyllaDB, seja on-premise ou na nuvem, tornou-se cada vez mais complexo com o crescimento.
  • Sobrecarga Operacional: A gestão e escalonamento da infraestrutura anterior demandavam um esforço operacional considerável, incluindo a execução de scripts para adicionar nós e o mapeamento de hardware para cargas de trabalho.
  • Complexidade de Implantação: A integração de tecnologias de terceiros e processos de aquisição comercial adicionavam complexidade aos deployments.
  • Previsibilidade de Custos: Manter custos previsíveis para a empresa e seus clientes tornou-se um desafio crescente.

Esses fatores impulsionaram a busca por uma solução nativa da nuvem que pudesse suportar a filosofia de operações “zero-touch” e cargas de trabalho OLAP e OLTP exigentes.

Por Que o Bigtable? Performance, Escalabilidade e Eficiência

A decisão de migrar para o Bigtable foi guiada por quatro requisitos essenciais:

  • Simplicidade Operacional: O Bigtable abstrai o gerenciamento de hardware e nós, eliminando a necessidade de janelas de manutenção e simplificando o rebalanceamento de dados. Isso permitiu à Zeotap adotar uma abordagem de “zero-touch ops”.
  • Performance Previsível: O Bigtable oferece baixas latências para leituras e escritas em escala, mesmo sob cargas de trabalho imprevisíveis e picos de tráfego, atendendo aos rigorosos SLAs da Zeotap.
  • Escalabilidade Eficiente: Com computação e armazenamento desagregados e recursos de autoscaling, o Bigtable ajusta automaticamente o tamanho do cluster à demanda, otimizando custos e eliminando recursos ociosos. Isso foi crucial para lidar com picos de mais de 300.000 escritas por segundo.
  • Custo Total de Propriedade (TCO) Reduzido: A migração resultou em uma economia de 46% no TCO. A eficiência do armazenamento do Bigtable e a capacidade de consolidar casos de uso (como hot store com Bigtable e warm store com BigQuery) contribuíram significativamente para essa redução.
  • Integração Nativa: A integração do Bigtable com outros serviços do Google Cloud, especialmente o BigQuery, simplificou fluxos de dados e reduziu a pegada operacional em 20%, com recursos como reverse ETL direto para o Bigtable.

Evolução Arquitetural da Zeotap para um Modelo Cloud-Native

A transição para o Bigtable foi parte de um plano estratégico para construir uma plataforma de análise em tempo real. A Zeotap passou por uma evolução arquitetural:

  • 2020: Migração para o Google Cloud.
  • 2022: Adoção de arquitetura Lambda, com forte uso do BigQuery.
  • 2023: Pivô para arquitetura Kappa, priorizando ingestão e streaming em tempo real.
  • 2024: Consolidação em um modelo cloud-native com Bigtable e BigQuery como pilares, eliminando o Spark da stack.

Atualmente, a arquitetura da Zeotap utiliza Dataflow para ingestão, com Memorystore atuando como cache para otimizar cargas de leitura pesadas e reduzir a carga no Bigtable. O Bigtable serve como o hot store para ingestão em tempo real e APIs de dados, enquanto o BigQuery funciona como warm e cold store para análises e inferências.

Fundamentos de Engenharia de Dados: Projete e Construa Sistemas de Dados Robustos
Recomendado pelo autor

Fundamentos de Engenharia de Dados: Projete e Construa Sistemas de Dados Robustos
* Link de afiliado — o preço pode variar. Ao comprar, você apoia este blog sem custo extra.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *