
Zeotap: Bigtable Reduz Custos em 46% e Aumenta Performance
Zeotap Otimiza Infraestrutura: 46% de Redução em TCO com Google Cloud Bigtable
No cenário atual, onde a agilidade e o processamento de dados em tempo real são cruciais, a escolha da tecnologia de banco de dados se torna um diferencial estratégico. A Zeotap, uma líder em Plataformas de Dados do Cliente (CDP), enfrentou desafios de escalabilidade com sua infraestrutura anterior, impulsionando uma migração para o Google Cloud Bigtable.
Com o manejo de mais de 10 bilhões de novos pontos de dados diariamente e a orquestração de mais de 2000 fluxos de trabalho, a Zeotap necessitava de uma solução robusta e eficiente. A migração para o Bigtable não só atendeu a esses requisitos, mas também resultou em uma impressionante redução de 46% no Custo Total de Propriedade (TCO).
O Desafio da Escalabilidade em Análise em Tempo Real
A plataforma da Zeotap demanda um banco de dados capaz de lidar com altas taxas de escrita (mais de 300.000 por segundo) e leituras ainda maiores em picos. Anteriormente, a infraestrutura baseada em ScyllaDB apresentava limitações significativas.
Principais Obstáculos Enfrentados:
- Limitações de Escalabilidade: O gerenciamento self-service do ScyllaDB, seja on-premise ou na nuvem, tornou-se cada vez mais complexo com o crescimento.
- Sobrecarga Operacional: A gestão e escalonamento da infraestrutura anterior demandavam um esforço operacional considerável, incluindo a execução de scripts para adicionar nós e o mapeamento de hardware para cargas de trabalho.
- Complexidade de Implantação: A integração de tecnologias de terceiros e processos de aquisição comercial adicionavam complexidade aos deployments.
- Previsibilidade de Custos: Manter custos previsíveis para a empresa e seus clientes tornou-se um desafio crescente.
Esses fatores impulsionaram a busca por uma solução nativa da nuvem que pudesse suportar a filosofia de operações “zero-touch” e cargas de trabalho OLAP e OLTP exigentes.
Por Que o Bigtable? Performance, Escalabilidade e Eficiência
A decisão de migrar para o Bigtable foi guiada por quatro requisitos essenciais:
- Simplicidade Operacional: O Bigtable abstrai o gerenciamento de hardware e nós, eliminando a necessidade de janelas de manutenção e simplificando o rebalanceamento de dados. Isso permitiu à Zeotap adotar uma abordagem de “zero-touch ops”.
- Performance Previsível: O Bigtable oferece baixas latências para leituras e escritas em escala, mesmo sob cargas de trabalho imprevisíveis e picos de tráfego, atendendo aos rigorosos SLAs da Zeotap.
- Escalabilidade Eficiente: Com computação e armazenamento desagregados e recursos de autoscaling, o Bigtable ajusta automaticamente o tamanho do cluster à demanda, otimizando custos e eliminando recursos ociosos. Isso foi crucial para lidar com picos de mais de 300.000 escritas por segundo.
- Custo Total de Propriedade (TCO) Reduzido: A migração resultou em uma economia de 46% no TCO. A eficiência do armazenamento do Bigtable e a capacidade de consolidar casos de uso (como hot store com Bigtable e warm store com BigQuery) contribuíram significativamente para essa redução.
- Integração Nativa: A integração do Bigtable com outros serviços do Google Cloud, especialmente o BigQuery, simplificou fluxos de dados e reduziu a pegada operacional em 20%, com recursos como reverse ETL direto para o Bigtable.
Evolução Arquitetural da Zeotap para um Modelo Cloud-Native
A transição para o Bigtable foi parte de um plano estratégico para construir uma plataforma de análise em tempo real. A Zeotap passou por uma evolução arquitetural:
- 2020: Migração para o Google Cloud.
- 2022: Adoção de arquitetura Lambda, com forte uso do BigQuery.
- 2023: Pivô para arquitetura Kappa, priorizando ingestão e streaming em tempo real.
- 2024: Consolidação em um modelo cloud-native com Bigtable e BigQuery como pilares, eliminando o Spark da stack.
Atualmente, a arquitetura da Zeotap utiliza Dataflow para ingestão, com Memorystore atuando como cache para otimizar cargas de leitura pesadas e reduzir a carga no Bigtable. O Bigtable serve como o hot store para ingestão em tempo real e APIs de dados, enquanto o BigQuery funciona como warm e cold store para análises e inferências.
Deixe um comentário