BigQuery Amplia Capacidades com Transferências Incrementais e IA em Preview

O Google Cloud anunciou atualizações significativas para o BigQuery, a plataforma de data warehouse na nuvem. As novidades visam otimizar a ingestão de dados e introduzir capacidades avançadas de inteligência artificial diretamente na plataforma. Ambas as funcionalidades estão em fase de Preview, indicando que os usuários podem testá-las e fornecer feedback antes do lançamento geral.

Suporte Expandido para Transferências Incrementais

Uma das melhorias mais aguardadas é o suporte a transferências incrementais de dados para conectores de fontes de dados populares. Essa funcionalidade permite que o BigQuery Data Transfer Service copie apenas os dados alterados ou novos desde a última transferência, em vez de exigir uma cópia completa a cada ciclo. Isso resulta em:

• Redução de custos: Menor volume de dados transferidos e processados.
• Aumento da eficiência: Processos de atualização de dados mais rápidos.
• Menor impacto no sistema de origem: Menos carga nos bancos de dados de origem.

Os conectores que agora suportam transferências incrementais em Preview são:

• MySQL
• Oracle
• PostgreSQL
• ServiceNow

A implementação dessas funcionalidades em Preview oferece aos clientes a oportunidade de explorar esses novos recursos e colaborar no refinamento antes da disponibilidade geral.

Nova Capacidade de Geração de Embeddings com IA

Outra novidade em Preview é a integração do modelo de texto nativo do BigQuery ML, o embeddinggemma-300m. Este modelo pode ser utilizado diretamente nas funções AI.EMBED e AI.SIMILARITY. Essa integração permite:

• Geração de Embeddings em Larga Escala: Utilize seus recursos de slots do BigQuery para criar representações vetoriais (embeddings) de dados textuais de forma eficiente.
• Análise de Similaridade: Facilite a descoberta de conteúdos semelhantes, recomendação e outras tarefas de processamento de linguagem natural.
• Simplificação do Fluxo de Dados: Evite a necessidade de mover dados para serviços externos para a geração de embeddings, mantendo tudo dentro do ambiente BigQuery.

Este avanço reforça o compromisso do Google Cloud em democratizar o acesso a tecnologias de Inteligência Artificial, tornando-as mais acessíveis e integradas às ferramentas de análise de dados.

As atualizações em Preview são um indicativo do futuro do BigQuery, prometendo maior flexibilidade, eficiência e poder analítico para seus usuários.

Recomendado pelo autor

Fundamentos de Engenharia de Dados: Projete e Construa Sistemas de Dados Robustos

Ver Oferta

* Link de afiliado — o preço pode variar. Ao comprar, você apoia este blog sem custo extra.