BigQuery e Dataform: Avanços em Inteligência Artificial e Gerenciamento de Dados

O universo de análise de dados e inteligência artificial está em constante evolução, e as plataformas do Google Cloud não ficam para trás. Recentes atualizações no BigQuery e no Dataform trazem funcionalidades poderosas para a criação de tabelas, automação de tarefas e aplicação de IA generativa em escala corporativa.

Dataform Potencializa Criação de Tabelas BigLake para Apache Iceberg

Uma das novidades de destaque é a capacidade do Dataform de automatizar a criação de tabelas BigLake para Apache Iceberg diretamente no BigQuery. Essa funcionalidade, agora em General Availability (GA), simplifica o gerenciamento de dados em ambientes multicloud e híbridos, facilitando a interoperabilidade e a análise de dados a partir de diversas fontes.

BigQuery ML Abraça a Revolução da IA Generativa

O BigQuery ML expandiu significativamente seu suporte a funções de Inteligência Artificial Generativa. As novas funcionalidades permitem que usuários realizem tarefas complexas diretamente em seus dados:

• AI.GENERATE (GA): Permite a geração de texto livre para uma vasta gama de aplicações, como tradução, sumarização e classificação de dados não estruturados (incluindo imagens, áudio e vídeo). A função também é capaz de extrair entidades e gerar saídas estruturadas.
• AI.EMBED (Preview): Transforma textos, imagens, áudio, vídeo ou documentos em embeddings. Esses vetores numéricos são essenciais para tarefas de similaridade, clustering e buscas semânticas.
• AI.SIMILARITY (Preview): Calcula a similaridade semântica entre pares de textos, imagens ou entre texto e imagens, abrindo portas para sistemas de recomendação e busca avançada.
• Funções escalares como AI.GENERATE_BOOL, AI.GENERATE_DOUBLE e AI.GENERATE_INT foram introduzidas para a geração de valores escalares, otimizando processos de filtragem, pontuação e contagem.
• Todas essas funções suportam autenticação com credenciais de usuário final (EUC), facilitando a configuração das permissões necessárias no Vertex AI.

Além disso, novas funções de IA generativa que retornam tabelas foram introduzidas:

• AI.GENERATE_TABLE (GA): Gera tabelas com saída estruturada a partir de dados não estruturados.
• AI.GENERATE_TEXT e AI.GENERATE_EMBEDDING (GA): São as versões aprimoradas e recomendadas dos anteriores ML.GENERATE_TEXT e ML.GENERATE_EMBEDDING, oferecendo a mesma funcionalidade com nomes de coluna simplificados.

Integração com Gemini 3.0 e Insights de Dados

As funções de IA generativa no BigQuery agora podem utilizar o modelo Gemini 3.0. Para isso, é necessário o uso do endpoint global completo: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3-pro-preview.

Outra novidade em Preview é a capacidade de publicar insights de dados, como recomendações de consulta e descrições automáticas de tabelas e colunas, diretamente no Catálogo Universal do Dataplex. Essa funcionalidade visa centralizar e enriquecer o conhecimento sobre os dados corporativos.

Conclusão

As recentes atualizações do BigQuery e Dataform refletem o compromisso do Google Cloud em democratizar o acesso a tecnologias de ponta, como IA generativa, e simplificar o gerenciamento de dados complexos. A adoção dessas novas ferramentas pode otimizar fluxos de trabalho, acelerar a tomada de decisões e impulsionar a inovação baseada em dados.

Recomendado pelo autor

Data Science do Zero - 2º Edição: Noções Fundamentais com Python

Ver Oferta

* Link de afiliado — o preço pode variar. Ao comprar, você apoia este blog sem custo extra.

Recomendado pelo autor

Fundamentos de Engenharia de Dados: Projete e Construa Sistemas de Dados Robustos

Ver Oferta

* Link de afiliado — o preço pode variar. Ao comprar, você apoia este blog sem custo extra.