AlloyDB: Busca vetorial 4x mais rápida com HNSW e pgvector

No universo em constante evolução da Inteligência Artificial (IA) e das aplicações de Geração Aumentada por Recuperação (RAG), a capacidade de realizar buscas vetoriais eficientes é um pilar fundamental. Para desenvolvedores que já utilizam o AlloyDB, o serviço de banco de dados totalmente gerenciado e compatível com PostgreSQL do Google Cloud, a extensão pgvector oferece uma solução robusta para armazenar, indexar e consultar embeddings vetoriais. Um destaque dessa integração é a aceleração do algoritmo HNSW (Hierarchical Navigable Small World), que agora, com o motor colunar do AlloyDB (em preview), alcança um desempenho até 4 vezes superior em consultas por segundo (QPS) em comparação com o HNSW em PostgreSQL padrão.

A arquitetura empresarial moderna frequentemente se depara com um desafio crítico: equilibrar a velocidade da busca com a precisão dos resultados. Em cenários que envolvem milhões ou bilhões de vetores, maximizar o QPS sem comprometer a qualidade da busca (recall) é essencial para escalar cargas de trabalho de produção. A extensão pgvector, ao oferecer o HNSW como um de seus índices para buscas de Vizinhos Mais Próximos Aproximados (ANN), atende a essa necessidade. O AlloyDB, por sua vez, aprimora essa funcionalidade de maneira significativa.

O que é o Motor Colunar do AlloyDB?

O motor colunar do AlloyDB é um componente integrado que atua como um cache em memória, armazenando automaticamente dados consultados com frequência em um formato colunar otimizado para varreduras. Essa otimização permite que o AlloyDB processe consultas analíticas pesadas até 100 vezes mais rápido que o PostgreSQL tradicional. No contexto da busca vetorial, ele acelera as buscas ANN ao manter o índice em memória, empregar um layout de memória vetorizado para travessias rápidas e contornar o overhead do gerenciador de buffer padrão do PostgreSQL.

Visualizando o Desempenho

Para demonstrar os ganhos de performance, foram plotadas curvas de QPS vs. Recall para o dataset GloVe 100 Angular, buscando mais de 1 milhão de registros com um limite de 100. A análise, realizada com um script de benchmark (disponível em link), em uma máquina AlloyDB C4A com 16 vCPUs, revelou dois benefícios transformadores:

• Ganhos massivos de throughput de performance: Para um recall alvo de 0.95, o QPS aumentou entre 4.2x e 4.9x, permitindo processar um volume significativamente maior de buscas vetoriais concorrentes no mesmo hardware.
• Melhora significativa no recall (precisão): Em um nível fixo de QPS, o HNSW acelerado pelo motor colunar elevou o recall de aproximadamente 0.78 para mais de 0.94 (um ganho de 0.163). Isso se traduz em resultados mais precisos para aplicações de IA, sem impacto na latência.

É importante notar que a linha de base, mesmo com o índice totalmente em cache nos buffers compartilhados do PostgreSQL, ainda se beneficia da arquitetura de memória mais eficiente do motor colunar, e não apenas da movimentação de dados do disco para a RAM.

Como Funciona o HNSW Acelerado pelo Motor Colunar

Em arquiteturas PostgreSQL padrão, operações de índice passam pelo gerenciador de buffer compartilhado, o que implica em overheads como fixação/desfixação de páginas, aquisição de locks e gerenciamento de cache LRU. O motor colunar do AlloyDB, por outro lado, permite:

• Fixação do índice em memória: O índice HNSW do pgvector é mantido persistentemente na memória do motor colunar para acesso rápido.
• Acesso vetorizado: Utiliza um layout de memória otimizado para as travessias intensivas em ponteiros e de alta concorrência características dos grafos HNSW.
• Contorno de overhead do buffer: Ao navegar o grafo em um espaço de memória especializado, o AlloyDB evita gargalos do gerenciador de buffer padrão, resultando nas melhorias de QPS e recall observadas.

Essas inovações posicionam o AlloyDB como uma plataforma poderosa para cargas de trabalho de IA que exigem alta performance e escalabilidade em suas operações de busca vetorial.