Databricks lança Lakehouse//RT para levar analytics em tempo real diretamente ao Lakehouse (Foto: Divulgação)
A Databricks, empresa de Dados e IA, anunciou hoje o Lakehouse//RT, a evolução em tempo real do Databricks Lakehouse. O Lakehouse//RT permite que empresas executem analytics em tempo real diretamente sobre dados governados em Delta Lake e Apache Iceberg
, eliminando a necessidade de configurar sistemas separados para disponibilização de dados em tempo real e atingindo desempenho em milissegundos. Impulsionado pelo Reyden, um novo mecanismo de computação desenvolvido para atender às exigências de concorrência e baixa latência de empresas modernas orientadas por agentes, o Lakehouse//RT já está disponível em beta.
Entregando o Lakehouse em tempo real
Por anos, empresas que precisavam de baixa latência e alta concorrência tinham apenas uma opção: implementar uma camada separada para disponibilização de dados em tempo real ao lado do lakehouse. No entanto, essa camada traz dependência de fornecedores, aumento dos custos de infraestrutura, governança fragmentada e dados que nunca estão verdadeiramente disponíveis em tempo real, pois são sempre cópias. Isso forçava estas empresas a fazer uma escolha difícil: aceitar a latência ou fragmentar sua arquitetura de dados. Para humanos, isso já representa um desafio. Para agentes, não funciona. Agentes operam continuamente, raciocinam em ciclos e sua capacidade de agir depende diretamente da velocidade com que conseguem consultar dados corporativos complexos.
CLIQUE E SIGA NOSSAS REDES SOCIAIS
Instagram – Famosos, Música, Vídeos Engraçados, Life Style e muito mais!
TikTok – Os melhores vídeos do mundo do Entretê de um jeito que você nunca viu!
Facebook – Todas as notícias do Virgula em apenas um clique, em um só lugar!
O Lakehouse//RT foi criado para eliminar esse compromisso. Ele consulta diretamente tabelas Delta e Iceberg dentro do lakehouse governado, oferecendo aos agentes de IA e aos usuários acesso a dados atualizados, completos e confiáveis, sem necessidade de copiá-los ou movê-los. Seu mecanismo de execução foi projetado para suportar dezenas de milhares de usuários e agentes simultâneos, mantendo baixa latência de forma consistente. Em benchmarks analíticos padrão, o Lakehouse//RT entrega latência inferior a 100 milissegundos com 12 mil consultas por
segundo, e clientes observaram desempenho até 16 vezes superior ao de suas arquiteturas especializadas para disponibilização de dados em tempo real. Ao eliminar a necessidade de uma camada separada para disponibilização de dados em tempo real, o Lakehouse//RT também elimina custos, pipelines de CDC e sincronização, lacunas de governança e dependência de tecnologias proprietárias associadas a essa arquitetura.
“Nos últimos dez anos, unificamos as principais cargas de trabalho da arquitetura de dados moderna em uma única base aberta: engenharia de dados e ciência de dados com Spark, e data warehousing com Photon e o Lakehouse”, disse Ali Ghodsi, cofundador e CEO da Databricks. “O Lakehouse//RT completa esse espectro de mecanismos, oferecendo a camada de velocidade em milissegundos que as pessoas desejam e os agentes exigem. Assim como provamos que o melhor data warehouse é um lakehouse, agora o melhor mecanismo de analytics em tempo real também é o lakehouse.”
LEIA MAIS DO VIRGULA
- Com Marina Sena e mais, Festival Atlântida Celebration anuncia horários oficiais
- Sete a cada 10 jovens preferem honestidade à exclusividade nos relacionamentos
- Burnout na medicina leva profissionais a repensarem modelo tradicional de carreira
O que está por trás do Lakehouse//RT
O Lakehouse//RT foi desenvolvido para atender às demandas específicas de processamento e disponibilização de dados em tempo real em larga escala:
● Latência em milissegundos, em qualquer escala: O modelo de execução totalmente assíncrono do Reyden entrega respostas de até 10 milissegundos em conjuntos de dados menores e cerca de 100 milissegundos em conjuntos maiores, sem degradação da latência, mesmo quando o volume de processamento alcança dezenas de milhares de operações simultâneas. E, diferentemente de mecanismos otimizados apenas para consultas simples, o Lakehouse//RT aplica técnicas avançadas de performance para toda a complexidade analítica.
● Aberto, governado e unificado: Todas as consultas são executadas dentro da estrutura de governança do Unity Catalog, incluindo políticas, permissões e auditoria. Não é necessário manter uma camada separada de governança, e não existem lacunas entre as operações analíticas em tempo real e o restante do ambiente de dados da empresa.
● Dados atualizados, sem configuração adicional: O Lakehouse//RT consulta diretamente tabelas Delta e Iceberg, sem formatos proprietários, cópias de dados ou pipelines de ingestão. Basta apontá-lo para qualquer tabela existente e começar a consultar dados em tempo real em minutos.
Adoção do Lakehouse//RT pelos clientes
“A busca por ameaças exige latência consistentemente baixa, mesmo à medida que o uso cresce entre usuários e agentes”, disse Chris Kopek, Head of Data Platforms da Cisco. “O que estamos observando com o Lakehouse//RT é um desempenho em milissegundos sobre dados ativos, com uma melhoria de cinco vezes no tempo de resposta, o que cria um caminho para executar essas cargas de trabalho diretamente no nosso lakehouse, em vez de manter um sistema de serving separado.”
“Nossa plataforma processa centenas de queries por segundo para fornecer dados de desempenho em tempo real para toda a nossa base de clientes, portanto, latência e consistência impactam diretamente a experiência do usuário com nosso produto”, disse Kayvon Raphael, Senior Director of Engineering da Magnite. “Com o Lakehouse//RT, estamos observando
desempenho consistentemente inferior a 200 milissegundos em nossas principais consultas de dashboards. Conseguir isso mantendo tudo governado dentro do nosso próprio data lake reduz drasticamente a complexidade da gestão do nosso pipeline de dados e do atendimento às aplicações voltadas aos usuários.”
Disponibilidade
O Lakehouse//RT já está disponível em beta. Saiba mais sobre o Lakehouse//RT no blog da Databricks.
Sobre a Databricks
A Databricks é a empresa de dados e IA. Mais de 20.000 organizações em todo o mundo — incluindo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever e 70% das empresas da Fortune 500 — confiam na Databricks para criar e escalar aplicativos, análises e agentes de dados e IA. Com sede em São Francisco e mais de 30 escritórios ao redor do mundo, a Databricks oferece uma plataforma unificada que inclui Lakebase, Genie, Agent Bricks, Lakeflow, Lakehouse e Unity Catalog. Para saber mais, siga a Databricks no LinkedIn, X, YouTube e Instagram.
Ver essa foto no Instagram
