Skip to content

Databricks

Databricks: AI/BI Dashboards

Recentemente realizamos um webinar abordando sobre o Databricks AI/BI Dashboards em detalhe, confira:

O que é?

Desde junho/2024 a Databricks fez um rebrand da sua solução conhecida como Lakeview e a nomeoou como Databricks AI/BI Dashboards, tornando uma solução muito mais interessante e totalmente alimentada por Inteligência Artificial, através do que chamam de Compound AI System, vide: Compound AI System

Assim sendo, AI/BI Dashboards é mais uma funciondalidade do Databricks e que busca ser uma solução de painel de baixo código e com tecnologia de IA que inclui todos os recursos convencionais de BI que você esperaria prontos para uso, para responder a um conjunto fixo de perguntas de negócios.

Databricks | AI/BI Dashboard

É uma bela ferramenta e que atende ao propósito, quando você necessita apenas de dashboards! Precisamos lembrar que dashboards é diferente de relatórios, até a Microsoft com o Power BI faz a distinção entre dashboards, relatórios e relatórios paginados.

E neste sentido, comparando Dashboards entre soluções a da Databricks me parece muito promissora, vide:

Solução Exemplo dashboard
Microsoft PowerBI PowerBI Dashboards
Tableau Tableau Dashboards
Databricks PowerBI Dashboards

Quando colocamos ela comparada com os concorrentes, podemos ver que visualmente a ferramenta está competindo de igual para igual.

Achou interessante? Você pode agendar um momento com nosso time comercial clicando aqui.

Vantagens

  • Visão unificada de seus dados: O Lakehouse Federation oferece uma visão unificada de todos os seus dados, independentemente de onde eles estejam armazenados;
  • Análise em tempo real: Acesse e analise seus dados em tempo real, sem a necessidade de mover ou copiar dados;
  • Simplicidade e flexibilidade: É fácil configurar e usar, e oferece suporte a uma ampla variedade de fontes de dados;
  • Redução de custos e aumento da eficiência: Elimine a necessidade de integrações complexas e redundantes;

Camada semântica

Considero como um dos pontos fortes para utilização de dashboards através do Databricks é que a visualização dos dados estará diretamente conectado aos dados no lakehouse, eliminando uma camada semântica que o forçaria a ter que muitas vezes que importar os dados novamente para esta outra camada (vide modo import do PowerBI) ou mesmo que utilizasse um método diretamente conectado aos dados (directquery ou directlake), você ainda teria mais uma camada para gerenciar o desempenho do seu dashboard.

Databricks - Caso de uso: análise de BI e SQL

Leia mais

Data Saturday 2024

Como foi?

No dia 26/10/2024 estivemos no Data Saturday 2024 que aconteceu Unisales e que teve mais de 1000 inscritos:

Data Saturday

Este é um evento tradicional em Vitória que em outros anos tinhamos menos de 50 pessoas e agora entrou de vez para o calendário de milhares de pessoas, algo que muito me orgulha de participar e organizar.

Neste ano, estive palestrando somente sobre temas relacionados ao Databricks como Genie e Data Sharing.

Data Saturday

O time da DEX esteve em peso participando e apoiando como voluntário no evento:

Data Saturday

E fortalecemos nosso apoio mais uma vez

Data Saturday

Recentemente realizamos um webinar abordando sobre o Databricks AI/BI Dashboards em detalhe, confira:

O que é?

Desde junho/2024 a Databricks fez um rebrand da sua solução conhecida como Lakeview e a nomeoou como Databricks AI/BI Dashboards, tornando uma solução muito mais interessante e totalmente alimentada por Inteligência Artificial, através do que chamam de Compound AI System, vide: Compound AI System

Assim sendo, AI/BI Dashboards é mais uma funciondalidade do Databricks e que busca ser uma solução de painel de baixo código e com tecnologia de IA que inclui todos os recursos convencionais de BI que você esperaria prontos para uso, para responder a um conjunto fixo de perguntas de negócios.

Databricks | AI/BI Dashboard

É uma bela ferramenta e que atende ao propósito, quando você necessita apenas de dashboards! Precisamos lembrar que dashboards é diferente de relatórios, até a Microsoft com o Power BI faz a distinção entre dashboards, relatórios e relatórios paginados.

E neste sentido, comparando Dashboards entre soluções a da Databricks me parece muito promissora, vide:

Solução Exemplo dashboard
Microsoft PowerBI PowerBI Dashboards
Tableau Tableau Dashboards
Databricks PowerBI Dashboards

Quando colocamos ela comparada com os concorrentes, podemos ver que visualmente a ferramenta está competindo de igual para igual.

Achou interessante? Você pode agendar um momento com nosso time comercial clicando aqui.

Vantagens

  • Visão unificada de seus dados: O Lakehouse Federation oferece uma visão unificada de todos os seus dados, independentemente de onde eles estejam armazenados;
  • Análise em tempo real: Acesse e analise seus dados em tempo real, sem a necessidade de mover ou copiar dados;
  • Simplicidade e flexibilidade: É fácil configurar e usar, e oferece suporte a uma ampla variedade de fontes de dados;
  • Redução de custos e aumento da eficiência: Elimine a necessidade de integrações complexas e redundantes;

Camada semântica

Considero como um dos pontos fortes para utilização de dashboards através do Databricks é que a visualização dos dados estará diretamente conectado aos dados no lakehouse, eliminando uma camada semântica que o forçaria a ter que muitas vezes que importar os dados novamente para esta outra camada (vide modo import do PowerBI) ou mesmo que utilizasse um método diretamente conectado aos dados (directquery ou directlake), você ainda teria mais uma camada para gerenciar o desempenho do seu dashboard.

Databricks - Caso de uso: análise de BI e SQL

Leia mais

Databricks | Finalmente e totalmente serverless!

Infraestrutura disponível instantaneamente

Constantemente, implementamos o Databricks em nossos clientes. Porém, mesmo a solução sendo incrível, ela demandava algum tempo (horas) para realmente colocá-la no ar, uma vez que era necessário fazer a configuração dos clusters, além de se ter todo um preparo para entendimento e estimativa das máquinas necessárias para atender às futuras cargas de trabalho.

Porém, se depender do fabricante e de nós, esse esforço já acabou em julho de 2024 com o lançamento em todas as regiões do Databricks totalmente serverless, conforme podemos conferir neste anúncio: Announcing the General Availability of Serverless Compute for Notebooks, Workflows and Delta Live Tables.

Preparamos um vídeo, no qual abordo como isso ficou prático e com as nossas primeiras opiniões e impressões sobre o futuro uso em ambientes. Veja:

Ficou legal demais: você simplesmente codifica e manda executar o Databricks, e toda a infraestrutura fica totalmente disponível instantaneamente. Databricks é serverless

Se você deseja monitorar seu ambiente e entender como utilizar a infraestrutura serverless, até para identificar quem mais está fazendo sua empresa pagar caro, ou seja, reconhecer algum usuário ou job, há documentações sobre como implementar o monitoramento. Confira:

Account Usage

Databricks | Lakehouse Federation

Databricks: Lakehouse Federation

Na Datasource Expert realizamos constantemente apresentações técnicas sobre soluções e boas práticas de mercado aplicado a área de dados. Desta vez, nosso tema foi abordar o Lakehouse Federation presente no Databricks.

O que é?

Lakehouse Federation é uma tecnologia que acessar bancos de dados SQL externos, atualmente este são os suportados:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL do Data Warehouse)
  • Google BigQuery
  • Databricks

Futuramente acompanhe em Microsoft | Fontes de dados com suporte.

Arquitetura de Referência: Azure Databricks

Esta é uma excelente opção, quando você deseja uma estratégia zero-etl ou evitar a "cópia da cópia" dos dados. Imagina, você já possui uma abordagem de armazenamento dos dados analíticos no Snowflake, Google BigQuery ou Azure Synapse e também no Databricks e deseja simplesmente realizar um "join" entre esses dados, com certeza Query Federation do Databricks será perfeito!

Vantagens: * Visão unificada de seus dados: O Lakehouse Federation oferece uma visão unificada de todos os seus dados, independentemente de onde eles estejam armazenados.

  • Análise em tempo real: Acesse e analise seus dados em tempo real, sem a necessidade de mover ou copiar dados.

  • Simplicidade e flexibilidade: É fácil configurar e usar, e oferece suporte a uma ampla variedade de fontes de dados.

  • Redução de custos e aumento da eficiência: Elimine a necessidade de integrações complexas e redundantes.