Skip to content

Boletim de Abril/2026

A DEX não para de produzir!

A equipe técnica da DEX está em constante movimento — aprendendo, experimentando e compartilhando conhecimento com o mercado. Cada profissional tem sua própria voz, seu próprio canal, seu próprio ritmo de publicação. E isso é parte da cultura da empresa.

Mas às vezes esse conteúdo fica disperso: um vídeo no canal do Vithor Silva, outro no canal do Lucas Degen, uma live no canal da DEX. É muita informação valiosa espalhada por aí.

Por isso, este post reúne em um só lugar o que a equipe produziu recentemente — para que clientes e parceiros possam acessar tudo de forma centralizada e ter uma visão clara da profundidade técnica que a DEX carrega.

Databricks — User Group Espírito Santo

O Databricks Espírito Santo User Group está crescendo rápido, e a equipe DEX tem sido protagonista nos encontros. Nos últimos eventos, dois temas se destacaram: governança de métricas e automação de implantação.

Unity Metric Views — Vithor Silva

As Metric Views são uma das adições mais relevantes ao Unity Catalog nos últimos meses. Com elas, é possível definir métricas de negócio diretamente na camada de governança do Databricks — reutilizáveis, versionadas e com linhagem rastreável.

No workshop abaixo, Vithor Silva, CTO da DEX, demonstrou na prática como criar e consumir Metric Views, e por que essa abordagem muda o jogo para times que sofrem com métricas inconsistentes entre ferramentas.

Como funcionam na prática?

As Metric Views separam a definição da medida dos agrupamentos de dimensões. Você define a métrica uma vez — por exemplo, soma da receita dividida por contagem distinta de clientes — e o mecanismo de consulta gera o cálculo correto para qualquer dimensão em runtime. Isso contrasta com views tradicionais, que fixam agregações e dimensões no momento da criação.

Além disso, as Metric Views oferecem:

  • Materialização (Experimental): pré-computação e atualização incremental de agregações, com reescrita automática de queries para usar as visões materializadas.
  • Metadados para agentes de IA: sinônimos, nomes de exibição e regras de formatação que aumentam a precisão de agentes de linguagem e garantem consistência entre ferramentas.
  • Suporte a esquemas estrela e floco de neve: relações de múltiplos níveis e junções configuráveis por YAML ou pela interface do Catalog Explorer.
  • Consumo universal: editores SQL, notebooks, dashboards, Genie Spaces e alertas podem consultar as mesmas definições.

Por que isso importa para o seu ambiente? Se você tem múltiplos relatórios calculando "receita líquida" de formas diferentes, as Metric Views são a resposta — uma única definição, governada, que todos os consumidores de dados passam a usar.

Consulte a documentação oficial e saiba mais clicando aqui.

Asset Bundles — Deywillan Mattos

Deywillan Matos, Engenheiro de Dados da DEX, conduziu uma sessão prática sobre Databricks Asset Bundles (DABs) — a solução nativa do Databricks para transformar projetos em código versionável e implantável via CI/CD.

Com DABs, você define jobs, pipelines, permissões e configurações de ambiente em arquivos YAML e os gerencia como qualquer outro artefato de software. Chega de implantar notebooks manualmente ou manter scripts de deploy frágeis.

O que um Bundle engloba?

Um bundle é a definição completa de um projeto Databricks. Ele inclui:

  • Infraestrutura e configurações de workspace necessárias
  • Arquivos de código-fonte (notebooks, Python)
  • Definições de recursos: Lakeflow Jobs, pipelines, dashboards, Model Serving endpoints, MLflow Experiments e Modelos registrados
  • Testes unitários e de integração

Tudo isso é descrito em arquivos YAML versionados e implantado como uma única unidade via Databricks CLI (databricks bundle init). O resultado é um fluxo de CI/CD completo, auditável e reproduzível — sem scripts de deploy customizados nem implantações manuais.

Quando usar?

A Microsoft recomenda DABs especialmente para: projetos em equipe com múltiplos contribuidores; pipelines de ML que precisam seguir boas práticas de produção desde o início; padronização organizacional com templates customizados; e ambientes regulados onde rastreabilidade de código e infraestrutura é exigência de compliance.

Por que isso importa para o seu ambiente? Times que ainda implantam workloads Databricks de forma manual ou via scripts customizados estão acumulando dívida operacional. DABs é o padrão — e o Deywillan mostra como começar.

Consulte a documentação oficial e saiba mais clicando aqui.

Microsoft Fabric — Canal Data Expeditions

Lucas Degen, Engenheiro de Dados da DEX, mantém o canal Data Expeditions com conteúdo focado em Microsoft Fabric. Em três vídeos recentes, ele cobriu desde a decisão de adotar o Fabric até os detalhes de seus principais mecanismos de ingestão.

Por que usar o Microsoft Fabric no seu ambiente de dados?

Antes de qualquer detalhe técnico, existe uma pergunta que todo gestor e arquiteto precisa responder: o Fabric faz sentido para o meu cenário?

Lucas aborda exatamente isso — o posicionamento do Fabric como plataforma unificada, seus pontos fortes em relação a ambientes fragmentados e os critérios que devem guiar a decisão de adoção.

Microsoft Fabric Copy Job — Carga Full, Incremental e CDC

O Copy Job é um dos recursos mais práticos do Fabric para quem precisa replicar dados entre fontes. Lucas explica em detalhes como configurar as três estratégias de carga — Full, Incremental e CDC (Change Data Capture) — e em qual cenário cada uma se aplica.

O que o Copy Job suporta na prática?

Diferente de uma Copy Activity dentro de um Pipeline, o Copy Job é uma experiência dedicada — sem necessidade de pipeline ao redor. Ele oferece:

Modo Quando usar
Full Copy Cada execução replica todos os dados da origem
Incremental (Watermark) Detecta dados novos por uma coluna de controle (datetime, integer, ROWVERSION)
Incremental (CDC) Replica inserções, atualizações e deleções quando CDC está habilitado na origem

Além do modo de carga, você controla como os dados são escritos no destino: Append (acumula histórico), Overwrite (substitui), Merge (atualiza por chave) ou SCD Type 2 (mantém histórico com datas de vigência).

Outros destaques: criação automática de tabelas no destino, colunas de auditoria para rastreabilidade por linha, agendamento múltiplo (diário, semanal, pontual) e suporte a mais de 50 conectores de origem e 40 de destino — incluindo fontes on-premises via gateway.

Por que isso importa para o seu ambiente? Escolher a estratégia de carga errada gera retrabalho, custos desnecessários e dados desatualizados. Este vídeo elimina a dúvida de uma vez.

Consulte a documentação oficial e saiba mais clicando aqui.

Domine Pipelines no Microsoft Fabric

Pipelines são poderosos — mas nem sempre são a ferramenta certa. Lucas responde a pergunta que muita gente evita fazer: quando usar Pipelines e, tão importante quanto, quando não usar?

O guia de decisão do Fabric em poucas linhas

A documentação oficial da Microsoft resume bem quando usar cada ferramenta:

Ferramenta Cenário ideal
Mirroring Replicação near real-time com configuração mínima
Copy Job Ingestão incremental/CDC multi-tabela, sem código
Copy Activity (Pipeline) Orquestração complexa com dependências e transformações leves
Dataflow Gen 2 Transformações sem código com 170+ conectores (Power Query)
Notebooks Transformações complexas, ML, código-first com Spark
Apache Airflow Jobs Orquestração code-first com DAGs Python
Eventstreams Ingestão e processamento de dados em tempo real

A pergunta central é: você quer mover dados ou transformá-los? Dentro de cada categoria, o nível de código exigido e o tipo de carga (batch, incremental, streaming) determinam a ferramenta certa.

Consulte a documentação oficial e saiba como decidir, clicando aqui.

DEX Talks — O Fim de uma era no Power BI

Em uma das lives do canal da DEX, a equipe discutiu um tema que movimentou o mercado: as mudanças no Power BI Premium e o que elas significam para empresas que dependem dessa licença.

O que muda? O que fica? Como o Microsoft Fabric reposiciona o Power BI dentro do seu ecossistema? Essas perguntas foram respondidas com profundidade na live abaixo.

O que está mudando com o Dataflow Gen1?

O Power BI Dataflows Gen1 passou mais de 8 anos como a principal solução de preparação de dados low-code da Microsoft. A Microsoft declarou oficialmente que o Gen1 "atingiu o fim da inovação ativa" e está entrando em estado legado — as limitações remanescentes exigiriam mudanças arquiteturais profundas que já foram incorporadas no Gen2.

As principais limitações que motivam a transição:

  • Suporte restrito a destinos de armazenamento
  • Desempenho inferior em grandes volumes de dados
  • Ausência de capacidades de IA integradas
  • Diagnósticos menos detalhados
  • Modelo de custeamento menos flexível (amarrado à capacidade Premium)

O que o Dataflow Gen2 entrega?

Aspecto Gen1 Gen2
Destinos Limitado SharePoint, OneDrive, ADLS, SQL, Lakehouse, Snowflake e mais
Performance Processamento padrão Processamento paralelo com tempos de atualização significativamente menores
IA Nenhuma Copilot converte linguagem natural em lógica Power Query
Custeamento Vinculado à capacidade Premium Desacoplado — pague apenas pelos recursos utilizados

Sobre os prazos

A Microsoft garantiu um aviso mínimo de 12 meses antes de qualquer encerramento para clientes Premium. Para licenças Pro/PPU, o cronograma ainda está sendo finalizado, mas o Gen1 segue suportado no momento. Clientes em ambientes GCC terão acesso ao Gen2 antes de qualquer transição obrigatória.

Para migração, a Microsoft disponibiliza a opção "Save as Dataflow Gen2" para conversões individuais e APIs para automação em larga escala de portfólios maiores.

Confira a nota oficial da Microsoft sobre o encerramento do Dataflow Gen1, clicando aqui.

Se você ainda usa Power BI Premium, este conteúdo é leitura obrigatória — melhor se antecipar às mudanças do que ser surpreendido por elas.

Seu ambiente de dados pode ir mais longe

Os temas cobertos aqui — governança de métricas, CI/CD para Databricks, migração para Fabric, estratégias de ingestão — não são apenas conteúdo educativo. São desafios reais que a DEX enfrenta com seus clientes todos os dias.

Se algum desses tópicos ressoou com algo vivido no ambiente de dados da sua empresa, a DEX está pronta para ajudar.

Seja uma dúvida pontual, uma avaliação do ambiente atual ou a estruturação de um projeto de modernização de dados, a equipe está disponível:

Entre em contato e descubra como a DEX pode ajudar a evoluir o seu ambiente de dados.

Prefere uma conversa direta? Agende uma reunião com o time de especialistas da DEX e tire suas dúvidas sobre os temas apresentados ou avalie oportunidades de melhoria no seu ambiente.

A DEX agradece a Deywillan Matos e Lucas Degen pela produção contínua de conteúdo técnico de alta qualidade. É essa energia que move a empresa.

Comments