A equipe técnica da DEX está em constante movimento — aprendendo, experimentando e compartilhando conhecimento com o mercado. Cada profissional tem sua própria voz, seu próprio canal, seu próprio ritmo de publicação. E isso é parte da cultura da empresa.
Mas às vezes esse conteúdo fica disperso: um vídeo no canal do Vithor Silva, outro no canal do Lucas Degen, uma live no canal da DEX. É muita informação valiosa espalhada por aí.
Por isso, este post reúne em um só lugar o que a equipe produziu recentemente — para que clientes e parceiros possam acessar tudo de forma centralizada e ter uma visão clara da profundidade técnica que a DEX carrega.
O Databricks Espírito Santo User Group está crescendo rápido, e a equipe DEX tem sido protagonista nos encontros. Nos últimos eventos, dois temas se destacaram: governança de métricas e automação de implantação.
As Metric Views são uma das adições mais relevantes ao Unity Catalog nos últimos meses. Com elas, é possível definir métricas de negócio diretamente na camada de governança do Databricks — reutilizáveis, versionadas e com linhagem rastreável.
No workshop abaixo, Vithor Silva, CTO da DEX, demonstrou na prática como criar e consumir Metric Views, e por que essa abordagem muda o jogo para times que sofrem com métricas inconsistentes entre ferramentas.
Como funcionam na prática?
As Metric Views separam a definição da medida dos agrupamentos de dimensões. Você define a métrica uma vez — por exemplo, soma da receita dividida por contagem distinta de clientes — e o mecanismo de consulta gera o cálculo correto para qualquer dimensão em runtime. Isso contrasta com views tradicionais, que fixam agregações e dimensões no momento da criação.
Além disso, as Metric Views oferecem:
Por que isso importa para o seu ambiente? Se você tem múltiplos relatórios calculando “receita líquida” de formas diferentes, as Metric Views são a resposta — uma única definição, governada, que todos os consumidores de dados passam a usar.
Consulte a documentação oficial e saiba mais clicando aqui.
Deywillan Matos, Engenheiro de Dados da DEX, conduziu uma sessão prática sobre Databricks Asset Bundles (DABs) — a solução nativa do Databricks para transformar projetos em código versionável e implantável via CI/CD.
Com DABs, você define jobs, pipelines, permissões e configurações de ambiente em arquivos YAML e os gerencia como qualquer outro artefato de software. Chega de implantar notebooks manualmente ou manter scripts de deploy frágeis.
O que um Bundle engloba?
Um bundle é a definição completa de um projeto Databricks. Ele inclui:
Tudo isso é descrito em arquivos YAML versionados e implantado como uma única unidade via Databricks CLI (databricks bundle init). O resultado é um fluxo de CI/CD completo, auditável e reproduzível — sem scripts de deploy customizados nem implantações manuais.
Quando usar?
A Microsoft recomenda DABs especialmente para: projetos em equipe com múltiplos contribuidores; pipelines de ML que precisam seguir boas práticas de produção desde o início; padronização organizacional com templates customizados; e ambientes regulados onde rastreabilidade de código e infraestrutura é exigência de compliance.
Por que isso importa para o seu ambiente? Times que ainda implantam workloads Databricks de forma manual ou via scripts customizados estão acumulando dívida operacional. DABs é o padrão — e o Deywillan mostra como começar.
Consulte a documentação oficial e saiba mais clicando aqui.
Lucas Degen, Engenheiro de Dados da DEX, mantém o canal Data Expeditions com conteúdo focado em Microsoft Fabric. Em três vídeos recentes, ele cobriu desde a decisão de adotar o Fabric até os detalhes de seus principais mecanismos de ingestão.
Antes de qualquer detalhe técnico, existe uma pergunta que todo gestor e arquiteto precisa responder: o Fabric faz sentido para o meu cenário?
Lucas aborda exatamente isso — o posicionamento do Fabric como plataforma unificada, seus pontos fortes em relação a ambientes fragmentados e os critérios que devem guiar a decisão de adoção.
O Copy Job é um dos recursos mais práticos do Fabric para quem precisa replicar dados entre fontes. Lucas explica em detalhes como configurar as três estratégias de carga — Full, Incremental e CDC (Change Data Capture) — e em qual cenário cada uma se aplica.
O que o Copy Job suporta na prática?
Diferente de uma Copy Activity dentro de um Pipeline, o Copy Job é uma experiência dedicada — sem necessidade de pipeline ao redor. Ele oferece:
| Modo | Quando usar |
|---|---|
| Full Copy | Cada execução replica todos os dados da origem |
| Incremental (Watermark) | Detecta dados novos por uma coluna de controle (datetime, integer, ROWVERSION) |
| Incremental (CDC) | Replica inserções, atualizações e deleções quando CDC está habilitado na origem |
Além do modo de carga, você controla como os dados são escritos no destino: Append (acumula histórico), Overwrite (substitui), Merge (atualiza por chave) ou SCD Type 2 (mantém histórico com datas de vigência).
Outros destaques: criação automática de tabelas no destino, colunas de auditoria para rastreabilidade por linha, agendamento múltiplo (diário, semanal, pontual) e suporte a mais de 50 conectores de origem e 40 de destino — incluindo fontes on-premises via gateway.
Por que isso importa para o seu ambiente? Escolher a estratégia de carga errada gera retrabalho, custos desnecessários e dados desatualizados. Este vídeo elimina a dúvida de uma vez.
Pipelines são poderosos — mas nem sempre são a ferramenta certa. Lucas responde a pergunta que muita gente evita fazer: quando usar Pipelines e, tão importante quanto, quando não usar?
O guia de decisão do Fabric em poucas linhas
A documentação oficial da Microsoft resume bem quando usar cada ferramenta:
| Ferramenta | Cenário ideal |
|---|---|
| Mirroring | Replicação near real-time com configuração mínima |
| Copy Job | Ingestão incremental/CDC multi-tabela, sem código |
| Copy Activity (Pipeline) | Orquestração complexa com dependências e transformações leves |
| Dataflow Gen 2 | Transformações sem código com 170+ conectores (Power Query) |
| Notebooks | Transformações complexas, ML, código-first com Spark |
| Apache Airflow Jobs | Orquestração code-first com DAGs Python |
| Eventstreams | Ingestão e processamento de dados em tempo real |
A pergunta central é: você quer mover dados ou transformá-los? Dentro de cada categoria, o nível de código exigido e o tipo de carga (batch, incremental, streaming) determinam a ferramenta certa.
Consulte a documentação oficial e saiba como decidir, clicando aqui.
Em uma das lives do canal da DEX, a equipe discutiu um tema que movimentou o mercado: as mudanças no Power BI Premium e o que elas significam para empresas que dependem dessa licença.
O que muda? O que fica? Como o Microsoft Fabric reposiciona o Power BI dentro do seu ecossistema? Essas perguntas foram respondidas com profundidade na live abaixo.
O que está mudando com o Dataflow Gen1?
O Power BI Dataflows Gen1 passou mais de 8 anos como a principal solução de preparação de dados low-code da Microsoft. A Microsoft declarou oficialmente que o Gen1 “atingiu o fim da inovação ativa” e está entrando em estado legado — as limitações remanescentes exigiriam mudanças arquiteturais profundas que já foram incorporadas no Gen2.
As principais limitações que motivam a transição:
O que o Dataflow Gen2 entrega?
| Aspecto | Gen1 | Gen2 |
|---|---|---|
| Destinos | Limitado | SharePoint, OneDrive, ADLS, SQL, Lakehouse, Snowflake e mais |
| Performance | Processamento padrão | Processamento paralelo com tempos de atualização significativamente menores |
| IA | Nenhuma | Copilot converte linguagem natural em lógica Power Query |
| Custeamento | Vinculado à capacidade Premium | Desacoplado — pague apenas pelos recursos utilizados |
Sobre os prazos
A Microsoft garantiu um aviso mínimo de 12 meses antes de qualquer encerramento para clientes Premium. Para licenças Pro/PPU, o cronograma ainda está sendo finalizado, mas o Gen1 segue suportado no momento. Clientes em ambientes GCC terão acesso ao Gen2 antes de qualquer transição obrigatória.
Para migração, a Microsoft disponibiliza a opção “Save as Dataflow Gen2” para conversões individuais e APIs para automação em larga escala de portfólios maiores.
Confira a nota oficial da Microsoft sobre o encerramento do Dataflow Gen1, clicando aqui.
Se você ainda usa Power BI Premium, este conteúdo é leitura obrigatória — melhor se antecipar às mudanças do que ser surpreendido por elas.
Os temas cobertos aqui — governança de métricas, CI/CD para Databricks, migração para Fabric, estratégias de ingestão — não são apenas conteúdo educativo. São desafios reais que a DEX enfrenta com seus clientes todos os dias.
Se algum desses tópicos ressoou com algo vivido no ambiente de dados da sua empresa, a DEX está pronta para ajudar.
Seja uma dúvida pontual, uma avaliação do ambiente atual ou a estruturação de um projeto de modernização de dados, a equipe está disponível:
Entre em contato e descubra como a DEX pode ajudar a evoluir o seu ambiente de dados.
Prefere uma conversa direta? Agende uma reunião com o time de especialistas da DEX e tire suas dúvidas sobre os temas apresentados ou avalie oportunidades de melhoria no seu ambiente.
A DEX agradece a Deywillan Matos e Lucas Degen pela produção contínua de conteúdo técnico de alta qualidade. É essa energia que move a empresa.
