Constantemente, implementamos o Databricks em nossos clientes. Porém, mesmo a solução sendo incrível, ela demandava algum tempo (horas) para realmente colocá-la no ar, uma vez que era necessário fazer a configuração dos clusters, além de se ter todo um preparo para entendimento e estimativa das máquinas necessárias para atender às futuras cargas de trabalho.
Porém, se depender do fabricante e de nós, esse esforço já acabou em julho de 2024 com o lançamento em todas as regiões do Databricks totalmente serverless, conforme podemos conferir neste anúncio: Announcing the General Availability of Serverless Compute for Notebooks, Workflows and Delta Live Tables.
Preparamos um vídeo, no qual abordo como isso ficou prático e com as nossas primeiras opiniões e impressões sobre o futuro uso em ambientes. Veja:
Ficou legal demais: você simplesmente codifica e manda executar o Databricks, e toda a infraestrutura fica totalmente disponível instantaneamente.
Se você deseja monitorar seu ambiente e entender como utilizar a infraestrutura serverless, até para identificar quem mais está fazendo sua empresa pagar caro, ou seja, reconhecer algum usuário ou job, há documentações sobre como implementar o monitoramento. Confira:
