Guilherme Matheus

Kestra: A Nova Era da Orquestração de Dados? No universo da Engenharia de Dados e IA, a orquestração de workflows é crucial. Ferramentas como o Apache Airflow dominaram o mercado, mas o Kestra surge como uma alternativa promissora. Vale a pena a mudança? O Cenário Atual: O Domínio do Airflow O Airflow é padrão de mercado por sua flexibilidade e poder, permitindo complexos pipelines de dados (DAGs) em Python. Contudo, sua curva de aprendizado é acentuada, a infraestrutura complexa e o gerenciamento de dependências, desafiador. Kestra: Simplicidade e Poder Unificados Kestra busca unir o melhor dos dois mundos: a simplicidade de ferramentas no-code com a robustez de soluções baseadas em código. O foco é na lógica de negócio, não na infraestrutura. Principais Vantagens do Kestra sobre o Airflow: ✅ Declarativo e Agnóstico a Linguagem: Workflows em YAML, simples e legível. Elimina boilerplate Python, permitindo que qualquer profissional crie e gerencie pipelines. Orquestra scripts em Python, Node.js, Go, Rust, SQL ou Bash em contêineres. ✅ Interface Unificada (Low-code/No-code + Code): Editor de código integrado no browser com validação de sintaxe e autocompletion, além de interface visual para workflows. Democratiza a automação, permitindo a participação de stakeholders de negócio. ✅ Gerenciamento de Dependências Simplificado: Kestra oferece mais de 500 plugins prontos e scripts customizados rodam em ambientes isolados (contêineres), eliminando conflitos de dependências. ✅ Separação entre Orquestração e Lógica de Negócio: Não é preciso adaptar seu código. Scripts de processamento de dados podem ser chamados diretamente do Kestra, permitindo que equipes atualizem a lógica de negócio sem interferência do orquestrador. ✅ Governança e Versionamento: Fluxos com histórico de revisão, permitindo rollback e comparação de mudanças, garantindo segurança e auditabilidade. Conclusão Enquanto o Airflow é poderoso, o Kestra se posiciona como uma evolução, oferecendo uma abordagem mais acessível e eficiente para a orquestração de dados. Sua capacidade de unir desenvolvimento baseado em código com interfaces low-code/no-code o torna atraente para empresas que buscam agilidade e colaboração em suas operações de dados e IA. A escolha dependerá das necessidades de cada projeto, mas o Kestra merece atenção. https://kestra.io/ #EngenhariaDeDados #InteligenciaArtificial #Orquestracao #Kestra #Airflow #DataOps #MLOps

7

Python para analistas de dados não precisa ser infinito em bibliotecas. Na prática, o que mais aparece no dia a dia é um fluxo bem feito do dado bruto até o insight. Passo a passo que realmente importa: → Carregar e inspecionar pandas, read_csv/read_excel, head(), info() Padronizar tipos de dados logo no início para evitar erro lá na frente → Limpar e transformar fillna(), dropna(), astype(), merge(), groupby() Registrar as regras de limpeza no notebook para garantir repetição do processo → Analisar e validar Filtros, métricas, correlação, checagem de outliers Conferir duplicidades antes de agregar ou criar indicadores → Visualizar e entregar matplotlib ou seaborn para gráficos simples e objetivos Exportar a versão final em CSV ou Excel para compartilhar com o time Quanto mais esse fluxo fica automático, mais tempo sobra para pensar no negócio em vez de só “mexer no código”. Quer seguir carreira em dados, ter acesso a vagas curadas, conteúdos e datasets para praticar? Acesse o Data Hire Club: https://lnkd.in/dVADRcUJ #python #analisededados #dataanalytics #businessintelligence #sql #powerbi #carreiraemdados #portfólioemdados #datahireclub

252

4 Comments

Spec-Driven Development (SDD) com Databricks Recentemente escrevi um artigo sobre como o Spec-Driven Development (SDD) pode reduzir drasticamente o retrabalho em pipelines de dados no Databricks ▶️ Confira o vídeo completo no Youtube: https://lnkd.in/dcSZji84 📒 Confira o artigo: https://lnkd.in/dz77hkJP Para complementar a leitura e a pedido de alguns colegas da área, decidi gravar um vídeo mostrando a implementação real dessa abordagem com Databricks Lakeflow Pipelines. No vídeo, demonstro como o SDD funciona na prática, desde a criação da especificação em Markdown até o deploy automatizado com Asset Bundles, para que você possa aplicar no seu próprio ambiente. Convido vocês a assistirem e compartilharem seus feedbacks. A troca de conhecimento é o que faz nossa comunidade evoluir. Menção aos feras: Rodrigo Oliveira e Ricardo Odorczyk #DataEngineering #Databricks #SpecDrivenDevelopment #DataArchitecture #TechLeadership #Lakeflow #DataGovernance #Automation

77

6 Comments

🔎 **Você sabe qual é a ordem real de execução de uma query?** Muita gente escreve na ordem: ```sql SELECT FROM WHERE GROUP BY HAVING ORDER BY ``` Mas a execução lógica do SQL acontece de forma bem diferente 👇 ✅ 1️⃣ FROM / JOIN ✅ 2️⃣ WHERE ✅ 3️⃣ GROUP BY ✅ 4️⃣ HAVING ✅ 5️⃣ SELECT ✅ 6️⃣ DISTINCT ✅ 7️⃣ ORDER BY ✅ 8️⃣ LIMIT / TOP 💡 Entender essa ordem muda completamente a forma como você: * Depura queries * Resolve erros de agregação * Trabalha com GROUP BY e HAVING * Otimiza consultas Um exemplo clássico: Por que não posso usar um alias criado no `SELECT` dentro do `WHERE`? 👉 Porque o `WHERE` é executado **antes** do `SELECT`. Parece simples, mas esse conhecimento separa quem “faz funcionar” de quem realmente **entende o que está acontecendo por baixo dos panos**. Se você trabalha com Engenharia de Dados, Analytics ou Backend, dominar isso é essencial. Você já sabia dessa ordem ou também achava que seguia a ordem de escrita? 👀 #SQL #DataEngineering #BancoDeDados #Analytics #AprendizadoContinuo

23

1 Comment

Um desafio recorrente na controladoria é quando o dado nasce em PDF. Recentemente, desenvolvi um pipeline para transformar extratos e relatórios financeiros em PDF (com texto selecionável) em uma base estruturada, com as colunas: Data | Conciliação | Parceiro | Histórico | Débito | Crédito | Saldo Os desafios eram: i) Linhas quebradas (parceiro e histórico “saltando” para a linha seguinte) ii) Campos misturados (trechos do parceiro incorporados ao histórico e vice-versa) iii) Valores monetários colados ao fim da linha, com variações de formatação iv) Texto duplicado (ex.: “FORNECEDOR X FORNECEDOR X”) v) Rodapés como “Saldo Final” e “Totais” contaminando os lançamentos vi) Palavras coladas típicas da extração em PDF (ex.: “LTDADIREITO”) A solução foi estruturar um parser com múltiplas camadas: i) Extração via pdfplumber ii) Uso de regex para identificação robusta de datas e valores iii) Reconstrução de “linhas lógicas” a partir de quebras físicas iv) Heurísticas para separar Parceiro e Histórico com base em padrões recorrentes v) Camadas de limpeza (normalização de espaços, deduplicação, correção de tokens colados) vi) Validação automática por total de débitos, créditos e saldo final O que antes exigia horas de ajustes manuais no excel passou a ser um processo reprodutível e escalável. No fechamento contábil, o impacto foi direto. A base estruturada permitiu acelerar a conciliação bancária, identificar divergências com mais rapidez, reduzir ajustes de última hora e aumentar a confiabilidade dos saldos reportados. O processo ganhou previsibilidade e rastreabilidade, dois pontos críticos em períodos de fechamento. link no github: https://lnkd.in/dmHxnUue

64

O domínio de SQL básico ainda resolve mais problemas de negócio do que a criação de agentes autônomos. A expectativa comum de quem entra na área de dados é passar o dia criando sistemas complexos de IA e testando os modelos mais recentes. O mercado exige uma postura pragmática. A área de dados atua como um braço estratégico da empresa, e o trabalho diário tem o objetivo central de facilitar a tomada de decisão da diretoria. Isso exige traduzir informações soltas em direcionamentos claros para a operação. Requer direcionar a energia para os indicadores que afetam o resultado financeiro da companhia. Uma extração direta que resolve um problema de logística ou de fluxo de caixa hoje gera mais valor imediato do que um sistema avançado que a gestão não consegue interpretar. A comunicação clara e a visão de negócio se tornam as habilidades técnicas mais rentáveis de um profissional da área. Os momentos de pesquisa profunda e exploração de novas arquiteturas são essenciais e vão acontecer. O erro não está nas ferramentas avançadas, mas na falta de pragmatismo. Sistemas agênticos entregam valor real na tomada de decisão complexa. Eles são feitos para cruzar dados não estruturados, analisar cadeias de produção inteiras e automatizar auditorias pesadas que levariam dias de análise manual. Nesses cenários específicos, a IA deixa de ser vaidade e passa a ser o motor da empresa. O trabalho de um profissional focado em inteligência artificial não é forçar o uso da tecnologia mais nova em todos os projetos de forma cega. O foco deve ser saber exatamente quando usar um script direto e quando escalar para um sistema de agentes de IA. Tecnologia avançada resolvendo problema trivial gera apenas custo de infraestrutura.

70

8 Comments

Durante muito tempo, quando falamos de modelos de Machine Learning, partimos de uma suposição implícita: o problema é estável. Na classificação, assumimos que as classes continuam significando a mesma coisa ao longo do tempo, já na regressão, assumimos que a relação entre variáveis permanece válida e mesmo em detecção de anomalias, assumimos que aquilo que aprendemos como “normal” continuará sendo normal amanhã, mas no mundo real, essa estabilidade é a exceção e não a regra. - Fraudes evoluem; - comportamentos mudam; - novos produtos alteram padrões de uso; - crises econômicas transformam consumo; - tecnologias criam novas formas de interação. O que hoje é raro pode se tornar comum e o que hoje é comum pode desaparecer. Esse fenômeno tem nome: Concept drift que é o que ocorre quando a relação entre variáveis e comportamento esperado muda ao longo do tempo. O modelo não está necessariamente mal construído ele apenas foi treinado para um mundo que já não existe mais. Em detecção de anomalias, isso é especialmente crítico, pois se o modelo aprende normalidade a partir do passado, mas o padrão normal se transforma, três coisas podem acontecer: - começamos a gerar falsos positivos em excesso; - deixamos de detectar desvios relevantes; - ou passamos a considerar “normal” algo que antes seria suspeito. Nesse ponto, o desafio deixa de ser apenas modelar desvio e passa a ser monitorar a própria definição de desvio e é por isso que sistemas reais de detecção de anomalias não vivem apenas de um modelo estático. Eles incorporam: - monitoramento contínuo da distribuição de dados e scores; - acompanhamento de métricas operacionais (taxa de alerta, taxa de confirmação); - re-treinamento periódico ou adaptativo; - revisão humana das decisões mais críticas. Modelos não são apenas treinados, eles são mantidos e se a classificação nos ensinou a prever e a clusterização nos ensinou a enxergar estrutura, a detecção de anomalias diante do concept drift nos ensina algo ainda mais profundo: aprender é acompanhar mudança. E talvez esse seja o maior deslocamento conceitual dessa jornada: deixar de enxergar modelos como respostas finais e passar a enxergá-los como sistemas vivos, que precisam evoluir junto com o espaço onde os dados vivem. #MachineLearning #AnomalyDetection #ConceptDrift #DataScience #ModelMonitoring https://lnkd.in/dUdQHBa2

9

1 Comment

Databricks Genie Code Databricks acabou de lançar o "Genie Code", que chegou para aprimorar a eficiência e a automação das equipes de dados, e promete impactar a engenharia e a ciência de dados. O Databricks Genie Code se destaca como um aliado autônomo para equipes de dados. Com a capacidade de transformar conceitos de engenharia, ciência e análises em sistemas de produção totalmente autônomos, o Genie Code promete elevar a eficiência e a automação no trabalho com dados a um novo nível. Uma das funcionalidades mais notáveis é o ‘vibe-coding’, que permite aos usuários interagir de maneira intuitiva com a camada de dados dos sistemas empresariais. Essa abordagem não apenas simplifica o processo de codificação, mas também democratiza o acesso à análise de dados, permitindo que mais colaboradores dentro das organizações contribuam sem enfrentar uma curva de aprendizado acentuada. Em testes práticos, o desempenho do Genie Code superou as expectativas, apresentando uma taxa de sucesso que dobrou em comparação com agentes de codificação tradicionais. Os benchmarks disponíveis oferecem uma visão clara da precisão das respostas do Genie, assegurando que a qualidade do trabalho realizado permaneça em um nível elevado. Além disso, o Genie Code está disponível para todos os clientes do Databricks sem custo adicional. Os usuários pagam apenas pelo uso da computação ao executar seus notebooks, tornando essa ferramenta poderosa acessível a todos. Estamos entrando em uma nova fase na automação de dados. O Genie Code não é apenas uma inovação; é uma mudança significativa que pode transformar a forma como trabalhamos com dados. [link da notícia]: https://lnkd.in/dTPetjhr

7

🧭 Já percebeu como o mercado de dados e IA está sempre te empurrando para aprender “a próxima stack”? 📚 Spark, Databricks, AWS, Airflow, Snowflake, LangChain, LlamaIndex, PyTorch, TensorFlow… A lista nunca acaba. Deixa eu te contar o que aprendi em mais de 13 anos de experiência, com projetos em escala global, liderança técnica e doutorado na área: 👉 Você não precisa dominar tudo. Você precisa saber o que escolher, por que escolher e como aplicar isso com inteligência de carreira. Muita gente estuda sem parar e mesmo assim se sente travada. Sabe por quê? Porque saber muito sem clareza gera ansiedade técnica e estagnação profissional. 📌 A real é que conhecimento técnico só vira oportunidade quando está conectado a um plano claro de ação. 💻 Ferramentas não faltam. Olha só: Python, Pandas, NumPy, Scikit-learn SQL, PostgreSQL, MongoDB, ClickHouse Power BI, Metabase, Dash, Plotly Spark, Dask, Databricks TensorFlow, PyTorch, Keras Hugging Face, Transformers, LlamaIndex LangChain, RAG pipelines, ChatGPT APIs MLflow, DVC, Airflow, Prefect AWS (S3, EC2, Glue, SageMaker), GCP, Azure Docker, Kubernetes, FastAPI, Streamlit Snowflake, Redshift, DataBricks, Kafka 📉 Mas de que adianta tudo isso se você não sabe o que aplicar — e como transformar isso em resultado e visibilidade no mercado? 🎯 Na Mentoria Maestria em Dados e IA, eu te ensino exatamente isso: ✅ Como montar um plano técnico e estratégico realista ✅ Como escolher o stack certo para o seu objetivo (e não para agradar o hype) ✅ Como usar suas habilidades de forma visível e alinhada com o que o mercado valoriza 📣 A pré-venda já está aberta com desconto promocional exclusivo. 👉 Garanta sua vaga preenchendo o formulário: 🔗 https://lnkd.in/dge7Hm2n Menos ansiedade técnica. Mais clareza, estratégia e crescimento. Vamos juntos? #mentoria #carreiraemdados #inteligenciaartificial #dados #ferramentastech #mlops #ciênciadedados #transicaodecarreira #portfólio #posicionamento

3

Você também percebeu que as partidas ranqueadas em 2026 parecem estar bem mais dificeis do que antigamente? Vem que eu tento te explicar o que rola com base no background de engenharia de dados / telemetry. Tudo começa no algoritmo do 𝑀𝑀𝑅. Matchmaking Rating. É um indicador, como qualquer outro. Porém, ele é um score dinâmico de habilidade calculado em tempo real. MMR NÃO É O SEU RANK VISÍVEL (ouro, prata, bronze). É o número interno que o jogo usa pra te colocar contra jogadores de skill parecida. BASICAMENTE... Vitória: +Δ MMR (quanto mais difícil o jogo, maior o ganho) Derrota: –Δ MMR Fatores extras: performance individual (KDA, objetivos, tempo de jogo), comportamento e até histórico recente. 𝑀𝑎𝑠 𝑐𝑜𝑚𝑜 𝑜 𝑀𝑀𝑅 𝑒́ 𝑐𝑜𝑛𝑠𝑡𝑟𝑢𝑖́𝑑𝑜? Ao longo do tempo. O jogador gera os dados. Todo evento do jogo (posição, habilidade usada, morte, win/loss, ping, etc.) é enviado em streaming e seu MMR é calculado instantaneamente. O MMR também detecta anomalias: Smurfing: jogador com winrate 90% + KDA absurdo em contas novas → possível flag! Desbalanceamento: média de MMR da partida diferente do esperado → sistema ajusta ou cancela queue da puxada de fila. O MMR busca equilibrar: fairness (partidas mais justas), tempo de procura, evita low v. high elos, e jogadores com pings aproximados. Claro, tudo isso depende de n variáveis. Horários de pico também afetam muito a qualidade do MMR. Sem uma pipeline robusta de dados, o jogo vira bagunça: smurfs livres, queues eternas e meta quebrada por meses. Obviamente, o algoritmo não é perfeito e o sistema erra (E MUITO!) e, por isso, o feedback da comunidade também é importante para gerar partidas competitivas cada vez mais saudáveis e acessíveis para uma comunidade. ---------------------------------------------------- ESTÁ MAIS DIFÍCIL? O que você sente como "mais difícil" é na verdade o live-service finalmente usando os dados direito. “Queremos que jogadores de todo rank tenham um spread similar de skills e entendimento do jogo.” Traduzindo: o jogo ficou mais justo. E justo = mais difícil pra quem tava acostumado com mismatch e stomps. Aliado a tudo isso, temos métricas impossíveis de se levantar: comunidade gerando conteúdo a todo momento com dicas, partidas competitivas alimentando o know-how do player comum e entre outros fatores externos.

17

Por que ainda insistimos em chamar “sistema probabilístico de geração de linguagem” de “inteligência artificial”? A pergunta parece boba, mas revela algo curioso sobre como interpretamos tecnologia. Parte da resposta é histórica. O campo nasceu com esse nome. Em 1956, no Dartmouth Workshop, pesquisadores como John McCarthy propuseram o termo Artificial Intelligence para descrever um novo campo de pesquisa. Mas ali o termo era muito mais aspiração científica do que descrição literal. A ideia era estudar como máquinas poderiam realizar tarefas associadas à cognição humana. Não significava que aquelas máquinas fossem, de fato, inteligentes. Mas o nome pegou e nomes têm poder. Hoje, quando um sistema escreve textos convincentes, responde perguntas ou gera código, concluímos rapidamente que ali existe algum tipo de inteligência. Mas será que existe mesmo? Ou estamos apenas reagindo a um comportamento que se parece com inteligência? Essa confusão não é nova. Nos anos 1960, um chatbot extremamente simples chamado ELIZA já produzia essa ilusão. Criado por Joseph Weizenbaum, ele basicamente reformulava frases dos usuários em forma de pergunta. Mesmo assim, muitas pessoas acreditavam que o programa realmente entendia o que estava sendo dito. Se um programa tão simples já produzia essa impressão, o que esperar dos modelos atuais capazes de gerar textos longos, coerentes e tecnicamente plausíveis? Talvez o problema não esteja nas máquinas, mas em nós. Nós temos uma tendência natural a antropomorfizar sistemas complexos. Quando algo se comporta de maneira sofisticada, falando, respondendo, tomando decisões, tendemos a projetar ali intenção, compreensão e mente. Mas comportamento inteligente não é necessariamente inteligência. Um sistema que gera frases plausíveis está demonstrando compreensão ou apenas reproduzindo padrões estatísticos extremamente sofisticados? Quando um modelo explica um conceito ou escreve um código, ele realmente entende o problema ou está apenas prevendo a sequência de tokens mais provável? A palavra “inteligência” tem um peso narrativo enorme. Ela sugere algo quase mágico, como máquinas que pensam, aprendem e talvez superem humanos. Para empresas de tecnologia, investidores e mídia, esse enquadramento gera atenção, capital e expectativa de mercado. Afinal, chamar de “sistema probabilístico de geração de linguagem” não vende manchetes. Existe ainda uma questão conceitual mais profunda. Inteligência humana envolve várias capacidades integradas: compreensão semântica, raciocínio causal, memória consistente, objetivos próprios, consciência de contexto e experiência no mundo físico. Os sistemas atuais realmente possuem algo próximo disso? Ou estamos observando uma capacidade extremamente avançada de modelar padrões de linguagem? Se um sistema apenas simula comportamento inteligente, em que momento passamos a chamá-lo de inteligente de fato? Ou será que estamos apenas confundindo imitação convincente com cognição real?

33

3 Comments

🛠️ OPTIMIZE | ZORDER | REORG | VACUUM: O Guia de Performance no Delta Lake Você já sentiu que suas queries no Databricks estão ficando lentas com o tempo? O culpado costuma ser a fragmentação de arquivos e o "lixo invisível" de operações passadas. Vou mostrar 4 comandos essenciais para manter seu Lake rápido, barato e seguro. 1. O fim dos "Small Files" com OPTIMIZE Ingestões frequentes geram milhares de arquivos minúsculos. O Spark sofre para abrir cada um deles. O OPTIMIZE compacta esses "caquinhos" em arquivos grandes e eficientes. ⌨️ OPTIMIZE minha_tabela; 2. O Turbo das Queries: ZORDER Não basta compactar, é preciso organizar. O ZORDER reordena os dados fisicamente por colunas de filtro (WHERE). Isso ativa o Data Skipping: o Spark ignora arquivos irrelevantes e vai direto no dado. ⌨️ OPTIMIZE minha_tabela ZORDER BY (coluna_filtro); • Dica: Por padrão, o Delta coleta estatísticas das primeiras 32 colunas. Se sua coluna de filtro for a 33ª, o ZORDER não terá efeito! Resolva com: ⌨️ ALTER TABLE minha_tabela SET TBLPROPERTIES (delta.dataSkippingNumIndexedCols = 40); 3. Limpeza de "Dados Fantasmas" com REORG Se você usa muito MERGE ou UPDATE, o Delta usa Deletion Vectors. As linhas são marcadas como excluídas, mas continuam ocupando espaço físico. O REORG reescreve os arquivos para remover esse "lixo". ⌨️ REORG TABLE minha_tabela APPLY (PURGE); 4. Economia de Storage com VACUUM Remove fisicamente do ADLS os arquivos obsoletos que não são mais necessários. ⌨️ VACUUM minha_tabela RETAIN 168 HOURS; (Mantém 7 dias de histórico para segurança, permitindo a restauração de estados anteriores da tabela em caso de falhas). 🔄 Como automatizar todo esse fluxo? A performance não é um evento único, é uma rotina. Para garantir que seu ambiente continue eficiente, você pode usar um orquestrador externo ou o próprio Workflow do Databricks: Airflow (ou outro orquestrador): Se você já centraliza seus jobs, crie uma DAG que dispara esses comandos via DatabricksSqlOperator. A vantagem é a governança e alertas centralizados em um único lugar. Databricks Workflows (Simplicidade): Crie um Job (Workflows > Create Job). Adicione uma task do tipo SQL selecionando seu SQL Warehouse e defina o agendamento. • Dica: Prefira rodar essas manutenções via SQL Task em vez de Notebooks. O motor do SQL Warehouse é otimizado para essas operações e costuma ser mais barato que manter um cluster Spark Core ativo. #Databricks #DeltaLake #DataEngineering #Azure #Airflow #DataOps #BigData #EngenhariaDeDados #CloudCost #Otimização

18

E la vamos nós para uma curadoria do que aconteceu nas ultimas 48 horas, e que eu acredito que importa bastante. Obviamente, escrito com apoio de AI! A NVIDIA encaixou 30 bilhões de parâmetros em um orçamento de computação ativa de 3 bilhões. O Nemotron-Cascade 2 foi lançado hoje como um modelo open source de mistura de especialistas. A proporção importa aqui. Você obtém a profundidade de raciocínio de um modelo muito maior ao executar inferências por uma fração do custo. Essa diferença entre o total de parâmetros e os parâmetros ativos é onde a engenharia de verdade acontece. Em outros lançamentos de hoje, o padrão é claro. O DoorDash está pagando trabalhadores autônomos para se filmarem enquanto cozinham e caminham para gerar dados de treinamento de IA. O Starling Bank lançou uma IA agêntica para finanças pessoais no Reino Unido. O LlamaIndex lançou um parser de PDF nativo em TypeScript desenvolvido especificamente para fluxos de trabalho com agentes. A OpenAI confirmou planos para um superapp do ChatGPT com um assistente de pesquisa em IA integrado. A camada de infraestrutura e a de aplicação estão se movendo na mesma direção, simultaneamente. Um lançamento mais discreto, mas que merece atenção: O Tansu.io, apresentado na QCon Londres, é um message broker open source compatível com Kafka que roda sem estado, sem líder, escala até zero e conta com backends de armazenamento plugáveis, incluindo S3 e Postgres. Essa arquitetura tem implicações para qualquer pessoa que opera sistemas orientados a eventos, sem precisar de babysitters de cluster. O fio condutor que conecta todos os lançamentos de hoje é a eficiência de custos encontrando a expansão de capacidades. Computação ativa menor. Menos recursos de infraestructura dedicados. Execução de tarefas mais autônoma. A economia de rodar IA em produção vem mudando mais rápido do que a maioria das equipes está atualizando suas premissas de arquitetura. Qual premissa de custo em produção de seis meses atrás já ficou desatualizada no seu stack? Qual será o futuro dos custos? Links nos comentarios!

26

2 Comments

você já ouviu falar de lakehouse? é basicamente a tentativa de parar de brigar entre data lake e data warehouse e juntar o melhor dos dois. em vez de: jogar tudo num data lake bagunçado depois transformar tudo pra um warehouse caro e duplicar dado no meio do caminho a ideia do lakehouse é simples: 👉 armazenar dados brutos e estruturados no mesmo lugar, com governança e performance de warehouse. vantagens na prática: menos duplicação de dados custo menor (armazenamento barato tipo object storage) suporte a batch + streaming schema enforcement e versionamento um único stack pra analytics + machine learning exemplo real: você recebe eventos brutos de aplicação (json) salva no object storage (ex: S3) usa um formato transacional tipo Delta / Iceberg consulta com Spark, Trino ou até ferramentas de BI direto ali sem precisar mover tudo pra outro sistema. outro exemplo: quer treinar modelo de ML? os dados já estão no mesmo ambiente que o analytics. não precisa criar outro pipeline só pra ciência de dados. é menos fricção. menos retrabalho. menos infra duplicada. e principalmente: mais flexibilidade pra crescer. se você quer aprender mais sobre isso, me siga. em breve vou liberar um projeto gratuito reproduzindo um lakehouse 100% open source, do zero, pra você rodar na sua máquina ou na cloud. vai ser bem mão na massa, me segue ai que nas próximas semanas vou liberar o link do vídeo no youtube!

35

5 Comments

Quem é da tropinha de dados sabe o quanto o Airflow ajuda. Mas, com o crescente uso do Kubernetes dentro do ecossistema de dados, será que ele é uma alternativa kube-native para orquestração de pipelines de dados? Imagine construir uma plataforma de dados onde a orquestração, o processamento e o gerenciamento de eventos são nativos do Kubernetes. 🚀 Nesse artigo fiz uma PoC em como arquitetar e implementar uma stack poderosa e verdadeiramente "kube-native" para pipelines de dados, combinando o Kubernetes com a flexibilidade do Argo Workflows e Argo Events, e a capacidade de processamento distribuído do Apache Spark. Descubra como essa abordagem integrada pode transformar sua engenharia de dados, oferecendo: ✨ Escalabilidade Elástica e Sob Demanda: Adapte seus recursos automaticamente para cargas de trabalho. ⚡ Resiliência Nativa: Aproveite a capacidade de auto-recuperação do Kubernetes para garantir a continuidade e robustez dos seus pipelines de dados. 🔄 GitOps para Dados (DataOps): Implemente pipelines declarativos, versionados e auditáveis, aplicando as melhores práticas de CI/CD para seus fluxos de dados. 💰 Otimização de Custos: Utilize recursos de forma mais eficiente, explorando funcionalidades como Spot Instances e recursos on-demand. 🛠️ Simplificação da Stack: Reduza a complexidade operacional com um conjunto de ferramentas coeso e projetado para funcionar em conjunto. ⏱️ Aceleração do Time-to-Market: Leve seus projetos de dados para produção mais rapidamente com automação e orquestração eficientes. Este artigo não é apenas teoria; ele mostra na prática como montar esse quebra-cabeça e levar sua plataforma de dados para o próximo nível. Confira o artigo completo e veja como construir uma arquitetura de dados moderna e eficiente! 👇 https://lnkd.in/dvsa8cvA E você, já está explorando uma abordagem kube-native para o ecossistema de dados da sua empresa? Compartilhe sua experiência! 👇 #Kubernetes #DataEngineering #ArgoWorkflows #ArgoEvents #ApacheSpark #CloudNative #DevOps #DataOps #BigData #Orchestration #CI_CD #PlatformEngineering

8

Aceleração de Performance do Amazon Redshift: Impacto Estratégico em BI e ETL Um avanço significativo no Amazon Redshift: uma nova otimização de compilação de consultas que proporciona um aumento de desempenho de até 7 vezes no tempo de resposta de novas consultas SQL. Este aprimoramento é crucial para ambientes que demandam baixa latência e alta performance: Business Intelligence (BI): Melhora substancial na experiência do usuário de dashboards, garantindo análises em tempo quase real. Workloads de ETL/ELT: Acelera pipelines de dados, otimizando o fluxo de ingestão e transformação. Aplicações de IA: Capacita agentes de IA autônomos com respostas de consulta mais rápidas e consistentes. Detalhe Técnico: A inovação reside na introdução da técnica de "composição", que permite a execução imediata da consulta ao remover a compilação do caminho crítico, enquanto o código altamente otimizado é gerado em segundo plano. Esta melhoria está disponível por padrão em todos os clusters provisionados e workgroups serverless, sem requerer qualquer ação do cliente ou incorrer em custos adicionais. https://lnkd.in/db4p_dK2

6

🚀 AUTOMAÇÃO DE DEPLOY NO DATABRICKS AGORA É CÓDIGO. Antes, era caos. Scripts manuais, ambientes desalinhados, medo de quebrar produção. O Databricks Asset Bundles (DAB) muda o jogo. Ele empacota TODO seu projeto: notebooks, pipelines, configurações. Tudo versionado como código. A integração com GitHub Actions é o pulo do gato. Aqui está o fluxo: 1. Você desenvolve localmente com a CLI do DAB. 2. Commita para um branch no GitHub. 3. O GitHub Actions aciona o workflow. O workflow usa a ação oficial 'databricks/deploy-databricks-asset-bundle'. Ele valida, constrói e implanta no ambiente alvo (dev, staging, prod) automaticamente. ✅ VANTAGENS CLARAS: 🔁 REPRODUCIBILIDADE TOTAL Deploy idêntico em qualquer ambiente. Fim dos "funciona na minha máquina". ⚙️ CONFIGURAÇÃO POR AMBIENTE Um único bundle, com variáveis específicas para dev, QA e prod. Simples. 🤖 DEPLOY AUTOMATIZADO E SEGURO CI/CD nativo. Merge para a branch principal? Deploy em produção é automático e rastreável. 🚨 ROLLBACK EM UM CLIQUE Problema? Reverta para o commit estável anterior. A infraestrutura volta ao estado conhecido. Minha visão: Isso não é só uma ferramenta nova. É uma mudança cultural. Engenharia de dados finalmente se alinha com as melhores práticas de DevOps. Sua equipe já usa bundles para gerenciar pipelines? #Databricks #DataEngineering #CICD #DevOps #GitHubActions

16

2 Comments