- Engenheiro de dados com experiência em migrações para nuvem e em construção e manutenção de pipelines de dados em ambientes de Big Data baseados em nuvem. Desde a ingestão de dados de várias fontes, como APIs e bancos de dados relacionais, até o processamento e disponibilização dos dados, garantindo a qualidade e o controle de acesso aos dados.
Possuo sólida experiência em desenvolvimento com Python, criando soluções robustas e escaláveis em ambientes de computação em nuvem (Azure) para o processamento de grandes volumes de dados.
Além disso, tenho experiência em armazenamento e gerenciamento de dados utilizando tecnologias modernas, como Databricks e Delta Lake. Minha experiência abrange também o processamento de dados em larga escala com PySpark e Spark SQL, garantindo eficiência e desempenho em aplicações de Big Data. ====== Skills ======
- Big Data
- Data Migration
- Python / PySpark
- Scala
- SQL
- ETL / ELT
- Microsoft Azure / Data Factory / Blob Storage
- Apache Spark
- Databricks / Unity Catalog / Delta Lake
- Processos Batch's e Streamings
- Git
- Bitbucket / Gitlab
- Metodologia Scrum
- Excel
