Databricks Data Engineer | Senior
Compass UOL · Brazil · Himalayas
عن الوظيفة
• Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks; • Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold); • Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake; • Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming; • Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF); • Desenvolver APIs REST, microsserviços e automações utilizando Python; • Garantir a governança, segurança, linhagem e controle de acesso aos dados; • Realizar otimizações de performance, escalabilidade e custos de processamento; • Atuar na observabilidade, monitoramento e sustentação de pipelines em produção; • Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados.
وظائف مشابهة
- Quality Engineer (Test Automation & AI Testing)The Greater Change · Dubai, Dubai, United Arab Emirates
- Software Engineer, AI Coding TasksAskable · Worldwide · $1000 per task
- Head of EngineeringLemon.io · Worldwide
- Tech Lead Full-Stack Rails EngineerMitre Media · USA, Canada, USA timezones · $170k - $200k
- AI Trainer - Video AnnotationiMerit Technology · Worldwide · 70K-80K
- Digital Platforms & Applications Senior AnalystHolcim Egypt · New Cairo, Cairo, Egypt