وظائف / Compass UOL

Databricks Data Engineer | Senior

Compass UOL · Brazil · Himalayas

عن الوظيفة

• Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks; • Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold); • Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake; • Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming; • Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF); • Desenvolver APIs REST, microsserviços e automações utilizando Python; • Garantir a governança, segurança, linhagem e controle de acesso aos dados; • Realizar otimizações de performance, escalabilidade e custos de processamento; • Atuar na observabilidade, monitoramento e sustentação de pipelines em produção; • Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados.

وظائف مشابهة