Databricks/Python Developer Senior | Remote
Compass UOL · Brazil · Himalayas
This role has not been seen on the source board recently. Confirm it is still open before you apply.
About the role
• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados; • Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes; • Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; • Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos; • Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados; • Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento; • Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados; • Manter documentação técnica abrangente para os processos e soluções implementadas.
Similar roles
- Senior Fullstack Engineer (BR based only)Double · Brazil
- Software Engineer (Go/Java)Cresteo · Anguilla, Antigua and Barbuda, Argentina, Aruba, Bahamas, Barbados, Belize, Bermuda, Bolivia, Bonaire, Sint Eustatius and Saba, Brazil, Cayman Islands, Chile, Colombia, Costa Rica, Cuba, Dominica, Dominican Republic, Ecuador, El Salvador, Falkland Islands
- Technical Account ManagerYuno · Brazil
- PESSOA DESENVOLVEDORA JR GolangQuality Digital · Brazil
- Analista BI Sr/Especialista (4831)Keep Simple · Brazil
- Analista de Processos / Projetos e Documentação de TIStefanini · Brazil