Criar e dar manutenção em scripts de atualização via API.
Monitorar pipelines de Dados e Acessos, auxiliar na Documentação dos projetos
Monitorar containers e infra de processamento.
Projetar arquitetura de dados e pipelines
Organizar projetos e buscar novas tecnologia
Refatorar pyspark legado para Delta
Refatorar códigos python para boas práticas de orientação a objetos para facilitar na escalabilidade das soluções e manter códigos legíveis e fáceis de dar manutenção.
Sólidos conhecimentos em Python e Orientação a Objetos
Conhecimentos em Linux
Conhecimentos comprovados em Datawarehouse
Data Lake e Datalakehouse
Saber trabalhar com arquitetura de dados hibrida
On-premises e Cloud visando buscar melhor custo por processamento.
Ter conhecimento Obrigatório sobre tabelas Delta e utilização de Databricks.
Conhecer serviços da AWS como EC2, S3, Lambda, Step Functions e EMR
Conhecer conceitos sobre modelagem de Dados pegar dados transacionais e modelar para DW
Conhecimento Intermediário em SQL
Bons conhecimentos em Pandas e Numpy
Estar confortável em organizar e desenvolver projetos de maneira que o seja escalável.