.Buscamos por um Engenheiro de Dados (Sênior ou Especialista) altamente qualificado para se juntar à nossa equipe de entrega técnica de Dados e desempenhar um papel crucial no desenvolvimento e gerenciamento de pipelines ETL que centralizem os dados de nossas operações globais, fornecendo aos nossos usuários acesso a informações críticas em uma única plataforma. Esta função exige uma alta proficiência em Python, PySpark, Azure Databricks e Azure Data Factory. A oportunidade é para atuação em um projeto internacional, trabalhando com um time multicultural! Por isso, o Inglês fluente é um pré-requisito obrigatório para participar do processo seletivo. Nosso cliente tem sede no Reino Unido e África do Sul, por isso buscamos por pessoas que residam em países com o mesmo fuso horário desses locais. Principais Atividades Trabalhar em estreita colaboração com a equipe de Engenharia de Dados para elaborar estratégias eficazes de ingestão de dados alinhadas aos objetivos de negócios. Definir e implementar padrões e processos robustos de ingestão de dados para garantir um fluxo de dados eficiente e confiável para a plataforma de dados da organização. Desenvolver e manter pipelines de engenharia de dados ou ETL reutilizáveis e base de código usando Python, PySpark, Databricks, Airflow e a plataforma de nuvem Azure. Colaborar com equipes multifuncionais para entender os requisitos de dados e fornecer soluções escaláveis de engenharia de dados. Projetar e implementar arquiteturas de dados em lote e streaming, aproveitando os serviços de nuvem Azure, como Azure Data Factory e Azure Databricks. Garantir a adesão às melhores práticas de engenharia de software, incluindo controle de versão, testes e processos de integração/implantação contínua (CI/CD). Participar de revisões de código, discussões técnicas e sessões de compartilhamento de conhecimento dentro da equipe. Requisitos e Qualificações Técnicas Forte compreensão dos conceitos e princípios fundamentais de engenharia de dados. Boa experiência na linguagem de programação Python. Proficiência na escrita de código PySpark para processamento e transformação de dados. Experiência sólida com os serviços de nuvem Azure, incluindo Azure Data Factory e Azure Databricks, com foco em desempenho e otimização. Capacidade de projetar e implementar pipelines de engenharia de dados e base de código reutilizáveis e escaláveis. Sólida compreensão das práticas de desenvolvimento de engenharia de software, incluindo controle de versão, testes e integração/implantação contínua (CI/CD). Experiência no design de arquiteturas de dados em lote e streaming utilizando serviços da plataforma Azure. Capacidade de trabalhar efetivamente em ambiente de equipe, fornecer treinamento e documentar processos. Habilidades que farão você se destacar Experiência com Apache Airflow. Familiaridade com Delta Lake, catálogo de unidade e sua implementação. Conhecimento das melhores práticas de governança e segurança de dados
