Especialista de Engenharia de Dados Sênior (Google Cloud)

Buscamos um(a) Especialista de Engenharia de Dados Sênior para atuar de forma 100% presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte, na Av. Paulista, em São Paulo.

O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modelo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento. São 9 meses de migração em ondas mensais, seguidos de 3 meses de pós-implantação.

Você vai atuar na fábrica de migração, convertendo e implantando cargas no Google Cloud, resolvendo os casos técnicos mais complexos e garantindo a qualidade do que vai para produção.

Principais responsabilidades:

• Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud.
• Operar os aceleradores da fábrica de migração no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências.
• Garantir a comparação automática entre legado e destino e apoiar o reprocessamento de ondas quando necessário.
• Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente.
• Aplicar e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI).
• Esclarecer dúvidas de regra de negócio junto aos especialistas do cliente.
• Apoiar a estimativa e o planejamento das ondas de migração.

Requisitos obrigatórios:

• Mínimo de 8 anos de experiência em engenharia de dados.
• Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer). Domínio de Spark e PySpark e de SQL avançado.
• Experiência com ecossistema Hadoop (Hive, Impala, HDFS), preferencialmente em Cloudera. Experiência em projetos de migração de dados ou de plataformas de dados.
• Experiência com versionamento e CI/CD (Git, GitLab CI ou similares).
• Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas.

INDISPENSÁVEL conhecimento/atuação em:

• Engenharia de dados com Spark no Google Cloud.
• Migração de dados.
• Atuação presencial.

Diferenciais:

• Certificação Google Cloud Professional Data Engineer.
• Experiência com IA generativa aplicada a conversão ou geração de código.
• Experiência com Kafka, Flink e CDC.
• Experiência em instituições financeiras.
• Experiência com Apache Iceberg.

Informações adicionais:

• Atuação 100% presencial em instituição financeira na Av. Paulista – São Paulo.
• Contratação CLT.