Remote Freedom

Pessoa Engenheira de Dados Sênior

Zup

Work from anywhereFull-time4d ago

See how well you match this role

Upload your résumé — we'll score your fit and check off the skills you already have. Free.

Requirements

  • Apache Spark / PySpark experienceMust
  • AWS Glue and EMRMust
  • SQL and NoSQL expertiseMust
  • Apache Airflow orchestrationMust
  • AWS Step Functions and EventBridgeMust
  • Lakehouse architecture and Open Table FormatsMust
  • Data contract and schema evolutionMust
  • AWS RedshiftMust
  • AWS AthenaMust
  • DynamoDB and RDSMust
  • Lake Formation and OpenLineage data governanceMust
  • CloudWatch and DataDog monitoringMust
  • AI and GenAI for data engineering
  • Spec-Driven Development methodology

What you'll do

  • Design and build scalable data pipelines
  • Optimize data warehouse and database queries
  • Implement data orchestration automation
  • Model and manage Lakehouse data architecture
  • Monitor data environment observability
  • Resolve data incidents and incident management

Keywords

RAG, embeddings, and prompt engineeringDevOps and automation practices

About the role

Nosso propósito é criar tecnologias que desafiam as melhores do mundo e mudam o jogo para nossos clientes. Por isso, buscamos profissionais que desejam fazer parte de uma cultura pautada pela excelência e inovação. Se você se identifica com um ambiente de trabalho colaborativo e movido por curiosidade, venha construir o futuro da tecnologia conosco. Valorizamos o crescimento contínuo dos zuppers, incentivando cada pessoa a trilhar caminhos que impulsionem sua evolução profissional. Nesta posição, atuará na transformação da forma como os dados financeiros são processados, analisados e aproveitados para a tomada de decisões estratégicas. O seu papel será fundamental num ambiente desafiador e inovador, utilizando tecnologias de ponta para realizar entregas de alto impacto, aliando forte capacidade técnica, visão analítica e foco em escalabilidade. O que você fará por aqui • Projetar, desenvolver e manter pipelines de dados robustos e escaláveis, garantindo a qualidade, governança e observabilidade dos dados. • Atuar em projetos de processamento massivo de dados utilizando Apache Spark / PySpark, AWS Glue e EMR. • Implementar rotinas de orquestração e automação de fluxos de dados com Apache Airflow, Step Functions e EventBridge. • Modelar e gerir o armazenamento de dados em S3, Open Table Formats e arquitetura Lakehouse, incluindo data contract e schema evolution. • Desenvolver e otimizar consultas em Data Warehouses (Redshift, Athena), bases de dados relacionais (RDS) e NoSQL (DynamoDB). • Aplicar práticas de governança de dados com Lake Formation, OpenLineage e ferramentas de catalogação e lineage. • Monitorizar e garantir a observabilidade dos ambientes de dados com CloudWatch, DataDog e práticas de melhoria contínua. • Explorar e implementar soluções de IA e GenAI aplicadas a dados (prompt engineering, RAG, embeddings, guardrails e avaliação). • Contribuir para a cultura de automação (toil reduction), DevOps (Dev + Infra + Sec), planeamento de capacidade e otimização da relação custo/performance. • Participar na resolução de incidentes, elaboração de runbooks e promoção de práticas de melhoria contínua nos processos. O que esperamos que você saiba • Experiência consolidada em processamento e transformação de dados utilizando Apache Spark / PySpark, AWS Glue e EMR. • Domínio em consultas e armazenamento avançado, com forte base em SQL e NoSQL (modelagem em S3, Redshift, DynamoDB, RDS, Athena). • Atuação comprovada na orquestração de dados com Apache Airflow, Step Functions e EventBridge. • Vivência sólida em arquiteturas Lakehouse, Open Table Formats, data contract e schema evolution . • Práticas de governança de dados utilizando Lake Formation e OpenLineage. • Conhecimento em configuração de monitorização e observabilidade com CloudWatch, DataDog ou similares. O que seria muito legal que você soubesse • Experiência prática com IA / GenAI aplicada à engenharia de dados (ex: Amazon Bedrock, MCP Server AI Agent, técnicas de RAG e avaliação/eval). • Conhecimento e aplicação de desenvolvimento guiado por especificação (Spec Driven Development). Para essa posição teremos aplicação de um teste. O que acontece após minha aplicação na vaga interna? Confirmada sua candidatura e analisado que seu perfil faz sentido para a posição escolhida, comunicaremos via e-mail a liderança e BP imediatos sobre sua aplicação em seleção interna. Quer entender mais sobre os detalhes, acesse a página de Vagas Internas na Zup net. Originally posted on Himalayas

Sourced from Himalayas. Confirm the details and apply on the employer's site.