Engenheiro de Software Líder - Databricks

Seja parte integrante de uma equipe ágil que está constantemente empurrando o envelope para melhorar, construir e entregar produtos de tecnologia de primeira linha. Como engenheiro líder de software-Databricks da JPMorgan Chase dentro da equipe de Tecnologia Empresarial do Setor Corporativo, você é parte integrante de uma equipe ágil que trabalha para melhorar, construir e entregar produtos de tecnologia líderes de mercado de forma segura, estável e escalável. Como colaborador técnico principal, você é responsável pela condução de soluções de tecnologia crítica em várias áreas técnicas dentro de várias funções de negócios em apoio aos objetivos de negócios da empresa. Responsabilidades de trabalho • Lidere a arquitetura e entrega de pipelines de dados de alta produtividade e baixa latência em Databricks usando Apache Spark (Core, SQL, Streaming Estruturado), desempenho de condução, confiabilidade e escalabilidade. • Estabelecer e evoluir padrões de Lakehouse com Delta Lake (transacções ACID, evolução do esquema, viagem no tempo, ordem Z, compactação) para garantir plataformas de dados performantes e sustentáveis em escala. • Estratégia e configuração de clusters próprios de Databricks, incluindo seleção em tempo de execução, autoscaling, dimensionamento driver/executor, configurações de Spark, scripts init, políticas de cluster, pools e perfis de instância. • Organizar e automatizar pipelines e trabalhos usando Databricks Workflows, integrando-se com os serviços de eventos e orquestração AWS, conforme necessário. • Projete frameworks seguros de ingestão e transformação que alavancam os serviços Databricks, incluindo design de mesa Delta ou não gerenciado, criação de tarefas de ingestão e DAGs Airflow para produzir conjuntos de dados confiáveis e refinados. • Fortaleça a qualidade dos dados, linhagem e governança usando Unity Catalog e/ou AWS Glue Catalog, incorporando expectativas e validação diretamente em pipelines. • Drive Spark e Databricks engenharia de desempenho e ajuste (particionamento e dimensionamento de arquivos, AQE, ligações de transmissão, ajuste shuffle, cache, controle de derramamento/memória, trabalho de dimensionamento à direita e chaves de agrupamento/particionamento líquido) para otimizar o custo e a produtividade. • Construir e manter bibliotecas, frameworks e APIs reutilizáveis em Python e/ou Java, garantindo forte cobertura de teste de unidade, integração e validação de dados. • Implementar CI/CD para projetos de dados usando fluxos de trabalho baseados em Git, implantações de infraestrutura baseadas em Terraform e promoção do ambiente e lançamentos automatizados; padrões de engenharia campeões, revisões de códigos e práticas de engenharia assistidas por IA (por exemplo, revisão/refactoramento de código, aceleração de teste e análise de incidentes/causas) com validação consistente (codificação segura, revisão por pares, testes automatizados) e reutilização de padrões comprovados. • Impulsiona a adoção por equipe de práticas de engenharia assistidas por IA no ambiente de trabalho para melhorar a qualidade do código, a velocidade de entrega e os resultados operacionais (por exemplo, revisão/refatorização de código assistida por IA, aceleração da estratégia de teste, suporte à análise de incidentes/causas), estabelecendo padrões de validação consistentes (codificação segura, revisão por pares, testes automatizados) e promovendo a reutilização de padrões eficazes em toda a equipe. • Aplica o conhecimento de ferramentas dentro da ferramenta Software Development Life Cycle, incluindo capacidades de desenvolvimento e automação assistidas por IA, para melhorar o valor realizado pela automação. Qualificações, capacidades e competências necessárias • Formação formal ou certificação sobre conceitos de engenharia de software e 5+ anos de experiência aplicada. • Experiência avançada em engenharia de software e engenharia de dados, incluindo entrega de produção significativa com Apache Spark em Databricks e/ou AWS EMR. • Experiência avançada em Databricks em Delta Lake, Unity Catalog, Workflows, Repos/notesbooks e SQL Warehouses, incluindo configuração e otimização de clusters. • Capacidade comprovada de arquitetar, construir e operar pipelines de dados ETL/ELT confiáveis (batch e streaming), incluindo projetos de esquema/evolução, SLAs e práticas de engenharia de confiabilidade. • Habilidades de ajuste de desempenho Deep Spark, com experiência em diagnosticar gargalos e otimizar trabalhos para escalabilidade, custo e eficiência de execução. • Forte proficiência de programação em Python e/ou Java para processamento de dados, ferramentas de plataforma e automação. • Forte experiência em modelagem de dados SQL e analytics, incluindo design de esquema dimensional/estrela e melhores práticas de Lakehouse. • Experiência comprovada levando o uso eficaz de ferramentas de desenvolvimento de software assistidas por IA aprovadas (codificação, revisão de código, aceleração de teste, solução de problemas), incluindo definir expectativas de equipe e padrões de validação para correção, desempenho e segurança de saídas de IA. • Forte mentalidade de engenharia responsável-AI e segurança-primeira, incluindo a conscientização da sensibilidade de dados, o manuseio seguro de entradas/saídas, perfis de funções/instância, gerenciamento de segredos, criptografia em repouso/em trânsito, controles de rede e adesão às expectativas de resiliência e segurança; experiência treinar equipes em adoção segura e compatível nas práticas de entrega. • Experiência comprovada levando o uso eficaz de ferramentas de desenvolvimento de software assistidas por IA aprovadas (por exemplo, para codificação, revisão de código, aceleração de teste, solução de problemas) com a capacidade de definir expectativas de equipe para validar saídas de IA para correção, desempenho e segurança. • Forte compreensão do uso responsável de IA em fluxos de trabalho de engenharia, incluindo considerações de sensibilidade de dados, manipulação segura de insumos/saídas e adesão às expectativas de resiliência e segurança; experiência de técnicos de treinamento em adoção segura e compatível dentro de práticas de entrega Qualificações, capacidades e competências preferenciais • Experiência com Mesas Delta Live e governança avançada (catalogs, subsídios, auditoria) em Databricks. • Conhecimento de rede AWS (VPC, subredes, roteamento, grupos de segurança) e controles de saída de dados. • Experiência com Terraform para implantação de Infra • Experiência de otimização de custos: estratégias de autoscaling, spot vs on-demand, auto-terminação, layouts de armazenamento e compactação. • Familiaridade com fluxo de ar, Gênio, Streamlit e React • Observabilidade para sistemas de dados (metricas de frescura/completude, linhagem, SLAs, alerta). • Liderança comprovada em qualidade de código, revisões, estratégia de teste, CI/CD e orientação técnica; excelente comunicação com os stakeholders.