Engenheiro de Pesquisa, Infraestrutura, Numérica

<div class="content-intro"><p data-pm-slice="1 1 []"> A missão do Laboratório de Máquinas de Pensar é capacitar a humanidade através do avanço da inteligência geral colaborativa. Estamos construindo um futuro onde todos têm acesso ao conhecimento e ferramentas para fazer a IA funcionar para suas necessidades e objetivos únicos. <p>Somos cientistas, engenheiros e construtores que criaram alguns dos produtos de IA mais usados, incluindo ChatGPT e Character.ai, modelos de pesos abertos como Mistral, bem como projetos populares de código aberto como PyTorch, OpenAI Gym, Fairseq e Segment Anything.</p></div><h2>Sobre o Papel</h2> Estamos procurando um engenheiro de pesquisa de infraestrutura para projetar e construir os sistemas principais que permitam treinamento eficiente em grande escala com foco em numéricos. Você se concentrará em melhorar as bases numéricas de nossa pilha de treinamento distribuída, desde formatos de precisão e otimizações de kernel até frameworks de comunicação que tornam os modelos de trilhões de parâmetros de treinamento estáveis, escaláveis e rápidos.</p> <p> Esse papel é ideal para alguém que prospera na interseção entre pesquisa e engenharia de sistemas: um construtor que entende tanto a matemática da otimização quanto as realidades da computação distribuída.</p> <p><em> Nota: Este é um "papel sempre verde" que mantemos aberto numa base contínua para expressar interesse. Recebemos muitas aplicações, e pode nem sempre haver um papel imediato que se alinha perfeitamente com sua experiência e habilidades. Ainda assim, encorajamos você a se candidatar. Revisamos continuamente os pedidos e contatamos os candidatos como novas oportunidades abertas. Você é bem-vindo para reaplicar se você tiver mais experiência, mas por favor evite aplicar mais de uma vez a cada 6 meses. Você também pode descobrir que colocamos postagens para papéis singulares para necessidades específicas separadas, projeto ou equipe. Nesses casos, você é bem-vindo para aplicar diretamente, além de um papel evergreen.</em></p> <h2>O que você vai fazer</h2> <ul> <li>Desenhe e otimize a infraestrutura de treinamento distribuída para LLMs de grande escala, com foco em desempenho, estabilidade e reprodutibilidade em configurações multi-GPU e multi-nódeas.</li> <li> Implementar e avaliar numéricos de baixa precisão (por exemplo, BF16, MXFP8, NVFP4) para melhorar a eficiência sem sacrificar a qualidade do modelo.</li> <li>Desenvolva kernels e primitivos de comunicação que usam suporte de hardware para aritmética mista e de baixa precisão.</li> Colaborar com equipes de pesquisa para co-design de arquiteturas de modelos e receitas de treinamento que se alinham com formatos numéricos emergentes e restrições de estabilidade.</li> <li>Estratégias de dimensionamento de protótipos e benchmarks, como dados, tensor e paralelismo de tubagens que integram computação adaptativa de precisão e comunicação quantizada.</li> Contribuir para o projeto de nossos sistemas internos de orquestração e monitoramento para garantir que milhares de experimentos distribuídos possam ser executados de forma eficiente e reprodutível.</li> <li>Publicar e compartilhar aprendizagens através de documentação interna, bibliotecas de código aberto ou relatórios técnicos que avançam no campo da infraestrutura de IA escalável.</li> </ul> <h2>Competências e Qualificações</h2> <p>Qualificações mínimas:</p> <ul> <li> Grau de bachelor ou experiência equivalente em ciência da computação, engenharia elétrica, estatística, aprendizagem de máquinas, física, robótica ou similar.</li> <li>Compreensão das estruturas de aprendizagem profunda (por exemplo, PyTorch, JAX) e suas arquiteturas de sistema subjacentes.</li> <li> Em um ambiente altamente colaborativo envolvendo muitos, diferentes parceiros interfuncionais e especialistas em assuntos.</li> <li> Um viés para a ação com uma mentalidade para tomar iniciativa para trabalhar em diferentes pilhas e diferentes equipes onde você vê a oportunidade de se certificar de algo navios.</li> <li> Fortes habilidades de engenharia, capacidade de contribuir com performancent, código mantendível e depuração em bases de código complexas em áreas como números de ponto flutuante, aritmética de baixa precisão e sistemas distribuídos.</li> </ul> <p>Qualificações preferenciais — encorajamo-lo a candidatar-se se encontrar algumas, mas não todas estas:</p> <ul> <li> Familiaridade com frameworks distribuídos como PyTorch/XLA, DeepSpeed, Megatron-LM.</li> <li>Experiência de implementação dos formatos FP8, INT8, ou ponto flutuante em bloco (MX) e compreensão de seus trade-offs numéricos.</li> Contribuições prévias para a infraestrutura de aprendizagem profunda de código aberto, como PyTorch, DeepSpeed ou XLA.</li> <li>Publicações, patentes ou projetos relacionados à otimização numérica, treinamento eficiente em comunicação ou sistemas para grandes modelos.</li> <li>Formação experimental e apoio a modelos de IA em larga escala.</li> <li> Track registro de melhoria da produtividade da pesquisa através de projeto de infraestrutura ou melhorias de processo.</li> </ul> <h2>Logística</h2> <ul> Localização: Este papel é baseado em São Francisco, Califórnia. <li>Compensação: Dependendo de antecedentes, habilidades e experiência, a faixa salarial anual esperada para esta posição é de $350,000 - $475.000 USD.</li> <li>Visa patrocínio: Nós patrocinamos vistos. Embora não possamos garantir sucesso para cada candidato ou papel, se você é o ajuste certo, estamos comprometidos em trabalhar através do processo de visto juntos.</li> Benefícios: A Thinking Machines oferece benefícios de saúde, odontologia e visão generosos, PTO ilimitado, licença parental paga e apoio de relocação conforme necessário. </ul><div class="content-conclusion"><p><em> Conforme estabelecido na política de igualdade de oportunidades de emprego das Máquinas de Pensar, não discriminamos com base em qualquer estatuto de grupo protegido ao abrigo de qualquer lei aplicável. </em></p> <p><em> O Laboratório de Máquinas de Pensar considerará para candidatos qualificados para o emprego com histórico criminal de uma forma consistente com os requisitos da lei de chance justa da Califórnia, a Portaria de chance justa de São Francisco, e qualquer outra lei ou lei de chance justa aplicável do estado ou local.</em></p></div>