Engenheiro de Pesquisa, Infraestrutura, Kernels

<div class="content-intro"><p data-pm-slice="1 1 []"> A missão do Laboratório de Máquinas de Pensar é capacitar a humanidade através do avanço da inteligência geral colaborativa. Estamos construindo um futuro onde todos têm acesso ao conhecimento e ferramentas para fazer a IA funcionar para suas necessidades e objetivos únicos. <p>Somos cientistas, engenheiros e construtores que criaram alguns dos produtos de IA mais usados, incluindo ChatGPT e Character.ai, modelos de pesos abertos como Mistral, bem como projetos populares de código aberto como PyTorch, OpenAI Gym, Fairseq e Segment Anything.</p></div><h2>Sobre o Papel</h2> Estamos procurando um engenheiro de pesquisa de infraestrutura para projetar, otimizar e manter as bases de computação que alimentam o treinamento de modelos de linguagem em larga escala. Você irá desenvolver kernels ML de alto desempenho (por exemplo, CUDA, CuTe, Triton), habilitar aritmética eficiente de baixa precisão e melhorar a pilha de computação distribuída que torna possível o treinamento de grandes modelos.</p> <p> Este papel é perfeito para um engenheiro que gosta de trabalhar perto do metal e através da fronteira de pesquisa. Você vai colaborar com pesquisadores e arquitetos de sistemas para ponte o projeto algorítmico com eficiência de hardware. Você irá protótipo de novas implementações de kernel, desempenho de perfil entre gerações de hardware e ajudar a definir as estratégias numéricas e paralelismo que determinam como escalamos sistemas de IA de próxima geração.</p> <p><em> Nota: Este é um "papel sempre verde" que mantemos aberto numa base contínua para expressar interesse. Recebemos muitas aplicações, e pode nem sempre haver um papel imediato que se alinha perfeitamente com sua experiência e habilidades. Ainda assim, encorajamos você a se candidatar. Revisamos continuamente os pedidos e contatamos os candidatos como novas oportunidades abertas. Você é bem-vindo para reaplicar se você tiver mais experiência, mas por favor evite aplicar mais de uma vez a cada 6 meses. Você também pode descobrir que colocamos postagens para papéis singulares para necessidades específicas separadas, projeto ou equipe. Nesses casos, você é bem-vindo para aplicar diretamente, além de um papel evergreen.</em></p> <h2>O que você vai fazer</h2> <ul> <li>Desenhe e implemente kernels ML personalizados (por exemplo, CUDA, CuTe, Triton) para operações LLM de núcleo, tais como atenção, multiplicação de matriz, gating, e normalização, otimizados para arquiteturas modernas GPU e acelerador.</li> <li>Desenhe e pense através de cálculos primitivos para reduzir gargalos de largura de banda de memória e melhorar a eficiência de computação do kernel.</li> Colaborar com equipes de pesquisa para alinhar otimizações de nível de kernel com arquitetura de modelo e objetivos algorítmicos.</li> <li>Desenvolva e mantenha uma biblioteca de kernels reutilizáveis e benchmarks de desempenho que servem como base para treinamento de modelos internos.</li> Contribuir para a estabilidade e escalabilidade da infraestrutura, garantindo reprodutibilidade, consistência nos formatos de precisão e alta utilização de recursos de computação.</li> <li> Documente e compartilhe insights através de palestras internas, artigos técnicos ou contribuições de código aberto para fortalecer a comunidade de sistemas ML mais ampla.</li> </ul> <h2>Competências e Qualificações</h2> <p>Qualificações mínimas:</p> <ul> <li> Grau de bachelor ou experiência equivalente em ciência da computação, engenharia elétrica, estatística, aprendizagem de máquinas, física, robótica ou similar.</li> Competências de engenharia fortes, capacidade de contribuir com o desempenho, código mantendível e depuração em bases de código complexas</li> <li>Compreensão das estruturas de aprendizagem profunda (por exemplo, PyTorch, JAX) e suas arquiteturas de sistema subjacentes.</li> <li> Em um ambiente altamente colaborativo envolvendo muitos, diferentes parceiros interfuncionais e especialistas em assuntos.</li> <li> Um viés para a ação com uma mentalidade para tomar iniciativa para trabalhar em diferentes pilhas e diferentes equipes onde você vê a oportunidade de se certificar de algo navios.</li> <li>Proficiência em CUDA, CuTe, Triton ou outros frameworks de programação de GPU.</li> Capacidade demonstrada para analisar, perfil e otimizar cargas de trabalho intensivas em computação.</li> </ul> <p>Qualificações preferenciais — encorajamo-lo a candidatar-se se encontrar algumas, mas não todas estas:</p> <ul> <li>Experienciar treinamento ou apoiar modelos de linguagem em larga escala com dezenas de bilhões de parâmetros ou mais.</li> <li> Track registro de melhoria da produtividade da pesquisa através de projeto de infraestrutura ou melhorias de processo.</li> <li>Experiência de desenvolvimento ou ajuste de kernels para frameworks de aprendizagem profunda, como PyTorch, JAX, ou aceleradores personalizados.</li> <li>Família com paralelismo tensor, paralelismo de tubagens ou estruturas de processamento de dados distribuídas.</li> <li>Experiência de implementação de formatos de baixa precisão (FP8, INT8, ponto flutuante de bloco) ou contribuindo para pilhas de compiladores relacionadas (por exemplo, XLA, TVM).</li> <li>Contribuições para GPU de código aberto, sistemas ML ou projetos de otimização de compiladores.</li> <li>Pesquisa prévia ou experiência de engenharia em otimização numérica, treinamento eficiente em comunicação ou infraestrutura de IA escalável.</li> </ul> <h2>Logística</h2> <ul> Localização: Este papel é baseado em São Francisco, Califórnia. <li>Compensação: Dependendo de antecedentes, habilidades e experiência, a faixa salarial anual esperada para esta posição é de $350,000 - $475.000 USD.</li> <li>Visa patrocínio: Nós patrocinamos vistos. Embora não possamos garantir sucesso para cada candidato ou papel, se você é o ajuste certo, estamos comprometidos em trabalhar através do processo de visto juntos.</li> Benefícios: A Thinking Machines oferece benefícios de saúde, odontologia e visão generosos, PTO ilimitado, licença parental paga e apoio de relocação conforme necessário. </ul><div class="content-conclusion"><p><em> Conforme estabelecido na política de igualdade de oportunidades de emprego das Máquinas de Pensar, não discriminamos com base em qualquer estatuto de grupo protegido ao abrigo de qualquer lei aplicável. </em></p> <p><em> O Laboratório de Máquinas de Pensar considerará para candidatos qualificados para o emprego com histórico criminal de uma forma consistente com os requisitos da lei de chance justa da Califórnia, a Portaria de chance justa de São Francisco, e qualquer outra lei ou lei de chance justa aplicável do estado ou local.</em></p></div>