Engenheiro de Software, Infraestrutura de Dados

<div class="content-intro"><p data-pm-slice="1 1 []"> A missão do Laboratório de Máquinas de Pensar é capacitar a humanidade através do avanço da inteligência geral colaborativa. Estamos construindo um futuro onde todos têm acesso ao conhecimento e ferramentas para fazer a IA funcionar para suas necessidades e objetivos únicos. <p>Somos cientistas, engenheiros e construtores que criaram alguns dos produtos de IA mais usados, incluindo ChatGPT e Character.ai, modelos de pesos abertos como Mistral, bem como projetos populares de código aberto como PyTorch, OpenAI Gym, Fairseq e Segment Anything.</p></div><h2>Sobre o Papel</h2> Estamos procurando um engenheiro para se juntar a nós e contribuir para a infraestrutura de dados. Você se juntará a uma pequena equipe de alto impacto responsável pela arquitetura e escala da infraestrutura principal por trás de dutos de treinamento distribuídos, catálogos de dados multimodais e sistemas de processamento inteligentes que operam sobre petabytes de dados.</p> A infra-estrutura é fundamental para nós: é a rocha que permite cada avanço. Você trabalhará diretamente com pesquisadores para acelerar experimentos, desenvolver novos conjuntos de dados, melhorar a eficiência da infraestrutura e permitir insights fundamentais em nossos ativos de dados.</p> Se você está animado com sistemas distribuídos, mineração de dados em larga escala, ferramentas de código aberto como Spark, Kafka, Beam, Ray e Delta Lake, e desfrutar de construir do zero, gostaríamos de ouvir de você.</p> <p><em> Nota: Este é um "papel sempre verde" que mantemos aberto numa base contínua para expressar interesse. Recebemos muitas aplicações, e pode nem sempre haver um papel imediato que se alinha perfeitamente com sua experiência e habilidades. Ainda assim, encorajamos você a se candidatar. Revisamos continuamente os pedidos e contatamos os candidatos como novas oportunidades abertas. Você é bem-vindo para reaplicar se você tiver mais experiência, mas por favor evite aplicar mais de uma vez a cada 6 meses. Você também pode descobrir que colocamos postagens para papéis singulares para necessidades específicas separadas, projeto ou equipe. Nesses casos, você é bem-vindo para aplicar diretamente, além de um papel evergreen.</em></p> <h2>O que você vai fazer</h2> <ul> <li>Projete, construa e opere uma infraestrutura escalável e tolerante a falhas para a LLM Research: computação distribuída, orquestração de dados e armazenamento em todas as modalidades.</li> <li>Desenvolva sistemas de alto rendimento para ingestão, processamento e transformação de dados, incluindo catálogos de dados de treinamento, deduplicação, verificação de qualidade e pesquisa.</li> <li> Crie sistemas para rastreabilidade, reprodutibilidade e controle de qualidade robusto em todas as etapas do ciclo de vida dos dados.</li> Implantar e manter o monitoramento e alerta para apoiar a confiabilidade e desempenho da plataforma.</li> Colaborar com equipes de pesquisa para desbloquear novos recursos, melhorar a qualidade dos dados e acelerar os ciclos de treinamento. </ul> <h2>Competências e Qualificações</h2> <p>Qualificações mínimas:</p> <ul> <li> Grau de bachelor ou experiência equivalente em ciência da computação, engenharia ou similar.</li> <li>Proficiência em pelo menos uma linguagem de infraestrutura (nós usamos Python ou Rust).</li> <li>São fluentes em frameworks de computação distribuídos, como Apache Spark ou Ray.</li> <li> Estão profundamente familiarizados com a infraestrutura da nuvem, arquiteturas de data lake e oleodutos em lote e streaming.</li> <li>Comfort operando através da pilha e possuindo projetos de ponta a ponta.</li> <li> Em um ambiente altamente colaborativo envolvendo muitos, diferentes parceiros interfuncionais e especialistas em assuntos.</li> <li> Um viés para a ação com uma mentalidade para tomar iniciativa para trabalhar em diferentes pilhas e diferentes equipes onde você vê a oportunidade de se certificar de algo navios.</li> </ul> <p>Qualificações preferenciais — encorajamo-lo a candidatar-se se encontrar algumas, mas não todas estas:</p> <ul> <li> Tenha experiência prática com Kafka, dbt, Terraform e Airflow.</li> <li> Ter experiência na construção de um rastreador web.</li> <li> Tenha uma vasta experiência de compreensão e desduplicação de escala, mineração de dados e pesquisa.</li> <li> Ter forte conhecimento dos formatos de arquivos e sistemas de armazenamento (por exemplo, Parquet, Delta Lake, etc.) e como eles impactam o desempenho e escalabilidade.</li> <li> São proativos sobre documentação, testes e capacitar seus companheiros de equipe com boas ferramentas.</li> </ul> <h2>Logística</h2> <ul> Localização: Este papel é baseado em São Francisco, Califórnia. <li>Compensação: Dependendo de antecedentes, habilidades e experiência, a faixa salarial anual esperada para esta posição é de $350,000 - $475.000 USD.</li> <li>Visa patrocínio: Nós patrocinamos vistos. Embora não possamos garantir sucesso para cada candidato ou papel, se você é o ajuste certo, estamos comprometidos em trabalhar através do processo de visto juntos.</li> Benefícios: A Thinking Machines oferece benefícios de saúde, odontologia e visão generosos, PTO ilimitado, licença parental paga e apoio de relocação conforme necessário. </ul><div class="content-conclusion"><p><em> Conforme estabelecido na política de igualdade de oportunidades de emprego das Máquinas de Pensar, não discriminamos com base em qualquer estatuto de grupo protegido ao abrigo de qualquer lei aplicável. </em></p> <p><em> O Laboratório de Máquinas de Pensar considerará para candidatos qualificados para o emprego com histórico criminal de uma forma consistente com os requisitos da lei de chance justa da Califórnia, a Portaria de chance justa de São Francisco, e qualquer outra lei ou lei de chance justa aplicável do estado ou local.</em></p></div>