Empresa com aprovações comprovadas
REG. 6046446
Large Language Model Engineer - AI & Human Health Research
Mount Sinai Hospital
✓ VERIFICADO · 4 green cards (PERM) aprovados nos últimos 12 mesesRegistros públicos do Departamento do Trabalho dos EUA (DOL).
- Local: New York, NY
- Vaga vista pela última vez em 24/07/2026
Vaga de Large Language Model Engineer - AI & Human Health Research em New York, NY, na empresa Mount Sinai Hospital. Vaga real, vista no anúncio oficial do empregador — o link pra aplicar e o contato ficam no portal (cadastro grátis).
Cadastro grátis — o contato e o link oficial da vaga ficam no portal.
Descrição da vaga
Tradução automática do anúncio original do empregador.
Designação das mercadorias Estamos à procura de um engenheiro qualificado da LLM I para se juntar à nossa equipa no Laboratório de Garantia SinAI. O Engenheiro LLM desempenhará um papel fundamental na concepção, construção e implantação de aplicações de modelos de linguagem de grande porte (LLM), incluindo sistemas de geração aumentada de recuperação (RAG), plataformas de agentes e chatbots clínicos, e será responsável por projetar, manter e otimizar a infraestrutura de dados e os gasodutos de validação de modelos que garantem que todos os sistemas de IA, Gerativos e Não Generativos, implantados no Mount Sinai Health System (MSHS) sejam rigorosamente validados para conformidade, desempenho e segurança do paciente.
Você trabalhará em estreita colaboração com equipes de produtos de IA, stakeholders clínicos e técnicos, engenheiros DevOps e Comitê de Governança de IA para projetar fluxos de dados escaláveis que suportam validação de modelos, monitoramento em tempo real e Engenheiro de Aprendizagem de Máquinas Eu serei o principal responsável por contribuir para o desenvolvimento e aprimoramento de aplicações e sistemas de aprendizagem de máquinas. Eles trabalharão em estreita colaboração com outros engenheiros e cientistas de dados para projetar e implementar sistemas de aprendizado de máquina escaláveis e eficientes.
Responsabilidades Engenharia Geral de Dados
• Construir e manter robustos gasodutos ETL para dados clínicos estruturados e não estruturados de fontes de EHR, imagens e texto.
• Sistemas de projeto para automatizar a preparação de dados, rastreamento de linhagens e reprodutibilidade para entradas e saídas de modelos de IA.
• Desenvolver infraestrutura de dados para benchmarking e testes de estresse em ambientes de simulação clínica.
• Colaborar com DevOps e equipes de nuvem para garantir que os pipelines de implantação atendam aos padrões de conformidade e desempenho.
• Configure e monitore a infraestrutura de rastreamento de modelos para métricas de avaliação e detecção de deriva.
• Ajudar no desenvolvimento de normas e procedimentos que afectem a gestão, concepção e manutenção de dados. Documentos todos os padrões e procedimentos.
Garantia e Governança da IA
• Engenheiro e manutenção de gasodutos que apoiam a validação do modelo de pré-implantação e monitoramento pós-implantação.
• Colaborar com cientistas de dados e proprietários de produtos clínicos para validar integridade, reprodutibilidade e equidade de dados em fluxos de trabalho de IA.
• Garantir o cumprimento das diretrizes éticas e políticas de governança institucional sobre o uso sensível de dados de saúde.
• Construa painéis e ferramentas que forneçam observábilidade ao longo do ciclo de vida do ML: dados, modelos, resultados.
Engenharia LLM e IA Gerativa Aplicada
• Projete, construa e implemente aplicativos alimentados por LLM, incluindo chatbots clínicos, copilotos e ferramentas de suporte à decisão para usuários finais em todo MSHS.
• Desenvolver gasodutos de geração aumentada de recuperação (RAG) que integrem bases de dados vetoriais com fontes de conhecimento clínico, dados de RHE e documentos institucionais.
• Construir plataformas agentic e fluxos de trabalho multi-agente usando frameworks como LangChain, LlamaIndex, LangGraph, CrewAI, ou equivalente, incluindo uso de ferramentas, chamada de funções e lógica de orquestração.
• Operacionalizar implantação de LLM, incluindo otimização de inferência, latência e ajuste de custos, serviço de modelo (por exemplo, Azure), e integração de guardas de segurança.
• Implementar a engenharia rápida, a versão rápida e os fluxos de trabalho estruturados de avaliação rápida entre fornecedores e versões de modelos.
• Ajuste fino e adaptar modelos de fundação (afinamento fino completo, LoRA/PEFT, ajuste de instruções) para casos de uso clínico e operacional, quando apropriado.
• Construir a avaliação LLM aproveita cobrindo precisão, alucinação, segurança, viés, sicofania e adequação clínica, com equipe vermelha e teste de estresse de sistemas implantados.
Engajamento do stakeholder e outros
• Comunique efetivamente os achados técnicos relacionados ao modelo e integridade dos dados para equipes de governança, stakeholders clínicos e liderança.
• Manter documentação clara e bem organizada dos fluxos de trabalho de dados, arquitetura de plataforma e processos de validação.
• Ajude a escrever relatórios internos sobre resiliência da infraestrutura de dados, status do sistema de validação e risco operacional.
• Mantenha-se informado sobre as melhores práticas da indústria em engenharia de dados e aprendizagem de máquina centrada em cuidados de saúde.
• Possui uma atitude extremamente flexível. Disposto a trabalhar com vários tipos de tecnologias e linguagens com mente aberta e sem tecnologia bia
• Interesse contínuo em atualizar conjuntos de habilidades e conhecimento de tendências no espaço de Big Data Technology.
• Trabalhar em estreita colaboração com equipas interfuncionais, incluindo cientistas de dados, prestadores de cuidados de saúde e profissionais de TI para compreender os requisitos de dados, desenvolver soluções e apoiar a tomada de decisões orientadas para os dados.
• Outras funções atribuídas
Requisitos em matéria de qualificações
• Licenciatura em Ciência da Computação, Estatística, Matemática ou área relacionada.
• Conhecimento de pelo menos uma linguagem de programação entre Scala, Python, Java, C, ou C++.
• Conhecimento das tecnologias de big data (por exemplo, Hadoop, Spark)
• Conhecimento do Ciclo de Vida de Desenvolvimento de Software.
• Automotivado com uma capacidade demonstrada de trabalhar de forma independente, e para exercer julgamento independente no desenvolvimento de técnicas complexas ou programas em um ambiente dinâmico. • Atue como o principal contribuinte no desenvolvimento e operacionalização de quatro aplicações diferentes.
• Desempenhar um papel técnico fundamental na manutenção dos produtos implantados
• Compreensão de algoritmos de aprendizado de máquina (algoritmos ML supervisados, sem percepção).
• Familiaridade com SQL ou outras linguagens de banco de dados.
Preferido:
• Mestrado em disciplina quantitativa (por exemplo, Estatística, Pesquisa de Operações, Bioinformática, Economia, Biologia Computacional, Ciência da Computação, Tecnologia da Informação, Matemática, Física) ou experiência prática equivalente
• 2+ anos de experiência em engenharia de dados, engenharia de software ou aprendizado de máquina.
• Proficiente em Python e SQL
• Proficiência em pelo menos uma plataforma de computação em nuvem (por exemplo, AWS, Azure, GCP)
• Conhecimento Intermediário da Aprendizagem de Máquinas
• Familiaridade com as ferramentas de gestão do ciclo de vida ML (por exemplo, MLflow, Kubeflow, Airflow)
• Experiência em implantação e operacionalização de sistemas ML
• Experiência com ferramentas de monitoramento para rastreamento de modelos de IA
• Compreensão dos princípios DevOps, pipelines CI/CD e contêinerização (por exemplo, Docker, Kubernetes)
• Experiência com sistemas de controlo de versões (por exemplo, Git) Conhecimento das tecnologias de big data (por exemplo, Hadoop, Spark)
• Criação e implantação de aplicações baseadas em LLM (chatbots, copilotos, resumos, Q&A ou ferramentas de apoio à decisão).
• Desenvolver e implementar arquiteturas de geração aumentada de recuperação (RAG), incluindo estratégias de blocking, incorporação de modelos e bases de dados vetoriais (por exemplo, Pinecone, Weaviate, FAISS, pgvector, Milvus).
• Experiência com frameworks agentic e bibliotecas de orquestração (por exemplo, LangChain, LlamaIndex, LangGraph, CrewAI, AutoGen, Kernel Semântico), incluindo chamadas de ferramentas/funções e fluxos de trabalho multi-agentes.
• Experimente construir sistemas conversacionais de IA / chatbot, incluindo gerenciamento de estado de diálogo, memória e integração com sistemas empresariais.
• Familiaridade com APIs de modelos de fundação e SDKs (por exemplo, OpenAI, Anthropic, Google, Azure OpenAI, AWS Bedrock) e famílias de modelos de peso aberto (por exemplo, Llama, Mistral, Qwen, Gemma).
• Conhecimentos sobre engenharia rápida, avaliação rápida e ferramentas de observação/avaliação LLM (por exemplo, LangSmith, Langfuse, Arize, Ragas, DeepEval).
• Familiaridade com técnicas de ajuste fino e adaptação de modelos (por exemplo, ajuste fino supervisionado, LoRA/QLORA, PEFT, ajuste de instrução, RLHF/DPO) e pilhas de serviço (por exemplo, vLLM, TGI, Triton).
• Sensibilização para as práticas de segurança, guarda e avaliação da LLM (alucinação, viés, hipocrisia, resistência ao jailbreak) — a experiência com a avaliação específica da saúde é uma vantagem.
• Fortes habilidades de resolução de problemas e capacidade de trabalhar em equipes interfuncionais
Descrição do Empregador Força através da Unidade e Inclusão
O Sistema de Saúde Mount Sinai está comprometido em promover um ambiente onde todos possam contribuir para a excelência. Compartilhamos uma dedicação comum ao cuidado excelente do paciente. Quando você se junta a nós, você se torna parte do legado inigualável de realização, educação e inovação do Monte Sinai enquanto trabalhamos juntos para transformar a saúde. Encorajamos todos os membros da equipe a participar ativamente na criação de uma cultura que garanta acesso justo às oportunidades, promova práticas inclusivas e apoie o sucesso de cada indivíduo.
No Monte Sinai, nossos líderes estão empenhados em promover um local de trabalho onde todos os funcionários se sintam valorizados, respeitados e capacitados para crescer. Nós nos esforçamos para criar um ambiente onde a colaboração, a justiça e a aprendizagem contínua impulsionam mudanças positivas, melhorando o bem-estar de nossa equipe, pacientes e organização. Espera-se que nossos líderes desafiem práticas ultrapassadas, promovam uma cultura de respeito e trabalhem em prol de melhorias significativas que melhorem o cuidado ao paciente e as experiências no local de trabalho. Estamos dedicados a construir um ambiente de apoio e acolhimento onde todos têm a oportunidade de prosperar e avançar profissionalmente. Explore esta oportunidade e faça parte do próximo capítulo da nossa história.
Sobre o Sistema de Saúde do Monte Sinai:
O Mount Sinai Health System é um dos maiores sistemas médicos acadêmicos da região metropolitana de Nova Iorque, com mais de 48 mil funcionários trabalhando em oito hospitais, mais de 400 consultórios ambulatoriais, mais de 300 laboratórios, uma escola de enfermagem e uma escola líder em medicina e pós-graduação. O Monte Sinai avança a saúde para todas as pessoas, em todos os lugares, assumindo os desafios mais complexos de saúde do nosso tempo — descobrindo e aplicando novos conhecimentos e conhecimentos científicos; desenvolvendo tratamentos mais seguros e eficazes; educando a próxima geração de líderes médicos e inovadores; e apoiando as comunidades locais, prestando cuidados de alta qualidade a todos os que precisam. Através da integração de seus hospitais, laboratórios e escolas, o Monte Sinai oferece soluções de saúde abrangentes desde o nascimento até a geriatria, alavancando abordagens inovadoras, como inteligência artificial e informática, mantendo as necessidades médicas e emocionais dos pacientes no centro de todo o tratamento. O Sistema de Saúde inclui mais de 9.000 médicos de cuidados primários e especializados; 13 centros de cirurgia ambulatorial em joint-venture nos cinco bairros de Nova York, Westchester, Long Island e Florida; e mais de 30 centros de saúde comunitários afiliados. Estamos consistentemente classificados pelos melhores hospitais dos EUA News & World Report's Best Hospitals, recebendo alto status de "Honor Roll", e são altamente classificados: No. 1 em Geriatria, top 5 em Cardiologia/Cirurgia do Coração, e top 20 em Diabetes/Endocrinologia, Gastroenterologia/GI Cirurgia, Neurologia/Neurocirurgia, Ortopedia, Pneumologia/Cirurgia Pulmonológica, Reabilitação e Urologia. Nova York Enfermaria Olho e Orelha do Monte Sinai é classificado no 12 em Oftalmologia. U.S. News & World Report’s “Best Children’s Hospitals” classifica o Mount Sinai Kravis Children's Hospital entre os melhores do país em várias especialidades pediátricas. A Faculdade de Medicina de Icahn, no Monte Sinai, é classificada no 11 em todo o país em fundos dos Institutos Nacionais de Saúde e no percentil 99 em dólares de pesquisa por investigador, de acordo com a Associação das Faculdades Médicas Americanas. Newsweek’s “Os Melhores Hospitais Inteligentes do Mundo” classifica O Mount Sinai Hospital como No. 1 em Nova York e no top cinco globalmente, e Mount Sinai Morningside no top 20 globalmente.
Empregador de oportunidades iguais
O Sistema de Saúde do Monte Sinai é um empregador de igualdade de oportunidades, cumprindo todas as leis federais de direitos civis aplicáveis. Não discriminamos, excluímos ou tratamos indivíduos de forma diferente com base em raça, cor, origem nacional, idade, religião, deficiência, sexo, orientação sexual, gênero, status de veterano ou qualquer outra característica protegida pela lei. Estamos profundamente empenhados em promover um ambiente
Ver o texto original em inglês
Description We are seeking a skilled LLM Engineer I to join our team in the SinAI Assurance Lab. The LLM Engineer will play a key role in designing, building, and deploying large language model (LLM) applications including retrieval-augmented generation (RAG) systems, agentic platforms, and clinical chatbots and will be responsible for designing, maintaining, and optimizing data infrastructure and model validation pipelines that ensure all AI systems, Generative and Non-Generative, deployed across the Mount Sinai Health System (MSHS) are rigorously validated for compliance, performance, and patient safety.
You will work closely with AI product teams, clinical and technical stakeholders, DevOps engineers, and the AI Governance Committee to engineer scalable data flows that support model validation, real-time monitoring, and Machine Learning Engineer I will be primarily responsible for contributing to the development and enhancement of machine learning applications and systems. They will work closely with other engineers and data scientists to design and implement scalable and efficient machine learning systems.
Responsibilities General Data Engineering
• Build and maintain robust ETL pipelines for structured and unstructured clinical data from EHR, imaging, and text sources.
• Design systems to automate data preparation, lineage tracking, and reproducibility for AI model inputs and outputs.
• Develop data infrastructure for benchmarking and stress-testing models in clinical simulation environments.
• Collaborate with DevOps and cloud teams to ensure deployment pipelines meet compliance and performance standards.
• Set up and monitor model tracking infrastructure for evaluation metrics and drift detection.
• Assist in the development of standards and procedures affecting data management, design and maintenance. Documents all standards and procedures.
AI Assurance & Governance
• Engineer and maintain pipelines that support pre-deployment model validation and post-deployment monitoring.
• Collaborate with Data Scientists and Clinical Product Owners to validate data integrity, reproducibility, and fairness in AI workflows.
• Ensure compliance with HIPAA, ethical guidelines, and institutional governance policies on sensitive health data use.
• Build dashboards and tools that provide observability across the ML lifecycle: data, models, outcomes.
LLM Engineering & Applied Generative AI
• Design, build, and deploy LLM-powered applications including clinical chatbots, copilots, and decision-support tools for end-users across MSHS.
• Develop retrieval-augmented generation (RAG) pipelines that integrate vector databases with clinical knowledge sources, EHR data, and institutional documents.
• Build agentic platforms and multi-agent workflows using frameworks such as LangChain, LlamaIndex, LangGraph, CrewAI, or equivalent, including tool use, function calling, and orchestration logic.
• Operationalize LLM deployment, including inference optimization, latency and cost tuning, model serving (e.g., Azure), and integration of safety guardrails.
• Implement prompt engineering, prompt versioning, and structured prompt-evaluation workflows across model providers and versions.
• Fine-tune and adapt foundation models (full fine-tuning, LoRA/PEFT, instruction tuning) to clinical and operational use cases where appropriate.
• Build LLM evaluation harnesses covering accuracy, hallucination, safety, bias, sycophancy, and clinical appropriateness, with red-teaming and stress-testing of deployed systems.
Stakeholder Engagement & Others
• Effectively communicate technical findings related to model and data integrity to governance teams, clinical stakeholders, and leadership.
• Maintain clear and well-organized documentation of data workflows, platform architecture, and validation processes.
• Help write internal reports on data infrastructure resilience, validation system status, and operational risk.
• Stay informed on industry best practices in data engineering and healthcare-focused machine learning.
• Possess an extremely flexible attitude. Willing to work with multiple types of technologies and languages with an open mind and without technology bia
• Continuous interest in updating skill sets and knowledge of trends in the Big Data Technology space.
• Work closely with cross-functional teams including data scientists, healthcare providers, and IT professionals to understand data requirements, develop solutions, and support data-driven decision-making.
• Other duties as assigned
Qualifications Requirements
• Bachelor's degree in Computer Science, Statistics, Mathematics, or related field.
• Knowledge of at least one programming language among Scala, Python, Java, C, or C++.
• Knowledge of big data technologies (e.g., Hadoop, Spark)
• Knowledge of Software Development Lifecycle.
• Self-motivated with a demonstrated ability to work independently, and to exercise independent judgment in developing complex techniques or programs in a dynamic environment. • Act as the major contributor in the development and operationalization of four different applications.
• Play a key technical role in maintaining deployed products
• Understanding of machine learning algorithms (Supervised, Unsupervised ML algorithms).
• Familiarity with SQL or other database languages.
Preferred:
• Master's degree in a quantitative discipline (e.g., Statistics, Operations Research, Bioinformatics, Economics, Computational Biology, Computer Science, Information Technology, Mathematics, Physics) or equivalent practical experience
• 2+ years of experience in data engineering, software engineering, or machine learning.
• Proficient in Python and SQL
• Proficiency in at least one cloud computing platforms (e.g., AWS, Azure, GCP)
• Intermediate knowledge of Machine Learning
• Familiarity with ML lifecycle management tools (e.g., MLflow, Kubeflow, Airflow)
• Experience on deployment and operationalization of ML Systems
• Experience with monitoring tools for AI model tracking
• Understanding of DevOps principles, CI/CD pipelines, and containerization (e.g., Docker, Kubernetes)
• Experience with version control systems (e.g., Git) Knowledge of big data technologies (e.g., Hadoop, Spark)
• Hands-on experience building and deploying LLM-based applications in production (chatbots, copilots, summarization, Q&A, or decision-support tools).
• Experience designing and implementing retrieval-augmented generation (RAG) architectures, including chunking strategies, embedding models, and vector databases (e.g., Pinecone, Weaviate, FAISS, pgvector, Milvus).
• Experience with agentic frameworks and orchestration libraries (e.g., LangChain, LlamaIndex, LangGraph, CrewAI, AutoGen, Semantic Kernel) including tool/function calling and multi-agent workflows.
• Experience building conversational AI / chatbot systems, including dialog state management, memory, and integration with enterprise systems.
• Familiarity with foundation model APIs and SDKs (e.g., OpenAI, Anthropic, Google, Azure OpenAI, AWS Bedrock) and open-weight model families (e.g., Llama, Mistral, Qwen, Gemma).
• Working knowledge of prompt engineering, prompt evaluation, and LLM observability/evaluation tooling (e.g., LangSmith, Langfuse, Arize, Ragas, DeepEval).
• Familiarity with fine-tuning and model adaptation techniques (e.g., supervised fine-tuning, LoRA/QLoRA, PEFT, instruction tuning, RLHF/DPO) and serving stacks (e.g., vLLM, TGI, Triton).
• Awareness of LLM safety, guardrails, and evaluation practices (hallucination, bias, sycophancy, jailbreak resistance) — experience with healthcare-specific evaluation is a plus.
• Strong problem-solving skills and ability to work in cross-functional teams
Employer Description Strength through Unity and Inclusion
The Mount Sinai Health System is committed to fostering an environment where everyone can contribute to excellence. We share a common dedication to delivering outstanding patient care. When you join us, you become part of Mount Sinai’s unparalleled legacy of achievement, education, and innovation as we work together to transform healthcare. We encourage all team members to actively participate in creating a culture that ensures fair access to opportunities, promotes inclusive practices, and supports the success of every individual.
At Mount Sinai, our leaders are committed to fostering a workplace where all employees feel valued, respected, and empowered to grow. We strive to create an environment where collaboration, fairness, and continuous learning drive positive change, improving the well-being of our staff, patients, and organization. Our leaders are expected to challenge outdated practices, promote a culture of respect, and work toward meaningful improvements that enhance patient care and workplace experiences. We are dedicated to building a supportive and welcoming environment where everyone has the opportunity to thrive and advance professionally. Explore this opportunity and be part of the next chapter in our history.
About the Mount Sinai Health System:
Mount Sinai Health System is one of the largest academic medical systems in the New York metro area, with more than 48,000 employees working across eight hospitals, more than 400 outpatient practices, more than 300 labs, a school of nursing, and a leading school of medicine and graduate education. Mount Sinai advances health for all people, everywhere, by taking on the most complex health care challenges of our time — discovering and applying new scientific learning and knowledge; developing safer, more effective treatments; educating the next generation of medical leaders and innovators; and supporting local communities by delivering high-quality care to all who need it. Through the integration of its hospitals, labs, and schools, Mount Sinai offers comprehensive health care solutions from birth through geriatrics, leveraging innovative approaches such as artificial intelligence and informatics while keeping patients’ medical and emotional needs at the center of all treatment. The Health System includes more than 9,000 primary and specialty care physicians; 13 joint-venture outpatient surgery centers throughout the five boroughs of New York City, Westchester, Long Island, and Florida; and more than 30 affiliated community health centers. We are consistently ranked by U.S. News & World Report's Best Hospitals, receiving high "Honor Roll" status, and are highly ranked: No. 1 in Geriatrics, top 5 in Cardiology/Heart Surgery, and top 20 in Diabetes/Endocrinology, Gastroenterology/GI Surgery, Neurology/Neurosurgery, Orthopedics, Pulmonology/Lung Surgery, Rehabilitation, and Urology. New York Eye and Ear Infirmary of Mount Sinai is ranked No. 12 in Ophthalmology. U.S. News & World Report’s “Best Children’s Hospitals” ranks Mount Sinai Kravis Children's Hospital among the country’s best in several pediatric specialties. The Icahn School of Medicine at Mount Sinai is ranked No. 11 nationwide in National Institutes of Health funding and in the 99th percentile in research dollars per investigator according to the Association of American Medical Colleges. Newsweek’s “The World’s Best Smart Hospitals” ranks The Mount Sinai Hospital as No. 1 in New York and in the top five globally, and Mount Sinai Morningside in the top 20 globally.
Equal Opportunity Employer
The Mount Sinai Health System is an equal opportunity employer, complying with all applicable federal civil rights laws. We do not discriminate, exclude, or treat individuals differently based on race, color, national origin, age, religion, disability, sex, sexual orientation, gender, veteran status, or any other characteristic protected by law. We are deeply committed to fostering an environment wher
Cadastro grátis — o contato e o link oficial da vaga ficam no portal.