H-1BEmpresa com histórico de patrocínio no governo
REG. 6339852
Gerente de Engenharia de IA (Testes)
VOCALINK, INC.
- Local: O'Fallon, MO
- Área: Tecnologia
- Visto provável: H-1B
- Vaga vista pela última vez em 25/07/2026
Vaga de gestão em engenharia de IA em O'Fallon, MO na empresa VOCALINK, INC.
Cadastro grátis — o contato e o link oficial da vaga ficam no portal.
Descrição da vaga
Tradução automática do anúncio original do empregador.
Nosso objetivo
Mastercard empodera economias e capacita pessoas em mais de 200 países e territórios em todo o mundo. Juntamente com nossos clientes, estamos ajudando a construir uma economia sustentável onde todos possam prosperar. Apoiamos uma ampla gama de opções de pagamentos digitais, tornando as transações seguras, simples, inteligentes e acessíveis. Nossa tecnologia e inovação, parcerias e redes se combinam para oferecer um conjunto único de produtos e serviços que ajudam pessoas, empresas e governos a realizar seu maior potencial.
Título e Resumo
Gerente de Engenharia de IA (Tester)
O grupo Business & Market Insights (B&MI) da Mastercard oferece soluções de inteligência e IA de fronteira baseadas em dados sem paralelo que ajudam as organizações a tomar decisões mais inteligentes, rápidas e impactantes. Estamos atualmente à procura de um AI Tester para o Programa de Inteligência Operacional dentro B&MI. Esta é uma posição de liderança de teste de IA altamente especializada e prática dedicada a garantir que nossos sistemas de IA, LLM e agentic Generative sejam precisos, seguros, confiáveis e prontos para empresas. Este papel irá liderar os esforços de engenharia de qualidade de IA — definindo quadros de avaliação, estratégias de equipe vermelha e portões de qualidade LLMOps — enquanto promove uma cultura de rigorosos testes de IA de primeira classe em todo o programa.
Funções e responsabilidades:
• Design e próprios frameworks de avaliação LLM de ponta a ponta — incluindo pipelines automatizados de regressão rápida, pontuação de saída, benchmarking semântico e detecção de alucinações em versões de modelos e variações rápidas.
• Construa suítes de teste abrangentes para sistemas de IA agentic — validação de seleção de ferramentas, coordenação interagente, decomposição de tarefas, conclusão de metas e manipulação de falhas em fluxos de trabalho de raciocínio multi-passo.
• Desenvolver estruturas de avaliação de pipeline RAG avaliando precisão de recuperação, relevância de pedaços, fidelidade ao contexto, aterramento de respostas e taxas de alucinações usando ferramentas como RAGAS, TruLens e DeepEval.
• Esquemas estruturados de equipe vermelha e testes adversários visando injeção rápida, fugas de cadeia, vazamento de dados, envenenamento por contexto e manipulação de modelos — construindo e mantendo uma biblioteca de testes adversários em evolução.
• Execute auditorias de equidade, viés e IA responsável — testando viés demográfico, desvio de sentimentos, lacunas de representação e validando mecanismos de explanabilidade, citações e precisão do escore de confiança.
• Desenhe e execute benchmarks de desempenho de inferência — medindo latência, rendimento, eficiência de tokens e degradação sob carga de pico — e aplique portas de qualidade LLM dentro de pipelines CI/CD em Databricks (AWS).
• Construa pipelines de monitoramento de produção e detecção de deriva rastreando deriva de saída semântica, incorporando mudanças, degradação de recuperação e comportamentos anômalos de agentes usando ferramentas de observação (Grafana, Datadog, CloudWatch).
• Defina o roteiro de teste de IA e padrões de qualidade para o programa – estabelecendo métricas de avaliação, escolhas de ferramentas e práticas de documentação em todos os fluxos de trabalho de IA Gen.
• Parceria com engenheiros de IA Gen, engenheiros de ML e stakeholders de produtos para incorporar qualidade desde o primeiro dia — revisão de arquiteturas rápidas, projetos de agentes e fluxos de trabalho do sistema para testar e risco.
• Pesquisa contínua e adoção de benchmarks de avaliação de fronteira (RAGAS, MMLU, TruthfulQA, MT-Bench) e metodologias emergentes de testes de IA para manter as práticas de qualidade na vanguarda.
Tudo Sobre Você:
• Mestrado/Bachelor em Ciência da Computação, IA/ML ou Engenharia de Software, com considerável experiência prática líder em engenharia de qualidade de IA/ML ou programas de teste LLM em ambientes de produção.
• Testes de perícia demonstrados LLM e sistemas de IA Gen — incluindo testes rápidos, avaliação de saída, detecção de alucinações, avaliação de oleodutos RAG e validação de fluxo de trabalho agente em configurações de produção reais.
• Conhecimento prático profundo das estruturas e ferramentas de avaliação de IA: RAGAS, DeepEval, TruLens, LangSmith, PromptFlow, Weights & Biases Evals, ou plataformas equivalentes.
• Forte compreensão dos modos de falha de IA Gen — alucinação, injeção rápida, falhas de aterramento de recuperação, deriva de contexto, falhas de loop do agente — e métodos comprovados para documentá-los sistematicamente.
• Habilidades fortes de programação Python com a capacidade de criar independentemente scripts de automação de teste, pipelines de avaliação e testes de integração de nível API; proficiência SQL necessária.
• Conhecimento de trabalho dos ecossistemas LLM — OpenAI, Anthropic, Hugging Face, LangChain/LangGraph — suficiente para entender o comportamento do modelo, estrutura rápida e arquitetura do agente profundamente para testá-los rigorosamente.
• Familiaridade com os pipelines MLOps/LLMOps (MLflow, Databricks, SageMaker) e experiência de integração de portões de qualidade automatizados em fluxos de trabalho CI/CD para sistemas de IA.
• Experiência com infraestrutura de IA em nuvem (AWS, Azure ou GCP) e ferramenta de observação para monitorar o comportamento do sistema de IA ao vivo e qualidade de saída na produção.
• Fortes competências analíticas, de comunicação e de gestão das partes interessadas — com a capacidade de traduzir padrões complexos de falhas de IA em avaliações de risco claras e recomendações de remediação para públicos técnicos e empresariais.
Mastercard é um empregador baseado em mérito, inclusive, igualdade de oportunidades que considera os candidatos sem respeito ao gênero, identidade de gênero, orientação sexual, raça, etnia, status de deficientes ou veteranos, ou qualquer outra característica protegida por lei. Contratamos o candidato mais qualificado para o papel. Nos EUA ou Canadá, se você precisar de acomodações ou assistência para concluir o processo de aplicação on-line ou durante o processo de recrutamento, entre em contato com o Clm e identifique o tipo de acomodação ou assistência que você está solicitando. Não inclua nenhuma informação médica ou de saúde neste email. A equipe de Alojamentos Razoáveis responderá prontamente ao seu e-mail.
Responsabilidade de Segurança Corporativa
Todas as atividades que envolvem o acesso a ativos, informações e redes Mastercard vêm com um risco inerente à organização e, portanto, espera-se que cada pessoa que trabalha para, ou em nome da, Mastercard seja responsável pela segurança da informação e deve:
• Apoiar as políticas e práticas de segurança da Mastercard;
• Garantir a confidencialidade e integridade das informações a serem acessadas;
• Denunciar qualquer suspeita de violação ou violação de segurança de informações, e
• Complete todos os treinamentos periódicos obrigatórios de segurança de acordo com as diretrizes da Mastercard.
De acordo com a filosofia de compensação total da Mastercard e assumindo que o trabalho será realizado nos EUA, o candidato bem-sucedido será oferecido um salário base competitivo e pode ser elegível para um bônus anual ou comissões, dependendo do papel. O salário base oferecido pode variar dependendo de múltiplos fatores, incluindo, mas não limitado à localização, conhecimento relacionado ao trabalho, habilidades e experiência. Os benefícios do Mastercard para os empregados a tempo inteiro (e certos a tempo parcial) incluem geralmente: seguro (incluindo medicamentos médicos, medicamentos prescritos, dentistas, visão, deficiência, seguro de vida); conta de despesa flexível e conta de poupança de saúde; licenças pagas (incluindo 16 semanas de licença parental nova e até 20 dias de licença de luto); 80 horas de Tempo de Doença e Seguro Pago, 25 dias de férias e 5 dias pessoais, pro-rated com base na data de aluguer; 10 férias anuais pagas dos EUA observadas; 401k com um jogo de empresa de melhor classe; compensação diferida para funções elegíveis; reembolso fitness ou instalações de fitness no local; elegibilidade para reembolso de propinas; e muitos mais. Os benefícios do Mastercard para estagiários geralmente incluem: 56 horas de tempo de doença paga e seguro; licença para júri; e instalações de fitness no local em alguns locais.
Intervalos de Pagamentos
O'Fallon, Missouri: $140.000 - $231.000 USD
Ver o texto original em inglês
Our Purpose
Mastercard powers economies and empowers people in 200+ countries and territories worldwide. Together with our customers, we’re helping build a sustainable economy where everyone can prosper. We support a wide range of digital payments choices, making transactions secure, simple, smart and accessible. Our technology and innovation, partnerships and networks combine to deliver a unique set of products and services that help people, businesses and governments realize their greatest potential.
Title and Summary
Manager, AI Engineering (Tester )
Mastercard's Business & Market Insights (B&MI) group delivers unparalleled data-driven intelligence and frontier AI solutions that help organizations make smarter, faster, and more impactful decisions. We are currently looking for a AI Tester for the Operational Intelligence Program within B&MI. This is a highly specialized, hands-on AI testing leadership position dedicated to ensuring our Generative AI, LLM, and agentic systems are accurate, safe, reliable, and enterprise-ready. This role will lead AI quality engineering efforts — defining evaluation frameworks, red-teaming strategies, and LLMOps quality gates — while fostering a culture of rigorous, first-class AI testing across the program.
Roles and Responsibilities:
• Design and own end-to-end LLM evaluation frameworks — including automated prompt regression pipelines, output scoring, semantic benchmarking, and hallucination detection across model versions and prompt variations.
• Build comprehensive test suites for agentic AI systems — validating tool selection, inter-agent coordination, task decomposition, goal completion, and failure handling across multi-step reasoning workflows.
• Develop RAG pipeline evaluation frameworks assessing retrieval precision, chunk relevance, context faithfulness, answer grounding, and hallucination rates using tools like RAGAS, TruLens, and DeepEval.
• Lead structured red-teaming and adversarial testing exercises targeting prompt injection, jailbreaks, data leakage, context poisoning, and model manipulation — building and maintaining an evolving adversarial test library.
• Execute fairness, bias, and Responsible AI audits — testing for demographic bias, sentiment skew, representation gaps, and validating explainability mechanisms, citations, and confidence score accuracy.
• Design and run inference performance benchmarks — measuring latency, throughput, token efficiency, and degradation under peak load — and enforce LLM quality gates within CI/CD pipelines on Databricks (AWS).
• Build production monitoring and drift detection pipelines tracking semantic output drift, embedding shifts, retrieval degradation, and anomalous agent behaviors using observability tooling (Grafana, Datadog, CloudWatch).
• Define the AI testing roadmap and quality standards for the program — establishing evaluation metrics, tooling choices, and documentation practices across all Gen AI workstreams.
• Partner with Gen AI engineers, ML engineers, and product stakeholders to embed quality from day one — reviewing prompt architectures, agent designs, and system workflows for testability and risk.
• Continuously research and adopt frontier evaluation benchmarks (RAGAS, MMLU, TruthfulQA, MT-Bench) and emerging AI testing methodologies to keep quality practices at the cutting edge.
All About You:
• Master's/Bachelor's degree in Computer Science, AI/ML, or Software Engineering, with considerable hands-on experience leading AI/ML quality engineering or LLM testing programs in production environments.
• Demonstrated expertise testing LLM and Gen AI systems — including prompt testing, output evaluation, hallucination detection, RAG pipeline assessment, and agentic workflow validation in real production settings.
• Deep hands-on knowledge of AI evaluation frameworks and tooling: RAGAS, DeepEval, TruLens, LangSmith, PromptFlow, Weights & Biases Evals, or equivalent platforms.
• Strong understanding of Gen AI failure modes — hallucination, prompt injection, retrieval grounding failures, context drift, agent loop failures — and proven methods to surface and document them systematically.
• Strong Python programming skills with the ability to independently build test automation scripts, evaluation pipelines, and API-level integration tests; SQL proficiency required.
• Working knowledge of LLM ecosystems — OpenAI, Anthropic, Hugging Face, LangChain/LangGraph — sufficient to understand model behavior, prompt structure, and agent architecture deeply enough to test them rigorously.
• Familiarity with MLOps/LLMOps pipelines (MLflow, Databricks, SageMaker) and experience integrating automated quality gates into CI/CD workflows for AI systems.
• Experience with cloud AI infrastructure (AWS, Azure, or GCP) and observability tooling for monitoring live AI system behavior and output quality in production.
• Strong analytical, communication, and stakeholder management skills — with the ability to translate complex AI failure patterns into clear risk assessments and remediation recommendations for both technical and business audiences.
Mastercard is a merit-based, inclusive, equal opportunity employer that considers applicants without regard to gender, gender identity, sexual orientation, race, ethnicity, disabled or veteran status, or any other characteristic protected by law. We hire the most qualified candidate for the role. In the US or Canada, if you require accommodations or assistance to complete the online application process or during the recruitment process, please contact [contato no portal] and identify the type of accommodation or assistance you are requesting. Do not include any medical or health information in this email. The Reasonable Accommodations team will respond to your email promptly.
Corporate Security Responsibility
All activities involving access to Mastercard assets, information, and networks comes with an inherent risk to the organization and, therefore, it is expected that every person working for, or on behalf of, Mastercard is responsible for information security and must:
• Abide by Mastercard’s security policies and practices;
• Ensure the confidentiality and integrity of the information being accessed;
• Report any suspected information security violation or breach, and
• Complete all periodic mandatory security trainings in accordance with Mastercard’s guidelines.
In line with Mastercard’s total compensation philosophy and assuming that the job will be performed in the US, the successful candidate will be offered a competitive base salary and may be eligible for an annual bonus or commissions depending on the role. The base salary offered may vary depending on multiple factors, including but not limited to location, job-related knowledge, skills, and experience. Mastercard benefits for full time (and certain part time) employees generally include: insurance (including medical, prescription drug, dental, vision, disability, life insurance); flexible spending account and health savings account; paid leaves (including 16 weeks of new parent leave and up to 20 days of bereavement leave); 80 hours of Paid Sick and Safe Time, 25 days of vacation time and 5 personal days, pro-rated based on date of hire; 10 annual paid U.S. observed holidays; 401k with a best-in-class company match; deferred compensation for eligible roles; fitness reimbursement or on-site fitness facilities; eligibility for tuition reimbursement; and many more. Mastercard benefits for interns generally include: 56 hours of Paid Sick and Safe Time; jury duty leave; and on-site fitness facilities in some locations.
Pay Ranges
O'Fallon, Missouri: $140,000 - $231,000 USD
Cadastro grátis — o contato e o link oficial da vaga ficam no portal.