Machine Learning Engineer - LLM Evals + Observability Job at Glean.info in San F

Machine Learning Engineer - LLM Evals + Observability

Glean is the Work AI platform that helps everyone work smarter with AI. What began as the industry's most advanced enterprise search has evolved into a full-scale Work AI ecosystem, powering intelligent Search, an AI Assistant, and scalable AI agents on one secure, open platform. With over 100 enterprise SaaS connectors, flexible LLM choice, and robust APIs, Glean gives organizations the infrastructure to govern, scale, and customize AI across their entire business - without vendor lock-in or costly implementation cycles.

At its core, Glean is redefining how enterprises find, use, and act on knowledge. Its Enterprise Graph and Personal Knowledge Graph map the relationships between people, content, and activity, delivering deeply personalized, context-aware responses for every employee. This foundation powers Glean's agentic capabilities - AI agents that automate real work across teams by accessing the industry's broadest range of data: enterprise and world, structured and unstructured, historical and real-time. The result: measurable business impact through faster onboarding, hours of productivity gained each week, and smarter, safer decisions at every level.

Recognized by Fast Company as one of the World's Most Innovative Companies (Top 10, 2025), by CNBC's Disruptor 50, Bloomberg's AI Startups to Watch (2026), Forbes AI 50, and Gartner's Tech Innovators in Agentic AI, Glean continues to accelerate its global impact. With customers across 50+ industries and 1,000+ employees in more than 25 countries, we're helping the world's largest organizations make every employee AI-fluent, and turning the superintelligent enterprise from concept into reality.

If you're excited to shape how the world works, you'll help build systems used daily across Microsoft Teams, Zoom, ServiceNow, Zendesk, GitHub, and many more - deeply embedded where people get things done. You'll ship agentic capabilities on an open, extensible stack, with the craft and care required for enterprise trust, as we bring Work AI to every employee, in every company.

About the Role

Building a great AI assistant is only half the battle knowing whether it's actually great is the other half. Our team owns the measurement and quality layer that make Glean's Assistant and Agents reliably better over time: evaluation pipelines, quality evalsets, LLM-powered judges, agent observability, and the tooling engineers use to understand what changed and why. It's a rare combination of infrastructure engineering, applied ML, and direct product impact. If you care deeply about quality and want to build the systems that make it measurable, this role is for you.

You will:

• Design and curate evaluation datasets sampling strategies, query diversity, and golden sets that give reliable, representative coverage of real assistant behavior.
• Build and maintain large-scale evaluation pipelines that measure assistant quality across thousands of real user queries.
• Build LLM-powered judges that score metrics like correctness, completeness, and response quality, and align them against human judgment.
• Evaluate new models and product changes before they ship providing the quality signal that gates launches and prevents regressions.
• Build observability infrastructure for AI agents: trace enrichment, data pipelines, and dashboards that make assistant behavior inspectable.
• Close the loop between quality measurement and improvement using eval results, customer feedback, and techniques like automated prompt iteration to help drive concrete gains in assistant behavior.
• Collaborate with engineers across the company to make evals a first-class part of how we ship.

About you:

• 2+ years of software engineering experience with strong coding skills.
• Strong backend fundamentals in Go and Python; comfortable with distributed data pipelines.
• Experience working with LLM evaluation, reinforcement learning from human feedback, natural language processing, or other large systems involving machine learning.
• Analytically rigorous you think carefully about what offline metrics actually predict about real user experience.
• Thrive in a customer-focused, tight-knit and cross-functional environment - being a team player and willing to take on whatever is most impactful for the company.
• You care about quality not just in the systems you build, but in the product you're helping measure and improve.

Location: This role is hybrid (3-4 days a week in one of our SF Bay Area offices)

Compensation & Benefits: The standard base salary range for this position is $200,000 - $300,000 annually. Compensation offered will be determined by factors such as location, level, job-related knowledge, skills, and experience. Certain roles may be eligible for variable compensation, equity, and benefits.

We offer a comprehensive benefits package including competitive compensation, Medical, Vision, and Dental coverage, generous time-off policy, and the opportunity to contribute to your 401k plan to support your long-term goals. When you join, you'll receive a home office improvement stipend, as well as an annual education and wellness stipends to support your growth and wellbeing. We foster a vibrant company culture through regular events, and provide healthy lunches daily to keep you fueled and focused.

We are a diverse bunch of people and we want to continue to attract and retain a diverse range of people into our organization. We're committed to an inclusive and diverse company. We do not discriminate based on gender, ethnicity, sexual orientation, religion, civil or family status, age, disability, or race.

In Summary: Glean is the Work AI platform that helps everyone work smarter with AI . Glean gives organizations the infrastructure to govern, scale, and customize AI across their entire business - without vendor lock-in or costly implementation cycles . At its core, Glean's Enterprise Graph and Personal Knowledge Graph map the relationships between people, content, and activity .

En Español:

Ingeniero de aprendizaje automático - LLM Evals + Observabilidad

Glean es la plataforma Work AI que ayuda a todos a trabajar más inteligentemente con IA. Lo que comenzó como la búsqueda empresarial más avanzada de la industria se ha convertido en un ecosistema Work AI a gran escala, impulsando Search inteligente, un Asistente de IA y agentes de IA escalables en una plataforma segura y abierta. Con más de 100 conectores SaaS empresariales, opción flexible LLM y APIs sólidas, Glean ofrece a las organizaciones la infraestructura para gobernar, escalar y personalizar AI en todo su negocio - sin el bloqueo del proveedor o costosos ciclos de implementación.

En su núcleo, Glean está redefiniendo la forma en que las empresas encuentran, utilizan y actúan sobre el conocimiento. Su gráfico empresarial y el gráfico de conocimientos personales mapean las relaciones entre personas, contenido y actividad, ofreciendo respuestas profundamente personalizadas y conscientes del contexto para cada empleado. Esta fundación potencia las capacidades agenciales de Glean - agentes de IA que automatizan el trabajo real a través de equipos al acceder a la gama más amplia de datos de la industria: empresa y mundo, estructurados y no estructurados, históricos y en tiempo real. El resultado: impacto comercial medible mediante incorporaciones más rápidas, horas de productividad ganadas cada semana y decisiones más inteligentes y seguras en todos los niveles.

Reconocida por Fast Company como una de las compañías más innovadoras del mundo (Top 10, 2025), por Disruptor 50 de CNBC, Bloomberg's AI Startups to Watch (2026), Forbes AI 50, y Gartner's Tech Innovators in Agentic AI, Glean continúa acelerando su impacto global. Con clientes en más de 50 industrias y 1,000+ empleados de más de 25 países, estamos ayudando a las organizaciones más grandes del mundo a hacer que cada empleado sea fluido con IA, convirtiendo la empresa superinteligente de concepto en realidad.

Si estás entusiasmado con dar forma a cómo funciona el mundo, ayudarás a construir sistemas utilizados diariamente en Microsoft Teams, Zoom, ServiceNow, Zendesk, GitHub y muchos más - profundamente integrados donde la gente hace las cosas. Enviarás capacidades agenciales en una pila abierta y extensible, con el arte y cuidado necesarios para la confianza empresarial, ya que traemos Work AI a todos los empleados, en cada empresa.

Sobre el papel

Construir un gran asistente de IA es solo la mitad de la batalla saber si en realidad es genial es la otra mitad. Nuestro equipo posee la capa de medición y calidad que hacen que el Asistente y Agentes de Glean sean confiablemente mejores a lo largo del tiempo: tuberías de evaluación, evaluaciones de calidad, jueces impulsados por LLM, observabilidad de los agentes e ingenieros de herramientas utilizan para entender qué ha cambiado y por qué. Es una rara combinación de ingeniería de infraestructura, ML aplicada e impacto directo del producto. Si te importa profundamente la calidad y quieres construir los sistemas que lo hagan medible, este papel es para ti.

Usted lo hará:

• Diseñar y curar conjuntos de datos de evaluación estrategias de muestreo, diversidad de consultas y conjuntos dorados que proporcionan una cobertura confiable y representativa del comportamiento real del asistente.
• Construir y mantener tuberías de evaluación a gran escala que miden la calidad del asistente en miles de consultas reales.
• Construir jueces con capacidad de LLM que califiquen métricas como la corrección, complejidad y calidad de respuesta, y alinearlos contra el juicio humano.
• Evaluar los nuevos modelos y cambios en el producto antes de que se envíen proporcionando la señal de calidad que lanzan las puertas e impide regresiones.
• Construir infraestructura de observabilidad para agentes de IA: enriquecimiento de rastro, tuberías de datos y tableros que hagan inspectables el comportamiento del asistente.
• Cierre el bucle entre la medición de calidad y la mejora utilizando resultados de evaluación, retroalimentación del cliente y técnicas como iteración automática para ayudar a impulsar ganancias concretas en el comportamiento del asistente.
• Colaborar con los ingenieros de toda la compañía para hacer que las evaluaciones sean una parte de primera clase de cómo enviamos.

Sobre usted

Usted lo hará:

• Tener más de 2 años de experiencia en ingeniería de software con fuertes habilidades de codificación.
• Tener fuertes fundamentos de backend en Go y Python; cómodo con las tuberías de datos distribuidas.
• Tener experiencia trabajando con la evaluación del LLM, el aprendizaje de refuerzo a partir de retroalimentación humana, procesamiento del lenguaje natural u otros sistemas grandes que involucran el machine learning.
• Sea analíticamente riguroso y piense cuidadosamente en lo que las métricas fuera de línea realmente predicen sobre la experiencia real del usuario.
• Prosperar en un entorno centrado en el cliente, estrechamente unido y multifuncional - siendo un jugador de equipo y dispuesto a asumir lo que sea más impactante para la empresa.
• Cuidado con la calidad no sólo en los sistemas que construyes, sino en el producto que estás ayudando a medir y mejorar.

Localización

Este papel es híbrido (3-4 días a la semana en una de nuestras oficinas del área de SF Bay)

Compensación y beneficios

El rango de salario básico estándar para este puesto es de $200,000 a $300,000 al año. La compensación ofrecida se determinará por factores tales como ubicación, nivel, conocimientos relacionados con el trabajo, habilidades y experiencia.

Ofrecemos un paquete completo de beneficios que incluye compensación competitiva, cobertura médica, visión y odontológica, una política generosa de tiempo libre y la oportunidad de contribuir a su plan 401k para apoyar sus objetivos a largo plazo. Cuando se une, recibirá un estipendio de mejora del escritorio en el hogar, así como un stipendio anual de educación y bienestar para respaldar su crecimiento y bienestado. Fomentamos una vibrante cultura empresarial mediante eventos regulares, y proporcionamos almuerzos saludables todos los días para mantenerlo alimentado y enfocado.

Somos un grupo diverso de personas y queremos seguir atrayendo y reteniendo a una gama diversa de personas en nuestra organización. Estamos comprometidos con una empresa inclusiva y diversificada. No discriminamos por género, etnia, orientación sexual, religión, estatus civil o familiar, edad, discapacidad o raza.