Robotics Machine Learning Engineer - Platforms for Vision Language Action Founda
US Company, Los Altos, CA, United States
Overview
At Toyota Research Institute (TRI), we’re on a mission to improve the quality of human life. We’re developing new tools and capabilities to amplify the human experience. To lead this transformative shift in mobility, we’ve built a world-class team in Automated Driving, Energy & Materials, Human-Centered AI, Human-Interactive Driving, and Robotics.
We are looking for a machine learning engineer to develop our infrastructure and support researchers in the development of foundation models for robotics.
The Mission
We are working to create general-purpose robots capable of accomplishing a wide variety of dexterous tasks. To do this, our team is building general-purpose machine learning foundation models for dexterous robot manipulation. These models, which we call Large Behavior Models (LBMs), use generative AI techniques to produce robot action from sensor data and human request. To accomplish this, we are creating a large curriculum of embodied robot demonstration data and combining that data with a rich corpus of internet-scale text, image, and video data. We are also using high-quality simulation to augment real world robot data with procedurally-generated synthetic demonstrations.
The Team
The Robotics Machine Learning Team’s charter is to push the frontiers of research in robotics and machine learning to develop the future capabilities required for general-purpose robots able to operate in realistic environments such as homes or factories.
The Job
We have several research thrusts under our broad mission, and we are looking for a machine learning engineer to contribute to some of the following objectives:
- Hardware Infrastructure: Develop our hardware platform, making sure the robots and software stack are state-of-the-art, operational, and continuously improved with new functionalities. This includes the robot hardware (YAM, Franka, and custom), the sensors (monocular, stereo, depth, etc), the robot/computer interface, the human/robot interface, the data logging, and the controls.
- Inference & Deployment: Build APIs and systems for high-throughput inference and logging in simulation and on real robot platforms. Enable low-latency model serving and robust policy–environment communication.
- Evaluation & Monitoring: Design metrics pipelines for quantitative and qualitative evaluation. Build tools for experiment tracking, logging, visualization, and leaderboard management using systems like Weights & Biases, MLflow, or ClearML.
- Data Infrastructure: Build scalable pipelines for heterogeneous multimodal data (images, text, video, touch, depth, proprioception). Work with data storage, versioning, streaming, and visualization systems optimized for throughput and accessibility.
The machine learning engineer who joins our team will be expected to create working code, and interact frequently with researchers. They will run experiments with both simulated and real (physical) robots, and participate in publishing the work to peer-reviewed venues. We’re looking for an engineer who is comfortable working with multiple robotic embodiments and stacks as well as a growing dynamic corpus of robot data.
Qualifications
- Hardware experience on robots
- Communication protocol experience (ROS, WebSocket, RPC…)
- Strong software engineering skills in Python, PyTorch, and distributed systems.
- Experience with large-scale data handling, including streaming, preprocessing, and storage of video or sensor data.
- A “make it happen” attitude and comfort with fast prototyping.
- A passion for robotics and development grounded in important fundamental problems.
- Continuous integration
Bonus Qualifications
- Familiarity with modern ML efficiency frameworks (e.g., FSDP, DeepSpeed, XLA, Ray, Hugging Face Accelerate).
- Experience with machine learning and familiarity with large multi-modal datasets and models.
- Experience working in a research environment, published research papers, open-source projects
The pay range for this position at commencement of employment is expected to be between $176,000 and $264,000/year for California-based roles. Base pay offered will depend on multiple individualized factors, including, but not limited to, business or organizational needs, market location, job-related knowledge, skills, and experience. TRI offers a generous benefits package including medical, dental, and vision insurance, 401(k) eligibility, paid time off benefits (including vacation, sick time, and parental leave), and an annual cash bonus structure. Additional details regarding these benefit plans will be provided if an employee receives an offer of employment.
Please reference this Candidate Privacy Notice to inform you of the categories of personal information that we collect from individuals who inquire about and/or apply to work for Toyota Research Institute, Inc. or its subsidiaries, including Toyota A.I. Ventures GP, L.P., and the purposes for which we use such personal information.
TRI is fueled by a diverse and inclusive community of people with unique backgrounds, education and life experiences. We are dedicated to fostering an innovative and collaborative environment by living the values that are an essential part of our culture. We believe diversity makes us stronger and are proud to provide Equal Employment Opportunity for all, without regard to an applicant’s race, color, creed, gender, gender identity or expression, sexual orientation, national origin, age, physical or mental disability, medical condition, religion, marital status, genetic information, veteran status, or any other status protected under federal, state or local laws.
It is unlawful in Massachusetts to require or administer a lie detector test as a condition of employment. An employer who violates this law shall be subject to criminal penalties and civil liability. Pursuant to the San Francisco Fair Chance Ordinance, we will consider qualified applicants with arrest and conviction records for employment.
#J-18808-Ljbffr
In Summary: The Robotics Machine Learning Team’s charter is to push the frontiers of research in robotics and machine learning . The position is expected to be between $176,000 and $264,000/year for California-based roles . The team is building general-purpose machine learning foundation models for dexterous robot manipulation .
En Español:
Presentación general
En el Instituto de Investigación Toyota (TRI), estamos en una misión para mejorar la calidad de vida humana. Estamos desarrollando nuevas herramientas y capacidades para amplificar la experiencia humana. Para liderar este cambio transformador en movilidad, hemos construido un equipo de clase mundial en conducción automática, energía y materiales, IA centrada en humanos, conducción interactiva con seres humanos y robótica.
Estamos buscando un ingeniero de aprendizaje automático para desarrollar nuestra infraestructura y apoyar a los investigadores en el desarrollo de modelos fundamentales para la robótica.
La misión
Estamos trabajando para crear robots de propósito general capaces de realizar una amplia variedad de tareas destrezas. Para ello, nuestro equipo está construyendo modelos básicos de aprendizaje automático con fines generales para la manipulación robótica destreza. Estos modelos, que llamamos Grandes Modelos de Comportamiento (LBMs), utilizan técnicas generativas de IA para producir acción robot a partir de datos sensores y solicitud humana.
El equipo
La Carta del Equipo de Aprendizaje Automático en Robótica tiene como objetivo impulsar las fronteras de la investigación en robótica y aprendizaje automático para desarrollar las capacidades futuras necesarias para que los robots de uso general puedan operar en entornos realistas, tales como hogares o fábricas.
El trabajo
Tenemos varios impulsos de investigación bajo nuestra amplia misión, y estamos buscando un ingeniero de aprendizaje automático para contribuir a algunos de los siguientes objetivos:
- Infraestructura de hardware: Desarrollar nuestra plataforma de hardware, asegurándose de que los robots y la pila de software sean de última generación, operativos y mejorados continuamente con nuevas funcionalidades. Esto incluye el hardware del robot (YAM, Franka y personalizado), los sensores (monocular, estéreo, profundidad, etc.), la interfaz robótica/computadora, la interface humano/robot, el registro de datos y los controles.
- Inferencia y despliegue: Construir APIs y sistemas para la inferencia de alto rendimiento y el registro en las simulaciones, así como en plataformas robóticas reales.
- Evaluación y seguimiento: Diseñar tuberías de métricas para la evaluación cuantitativa y cualitativa. Construir herramientas para el seguimiento experimental, registro, visualización y gestión del tablero de clasificación utilizando sistemas como Pesos & Prejuicios, MLflow o ClearML.
- Infraestructura de datos: Construir tuberías escalables para datos multimodales heterogéneos (imágenes, texto, video, tacto, profundidad, propriocepción). Trabajar con sistemas de almacenamiento, versión, transmisión y visualización de datos optimizados para el rendimiento y accesibilidad.
Se espera que el ingeniero de aprendizaje automático que se une a nuestro equipo cree código de trabajo e interactúe con frecuencia con los investigadores. Realizarán experimentos tanto con robots simulados como reales (físicos), y participarán en la publicación del trabajo en lugares revisados por pares. Buscamos un ingeniero que esté cómodo trabajando con múltiples encarnaciones robóticas y pilas, así como un creciente corpus dinámico de datos robóticos.
Qualificaciones
- Experiencia en hardware con robots
- Experiencia en protocolos de comunicación (ROS, WebSocket, RPC...)
- Fuertes habilidades de ingeniería en Python, PyTorch y sistemas distribuidos.
- Experiencia en el manejo de datos a gran escala, incluido la transmisión, procesamiento previo y almacenamiento de datos de vídeo o sensores.
- Una actitud y comodidad con prototipos rápidos.
- Una pasión por la robótica y el desarrollo basada en problemas fundamentales importantes.
- Integración continua
Qualificaciones de bonificación
- Familiarización con los modernos marcos de eficiencia ML (por ejemplo, FSDP, DeepSpeed, XLA, Ray, Hugging Face Accelerate).
- Experiencia en aprendizaje automático y familiaridad con grandes conjuntos de datos y modelos multimodal.
- Experiencia laboral en un entorno de investigación, trabajos publicados, proyectos open source
Se espera que el rango salarial para este puesto al comienzo del empleo sea entre $176,000 y $264,000 / año para funciones con sede en California. El pago básico ofrecido dependerá de múltiples factores individualizados, incluidos pero no limitados a las necesidades empresariales o organizativas, la ubicación del mercado, los conocimientos, habilidades y experiencia relacionados con el trabajo.
Por favor, haga referencia a esto. Aviso de privacidad del candidato para informarle sobre las categorías de información personal que recopilamos de personas que se informan y/o solicitan trabajar en Toyota Research Institute, Inc. o sus filiales, incluida Toyota A.I. Ventures GP, L.P., y los fines para los cuales utilizamos dicha información personal.
TRI está impulsado por una comunidad diversa e inclusiva de personas con antecedentes únicos, educación y experiencias de vida. Nos dedicamos a fomentar un entorno innovador y colaborativo viviendo los valores que son parte esencial de nuestra cultura. Creemos que la diversidad nos hace más fuertes y estamos orgullosos de proporcionar igualdad de oportunidades de empleo para todos, sin importar la raza, color, credo, género, identidad o expresión de género del solicitante, orientación sexual, origen nacional, edad, discapacidad física o mental, condición médica, religión, estado matrimonial, información genética, estatus veterano u otro estatus protegido bajo las leyes federales, estatales o locales.
Es ilegal en Massachusetts exigir o administrar una prueba de detección de mentiras como condición del empleo. Un empleador que viole esta ley estará sujeto a sanciones penales y responsabilidad civil.
#J-18808-Ljbffr