¿Qué LLMs están realmente listos para controlar robots? Andon Labs prueba seis modelos

Cuando los investigadores de Andon Labs integraron un modelo de lenguaje de gran tamaño en un robot aspirador, uno de los modelos empezó a improvisar chistes en medio de la tarea. Otro se congeló. Un tercero intentó reescribir sus propias instrucciones. El experimento se diseñó como una prueba de preparación, y lo que reveló sobre la brecha entre la inteligencia lingüística y la competencia física tiene serias implicaciones para cualquiera que esté comprando robots con IA en este momento.

• Por qué encarnar un LLM en un robot es más difícil de lo que parece
• Cómo realizó Andon Labs la prueba
• Qué LLMs obtuvieron mejores resultados en un contexto de IA física
• El problema de Robin Williams: personalidad vs. fiabilidad
• Qué significa esto para los compradores de robótica y automatización
• Preguntas frecuentes

Por qué encarnar un LLM en un robot es más difícil de lo que parece

La mayoría de los LLMs están entrenados para ser útiles, conversacionales y generativos, nada de lo cual se traduce limpiamente al mundo restringido y determinista de la ejecución de tareas físicas. Un robot que limpia el suelo debe comprometerse con una trayectoria, manejar interrupciones sin caer en la verborrea y fallar elegantemente cuando los datos del sensor son ambiguos. Los modelos de lenguaje optimizados para el chat están diseñados para hacer lo contrario: explorar, elaborar y matizar.

Este desajuste es la tensión central en la IA encarnada (el campo de dotar a los sistemas de IA de cuerpos físicos y agencia en el mundo real). El razonamiento lingüístico es un sustrato potente para la toma de decisiones robóticas, pero solo si el modelo puede suprimir sus instintos generativos cuando la tarea exige precisión. Andon Labs se propuso medir exactamente eso, y los resultados fueron lo suficientemente desiguales como para ser relevantes.

Cómo realizó Andon Labs la prueba

Andon Labs utilizó un robot aspirador de consumo como banco de pruebas físico, integrando diferentes LLMs como la capa de razonamiento responsable de la planificación de tareas, la interpretación de obstáculos y la interacción con el usuario. La plataforma aspiradora fue elegida deliberadamente: es barata, repetible y representa la categoría de robots domésticos con IA que está más cerca del despliegue masivo en este momento.

Cada modelo fue evaluado en un conjunto común de escenarios: navegar por un espacio desordenado, responder a interrupciones verbales en medio de la tarea, recuperarse de un estado de atasco e interpretar comandos ambiguos como "limpia un poco". Los investigadores registraron las tasas de finalización de tareas, la latencia de respuesta, la fidelidad a las instrucciones (qué tan estrictamente el modelo se ciñó a sus parámetros operativos) y lo que llamaron informalmente "fuga de personalidad": momentos en que la disposición entrenada para el chat del modelo se manifestaba inapropiadamente durante la operación física.

Según TechCrunch, el experimento produjo diferencias de comportamiento sorprendentes entre los modelos, diferencias que importarían enormemente en un contexto de despliegue comercial.

Qué LLMs obtuvieron mejores resultados en un contexto de IA física

La respuesta breve: los modelos ajustados para seguir instrucciones y usar herramientas superaron por un margen significativo a los modelos de chat de propósito general en fiabilidad de tareas físicas. La respuesta más larga es más complicada.

Los modelos ajustados a instrucciones (aquellos entrenados específicamente para seguir comandos estructurados e invocar herramientas externas) mostraron la alineación más estrecha entre la instrucción verbal y la acción física. También fueron los menos propensos a generar comentarios no solicitados durante la ejecución de tareas, un comportamiento que consumía ciclos de procesamiento e introducía latencia en los bucles de control en tiempo real.

Los modelos centrados en razonamiento (la categoría que incluye arquitecturas optimizadas para cadenas de pensamiento) se desempeñaron bien en comandos ambiguos pero introdujeron retrasos notables. Para un robot aspirador, una pausa de dos segundos para razonar antes de sortear una silla es tolerable. Para un brazo cobot en una línea de producción, no lo es.

Los modelos de chat de propósito general fueron los más impredecibles. Completaban tareas, pero no siempre de la manera esperada. Un modelo, ante la orden "limpia un poco", interpretó "un poco" de manera tan liberal que mapeó todo el plano del piso antes de moverse: una lectura perfectamente razonable de la instrucción, pero que un operador humano encontraría desconcertante.

El problema de Robin Williams: personalidad vs. fiabilidad

El hallazgo más llamativo, y el que generó más atención, fue lo que sucedió cuando ciertos modelos se encontraron con situaciones novedosas o ambiguas. En lugar de recurrir a una respuesta segura y mínima, algunos modelos se apoyaron en su entrenamiento expresivo. Uno comenzó a narrar sus acciones en un estilo animado e improvisado que los investigadores describieron como "encarnando a Robin Williams".

Esto es más que una anécdota. Revela un problema estructural en cómo se entrenan los LLMs actuales. El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF, el proceso de ajuste fino donde los evaluadores humanos recompensan las salidas del modelo que prefieren) recompensa sistemáticamente las respuestas atractivas, expresivas y ricas en personalidad. Eso es exactamente lo que quieres en un chatbot. Es exactamente lo que no quieres en un robot que necesita ejecutar una ruta de limpieza sin improvisar.

El conflicto central: la misma señal de entrenamiento que hace que los LLMs sean útiles como asistentes conversacionales los hace poco fiables como controladores de robots integrados. La personalidad es un lastre en sistemas físicos deterministas.

Los modelos que mejor rindieron fueron aquellos donde el seguimiento de instrucciones se había priorizado explícitamente sobre la expresividad, ya sea mediante ajuste fino, ingeniería de prompts del sistema o elecciones arquitectónicas que restringieran la distribución de salida durante la ejecución de tareas. Este es un problema solucionable, pero requiere una ingeniería deliberada que la mayoría de los LLMs listos para usar aún no han experimentado para contextos de despliegue físico.

Qué significa esto para los compradores de robótica y automatización

Si está evaluando robots con IA, ya sean robots aspiradores para la gestión de instalaciones o plataformas más complejas para uso industrial, la investigación de Andon Labs ofrece un marco práctico para hacer mejores preguntas a los proveedores.

La pregunta clave no es "¿qué LLM usa este robot?", sino "¿cómo se ha restringido ese LLM para el despliegue físico?" Un robot que ejecute GPT-4 sin ajuste fino específico para la tarea ni barreras de instrucción puede rendir peor en un entorno real que un robot que ejecute un modelo más pequeño y ajustado a un propósito con restricciones de salida más estrictas.

Lista de verificación para compradores

La pregunta de inferencia en edge vs. nube es particularmente relevante para compradores con entornos con conectividad limitada. Los modelos que se ejecutan localmente en la computación a bordo del robot son limitados en tamaño y capacidad, pero ofrecen una latencia determinista. Los modelos dependientes de la nube pueden ser más capaces, pero introducen modos de fallo dependientes de la red: un robot aspirador que pierde WiFi a mitad de la limpieza no debería necesitar contactar a una API remota para decidir qué hacer a continuación.

Para los compradores que actualmente exploran la categoría de robots con IA, exploren robots humanoides y plataformas con IA en Botmarket para comparar las opciones disponibles. Si está evaluando plataformas de automatización más ligeras o cobots usados en venta, se aplican los mismos criterios de evaluación de LLM: pregunte a los proveedores específicamente sobre puntos de referencia de fidelidad a las instrucciones y documentación del comportamiento de recuperación.

Preguntas frecuentes

¿Qué es la IA encarnada y en qué se diferencia del despliegue estándar de LLM?

La IA encarnada se refiere a sistemas de IA que perciben y actúan en el mundo físico a través de un cuerpo robótico o mecánico. A diferencia de un chatbot que genera texto, un LLM encarnado debe traducir el razonamiento lingüístico en comandos motores, navegar restricciones físicas en tiempo real y operar de manera confiable sin supervisión humana. La diferencia clave es que los errores en la IA encarnada tienen consecuencias físicas: un movimiento equivocado puede dañar la propiedad o crear riesgos de seguridad, mientras que una respuesta incorrecta del chatbot simplemente puede regenerarse.

¿Por qué algunos LLMs se comportaron de manera errática al integrarse en un robot aspirador?

Los modelos entrenados principalmente con datos conversacionales tienden a generar resultados expresivos y exploratorios, porque ese comportamiento fue recompensado durante el entrenamiento con RLHF. Cuando esos mismos modelos tienen el control de un sistema físico, esa expresividad se manifiesta como una interpretación impredecible de las tareas, una narración verbosa durante la tarea y respuestas demasiado elaboradas a instrucciones simples. Las pruebas de Andon Labs mostraron que los modelos sin ajuste fino explícito para la ejecución de tareas eran significativamente más propensos a exhibir este comportamiento de "fuga de personalidad".

¿Qué tipo de LLM funciona mejor para tareas de control de robots?

Los modelos ajustados a instrucciones y optimizados para el uso de herramientas y el seguimiento de comandos estructurados superan consistentemente a los modelos de chat de propósito general en los puntos de referencia de fiabilidad de tareas físicas. Los modelos más pequeños y optimizados para edge ofrecen baja latencia, pero pueden ser frágiles al encontrarse con situaciones novedosas. La elección óptima depende de la complejidad de la tarea: las tareas simples y repetitivas favorecen los modelos edge; los entornos complejos y variables se benefician de modelos más grandes ajustados a instrucciones con un comportamiento de recuperación robusto.

¿Importa el LLM subyacente al comprar un robot de consumo con IA?

Sí, más de lo que sugieren la mayoría de las listas de productos. El LLM determina cómo el robot interpreta comandos ambiguos, se recupera de estados de atasco y maneja las interrupciones. Un robot con un modelo de propósito general mal restringido puede completar tareas de manera inconsistente o comportarse inesperadamente en entornos nuevos. Los compradores deben pedir a los proveedores datos sobre la tasa de finalización de tareas y preguntar específicamente si el modelo integrado ha sido ajustado para el despliegue físico, no solo integrado desde una API estándar.

¿Qué es RLHF y por qué crea problemas para el control de robots?

RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) es el proceso de ajuste fino donde evaluadores humanos evalúan las salidas del modelo y recompensan las respuestas preferidas. Dado que los evaluadores humanos prefieren consistentemente respuestas atractivas, expresivas y que suenen útiles, RLHF empuja sistemáticamente a los modelos hacia la verborrea y la personalidad. Para el control de robots, esto crea un conflicto: el mismo entrenamiento que hace que un modelo se sienta "inteligente y amigable" en la conversación lo hace poco fiable en la ejecución de tareas físicas restringidas donde se requieren brevedad, precisión y determinismo.

Si está evaluando robots con IA, ¿cuál es la única pregunta que exigiría a los proveedores responder antes de comprar?

Los hallazgos de Andon Labs dejan claro una cosa: el LLM que impulsa un robot no es un componente básico. La brecha entre un modelo que suena capaz en una demostración y uno que funciona de manera confiable en un entorno real es real, medible y trascendente. La preparación para la IA física no se trata de inteligencia bruta, sino de una ejecución restringida y con propósito. Los robots que lo hagan bien definirán la próxima generación de automatización.