¿Perdido en un edificio de oficinas, una gran tienda o un almacén desconocidos? Solo tienes que preguntar al robot más cercano para obtener indicaciones.
Un equipo de investigadores de Google combinó los poderes del procesamiento del lenguaje natural y la visión por computadora para desarrollar un nuevo medio de navegación robótica como parte de un nuevo estudio publicado el miércoles.
Esencialmente, el equipo se propuso enseñar a un robot, en este caso un robot cotidiano, cómo navegar a través de un espacio interior utilizando indicaciones de lenguaje natural y entradas visuales. La navegación robótica solía requerir que los investigadores no solo trazaran el entorno con anticipación, sino que también proporcionaran coordenadas físicas específicas dentro del espacio para guiar a la máquina. Los avances recientes en lo que se conoce como navegación Vision Language han permitido a los s simplemente dar a los robots comandos de lenguaje natural, como «ir al banco de trabajo». Los investigadores de Google están llevando ese concepto un paso más allá al incorporar capacidades multimodales, de modo que el robot pueda aceptar instrucciones de lenguaje natural e imágenes al mismo tiempo. REVISA ACÁ EL REEL DE INSTAGRAM CON EL VIDEO.
Ver esta publicación en Instagram
Por ejemplo, un en un almacén podría mostrarle al robot un artículo y preguntarle: «¿En qué estante va esto?» Aprovechando el poder de Gemini 1.5 Pro, la IA interpreta tanto la pregunta hablada como la información visual para formular no solo una respuesta, sino también una ruta de navegación para llevar al al lugar correcto en el piso del almacén. Los robots también se probaron con comandos como: «Llévame a la sala de conferencias con puertas dobles», «¿Dónde puedo pedir prestado un poco de desinfectante para manos?» y «Quiero guardar algo fuera de la vista del público». ¿A dónde debo ir?»
O, en el reel de Instagram de arriba, un investigador activa el sistema con un «robot OK» antes de pedir que lo lleven a algún lugar donde «pueda dibujar». El robot responde con un «dame un minuto. Pensando con Géminis…» antes de salir rápidamente a través de la oficina de DeepMind de 9,000 pies cuadrados en busca de una gran pizarra montada en la pared.
Para ser justos, estos robots pioneros ya estaban familiarizados con el diseño del espacio de oficinas. El equipo utilizó una técnica conocida como «Navegación de Instrucción Multimodal con Recorridos de Demostración (MINT)». Esto implicó que el equipo primero guiara manualmente al robot por la oficina, señalando áreas y características específicas utilizando lenguaje natural, aunque se puede lograr el mismo efecto simplemente grabando un video del espacio con un teléfono inteligente. A partir de ahí, la IA genera un gráfico topológico en el que trabaja para hacer coincidir lo que ven sus cámaras con el «marco objetivo» del vídeo de demostración.
A continuación, el equipo emplea una política de navegación jerárquica de Visión-Lenguaje-Acción (VLA) «que combina la comprensión del entorno y el razonamiento de sentido común», para instruir a la IA sobre cómo traducir las solicitudes de los s en acciones de navegación.
Los resultados fueron muy exitosos, ya que los robots lograron «tasas de éxito de extremo a extremo del 86 por ciento y el 90 por ciento en tareas de navegación previamente inviables que involucraban razonamientos complejos e instrucciones de multimodales en un gran entorno del mundo real», escribieron los investigadores.
Sin embargo, reconocen que todavía hay margen de mejora, señalando que el robot no puede (todavía) realizar de forma autónoma su propio recorrido de demostración y señalando que el tiempo de inferencia desgarbado de la IA (cuánto tiempo tarda en formular una respuesta) de 10 a 30 segundos convierte la interacción con el sistema en un estudio de paciencia.
