Este robot puede recrear recetas viendo vídeos de cocina

Un equipo de investigadores de la Universidad de Cambridge ha entrenado a un robot para que vea vídeos de cocina, se los aprenda y luego recree un plato.

Los investigadores programaron al robot con un libro de ocho recetas sencillas de ensaladas. Luego, le pusieron un vídeo de una persona siguiendo una de las recetas del libro. Tras eso, el robot fue capaz de identificar la receta que estaba siguiendo y él mismo la preparó. Por si fuera poco, creó una novena receta por sí solo.

El experimento, que se ha publicado en la revista IEE Access, demuestra cómo los vídeos pueden servir como fuentes de datos para la producción automatizada de alimentos.

Cocinar es todo un reto para un robot y, aunque varias empresas han construido prototipos de robots cocineros, ninguno de ellos se comercializa y ni de lejos guisa como lo haría un ser humano. Las personas podemos aprender a cocinar nuevos platos viendo cocinar a otro o siguiendo un vídeo. Sin embargo, programar a un robot para que elabore una serie de platos requiere mucho tiempo y dinero.

«Queríamos ver si podíamos entrenar a un robot cocinero para que aprendiera de la misma forma gradual que los humanos: identificando los ingredientes y su combinación en el plato», explica Grzegorz Sochacki, del Departamento de Ingeniería de Cambridge y primer autor del artículo.

Los investigadores confeccionaron ocho recetas sencillas de ensaladas y se grabaron a sí mismos preparándolas. Después, utilizaron una red neuronal de acceso público para entrenar al robot cocinero. La red neuronal ya había sido programada para identificar diversos objetos, entre ellos las frutas y verduras utilizadas en las ocho recetas de ensalada (brócoli, zanahoria, manzana, plátano y naranja).

Umpleando técnicas de visión por ordenador, el robot analizó cada fotograma del vídeo y fue capaz de identificar los distintos objetos y características, como un cuchillo y los ingredientes, así como los brazos, las manos y la cara del humano que salía en el vídeo. Tanto las recetas como los vídeos se convirtieron en vectores y el robot realizó operaciones matemáticas con los vectores para determinar la similitud entre una demostración y un vector.

Al identificar correctamente los ingredientes y las acciones del humano, el robot podía determinar cuál de las recetas estaba preparando. El robot cocinero podía deducir que, si el humano sostenía un cuchillo en una mano y una zanahoria en la otra, la zanahoria sería troceada.

El robot vio 16 vídeos y el 93 % de las veces reconoció la receta correcta. Detectó el 83 % de las acciones del humano. El robot también identificó que ligeras variaciones en una receta, como hacer una ración doble o un error humano normal, eran variaciones y no una receta nueva. Además, reconoció la demostración de una nueva y novena ensalada, la añadió a su libro de recetas y la elaboró.

«Es increíble la cantidad de matices que el robot es capaz de detectar», afirma Sochacki. «Estas recetas no son complejas, básicamente son frutas y verduras troceadas, pero fue realmente eficaz a la hora de reconocer, por ejemplo, que dos manzanas troceadas y dos zanahorias troceadas es la misma receta que tres manzanas troceadas y tres zanahorias troceadas».

Los vídeos utilizados para entrenar al robot cocinero no tienen nada que ver con los que se ven en redes sociales, que suelen ser muy rápidos, tener efectos visuales y pasar de pronto de la persona que cocina al plato que está preparando. Lo hicieron así porque al robot le costaría mucho identificar un alimento que la persona no enseñara claramente. No serviría con que, por ejemplo, cogiera una zanahoria con la mano, tendría que enseñarla entera a cámara.

«A nuestro robot no le interesan los vídeos de comida que se hacen virales en las redes sociales: son demasiado difíciles de seguir», explica Sochacki. «Pero a medida que estos robots chefs mejoren y sean más rápidos identificando ingredientes en los vídeos de comida, podrían ser capaces de utilizar sitios como YouTube para aprender toda una serie de recetas».

Referencia: G. Sochacki, A. Abdulali, N. K. Hosseini and F. Iida, «Recognition of Human Chef’s Intentions for Incremental Learning of Cookbook by Robotic Salad Chef,» in IEEE Access, doi: 10.1109/ACCESS.2023.3276234.