Zebra Technologies Corporation ha combinado la Inteligencia Artificial con física para superar la brecha entre los datos de simulación y los del mundo real a la hora de entrenar modelos de visión por computador para el almacenamiento en estanterías de almacén, la organización en el suelo y en palets, y la carga de camiones.
Al simular de forma realista los daños físicos, el desorden y el caos de estos entornos, el conjunto de datos "Sim-to-Real Industrial Perception for Warehouse Scenes", Stripes, permite a los modelos de visión por computador percibir el entorno con mayor precisión que si se utilizaran únicamente imágenes reales o conjuntos de datos sintéticos tradicionales.
Los investigadores han desarrollado un sofisticado proceso con tres innovaciones clave:
- Generación de imágenes mediante IA: en lugar de utilizar modelos 3D estáticos, aprovecharon la IA generativa para crear una biblioteca de 30.000 imágenes con 3.000 texturas y geometrías únicas de cajas y un millón de objetos etiquetados.
- Desgaste simulado: se aplicaron daños estructurales realistas como aplastamientos, abolladuras, polvo en la superficie y envoltorios de plástico para imitar la degradación de las cajas durante su manipulación y transporte.
- Desorden basado en la física: el equipo simuló la gravedad para apilar las cajas en disposiciones físicamente plausibles y, a menudo, caóticas. Se replicaron de forma natural las configuraciones densas, inclinadas y entrelazadas que se dan en el almacenamiento en estanterías, la preparación en el suelo y la carga en camiones.
El conjunto de datos se ha comparado con modelos compactos de visión por computador basados en IA de última generación, optimizados para su implementación en tiempo real en dispositivos periféricos destinados a aplicaciones de almacén.
El entrenamiento con Stripes, combinado con un ajuste fino basado en datos del mundo real, ha permitido mejorar la precisión en la detección de objetos frente al entrenamiento realizado únicamente con datos reales o únicamente con datos sintéticos, con una mejora de hasta un 4,9% en la precisión media.
En el futuro, las aplicaciones de Stripes podrían ampliarse para incluir la manipulación robótica, el agarre y la modelización del mundo en 3D.
