Qu'est-ce que la vision robotique ?
Les robots et les technologies de vision existent depuis des années, mais leur combinaison crée un duo dynamique qui améliore considérablement les capacités d'un robot. Selon la division de vision artificielle de la Society of Manufacturing Engineers, la vision robotique fait référence aux appareils qui reçoivent et traitent automatiquement des images d'objets réels grâce à des dispositifs optiques et des capteurs sans contact. Cette définition va au-delà des simples caméras : les capteurs LiDAR, par exemple, entrent également dans ce champ d'application. En substance, la vision artificielle permet aux robots de reproduire les capacités visuelles humaines, ce qui leur permet d'effectuer des tâches complexes, fastidieuses et critiques dans le secteur manufacturier et au-delà.
Fondamentalement, la vision robotique donne aux robots la capacité de percevoir et d'interpréter leur environnement grâce à des données visuelles, généralement collectées via des caméras ou des capteurs d'image. Ce domaine combine des éléments de vision par ordinateur, d'apprentissage automatique et de robotique pour permettre des fonctions essentielles comme la reconnaissance d'objets, la navigation et la manipulation dans des environnements dynamiques. La vision robotique implique généralement des étapes clés comme l'acquisition d'images (à l'aide de caméras 2D, 3D ou de profondeur pour capturer des informations), suivie d'un traitement et d'une analyse via des algorithmes avancés, notamment l'apprentissage profond, pour identifier des objets ou des actions. De plus, les robots combinent souvent des systèmes de vision avec d'autres capteurs, comme le LiDAR, pour créer des cartes détaillées et déterminer leur position à l'aide de SLAM (localisation et cartographie simultanées). Les applications de la vision robotique s'étendent à de nombreux secteurs, des véhicules autonomes et des drones aux robots industriels et robots de service, favorisant des innovations telles que le contrôle qualité, la navigation autonome et la manipulation d'objets.
Composants de la vision robotique
La vision robotique nécessite du matériel pour l’acquisition des données et des logiciels pour leur traitement.
Matériel
Le composant matériel comprend ces pièces.
- Lens:Capture les images et contrôle la quantité de lumière qu'elle présente comme image au capteur
- Capteur d'image:Dispose de millions de pixels sensibles à la lumière pour convertir la lumière capturée en un signal électrique à transmettre à la puce pour traitement (plus il y a de pixels présents dans le capteur, plus l'image est claire)
- Carte d'acquisition d'images:Abrite le matériel nécessaire pour convertir le signal électrique du capteur en une image numérique, y compris la puce
- Unités d'E/S:Ces composants matériels (capteur et la carte) doivent communiquer entre eux pour transmettre les données du signal, et cela se produit généralement via une communication série.
- Dispositifs de contrôle:Tout comme un œil humain se déplace pour voir différents endroits, ces systèmes de vision ont besoin de dispositifs de contrôle pour ajuster la caméra pour obtenir un meilleur champ de vision (s'il s'agit d'un robot humanoïde, la tête doit également être contrôlable pour modifier le champ de vision)
- Luminaires:Les caméras sont affectées négativement par un faible éclairage, ce composant est donc nécessaire pour améliorer la visibilité dans des conditions de faible luminosité.
Le capteur d'image et l'objectif forment la caméra du système de vision, et sa qualité dépend du nombre de pixels. La qualité générale du matériel, la communication et la coordination sont également importantes pour que ce système fonctionne de manière transparente.
Les systèmes de vision robotisés avancés intègrent la fusion de capteurs pour obtenir une meilleure compréhension de l'environnement environnant. Certains peuvent donc disposer de capteurs lidar, radar et à ultrasons pour améliorer la vision.
Un autre composant matériel qui peut améliorer la vision est un capteur de vision 3D (vision stéréo) car il offre une grande précision de mesure de la distance des objets devant.
Software
Le logiciel de la carte d'acquisition d'images est chargé de décoder le signal électrique du capteur en une image numérique et de déterminer la situation à venir. Outre le traitement des images et des signaux, les autres algorithmes informatiques sont alimentés par l'IA.
Comme je l'ai dit plus tôt, la vision des machines ou des robots tente d'imiter les humains, donc la meilleure façon d'obtenir des informations significatives à partir de l'image capturée est d'utiliser l'intelligence comme le ferait un humain, mais elle est artificielle dans ce cas.
Ces algorithmes d’IA comprennent les éléments suivants.
- Segmentation Sémantique:Cet algorithme d'apprentissage profond segmente les images RVB et associe une catégorie ou une étiquette à chaque pixel de l'image pour une perception fine.
- Reconnaissance sémantique:Identifie intelligemment les catégories d’objets et les personnes à partir des pixels de l’image pour comprendre l’environnement à venir.
- SLAM sémantique:SLAM est un acronyme pour Localisation et cartographie simultanées, un algorithme d'apprentissage profond qui construit des cartes environnementales en utilisant des informations sémantiques pour l'auto-positionnement.
Revue panoramique de la chaîne industrielle de la vision industrielle
Cet écosystème ou chaîne industrielle de robotique guidée par la vision est divisé en trois niveaux.
En amont (Fournisseurs)
L'amont dispose des fournisseurs de matériel et de logiciels qui font fonctionner ce système de vision robotique. Fournisseurs de matériel apporter la caméra industrielle, la carte de capture d'image, le processeur d'image, l'équipement source de lumière (LED), l'objectif, le ballast optique, les accessoires, etc.
D'autre part, les fournisseurs de logiciels fournissent des logiciels et des algorithmes de vision artificielle, qui incluent des logiciels de traitement de la vision, des plates-formes d'algorithmes et leurs bibliothèques, des logiciels de traitement d'images, etc.
Mid-Stream (fabrication d'équipements robotisés et intégration de systèmes)
La fabrication intermédiaire fusionne ces composants matériels et logiciels pour former des équipements de guidage visuel, de reconnaissance, de mesure et d'inspection. Ceux-ci peuvent être intégrés pour former des solutions prêtes à l'emploi pour le guidage des robots, l'inspection de sécurité, l'inspection de la qualité, etc.
En aval (Applications)
Ces solutions peuvent être mises en œuvre dans divers secteurs, tels que l'électronique, les semi-conducteurs, l'alimentation, les boissons et la fabrication d'écrans plats pour le contrôle de la sécurité et de la qualité, ainsi que dans les automobiles pour les capacités de conduite autonome et d'assistance au conducteur, ainsi que chargement automatique de la batterie.
Comment fonctionne la vision robotique ?
Avant de déployer le robot dans un atelier industriel, il doit être formé à l'identification des objets. Une fois cette partie réglée, voici comment fonctionne le système. Nous allons considérer un robot industriel qui est normalement en état d'attente ou de veille.
- Le détecteur de positionnement de la pièce est toujours activé et détecte lorsqu'un objet se déplace près du centre du champ de vision de la caméra. Une fois détecté, il envoie un signal d'activation ou déclenche une impulsion vers la carte d'acquisition d'images.
- Cette carte envoie une impulsion de démarrage à la caméra et au système d'éclairage pour démarrer selon le programme et le délai prédéfinis.
- Si la caméra est active, elle arrête le balayage en cours et démarre un nouveau balayage d'image. Mais si elle est en veille, l'impulsion de démarrage la déclenche pour lancer le balayage d'image. La caméra de vision active le mécanisme d'exposition avant de balayer l'image, et vous pouvez configurer le temps d'exposition à l'avance pour contrôler le balayage d'image.
- L'autre impulsion de démarrage allume l'éclairage LED et la carte garantit que le temps d'allumage de la lumière correspond au temps d'exposition de l'appareil photo.
- Après l'exposition, la numérisation et la sortie de l'image démarrent, produisant un signal vidéo analogique à partir du capteur d'image.
- La carte d'acquisition d'images convertit le signal analogique en signal numérique. Mais si l'appareil photo est numérique, cette étape est inutile. La carte stocke ensuite l'image numérique dans la mémoire de l'ordinateur.
- Un processeur dans la carte analyse l'image pour l'identification à l'aide d'algorithmes d'IA pour obtenir des valeurs telles que des mesures X, Y et Z ou des valeurs de contrôle logiques.
- Les résultats de ce traitement d'image sont envoyés à l'unité de contrôle de la chaîne de montage, qui effectue les mesures correctives nécessaires. Les actions typiques incluent les ajustements de positionnement et de mouvement.
Vision robotique vs vision par ordinateur : quelle est la différence ?
Une fine ligne sépare les deux. La vision par ordinateur est un terme plus général qui couvre à la fois la vision robotique et la vision artificielle, et qui implique l'extraction d'informations à partir d'images pour donner un sens aux données de pixels ou aux objets qui s'y trouvent. En un mot, la vision par ordinateur consiste à détecter des objets sur des images.
Mais la vision robotique est un sous-ensemble de la vision par ordinateur qui se concentre sur les domaines de l'ingénierie et des sciences (la vision par ordinateur est davantage un domaine de recherche). Par conséquent, la vision robotique doit intégrer d'autres algorithmes et techniques pour permettre au robot d'interagir physiquement avec son environnement. Par exemple, la cinématique et l'étalonnage du cadre de référence permettent au robot de se déplacer, de saisir des objets et d'éviter les obstacles dans son environnement.
La vision artificielle est souvent utilisée de manière interchangeable avec la vision robotique, mais elle est légèrement différente. En tant qu'autre sous-ensemble de la vision par ordinateur, ce domaine d'ingénierie fait référence à l'utilisation industrielle de la vision pour gérer des applications spécifiques, telles que le contrôle des processus, l'inspection automatisée et le guidage des robots (cette fonction particulière).
Un système de vision artificielle pour le contrôle qualité
Utilisations de la vision robotique
Étant donné que la vision du robot couvre toutes les fonctions de vision que les yeux du robot peuvent effectuer, elle fournit ces capacités de vision artificielle individuelles.
- Reconnaissance d'image:Ce cas d'utilisation s'applique principalement aux codes QR et aux codes-barres, qui contribuent à améliorer l'efficacité de la production
- Détection d'images:Des fonctions telles que la comparaison des couleurs et le positionnement pendant l'impression et l'inspection de la qualité du produit reposent sur la détection d'image
- Positionnement visuel:Cette application de vision artificielle aide le robot à trouver les positions des objets détectés pour la sélection ou le déplacement, par exemple lors de l'emballage
- Tri d'objets:Les robots peuvent également trier les images capturées, reconnues et traitées, ce qui permet de répartir les produits en fonction des catégories, des tailles ou des défauts
- Mesure d'objet:Il s'agit d'une application sans contact qui permet de mesurer ou de compter les engrenages, les broches de connecteur, les composants automobiles, etc. Elle évite les dommages secondaires qui pourraient être causés par une mesure par contact.
Pourquoi utiliser l’IA dans la vision robotique ?
L’IA ou l’apprentissage automatique introduit l’intelligence dans la détection de modèles et d’objets dans la vision robotique, ce qui offre ces avantages.
Améliore la fabrication flexible
Grâce à l'intelligence et à la formation intégrées, les robots peuvent s'adapter à différentes conditions d'éclairage, positions et environnements, tout en fonctionnant avec précision. Par exemple, un robot formé à la détection des couleurs fournira des précisions et des taux de détection plus élevés lors de la détection des couleurs s'il existe des différences dans d'autres variables de fonctionnement, telles que la profondeur et l'éclairage.
L'IA permet également d'apprendre des erreurs passées et de s'auto-calibrer pour améliorer l'efficacité. Les humains peuvent également signaler les erreurs qu'ils ont commises pour renforcer l'apprentissage et calibrer le système plus rapidement.
Cependant, la précision de la vision par IA a encore ses limites, car son taux d’erreur est d’environ 15 %. Par conséquent, une réinspection manuelle est nécessaire pour garantir le respect des normes de qualité élevées. Cela peut augmenter considérablement les coûts de production. Mais à mesure que la technologie évolue, le taux d’erreur devrait diminuer et s’il descend en dessous du seuil de 5 %, l’IA et la vision robotisée/machine pourraient ne pas nécessiter de réinspection manuelle.
Améliore les capacités de la robotique industrielle
L'apprentissage automatique peut également améliorer les capacités anti-interférences et de compensation des erreurs du robot industriel. Par exemple, lors du polissage de la surface d'une voiture, le processus doit suivre une procédure fixe lorsqu'on utilise des robots traditionnels. En cas d'interférence humaine, le véhicule peut sortir de l'atelier de peinture avec des défauts. Mais l'IA permet au robot de détecter ces changements et de compenser les erreurs pour que le processus de polissage atteigne les résultats souhaités.
Le robot peut également optimiser automatiquement ce processus de production en s'auto-calibrant pour améliorer l'efficacité. Associée à l'IoT, l'IA peut utiliser les données des capteurs pour l'analyse du Big Data afin de rendre la chaîne de production aussi efficace que possible.
Ces robots intelligents sont également réutilisables, car certaines tâches ou programmes peuvent être appliqués à plusieurs processus dans l'atelier de fabrication. Par exemple, le robot de polissage peut polir des voitures, des vélos et d'autres produits, car la qualité de finition de surface est le facteur le plus important à prendre en compte. Vous n'avez donc pas besoin de reprogrammer ces robots pour effectuer ces tâches.
Tendances en matière de vision robotique
- Imagerie 3D:La vision 3D permet aux robots d'identifier et de sélectionner des pièces placées au hasard en grande quantité pour optimiser l'efficacité des opérations de prélèvement.
- Imagerie Hyperspectrale:Cette imagerie permet d'analyser des matériaux chimiques en vérifiant des variables comme la couleur pour visualiser les structures moléculaires dans différents matériaux. Elle peut également surveiller les défauts ou détecter des impuretés, comme les plastiques lors de la production de viande en vérifiant la couleur.
- Imagerie thermique pour l'inspection industrielle:L'imagerie thermique peut être associée à des caméras classiques pour fournir un système d'inspection holistique permettant de surveiller les changements de température lors des tests de voitures ou d'appareils électroniques. Cet œil supplémentaire voit ce que l'œil ordinaire ne peut pas voir.
- Apprentissage profond dans le cloud:La vision robotique peut également fournir des tonnes de données pour l'inférence par des algorithmes d'apprentissage profond dans le cloud. Bien que le WAN pose des problèmes de latence et de sécurité, la 5G et le mMTC (Massive Machine-Type Communication) offrent une communication rapide et sécurisée pour rendre le traitement dans le cloud plus réalisable, ce qui permet d'avoir des robots « fins ».
Présentation Dusun IoTSystèmes de gestion de contenu d'IA de vision intégrée
Dusun IoTLe SoM le plus performant pour la construction de la vision robotique est le RK3588JDans la chaîne industrielle de la vision robotique, ce produit relève du niveau en amont (section matérielle), vous pouvez donc installer le logiciel nécessaire et l'interfacer avec l'autre matériel requis pour créer la solution de système de vision par ordinateur ROS pour vos clients.
Le SoM dispose d'un NPU 6 TOPS intégré pour exécuter les algorithmes d'IA, et il prend en charge les grands modèles hors ligne, la reconnaissance d'objets (y compris faciale), la mesure de distance monoculaire et la mise à l'échelle de calcul flexible pour gérer différentes tâches.
Pour les flux de données, le MIPI CSI du SoM prend en charge jusqu'à 8 entrées de caméra et dispose de ports USB pour exécuter les fonctions d'éclairage. La caméra ou le bras qui la supporte doit également pouvoir se déplacer, et le RK3588J dispose d'interfaces CAN pour un contrôle précis du moteur. Cette interface peut également déplacer les roues et contrôler la vitesse du moteur si le robot est portable.
Vous êtes intéressé par le SoM RK3588J ? Contactez-nous pour plus de détails et découvrir davantage de ses fonctionnalités here..
