Le 27 mai, NeoteAI de Shanghai (ci-après dénommée « NeoteAI ») a annoncé la clôture d’un tour de table de business angels proche de 100 millions de yuans. Ce tour a été mené conjointement par Shanghai Science & Technology Venture Capital (Group) Co., Ltd., filiale de Shanghai State-owned Capital Investment, et Fudan Science & Technology Venture Capital[1], avec la participation de la société Ceyuan Ventures, filiale de Shanghai Science & Technology Venture Capital (Group) Co., Ltd. À l’issue de ce financement, NeoteAI poursuivra l’élargissement de l’échelle de collecte de données tactiles et accélérera l’entraînement et la validation de son modèle d’intelligence artificielle (IA) incarnée tactile dans des tâches opérationnelles réelles.

Selon les informations disponibles, NeoteAI est issue de l’Institut d’intelligence artificielle incarnée digne de confiance (TEAI) de l’Université Fudan. En tant que réalisation importante de la coopération stratégique entre l’Université Fudan et le district de Jing’an, la société a bénéficié dès sa création d’un fort soutien de la Commission de la science, de la technologie et de l’économie du district de Jing’an ainsi que de Shibei Hi-tech Group. Elle a successivement reçu des financements stratégiques du district de Jing’an et des fonds spéciaux de la Commission municipale de l’économie et de l’informatisation de Shanghai pour promouvoir le développement de haute qualité de l’industrie. La Commission municipale des sciences et technologies de Shanghai a également accordé un financement dédié au développement de ses capteurs visuo-tactiles clés, accélérant ainsi l’ensemble du processus de recherche technologique.

À un moment essentiel où l’intelligence incarnée passe de la validation technologique à l’industrialisation, cette nouvelle entreprise a choisi de concentrer sa rupture technologique sur la « sensation tactile ».

Ce qui manque aux robots n’est peut-être plus la vision, mais la « sensation tactile ».

Qu’est-ce que l’IA incarnée tactile ? Ces deux dernières années, les ressources et les recherches en IA incarnée se sont fortement concentrées sur la perception visuelle, avec pour objectif de « permettre aux robots de comprendre le monde », en leur apprenant à reconnaître une tasse, une vis, voire à aligner un port USB. Mais dès qu’il s’agit d’interagir physiquement, les erreurs sont fréquentes : un robot peut aligner correctement un port mais ne maîtrise pas la force d’insertion ; il peut saisir un vêtement mais sans percevoir si le tissu glisse ou s’il est trop tendu.

Réfléchissez à la manière dont les humains réalisent ces gestes : lorsque les doigts touchent le bord d’un connecteur, le poignet ajuste naturellement l’angle en fonction du retour de résistance ; lorsqu’on saisit un gobelet en papier, le bout des doigts adapte la force selon la déformation de la paroi ; lorsqu’on arrange un tissu, les mains modifient la direction de la traction en fonction des variations de tension… Ces ajustements sont en grande partie instinctifs, relevant de ce que l’on appelle communément la « sensation tactile », c’est exactement ce qui fait défaut dans les systèmes de perception des robots.

Dès lors qu’un robot interagit physiquement avec le monde, l’information tactile devient un élément central et indispensable de la perception. Le constat clé de NeoteAI est que l’IA incarnée évolue d’une idée centrée uniquement sur la vision vers un système de perception dual « vision + sensation tactile » : la vision assure la localisation globale et la compréhension sémantique, tandis que la sensation tactile fournit un retour sur l’état physique du contact et permet un ajustement dynamique.

L’entreprise choisit ainsi de replacer une question physique fondamentale au cœur de l’entraînement robotique : un robot ne doit pas seulement comprendre le monde visuellement, il doit aussi savoir ce qu’il touche, si la manière dont il le touche est correct, et comment ajuster son action de suite.

Cependant, il n’est pas possible de mettre en application la perception tactile simplement par l’ajout d’un capteur. Si les données tactiles restent de simples signaux matériels isolés, elles ne peuvent être transformées en véritable capacité opérationnelle des robots. L’objectif central de NeoteAI est de convertir la perception tactile en données standardisées exploitables pour l’entraînement, afin de l’intégrer profondément dans la chaîne d’entraînement et d’inférence d’IA incarnée.

L’équipe centrale de NeoteAI est issue de l’Institut d’intelligence artificielle incarnée digne de confiance (TEAI) de l’Université Fudan et possède une forte intégration en termes d’industrie, d’université et de recherche.

Le PDG, Zhao Shihao, a obtenu sa licence et son master à l’Université Fudan, et son doctorat à l’Université de Hong Kong. Il a été chercheur principal chez Microsoft Research et au sein d’Alibaba Tongyi Lab, où il s’est consacré au développement de modèles de pointe, ses travaux couvrant notamment les modèles du monde vidéo et les modèles génératifs. Le scientifique en chef, Wu Zuxuan, est vice-doyen de l’Institut TEAI. Il a travaillé chez Meta en tant que spécialiste des modèles vidéo et multimodaux. Le directeur des opérations, Dong Daoguo, est un expert au profil hybride entre recherche et industrie avec près de 20 ans d’expérience, ancien architecte en chef de la première génération de Magic chez Honor (Huawei). Actuellement chercheur de l’Institut TEAI, il est en charge de la commercialisation des technologies de l’entreprise.

Sur la base de l’expertise approfondie de l’équipe dans les modèles multimodaux, NeoteAI déploie simultanément trois axes technologiques majeurs : les capteurs visuo-tactiles, les plateformes de collecte de données de précision et les modèles d’IA incarnée tactile, afin de construire une boucle technologique complète.

D’abord, récupérer les signaux tactiles

La première étape de la mise en œuvre technologique de NeoteAI consiste à réaliser une acquisition de haute précision des informations de contact au niveau des effecteurs terminaux des robots. Premier résultat emblématique de l’intégration industrie-université-recherche menée avec l’Université Fudan, le capteur visuo-tactile développé de manière autonome par l’entreprise est entièrement compatible avec différents effecteurs terminaux tels que les pinces industrielles et les mains robotiques dextres. Il permet de collecter avec précision des informations physiques multidimensionnelles au cours du contact, notamment la force exercée, le glissement, la déformation et les contours des zones de contact.

Le cœur de cette approche technologique réside dans le paradigme de perception visuo-tactile. Les capteurs tactiles traditionnels de type piézorésistif ou capacitif ne peuvent généralement restituer que l’état de force appliquée en un point donné, ne pouvant pas reconstituer intégralement des informations essentielles telles que la géométrie de la surface de contact, la direction du glissement, la texture de surface ou encore les limites de déformation. Plus important encore, les performances de perception de ces solutions sont en grande partie figées dès la sortie d’usine du matériel, ce qui rend difficile toute amélioration de la capacité par de simples itérations algorithmiques ultérieures.

La technologie visuo-tactile repose quant à elle sur un principe de perception entièrement nouveau et présente deux avantages majeurs :

Premièrement, la densité des informations perçues est considérablement accrue, permettant une représentation globale du contact que les capteurs traditionnels ne peuvent pas fournir ; deuxièmement, le format des données produites est hautement compatible avec les données visuelles, ce qui permet une intégration naturelle avec les architectures Transformer existantes et les données visuelles disponibles, réduisant fortement les barrières techniques à l’intégration de la modalité tactile dans les modèles d’IA incarnée existants.

Construire une « usine de données tactiles » pour permettre aux robots de développer une mémoire du toucher

La percée réalisée au niveau des capteurs ne constitue que la première étape de l’IA incarnée fondée sur le toucher. Le véritable déploiement des capacités tactiles repose sur la disponibilité de données massives et de haute qualité issues des interactions tactiles.

Afin de répondre à la pénurie de données tactiles qui constitue aujourd’hui un frein majeur pour le secteur, NeoteAI a mis en place un centre spécialisé de collecte de données tactiles incarnées couvrant plus de 1 000 mètres carrés.

Les opérations de collecte de données sont centrées sur des scénarios de manipulation fine, notamment l’insertion de connecteurs USB, le vissage de vis ou l’installation de barrettes mémoire ; des tâches exigeant un contrôle précis de la force, telles que l’assemblage de faisceaux de câbles, la préhension de contenants à parois minces ou le traitement de composants élastiques ; et des opérations impliquant des objets facilement déformables, comme le rangement de tissus, le pliage de feuilles de papier ou l’application de rubans adhésifs.

Concernant l’échelle des données, NeoteAI adopte une approche comparative intersectorielle. À l’heure actuelle, les volumes de données disponibles dans le domaine de l’IA incarnée se situent encore à l’échelle de plusieurs dizaines de millions d’échantillons, tandis que les modèles de langage s’appuient sur des volumes de données atteignant des milliards, voire des dizaines de milliards d’unités. L’entreprise considère donc l’accumulation massive de données comme sa priorité absolue à ce stade et suit une stratégie consistant à « privilégier d’abord l’augmentation de l’échelle, puis optimiser les coûts ». À l’heure actuelle, l’ensemble des données collectées est prioritairement destiné à l’entraînement des modèles internes. Une fois le système de données et les processus de collecte suffisamment éprouvés, l’entreprise explorera progressivement des modèles de commercialisation tels que les services de données.

Les données tactiles : comment rendre les robots plus intelligents ?

La valeur ultime des données réside dans leur intégration profonde au sein des chaînes d’entraînement et d’inférence des modèles afin de se transformer en véritables capacités opérationnelles pour les robots.

L’objectif de NeoteAI est d’intégrer le toucher aux grands modèles préentraînés d’IA incarnée (VTLA et modèle du monde tactile), tout en combinant cette approche avec des techniques d’apprentissage par renforcement intégrant la modalité tactile. L’entreprise construit ainsi de manière systématique des capacités d’IA incarnée renforcées par la sensation tactile et obtient des avancées majeures dans de multiples tâches d’opération fine.

Les modèles VLA (Vision-Langage-Action Model) traditionnels s’appuient sur la vision et le langage pour générer les actions. Face à des opérations de précision, ils échouent souvent en raison de zones aveugles dans leur perception.

Le modèle VTLA (Vision-Touch-Language-Action) de NeoteAI introduit la modalité tactile (Touch/Force) dans l’architecture de base afin de recueillir en temps réel les retours liés au contact : préhension, glissement, mise en position, déformation et autres états réels, permettant ainsi de guider avec précision l’exécution des opérations. C’est comme une personne qui branche un câble de recharge les yeux fermés en se fiant uniquement au toucher : si le connecteur est mal orienté, elle le retire légèrement, change l’angle, puis exerce une pression plus douce.

Les modèles du monde doivent apprendre les relations entre les actions et les changements de l’environnement. Une perception reposant uniquement sur la vision peine à traiter des tâches de précision impliquant des matériaux souples ou des opérations d’assemblage complexes. Le modèle du monde tactile développé par NeoteAI vient combler ce déficit d’informations physiques et améliore considérablement le taux de réussite des opérations de précision. Dans le cadre de l’apprentissage par renforcement, le toucher devient en outre un signal permettant de corriger les actions en temps réel. Une résistance anormale, une préhension instable ou un glissement peuvent ainsi être utilisés par le modèle pour ajuster l’action suivante.

Première étape : la validation en milieu industriel

Sur le plan commercial, la première étape de NeoteAI est l’usine. La raison est simple : les tâches y sont clairement définies, les résultats peuvent être quantifiés, les exigences de généralisation sont moins élevées que dans les scénarios domestiques, et les bénéfices apportés par le toucher sont également plus faciles à démontrer.

L’assemblage de faisceaux de câbles, l’insertion et le retrait de barrettes mémoire, l’organisation de matériaux souples ou encore la manipulation de textiles d’ameublement constituent autant de scénarios typiques d’opérations de précision. Si ces tâches reposent encore largement sur le travail humain, ce n’est pas parce que la localisation visuelle est insuffisante, mais parce que les changements d’état intervenant après le contact sont trop complexes.

L’écosystème industriel particulièrement développé de Shanghai offre également un terrain privilégié pour la mise en application de cette technologie. Les secteurs de l’automobile, de l’électronique grand public (3C) et du textile d’ameublement y sont fortement concentrés et comportent un grand nombre de scénarios d’opérations de précision, en parfaite adéquation avec les axes prioritaires de NeoteAI en matière de collecte de données et de validation technologique. À ce jour, l’entreprise a déjà obtenu plusieurs commandes de validation POC dans différents segments industriels.

Les nouveaux entrants doivent emprunter une autre voie

La vision concurrentielle de NeoteAI est également très claire. Selon l’analyse de l’équipe, la voie reposant exclusivement sur la vision, après plusieurs années de développement rapide, est entrée dans une phase de concurrence intensive en ressources. Les coûts de recherche et développement continuent d’augmenter, tandis que les limites intrinsèques de cette approche dans les opérations de précision deviennent de plus en plus évidentes.

Pour les entreprises arrivant plus tard sur le marché, suivre pas à pas la trajectoire des pionniers ne permet guère de réaliser de percée. La seule manière permettant de bâtir un avantage compétitif durable consiste à s’attaquer aux problèmes fondamentaux que le secteur n’a pas encore résolus et à introduire une nouvelle variable technologique.

C’est précisément sur ce point que repose la conviction de NeoteAI : faire du toucher non plus une modalité optionnelle, mais un élément fondamental des robots. Comprendre une tâche n’est que le niveau élémentaire de l’IA incarnée ; la véritable ligne de démarcation de la prochaine phase de concurrence sectorielle réside dans la capacité à ajuster les actions en temps réel au cours des interactions physiques et à mener les tâches à bien de manière fiable et stable.

[1]暂未查到官方译法，根据“上海科创”译法翻译