Un miroir sur roues : construire le jumeau numérique de chaque voiture d'occasion

Il est 23 h, et Claire fait défiler les photos d'un break d'occasion garé chez un concessionnaire à 300 km de chez elle. Le prix est bon, le kilométrage raisonnable. Mais la photo 14 montre une rayure sur la portière arrière. Fait-elle deux centimètres ou vingt ? Aucune photo du compartiment moteur, et le cliché du siège conducteur est curieusement cadré. Elle peut poser une journée et prendre le train pour en avoir le cœur net, ou passer à l'annonce suivante. La plupart des acheteurs passent à la suivante.

À retenir

• Les photos et les vues à 360° ne montrent que ce que le vendeur choisit de montrer. Elles n'apportent ni géométrie, ni échelle, ni profondeur.
• Les travaux récents en reconstruction 3D rendent possible une 3D photoréaliste en temps réel, mais les voitures font partie des objets les plus difficiles à capturer.
• Notre programme de recherche vise un jumeau numérique articulé et mesurable de chaque véhicule réel, capturé avec un smartphone.
• Il s'agit de R&D en cours. Nous visons des pilotes avec des concessionnaires au premier semestre 2028 (estimation).

Pourquoi les photos et les vues à 360° ne suffisent plus

La vente de voitures en ligne repose encore surtout sur des photos. Elles sont utiles, mais elles racontent une histoire choisie : le vendeur décide de l'angle, de la lumière et de ce qui reste hors champ. Une photo ne peut pas dire la taille d'un enfoncement, faute d'échelle fiable et de profondeur.

Les vues à 360° ont été un vrai progrès, et les acheteurs y réagissent. Une analyse de Cars.com portant sur plus de 400 concessionnaires a montré que les annonces avec contenu à 360° généraient 68 % de demandes de contact en plus et 92 % de véhicules sauvegardés en plus [1]. Même un petit pas vers un contenu spatial et explorable change le comportement des acheteurs.

Une vue à 360° reste pourtant une suite d'images. On ne peut pas ouvrir le coffre, se pencher dans l'encadrement d'une portière ou voir comment un éclat sur le capot se situe par rapport au panneau autour. La voiture est montrée, mais rien ne peut être mesuré.

« Une photo vous montre une voiture. Un jumeau numérique devrait vous permettre de l'inspecter. »

Ce que la recherche a déjà accompli

Les six dernières années ont été remarquables pour la vision 3D par ordinateur.

En 2020, les Neural Radiance Fields (NeRF) ont montré qu'un réseau de neurones pouvait apprendre une représentation 3D continue d'une scène à partir de photos ordinaires, puis la rendre depuis des points de vue qu'aucune caméra n'avait occupés [2]. Le résultat était saisissant de réalisme, mais lent : générer une seule image pouvait prendre plusieurs secondes.

En 2023, des chercheurs de l'Inria ont présenté le 3D Gaussian Splatting [3]. Au lieu d'un réseau interrogé point par point, la scène est représentée par des millions de petites « taches » colorées et floues dans l'espace, qu'une carte graphique peut dessiner très vite. La 3D photoréaliste est soudain devenue temps réel, ce qui a ouvert la voie à des expériences interactives dans un navigateur.

Des chercheurs ont aussi commencé à appliquer ces idées aux véhicules. Des travaux récents reconstruisent l'extérieur de voitures qui traversent des portiques de numérisation fixes, avec des caméras calibrées et un éclairage contrôlé [4]. C'est un dispositif puissant, mais il exige une infrastructure dédiée et capture la voiture fermée.

Par ailleurs, tout un domaine étudie les objets articulés, c'est-à-dire les objets dont certaines parties bougent : tiroirs, ordinateurs portables, portes de placard. Des méthodes récentes savent déduire, à partir d'images, comment une pièce s'ouvre et autour de quel axe [5][6]. La plupart de ces travaux restent testés sur des objets domestiques assez simples, en conditions de laboratoire.

Aucune de ces briques ne produit à elle seule un jumeau complet, ouvrable et mesurable d'une vraie voiture d'occasion, capturé sur un parking par quelqu'un qui n'est pas spécialiste de la 3D.

Les questions scientifiques ouvertes

C'est le cœur de notre programme. Chaque défi ci-dessous est un véritable problème de recherche, pas une simple liste de tâches d'ingénierie.

1. Une voiture, c'est un miroir sur roues

La plupart des méthodes de reconstruction 3D supposent qu'une surface a à peu près le même aspect sous tous les angles. Une voiture contredit cette hypothèse partout. La peinture métallisée, les chromes et les vitres reflètent le ciel, les bâtiments et la personne qui filme. Quand la caméra bouge, le reflet glisse sur la carrosserie, et un algorithme peut le confondre avec une vraie forme.

Imaginez devoir deviner la forme d'une cuillère en ne regardant que ses reflets. C'est à peu près ce qu'affronte un logiciel de reconstruction face à un capot fraîchement lustré. Distinguer la peinture de ce qu'elle reflète est l'un des problèmes les plus difficiles sur lesquels nous travaillons.

2. Comprendre comment la voiture s'ouvre

Une voiture compte en général quatre ou cinq portes, un coffre ou un hayon et un capot, chacun avec sa charnière, son angle et son amplitude. La recherche sur les objets articulés travaille d'ordinaire avec une seule pièce mobile, des captures contrôlées et un objet coopératif.

Nous voulons qu'un employé de concession capture tout cela en quelques minutes avec un téléphone. C'est un peu comme comprendre le fonctionnement d'un placard à partir d'une courte vidéo de vacances : il faut déduire la charnière, l'axe et l'ouverture, de façon cohérente sur toute la voiture.

3. L'habitacle et le compartiment moteur

L'extérieur est difficile. L'intérieur et le compartiment moteur le sont encore plus : espaces étroits, lumière faible et inégale, plastiques sombres, formes complexes et nombreuses zones masquées. Ensuite, l'intérieur doit se raccorder à l'extérieur dans un modèle cohérent, pour qu'ouvrir la portière conducteur dans le jumeau montre le vrai encadrement et l'habitacle derrière, au bon endroit.

Pensez à cartographier une maison pièce par pièce, puis à vérifier que tous les couloirs s'alignent quand on assemble les plans.

4. Mesurer les défauts, pas seulement les repérer

Détecter une rayure sur une photo est un problème connu. La mesurer en est un autre. Une seule photo ne donne ni échelle ni profondeur : une petite rayure vue de près et une grande rayure vue de loin peuvent sembler identiques.

Nous voulons que chaque rayure, enfoncement ou éclat soit placé à sa position exacte sur le véhicule, avec une estimation de sa surface réelle en cm² et un niveau de confiance honnête. Une mesure sans niveau de confiance peut induire en erreur autant que l'absence de mesure. Comme un bon expert, le système devrait pouvoir dire « environ 4 cm², assez sûr » ou « incertain, à vérifier sur place ».

5. Fluide sur un téléphone ordinaire, dans le navigateur

Tout cela ne sert à rien si l'acheteur a besoin d'un PC de joueur. Le jumeau doit se charger vite et tourner de façon fluide sur un téléphone milieu de gamme, dans une page web, avec une connexion mobile ordinaire. Obtenir un modèle à la fois détaillé, photoréaliste, ouvrable et assez léger est un problème de recherche à part entière.

Notre direction de recherche

Nous n'entrerons pas dans les méthodes, mais nous pouvons partager deux principes directeurs.

D'abord, une voiture n'est pas un objet inconnu. Contrairement à une scène quelconque, sa structure générale est largement connue à l'avance : où se trouvent les portes, comment s'articule le capot, comment les panneaux de carrosserie s'agencent. Nous voulons exploiter cette connaissance préalable pour que la capture reste simple, même quand la reconstruction est difficile.

Ensuite, les défauts sont des données. Nous ne traitons pas une rayure comme un détail visuel à montrer, mais comme un enregistrement mesurable, avec une position, une taille et un niveau de confiance. À terme, ces données structurées pourraient alimenter l'estimation des coûts de remise en état et une tarification plus transparente.

« Nous ne cherchons pas à rendre la voiture plus belle. Nous cherchons à la montrer exactement telle qu'elle est. »

Ce que cela pourrait changer

Pour les concessionnaires

• Des annonces qui se distinguent parce qu'elles montrent la vraie voiture, pas un rendu catalogue.
• Moins de visites inutiles : les acheteurs qui se déplacent ont déjà vu l'état réel de la voiture.
• Un état documenté et mesuré, qui peut aider à limiter les litiges après la vente.

Pour les garages

• Un état du véhicule mesuré et archivé à l'entrée et à la sortie de l'atelier.
• Des échanges plus clairs avec les clients sur ce qui était déjà là et ce qui a été réparé.

Pour les acheteurs

• Voir la vraie voiture, défauts compris, avant de se déplacer.
• Ouvrir les portes, regarder l'habitacle et le compartiment moteur depuis son canapé.

Conclusion

Revenons à Claire. Elle ne devrait pas avoir à choisir entre une journée perdue et un achat à l'aveugle. Les outils pour combler cet écart commencent à exister dans les laboratoires, mais en faire quelque chose qu'une concession peut utiliser chaque jour, sur chaque voiture, reste un défi scientifique. C'est le défi que nous avons choisi.

Si vous dirigez une concession ou un garage et souhaitez contribuer à cette recherche, ou rejoindre notre futur programme pilote, nous serions ravis d'échanger avec vous. Contactez l'équipe Steer AI.

Références

1. Impel / Cars.com, étude de cas sur les vues 360° (analyse de plus de 400 concessionnaires), 2025.
2. B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, R. Ng, « NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis », ECCV 2020. arxiv.org/abs/2003.08934
3. B. Kerbl, G. Kopanas, T. Leimkühler, G. Drettakis, « 3D Gaussian Splatting for Real-Time Radiance Field Rendering », ACM Transactions on Graphics (SIGGRAPH), 2023. repo-sam.inria.fr/fungraph/3d-gaussian-splatting
4. Kulkarni et al., reconstruction de véhicules en portique de passage, arXiv, 2026.
5. SplArt : reconstruction d'objets articulés par Gaussian Splatting, arXiv, 2025.
6. ArtGS : reconstruction d'objets articulés par Gaussian Splatting, arXiv, 2025.