Microsoft Research a publié TRELLIS.2, un modèle génératif qui produit un objet 3D à partir d'une seule image. Il compte 4 milliards de paramètres et, d'après les mesures officielles, livre un maillage texturé avec ses matériaux PBR en 3 secondes environ sur un GPU NVIDIA H100. Le code et les poids sont diffusés sous licence MIT, ce qui autorise un usage commercial et un hébergement sur sa propre infrastructure.
Ce que produit TRELLIS.2
Le modèle a été développé par Microsoft Research avec l'université Tsinghua et d'autres partenaires académiques. Il prend en entrée une image RGB unique et renvoie une géométrie maillée accompagnée de matériaux PBR sur quatre canaux (Base Color, Metallic, Roughness et Opacity). Ce type de sortie se charge dans Unreal, Unity, Babylon.js ou une visionneuse WebGL.
O-Voxel, une représentation sans champ implicite
La plupart des modèles image-vers-3D existants s'appuient sur des représentations implicites, comme les NeRF ou les champs de distance signés. Ils calculent une fonction continue qui indique si un point de l'espace appartient à la surface. TRELLIS.2 utilise une autre représentation, appelée O-Voxel (pour Omni-Voxel), qui repose sur une grille de voxels éparse. Le modèle manipule directement ces voxels, compressés dans un espace latent.
Ce choix a trois conséquences pratiques :
- les surfaces ouvertes et les géométries non-manifold sont prises en charge ;
- les structures fines et les cavités internes sont conservées, ce qui sert pour des objets techniques ou des accessoires de jeu vidéo ;
- un maillage texturé existant se convertit en O-Voxel en moins de 10 secondes sur un processeur standard, si bien que des assets déjà produits peuvent servir de base à un entraînement ou à un fine-tuning.
L'architecture comporte deux parties. Un VAE 3D compresse le volume de voxels avec un facteur spatial de l'ordre de 16, de sorte qu'un asset en résolution 1024³ tient dans environ 9 600 tokens latents. Un Flow-Matching Transformer, proche des Diffusion Transformers, génère ensuite ces tokens à partir de l'image d'entrée. Comme le modèle produit quelques milliers de tokens là où il faudrait sinon traiter des millions de voxels bruts, l'inférence est plus rapide, le stockage plus compact, et plusieurs images peuvent être traitées en parallèle sur un même GPU selon la mémoire disponible.
Temps d'inférence mesurés sur H100
Les mesures officielles ont été faites sur un GPU NVIDIA H100. Elles distinguent la génération de la géométrie et celle des matériaux.
- En 512³, l'inférence dure environ 3 secondes, dont 2 pour la géométrie et 1 pour les matériaux.
- En 1024³, elle dure 17 secondes, dont 10 pour la géométrie et 7 pour les matériaux.
- En 1536³, la résolution maximale, elle atteint 60 secondes, dont 35 pour la géométrie et 25 pour les matériaux.
À ce rythme, un catalogue de 1 000 images traité en 512³ représente 50 minutes de calcul sur un H100.
Licence MIT et contenu du dépôt
La licence MIT permet d'intégrer le modèle dans un produit commercial, de le modifier et de le redistribuer, y compris au sein d'un service fermé. Elle impose seulement de conserver la mention de copyright et le texte de la licence, sans obligation de publier le code dérivé.
Le dépôt GitHub contient le code d'entraînement, les scripts d'inférence et un jeu de données de 500 000 assets 3D destiné à la recherche. Les poids du modèle TRELLIS.2-4B sont hébergés sur Hugging Face.
Hébergement sur site ou dans le cloud
Deux options existent pour faire tourner le modèle en production. La première consiste à l'installer sur ses propres serveurs GPU, derrière un micro-service. Les données restent en interne et la latence est maîtrisée, au prix de l'achat du matériel, de son alimentation, de son refroidissement et de sa surveillance. Cette option convient aux entreprises qui reçoivent des photos sensibles, par exemple de sites industriels ou de bâtiments.
La seconde passe par une instance GPU louée chez Azure, GCP ou AWS, qui proposent des H100 et des A100. Le modèle tourne alors dans une machine virtuelle ou dans un conteneur orchestré par Kubernetes. La capacité s'ajuste à la demande et la facturation suit l'usage, avec en contrepartie un coût variable et une dépendance au fournisseur.
Dans les deux cas, une génération dure de 3 à 60 secondes, ce qui est trop long pour une réponse d'API synchrone. Les demandes passent donc par une file d'attente (RabbitMQ, Kafka ou Celery). Le service renvoie un identifiant de tâche, traite l'image en arrière-plan et signale la fin du calcul par webhook, ou laisse le client interroger l'état de la tâche.
Une chaîne de traitement type
Le maillage produit par TRELLIS.2 passe par plusieurs étapes avant d'être publié. Une chaîne automatisée les enchaîne dans cet ordre.
- L'image arrive par une API REST ou par un message dans une file. Le service contrôle son format, ses dimensions et son poids, pour écarter les fichiers malveillants ou assez lourds pour saturer la mémoire.
- TRELLIS.2 génère le maillage, récupéré au format glTF ou OBJ.
- Des contrôles automatiques vérifient que la topologie est manifold, que le nombre de polygones reste dans les limites attendues et qu'il n'y a ni trou ni auto-intersection. PyMeshLab ou Blender en mode headless détectent et corrigent ces défauts.
- Le fichier est normalisé. xatlas optimise les UV si nécessaire, les textures sont compressées en WebP ou en AVIF, et des niveaux de détail (LOD) sont générés pour le web et le mobile.
- Le maillage est stocké et servi depuis un CDN. Une visionneuse three.js ou Babylon.js le charge côté web, ARKit sur iOS et ARCore sur Android.
Chaque génération gagne à être journalisée avec l'image d'origine et les paramètres utilisés, afin de pouvoir la reproduire. Les assets eux-mêmes se versionnent avec Git LFS ou DVC, et un cache évite de régénérer un objet déjà traité. Prometheus et Grafana servent à suivre les latences, les taux d'échec et le temps de GPU consommé.
Limites à connaître
Le modèle a été entraîné sur un jeu de données généraliste. Pour un style graphique marqué, comme le low-poly ou le cel-shading, il faut prévoir un fine-tuning ou une reprise des assets.
Un maillage généré en 1024³ peut être trop dense pour le web ou le mobile. Il doit alors être simplifié avec PyMeshLab ou Instant Meshes. Sa topologie ne convient pas non plus telle quelle à l'animation, et un personnage à rigger demande une retopologie manuelle ou semi-automatique. Dans un studio 3D, le maillage généré sert de première ébauche, que les modélisateurs reprennent dans Blender ou Maya.
TRELLIS.2 produit un maillage par image. Lorsque plusieurs photos d'un même objet sont disponibles, les maillages doivent être alignés puis fusionnés avec CloudCompare ou Open3D, et le résultat dépend de la cohérence des prises de vue. Le modèle ne garantit pas non plus de précision métrique. Pour obtenir des dimensions ou des volumes fiables, il faut calibrer le maillage sur une référence connue présente dans l'image, ou le combiner avec de la photogrammétrie classique.
La licence MIT couvre TRELLIS.2 et seulement lui. Quand l'image d'entrée sort d'un autre modèle génératif, ce sont les conditions de ce modèle qui s'appliquent à l'image. Une agence qui génère des assets à partir d'images fournies par ses clients a intérêt à préciser dans ses contrats à qui appartiennent les maillages.
TRELLIS.2 face aux autres approches
NeRF et 3D Gaussian Splatting
Les Neural Radiance Fields et le 3D Gaussian Splatting reconstruisent une scène à partir de plusieurs dizaines d'images prises sous des angles différents. Ils donnent un rendu photoréaliste et conviennent aux scènes complexes. Leur sortie est volumétrique ou formée de points, et il faut en extraire une surface, par exemple avec l'algorithme des marching cubes, pour obtenir un maillage utilisable dans un moteur de jeu. Cette étape supplémentaire peut introduire des artefacts.
TRELLIS.2 part d'une seule image et génère directement un maillage polygonal avec ses matériaux PBR. Le choix dépend donc du nombre de photos disponibles par objet. Avec une seule photo par référence, TRELLIS.2 est adapté. Avec une cinquantaine de vues, un NeRF ou le Gaussian Splatting donnera une géométrie et des textures de meilleure qualité.
Services propriétaires
Luma AI, Meshy et Tripo proposent de la génération 3D à partir de texte ou d'image, accessible par API. Leurs poids ne sont pas publiés, le fine-tuning est impossible, et l'utilisateur dépend de leurs tarifs comme de leur disponibilité. Ces services conviennent à un essai ou à de faibles volumes, parce qu'ils évitent de gérer une infrastructure. TRELLIS.2 s'adresse aux équipes qui veulent héberger le modèle elles-mêmes et l'ajuster sur leurs propres données.
Autres modèles open source
Shap-E, d'OpenAI, et Point-E sont plus anciens. Shap-E génère des représentations implicites ou des nuages de points, alors que TRELLIS.2 sort directement un maillage avec matériaux PBR. InstantMesh, issu de la recherche académique, est le modèle open source dont le périmètre est le plus proche.



