TripoSR: Fast 3D Object Reconstruction from a Single Image
El informe técnico oficial detrás de TripoSR: un modelo de tipo feed-forward basado en Transformer que reconstruye un Mesh 3D a partir de una sola imagen en menos de 0,5 segundos. Publicado en arXiv en marzo de 2024 y lanzado bajo la licencia MIT mediante una colaboración entre Stability AI y Tripo AI.
- Autores
- Dmitry Tochilkin, David Pankratz, Zexiang Liu, Zixuan Huang, Adam Letts, Yangguang Li, Ding Liang, Christian Laforte, Varun Jampani, Yan-Pei Cao
- Publicación
- 4 de marzo de 2024 (arXiv)
- ID de arXiv
- 2403.02151
- Materia
- Computer Vision and Pattern Recognition (cs.CV)
- Licencia
- MIT
Resumen
TripoSR es un modelo de reconstrucción 3D que utiliza una arquitectura Transformer para la generación 3D rápida de tipo feed-forward, produciendo un Mesh 3D a partir de una sola imagen en menos de 0,5 segundos. Se basa en la arquitectura de red LRM y añade mejoras sustanciales en el procesamiento de datos, el diseño del modelo y las técnicas de entrenamiento. En conjuntos de datos públicos supera a otras alternativas de código abierto, tanto cuantitativa como cualitativamente. Se lanza bajo la licencia MIT para dar a investigadores, desarrolladores y creativos acceso a la IA generativa 3D actual.
Contribuciones clave
De una sola imagen a 3D en menos de 0,5 s
La inferencia feed-forward produce un Mesh 3D completo a partir de una imagen en bastante menos de un segundo en una GPU, sin optimización por objeto.
Arquitectura Transformer construida sobre LRM
Amplía el diseño del Large Reconstruction Model (LRM) con mejoras sustanciales en el procesamiento de datos, el diseño del modelo y el entrenamiento.
Código abierto, con licencia MIT
El código y los pesos preentrenados se lanzan bajo la permisiva licencia MIT, gratuitos para uso académico y comercial.
Estado del arte entre los modelos abiertos
Supera a otros métodos de código abierto de reconstrucción a partir de una sola imagen en benchmarks públicos, tanto cuantitativa como cualitativamente.
Autores
TripoSR es una colaboración entre Stability AI y Tripo AI. El informe técnico enumera diez autores:
- Dmitry Tochilkin
- David Pankratz
- Zexiang Liu
- Zixuan Huang
- Adam Letts
- Yangguang Li
- Ding Liang
- Christian Laforte
- Varun Jampani
- Yan-Pei Cao
Cómo citar
Usa la siguiente entrada de BibTeX para citar TripoSR en trabajos académicos:
@article{TripoSR2024,
title={TripoSR: Fast 3D Object Reconstruction from a Single Image},
author={Tochilkin, Dmitry and Pankratz, David and Liu, Zexiang and Huang, Zixuan and Letts, Adam and Li, Yangguang and Liang, Ding and Laforte, Christian and Jampani, Varun and Cao, Yan-Pei},
journal={arXiv preprint arXiv:2403.02151},
year={2024}
}Recursos del artículo
Página del resumen en arXiv
El informe técnico completo, el resumen y la lista de autores en arXiv (2403.02151), con PDF y exportación de la cita.
Código fuente en GitHub
La implementación oficial con licencia MIT en VAST-AI-Research/TripoSR, incluidos run.py e imágenes de ejemplo.
Modelo en Hugging Face
Los pesos preentrenados de TripoSR y la ficha del modelo en stabilityai/TripoSR, listos para cargar e inferir.
Preguntas frecuentes sobre el artículo de TripoSR
Mira el artículo en acción
TripoSR convierte una sola imagen en un modelo 3D en menos de un segundo. Pruébalo gratis en tu navegador, sin necesidad de instalar nada.