Shap-e : Texte à 3D

Vous avez toujours rêvé de créer des objets 3D à partir de simples mots ? Vous voulez donner vie à vos idées sans avoir besoin de logiciels complexes ou de compétences techniques ? Alors Shap-e est fait pour vous !

Shap-e est une application web qui vous permet de transformer du texte en modèles 3D de haute qualité. Il suffit de taper une description de ce que vous voulez créer, et Shap-e se charge du reste. Vous pouvez ensuite visualiser, modifier et télécharger votre création en quelques clics.

Shap-e utilise une intelligence artificielle avancée pour interpréter votre texte et générer un objet 3D correspondant. Il s'agit d'un outil innovant et ludique, qui ouvre de nouvelles possibilités de création et d'expression. C’est un outil d'intelligence artificielle qui permet de générer des objets 3D à partir de textes ou d'images. Il a été créé par OpenAI, la célèbre entreprise de recherche en IA basée à San Francisco. Dans cet article, nous allons vous présenter les principales fonctionnalités de Shap-e, ses applications potentielles et comment l'utiliser.

Qu'est-ce que Shap-e ?

Shap-e est un modèle d'IA qui utilise la technique des fonctions implicites conditionnelles pour générer des objets 3D à partir de textes ou d'images. Une fonction implicite est une fonction qui définit une surface sans avoir besoin de la paramétrer explicitement. Par exemple, la fonction x^2 + y^2 + z^2 = 1 définit une sphère sans avoir besoin de spécifier les coordonnées des points qui la composent.

Une fonction implicite conditionnelle est une fonction implicite qui dépend d'un paramètre supplémentaire, appelé condition. Par exemple, la condition peut être un texte qui décrit l'objet 3D souhaité, ou une image qui montre une vue de l'objet. Le modèle Shap-e apprend à associer les conditions aux fonctions implicites correspondantes, en utilisant un réseau de neurones profond.

Shap-e est basé sur le modèle GPT-3, le célèbre générateur de texte d'OpenAI. Il utilise la même architecture Transformer, mais avec des modifications pour s'adapter au problème de la génération 3D. Il a été entraîné sur un large corpus de données comprenant des modèles 3D, des textes descriptifs et des images synthétiques.

Quels sont les avantages de Shap-e ?

Shap-e est un outil unique et révolutionnaire, qui offre de nombreux avantages :

• Il vous permet de créer des objets 3D sans avoir besoin de savoir dessiner ou modéliser. Vous n'avez qu'à écrire ce que vous imaginez, et Shap-e le transforme en réalité.
• Il vous fait gagner du temps et de l'argent. Vous n'avez pas besoin d'acheter ou d'installer des logiciels coûteux et compliqués. Vous pouvez accéder à Shap-e depuis n'importe quel appareil connecté à internet, que ce soit un ordinateur, une tablette ou un smartphone.
• Il stimule votre créativité et votre imagination. Vous pouvez créer des objets 3D originaux et personnalisés, qui reflètent votre personnalité et vos envies. Vous pouvez aussi vous inspirer des exemples proposés par Shap-e ou par d'autres utilisateurs.
• Il vous offre une expérience ludique et interactive. Vous pouvez vous amuser à créer des objets 3D variés et surprenants, en testant différentes combinaisons de mots et en voyant le résultat en temps réel. Vous pouvez aussi partager vos créations avec vos amis ou avec la communauté Shap-e.

Quels sont les exemples d'utilisation de Shap-e ?

Shap-e peut être utilisé pour différents types de projets, que ce soit pour le loisir, l'éducation, le design ou le prototypage, personnels ou professionnels. Voici quelques exemples d'utilisation de Shap-e :

• Créer des personnages et des scènes pour des jeux vidéo, des animations ou des bandes dessinées. Shap-e permet de donner vie à ses idées en quelques minutes, sans avoir besoin de compétences techniques ou artistiques. On peut ainsi créer des personnages originaux, des monstres, des robots, des animaux, des paysages, etc. Il suffit de décrire leur apparence, leur couleur, leur taille, leur position, etc. Par exemple : "Un dragon rouge avec des ailes et des cornes, qui crache du feu sur un château médiéval." Shap-e génère alors un modèle 3D correspondant à la description.

  

• Concevoir des objets et des meubles pour la décoration intérieure ou extérieure. Shap-e permet de personnaliser son environnement en créant des objets uniques et sur mesure. On peut ainsi imaginer des lampes, des vases, des tables, des chaises, des sculptures, etc. Il suffit de décrire leur forme, leur matériau, leur couleur, etc. Par exemple : "Une lampe en forme de fleur avec un pied en bois et un abat-jour en tissu rose." Shap-e génère alors un modèle 3D correspondant à la description.

• Réaliser des maquettes et des prototypes pour des projets d'architecture, d'ingénierie ou d'art. Shap-e permet de visualiser rapidement et facilement ses concepts et ses idées. On peut ainsi créer des bâtiments, des ponts, des véhicules, des machines, des installations artistiques, etc. Il suffit de décrire leur structure, leur fonctionnement, leur style, etc. Par exemple : "Un pont suspendu avec des câbles en acier et une piste cyclable." Shap-e génère alors un modèle 3D correspondant à la description.

• Vous pouvez créer des objets 3D pour illustrer vos projets, vos présentations ou vos cours. Par exemple, vous pouvez créer un schéma 3D d'un organe humain, d'une machine ou d'un monument historique.

Un développeur réalise déjà des rendus très intéressants

Un certain utilisateur nommé “zer0int” sur Twitter réalise depuis déjà quelques temps des exemples d’utilisation de Shap-e et les résultats sont pour le moins prometteurs. Voici un exemple de différents penguins qu’il a réalisé très récemment :

Mais ce n’est pas tout ! Passionné par le sujet, il a même combiné plusieurs IA pour donner le plus de rendus possibles. Voici un autre exemple ou il combine GPT, Auto-GPT et Shap-E :

Comment utiliser Shap-e en local ?

(Dans la section suivante je vous montre comment l’utiliser directement en ligne)

Shap-e est disponible sous forme de code source et de modèle pré-entraîné sur GitHub. Vous devez le faire fonctionner en local. Il faut avoir une configuration puissante pour le faire tourner, avec un GPU RTX 3080 et un CPU Ryzen 9 5900X par exemple. Il faut aussi installer Blender version 3.3.1 ou supérieure pour certaines fonctionnalités.

Pour utiliser Shap-e, il faut accéder à Jupyter Notebook et exécuter les scripts fournis. Il y a trois notebooks d'exemple :

• sample_text_to_3d.ipynb : permet de générer un objet 3D à partir d'un texte.
• sample_image_to_3d.ipynb : permet de générer un objet 3D à partir d'une image.
• encode_model.ipynb : permet de modifier un modèle 3D existant à partir d'une image ou d'un texte.

Le notebook sample_text_to_3d.ipynb permet de saisir un texte qui décrit l'objet 3D souhaité, par exemple "un avion qui ressemble à une banane". Le script va alors générer deux types de résultats :

• des GIF animés en couleur qui montrent l'objet 3D sous différents angles.
• des fichiers PLY monochromes qui peuvent être ouverts avec un programme comme Paint 3D.

Le notebook sample_image_to_3d.ipynb permet de charger un fichier d'image 2D qui montre une vue de l'objet 3D souhaité, par exemple une illustration de chien Corgi. Le script va alors générer un fichier PLY qui peut être ouvert avec Paint 3D.

Le notebook encode_model.ipynb permet de charger un modèle 3D existant ou une trimesh (une représentation simplifiée d'un objet 3D), et de le modifier à partir d'une image ou d'un texte. Par exemple, on peut changer la couleur ou la forme de l'objet. Le script utilise Blender pour créer des rendus multivues et un nuage de points, les encoder dans un latent (une représentation compacte) et les rendre à nouveau.

Comment tester Shap-e en ligne gratuitement ?

Shap-e est très simple à utiliser. Voici les étapes à suivre pour créer votre objet 3D :

• Rendez-vous sur le lien huggingface de Shap-e
• Tapez un texte décrivant l'objet que vous voulez créer. Par exemple : "Un chat noir avec des yeux verts et un collier rouge". Vous pouvez utiliser des mots simples ou des phrases complètes, en anglais.
• Cliquez sur le bouton "Run" et attendez quelques secondes que Shap-e crée votre objet 3D.
• Admirez le résultat ! Vous pouvez faire pivoter, zoomer ou déplacer votre objet 3D avec votre souris ou votre doigt.
• Si vous êtes satisfait de votre création, vous pouvez la télécharger au format STL, OBJ ou GLB, pour l'imprimer en 3D, la partager sur les réseaux sociaux ou l'intégrer dans d'autres applications.
• Si vous voulez modifier votre objet 3D, vous pouvez changer le texte initial et cliquer à nouveau sur "Run".

Shap-e : Libérez votre créativité en transformant le texte en objets 3D !

En conclusion, Shap-e est une application web révolutionnaire qui permet de transformer du texte en modèles 3D de haute qualité. Grâce à son intelligence artificielle avancée, Shap-e interprète vos descriptions et génère des objets 3D correspondants. Cet outil innovant et ludique offre de nombreux avantages, notamment la possibilité de créer des objets 3D sans compétences techniques ou artistiques, ce qui stimule votre créativité et votre imagination. Shap-e vous fait gagner du temps et de l'argent en éliminant le besoin de logiciels complexes et coûteux, et il offre une expérience interactive où vous pouvez visualiser, modifier et télécharger vos créations en quelques clics. Que ce soit pour des projets personnels ou professionnels, Shap-e ouvre de nouvelles possibilités dans les domaines du jeu vidéo, de la décoration, de l'architecture, de l'éducation et bien plus encore. Essayez dès maintenant Shap-e en ligne gratuitement et donnez vie à vos idées en quelques instants !