Stable Diffusion
comprendre l’IA qui génère des images
Comment un modèle transforme une phrase en image, et où sont ses vraies limites.
Stable Diffusion est un modèle d’IA qui génère une image à partir d’une description écrite. Sa singularité n’est pas sa qualité, comparable à ses concurrents, mais son ouverture : son code et ses poids sont publics, et il peut tourner sur une machine personnelle.
- Génération par texte : on écrit un prompt, le modèle produit une image correspondante.
- Diffusion latente : il « débruite » un bruit aléatoire dans un espace compressé, ce qui le rend économe.
- Modèle ouvert : poids publics, exécution locale possible, vaste écosystème d’outils.
- Limites réelles : qualité irrégulière, biais des données, cadre juridique encore incertain.
Stable Diffusion est un modèle d’intelligence artificielle qui transforme une description écrite en image. Rendu public en 2022, il s’est fait connaître pour une raison précise : son code et ses poids ont été ouverts, ce qui a permis à n’importe qui de le faire tourner sur sa propre machine. Voici ce qu’il fait réellement, comment il fonctionne, et où sont ses limites.
Stable Diffusion, de quoi parle-t-on
Stable Diffusion appartient à la famille des modèles de génération d’images par texte. On écrit une consigne — un « prompt » — et le modèle produit une image qui tente d’y correspondre. C’est la même catégorie d’outils que DALL·E ou Midjourney, avec une différence de fond sur laquelle nous reviendrons.
Le modèle a été publié en 2022 par la société Stability AI, en s’appuyant sur des travaux de recherche menés notamment par le groupe CompVis de l’université de Munich et par la société Runway. La technique sous-jacente, dite « diffusion latente », vient directement de la recherche académique publiée la même année.
Ce qui est annoncé diffère souvent de ce qui est livré, et il faut le préciser d’emblée : Stable Diffusion ne « comprend » pas une scène comme un humain. Il a appris des régularités statistiques sur un très grand volume d’images légendées, et il reproduit ces régularités. Le résultat peut être saisissant ; il reste une reconstruction probable, pas une compréhension.
Comment fonctionne la diffusion
Le principe est contre-intuitif mais cohérent. Pendant l’entraînement, on prend des images réelles et on y ajoute progressivement du bruit, jusqu’à ce qu’il ne reste qu’un brouillard aléatoire. Le modèle apprend à faire le chemin inverse : retirer le bruit étape par étape pour retrouver une image plausible.
Au moment de générer, on part donc d’un pur bruit aléatoire, et le modèle le « débruite » en plusieurs passes successives — souvent quelques dizaines d’étapes. À chaque passe, le texte du prompt oriente la reconstruction, via un encodeur qui traduit les mots en repères que le modèle sait exploiter.
La particularité de Stable Diffusion tient à un mot : « latente ». Plutôt que de travailler directement sur les millions de pixels d’une image, le modèle opère dans un espace compressé, bien plus léger, puis décompresse le résultat à la fin. C’est ce raccourci qui rend le procédé assez économe pour tourner sur du matériel grand public, là où d’autres approches exigeaient des moyens hors de portée d’un particulier.
Un paramètre appelé « guidage » contrôle à quel point le modèle colle au prompt. Trop faible, l’image dérive ; trop fort, elle se rigidifie et perd en naturel. Le bon résultat se trouve presque toujours dans un réglage intermédiaire.
Ce qui l’a distingué
ouvert et exécutable chez soi
À sa sortie, la plupart des générateurs d’images étaient fermés : on y accédait via un service en ligne, sans voir ni modifier le modèle. Stable Diffusion a pris le chemin inverse en publiant ses poids sous une licence ouverte, assortie de restrictions d’usage.
Cette ouverture a eu une conséquence directe : une communauté très active s’est formée autour du modèle. Des interfaces, des extensions et des variantes spécialisées sont apparues en quelques mois. C’est là que se joue l’essentiel de l’écosystème — pas seulement dans le modèle d’origine, mais dans tout ce qui s’est construit autour. Pouvoir l’exécuter localement signifie aussi garder ses images et ses prompts sur sa propre machine, sans les confier à un service tiers.
Ce qu’on peut faire avec
Stable Diffusion ne se limite pas à générer une image à partir de zéro. Plusieurs modes d’usage se sont imposés, chacun répondant à un besoin différent.
Génération de base
Un prompt en entrée, une image en sortie. L’usage le plus connu et le point de départ de tous les autres.
Retravailler un visuel
On fournit une image et un prompt : le modèle la décline en gardant sa composition générale, sans repartir de rien.
Retouche par zones
Remplacer une partie sélectionnée d’une image, ou la prolonger au-delà de ses bords. Corriger plutôt que tout régénérer.
Contrôle de la composition
Des extensions contraignent la pose, les contours ou la profondeur. On gagne en contrôle ce qu’on perd en surprise.
Les versions successives
Le modèle n’est pas resté figé. Plusieurs générations se sont succédé, avec des compromis différents entre qualité, taille et facilité d’usage. À ce stade, la démonstration tient ; la généralisation non : une version plus récente n’est pas automatiquement meilleure pour tous les usages. Les anciennes restent très utilisées, parce que la communauté a construit beaucoup d’outils autour d’elles et qu’elles tournent sur du matériel modeste.
| Génération | Apport principal | À noter |
|---|---|---|
| SD 1.x (1.4 / 1.5) | Première diffusion ouverte, très adoptée | Tourne sur matériel modeste, écosystème immense |
| SD 2.x (2.0 / 2.1) | Nouveau modèle de texte, autres compromis | Adoption plus mitigée |
| SDXL | Images plus grandes et détaillées | Plus gourmand en ressources |
| SD 3 et suivantes | Architecture revue, meilleur rendu du texte | Générations les plus récentes |
Par où commencer
Il existe plusieurs portes d’entrée selon que l’on veut un résultat rapide ou un contrôle complet. Le bon point de départ dépend surtout du temps qu’on est prêt à investir.
-
Passer par un service en ligne
La voie la plus simple : un service hébergé évite toute installation. On écrit un prompt, on récupère une image, et on comprend la logique des prompts sans configurer quoi que ce soit.
-
Installer une interface locale
Pour aller plus loin, une interface installée sur son ordinateur donne accès à tous les réglages et à l’écosystème d’extensions, au prix d’une configuration plus exigeante et d’une carte graphique correcte.
-
Intégrer via une bibliothèque
Pour les développeurs, des bibliothèques dédiées permettent d’appeler la génération directement depuis un programme et de l’intégrer dans un produit.
Limites, biais et questions de droits
Le vrai progrès est souvent moins spectaculaire que la communication qui l’accompagne, et Stable Diffusion ne fait pas exception. La qualité reste irrégulière : mains déformées, textes illisibles dans l’image, incohérences sur les détails complexes. Les versions récentes ont réduit ces défauts sans les supprimer.
Le modèle reproduit aussi les biais présents dans ses données d’entraînement : certaines représentations sont stéréotypées, d’autres absentes. C’est une limite structurelle, pas un réglage à corriger d’un clic.
Les modèles ont été entraînés sur de grandes collections d’images du web, ce qui a soulevé des contestations juridiques — Getty Images a notamment engagé des poursuites contre Stability AI. Le débat sur la légalité de l’entraînement et le statut des images produites n’est pas tranché. Pour un usage professionnel, redoublez de prudence dès qu’il s’agit d’imiter le style d’un artiste identifiable ou de représenter des personnes réelles.
À retenir
Stable Diffusion est un générateur d’images par texte fondé sur le débruitage progressif dans un espace compressé. Sa singularité n’est pas tant la qualité — comparable à ses concurrents — que son ouverture, qui a fait naître un large écosystème et permis une exécution locale. Ses limites sont réelles : qualité irrégulière, biais hérités des données, et un cadre juridique encore incertain qu’il vaut mieux connaître avant tout usage sérieux.
Stable Diffusion est-il gratuit ?
Le modèle est ouvert et peut être utilisé gratuitement, notamment en local. Certains services en ligne hébergés sont en revanche payants au-delà d’un usage limité, et les licences récentes peuvent comporter des conditions pour un usage commercial à grande échelle. Mieux vaut vérifier la licence de la version employée.
Quelle différence avec Midjourney ou DALL·E ?
La qualité est globalement comparable, mais Midjourney et DALL·E sont des services fermés accessibles en ligne. Stable Diffusion se distingue par son ouverture : on peut télécharger le modèle, l’exécuter chez soi et le modifier, ce qui a créé un écosystème d’extensions bien plus large.
Quel matériel faut-il pour le faire tourner ?
Une carte graphique récente avec suffisamment de mémoire vidéo est recommandée pour une exécution locale confortable. Les versions plus anciennes restent les moins exigeantes. À défaut, un service en ligne permet de générer des images sans matériel particulier.
Peut-on utiliser les images générées commercialement ?
C’est possible dans bien des cas, mais le cadre juridique reste mouvant et dépend de la licence du modèle et de votre juridiction. La prudence s’impose surtout si l’image imite un style identifiable ou représente une personne réelle. En cas d’enjeu, un avis juridique est préférable.
Pourquoi les mains et le texte sont-ils souvent ratés ?
Ces éléments comportent beaucoup de détails réguliers que le modèle reconstruit de façon statistique, sans logique sous-jacente. D’où les doigts en trop ou les lettres incohérentes. Les versions récentes ont nettement progressé sur le texte, sans pour autant fiabiliser totalement ces zones.
Reste un outil puissant et accessible, à condition de garder en tête ce qu’il fait vraiment : produire le probable, pas le vrai.