MiniGPT-4 est un modèle de langage avancé de grande taille qui améliore la compréhension de la vision du langage en alignant un encodeur visuel figé avec un LLM figé, Vicuna, en utilisant une seule couche de projection. MiniGPT-4 possède de nombreuses capacités similaires à celles exhibées par GPT-4, telles que la génération de descriptions d'images détaillées et la création de sites web à partir de brouillons manuscrits. De plus, l'outil possède certaines capacités émergentes, telles que l'écriture d'histoires et de poèmes inspirés par des images données, la fourniture de solutions à des problèmes montrés dans des images, et l'enseignement aux utilisateurs comment cuisiner en se basant sur des photos de nourriture. MiniGPT-4 nécessite d'entraîner la couche linéaire pour aligner les caractéristiques visuelles avec le modèle Vicuna. Le modèle a un entraînement hautement efficace en termes de calcul, en utilisant environ 5 millions de paires image-texte alignées. Le processus de pré-entraînement sur des paires image-texte brutes pourrait produire des sorties de langage artificielles manquant de cohérence, comprenant des répétitions et des phrases fragmentées. Pour résoudre ce problème, MiniGPT-4 élabore un ensemble de données de haute qualité et bien aligné pour affiner le modèle en utilisant un modèle de conversation. Cette étape s'avère cruciale pour augmenter la fiabilité de génération du modèle et sa facilité d'utilisation globale. La conception de MiniGPT-4 repose sur un encodeur de vision avec un VIT pré-entraîné et un Q-former, une seule couche de projection linéaire, et un modèle de langage avancé de grande taille, Vicuna.