Multimodal

Le vrai truc

Un modèle multimodal accepte plusieurs sortes de contenus : du texte, une image, un son, parfois une vidéo. Chaque contenu est d'abord converti en nombres, ce qui permet de les rapprocher dans une même réponse. C'est ce qui vous laisse photographier un tableau et poser une question dessus. Il se trompe encore souvent sur les petits caractères, les schémas chargés et les objets à demi cachés.