Qu'est-ce que VLM ?
Vision Language Model
VLM (Vision Language Model, modèle de vision-langage), est un modèle capable de comprendre conjointement l'image et le texte.
Définition et origine du mot
C'est l'ajout d'yeux à un modèle textuel : il regarde une photo et identifie l'objet, interprète un graphique, convertit une écriture manuscrite en texte. C'est le membre vision-texte de la famille multimodale.
Comment connaître et utiliser dans la vie quotidienne ?
Analyse : Légende d'image.
Assistant : Réponse à des questions basées sur des photos.
Accessibilité: Description audio d'une image.
Profondeur technique et architecture
Combinaison :
Encodeur d'images : Convertit les pixels en vecteurs.
Modèle linguistique : Traite le texte et le vecteur ensemble.
Alignement : Entraînement où les deux sont alignés (similaire à CLIP).
Exemple de flux :
girdi: foto + "Bu grafikteki tepe kaç?"
çıktı: "120, mart ayında."Limite : les petits détails et l'écriture manuscrite posent problème, un humain supervise lors des tâches critiques.
Choses fréquemment mélangées
On le croit multimodal. Multimodal est le nom de la famille, VLM en est le membre visuel-texte. L'un est un ensemble, l'autre un élément.
Utilisation dans différentes disciplines
Lecture : Compréhension audio du texte.
Sous-titres : Ajout de texte à un film.
Guide : Description d'œuvres dans un musée.
Questions et réponses
Quelle est la différence avec le modèle classique ?
En plus du texte, il comprend les visuels. Il est possible de répondre à des questions sur des photographies.
Comment est-il entraîné ?
Il est aligné avec des paires d'images et de textes. Plus la correspondance augmente, plus la compréhension progresse.
Prend-il en charge le turc ?
Cela dépend du modèle. Ceux qui sont entraînés de manière multilingue le prennent en charge.
Qu'est-ce que ça coûte ?
Il est supérieur à celui du modèle de texte. Le traitement visuel entraîne une charge supplémentaire.
Termes liés
Outils liés
Cette explication a été rédigée en langage clair pour TreScout avec l’IA puis traduite automatiquement depuis l’original turc · la version turque fait foi. Si quelque chose vous semble erroné ou manquant, écrivez à hello@trescout.com. Lire en turc →