技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1。概要

視覚言語モデル (VLM) は、視覚 (画像) と言語 (テキスト) のモーダル情報を同時に処理して理解できる人工知能モデルです。このようなモデルは、コンピューター ビジョンと自然言語処理の技術を組み合わせており、視覚的な質問への応答、画像説明の生成、テキストから画像への検索などの複雑なタスクを適切に実行できます。これは、トランスフォーマー アーキテクチャをコンピューター ビジョンの分野に適用した成功例です。具体的には、従来の CNN におけるグローバル画像特徴抽出をアテンション メカニズムに置き換えます。視覚言語モデルは、画像検索、生成 AI、画像セグメンテーション、医療診断、ロボット工学などの複数の分野で大きな可能性を示しています。これらのモデルの出現は、AI システムのパフォーマンスを向上させるだけでなく、よりスマートで効率的なアプリケーションを開発するための新たな可能性も提供します。

2.ビジュアルトランスフォーマー

Visual Transformer (ViT) は、画像をパッチに分割し、これらのパッチを Transformer エンコーダに埋め込むことによって、グローバルな画像表現を取得します。各画像パッチは独立した「単語」として扱われ、セルフ アテンション メカニズムを通じて処理されます。従来の畳み込みニューラル ネットワーク (CNN) と比較して、Vision Transformer は大規模なデータ セットや高解像度の画像を処理するときに優れたパフォーマンスを発揮します。これらは、画像分類タスクにおいて多くの最先端の CNN アーキテクチャを上回ります。
以下は、単純なビジュアル Transformer の構造です。

4. 視覚言語モデルのアーキテクチャ

4.1 対照学習

対照学習は、データポイントの違いを理解することでデータポイントを学習する手法です。この方法は、データ インスタンス間の類似性スコアを計算し、コントラストの損失を最小限に抑えることを目的としています。これは、少数のラベル付きサンプルだけが最適化プロセスをガイドして、目に見えないデータ ポイントにラベルを付ける半教師あり学習で最も役立ちます。
たとえば、猫がどのようなものであるかを理解する 1 つの方法は、猫を類似の猫の画像や犬の画像と比較することです。対照学習モデルは、顔の構造、体の大きさ、毛皮などの特徴を識別することで、猫と犬を区別することを学習します。これらのモデルは、どの画像が元の画像 (「アンカー」と呼ばれる) に近いかを判断し、そのクラスを予測できます。このうち、CLIPモデルは、対照学習により学習された代表的なモデルである。 CLIP モデルは、テキストと画像の埋め込み間の類似性を計算することでゼロショット予測を実現します。まずテキストと画像のエンコーダーをトレーニングし、次にトレーニング データセットのカテゴリをキャプションに変換し、指定された入力画像に最適なキャプションを推定します。 CLIP モデルのアーキテクチャは次のとおりです。

4.2 接頭語言語モデル (PrefixLM)

接頭辞言語モデルは、テキストの一部 (接頭辞) を取り込み、シーケンス内の次の単語を予測することによって事前トレーニングされます。視覚言語モデルでは、PrefixLM を使用すると、モデルが画像とそれぞれの接頭辞付きテキストに基づいて次の単語のシーケンスを予測できるようになります。ビジュアル トランスフォーマー (ViT) を利用して、画像を一連の一次元パッチに分割します。各シーケンスはローカル画像領域を表します。次にモデルは、処理されたパッチに畳み込みまたは線形投影を適用して、コンテキスト化された視覚的な埋め込みを生成します。テキスト モダリティの場合、モデルはパッチに関連するテキスト プレフィックスをトークン埋め込みに変換します。コンバーターのエンコーダー/デコーダー ブロックは、ビジュアル エンベディングとトークン エンベディングを受け取ります。 SimVLM は、PrefixLM 学習方法を利用する一般的なアーキテクチャです。そのアーキテクチャは次のとおりです。

4.3 凍結プレフィックス言語モデル (Frozen PrefixLM)

凍結されたプレフィックス言語モデルでは、事前トレーニングされたネットワークを使用し、画像エンコーダーのパラメーターのみを更新することができます。代表的な例としては、アナと雪の女王のアーキテクチャやフラミンゴのアーキテクチャが挙げられます。 Frozen アーキテクチャでは、事前トレーニングされた言語モデルとビジュアル エンコーダーが使用されます。画像エンコーダを微調整することで、その画像表現がテキストの埋め込みに合わせて調整されます。 Flamingo アーキテクチャは、CLIP のようなビジュアル エンコーダと大規模言語モデル (LLM) を組み合わせています。テキストの間に画像を挿入することで、すばやく推測できます。以下は、Frozen PrefixLM の典型的なネットワーク アーキテクチャです。

4.4 クロスアテンションの融合

クロスアテンションは、クロスモーダル アテンション メカニズムを通じて、さまざまなモダリティ (テキスト、画像、音声など) からの情報を融合する方法です。交差注意融合手法は、交差注意レイヤーを追加することによって視覚表現を学習します。具体的には、あるデータ型 (テキストなど) の特徴を別のデータ型 (画像など) の特徴に集中させることができるため、複数の種類の情報を理解して処理する際のパフォーマンスが向上します。このメカニズムにより、複数のデータ型を同時に処理する必要がある多くのタスクのパフォーマンスが大幅に向上します。以下は、クロスアテンション アーキテクチャの概略図です。

5. 視覚言語モデルのデータセット

5.1 LAION-5B

LAION-5B データセットには、CLIP によって生成された 50 億を超える画像とテキストのペアが含まれており、大規模な事前トレーニング済みモデルの構築に使用されます。
https://laion.ai/blog/laion-5b/

5.2 午後

PMD データセットは複数の大規模なデータセットで構成され、70 億の画像とテキストのペアが含まれています。
https://huggingface.co/datasets/facebook/pmd

5.3 品質保証

VQA データセットは、視覚的な質問応答および視覚的な推論タスクに使用され、それぞれ 5 つの質問と対応する回答を含む 200,000 枚を超える画像が含まれています。
https://visualqa.org/

5.4 イメージネット

ImageNet データセットには 1,400 万を超える注釈付き画像が含まれており、画像分類や物体認識タスクに適しています。
https://www.image-net.org/

6. 視覚言語モデルの適用

6.1 画像の取得

視覚言語モデルを使用すると、ユーザーは言語クエリを使用して関連する画像を見つけることができます。

6.2 生成型 AI

生成 AI を使用すると、ユーザーはテキストの説明から画像を生成でき、デザインやコンテンツ作成などの分野で使用されます。 SDやその他の製品など。

6.3 画像のセグメンテーション

VLM は、ユーザー プロンプトを理解することで、パノラマ セグメンテーション タスクやセマンティック セグメンテーション タスク、画像の注釈付けなどに使用できます。