기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. 개요

VLM(Vision-Language Model)은 시각적(이미지) 및 언어(텍스트) 모달 정보를 동시에 처리하고 이해할 수 있는 인공 지능 모델입니다. 이러한 모델은 컴퓨터 비전과 자연어 처리의 기술을 결합하여 시각적 질문 답변, 이미지 설명 생성, 텍스트-이미지 검색과 같은 복잡한 작업을 효과적으로 수행할 수 있습니다. Transformer Architecture를 컴퓨터 비전 분야에 적용한 성공적인 사례입니다. 특히 기존 CNN의 전역 이미지 특징 추출을 Attention 메커니즘으로 대체합니다. 시각적 언어 모델은 이미지 검색, 생성 AI, 이미지 분할, 의료 진단, 로봇공학 등 여러 분야에서 큰 잠재력을 보여왔습니다. 이러한 모델의 출현은 AI 시스템의 성능을 향상시킬 뿐만 아니라 더 스마트하고 효율적인 애플리케이션을 개발할 수 있는 새로운 가능성을 제공합니다.

2. 비주얼 트랜스포머

ViT(Visual Transformer)는 이미지를 패치로 분할한 다음 이러한 패치를 Transformer 인코더에 삽입하여 전역 이미지 표현을 얻습니다. 각 이미지 패치는 독립적인 "단어"로 처리되며 self-attention 메커니즘을 통해 처리됩니다. 기존 CNN(컨벌루션 신경망)과 비교하여 Vision Transformer는 대규모 데이터 세트와 고해상도 이미지를 처리할 때 성능이 뛰어납니다. 이미지 분류 작업에서 많은 최첨단 CNN 아키텍처보다 성능이 뛰어납니다.
아래는 간단한 시각적 변환기의 구조입니다.

4. 시각적 언어 모델의 아키텍처

4.1 대조 학습

대조 학습은 데이터 포인트의 차이점을 이해하여 학습하는 기술입니다. 이 방법은 데이터 인스턴스 간의 유사성 점수를 계산하고 대조 손실을 최소화하는 것을 목표로 합니다. 이는 소수의 레이블이 지정된 샘플만이 보이지 않는 데이터 포인트에 레이블을 지정하는 최적화 프로세스를 안내하는 준지도 학습에서 가장 유용합니다.
예를 들어, 고양이가 어떻게 생겼는지 이해하는 한 가지 방법은 유사한 고양이 이미지 및 개 이미지와 비교하는 것입니다. 대조 학습 모델은 얼굴 구조, 신체 크기, 털과 같은 특징을 식별하여 고양이와 개를 구별하는 방법을 학습합니다. 이러한 모델은 어떤 이미지가 원본 이미지("앵커"라고 함)에 더 가까운지 확인하고 해당 클래스를 예측할 수 있습니다. 그 중 CLIP 모델은 대조 학습에 따라 학습된 대표적인 모델입니다. CLIP 모델은 텍스트와 이미지 임베딩 간의 유사성을 계산하여 제로샷 예측을 달성합니다. 먼저 텍스트 및 이미지 인코더를 훈련한 다음 훈련 데이터세트의 범주를 캡션으로 변환하고 주어진 입력 이미지에 가장 적합한 캡션을 추정합니다. 다음은 CLIP 모델의 아키텍처입니다.

4.2 접두사 언어 모델(PrefixLM)

접두사 언어 모델은 텍스트의 일부(접두사)를 가져와서 시퀀스의 다음 단어를 예측함으로써 사전 훈련됩니다. 시각적 언어 모델에서 PrefixLM을 사용하면 모델이 이미지와 해당 접두사가 붙은 텍스트를 기반으로 다음 단어 시퀀스를 예측할 수 있습니다. ViT(Visual Transformer)를 활용하여 이미지를 1차원 패치 시퀀스로 나눕니다. 각 시퀀스는 로컬 이미지 영역을 나타냅니다. 그런 다음 모델은 처리된 패치에 컨볼루션 또는 선형 투영을 적용하여 상황에 맞는 시각적 임베딩을 생성합니다. 텍스트 양식의 경우 모델은 패치와 관련된 텍스트 접두사를 토큰 임베딩으로 변환합니다. 변환기의 인코더-디코더 블록은 시각적 임베딩과 토큰 임베딩을 수신합니다. SimVLM은 PrefixLM 학습 방법을 활용하는 널리 사용되는 아키텍처입니다. 아키텍처는 다음과 같습니다.

4.3 고정 접두사 언어 모델(Frozen PrefixLM)

고정 접두사 언어 모델을 사용하면 사전 훈련된 네트워크를 사용하고 이미지 인코더의 매개변수만 업데이트할 수 있습니다. 일반적인 예로는 Frozen 아키텍처와 Flamingo 아키텍처가 있습니다. Frozen 아키텍처는 사전 훈련된 언어 모델과 시각적 인코더를 사용합니다. 이미지 인코더를 미세 조정하면 해당 이미지 표현이 텍스트 임베딩에 맞게 정렬됩니다. Flamingo 아키텍처는 CLIP과 유사한 시각적 인코더와 LLM(대형 언어 모델)을 결합합니다. 텍스트 사이에 이미지를 삽입하여 빠르게 추론해 보세요. 다음은 Frozen PrefixLM의 일반적인 네트워크 아키텍처입니다.

4.4 크로스어텐션 융합

Cross-Attention은 교차 모드 주의 메커니즘을 통해 다양한 양식(예: 텍스트, 이미지, 오디오 등)의 정보를 융합하는 방법입니다. Cross-attention 융합 방법은 Cross-attention 레이어를 추가하여 시각적 표현을 학습합니다. 특히, 한 데이터 유형(예: 텍스트)의 기능이 다른 데이터 유형(예: 그림)의 기능에 집중할 수 있으므로 여러 유형의 정보를 이해하고 처리할 때 더 나은 성능을 발휘할 수 있습니다. 이 메커니즘은 여러 데이터 유형을 동시에 처리해야 하는 많은 작업에서 성능을 크게 향상시킬 수 있습니다. 다음은 Cross-Attention 아키텍처의 개략도입니다.

5. 시각적 언어 모델을 위한 데이터세트

5.1 라이온-5B

LAION-5B 데이터 세트에는 CLIP에서 생성된 50억 개가 넘는 이미지-텍스트 쌍이 포함되어 있으며 사전 훈련된 대규모 모델을 구축하는 데 사용됩니다.
https://laion.ai/blog/laion-5b/

5.2 오후

PMD 데이터 세트는 여러 개의 대규모 데이터 세트로 구성되며 70억 개의 이미지-텍스트 쌍을 포함합니다.
https://huggingface.co/datasets/facebook/pmd

5.3 품질보증

VQA 데이터 세트는 시각적 질문 답변 및 시각적 추론 작업에 사용되며 각각 5개의 질문과 해당 답변이 포함된 200,000개 이상의 이미지를 포함합니다.
한국어: https://visualqa.org/

5.4 이미지넷

ImageNet 데이터 세트에는 1,400만 개 이상의 주석이 달린 이미지가 포함되어 있으며 이미지 분류 및 개체 인식 작업에 적합합니다.
https://www.image-net.org/

6. 시각언어모델의 적용

6.1 이미지 검색

시각적 언어 모델을 사용하면 사용자는 언어적 쿼리를 사용하여 관련 이미지를 찾을 수 있습니다.

6.2 생성 AI

제너레이티브 AI는 사용자가 텍스트 설명에서 이미지를 생성할 수 있도록 하며 디자인, 콘텐츠 제작 등의 영역에서 사용됩니다. SD 및 기타 제품과 같은.

6.3 이미지 분할

VLM은 사용자 프롬프트를 이해하여 파노라마 및 의미론적 분할 작업과 이미지 주석에 사용할 수 있습니다.