LMM - 대규모 멀티모달 모델의 이해와 적용 (상세)

이 글은 “LMM - 대규모 멀티모달 모델의 이해와 적용” 강의의 상세 내용입니다. 강의 개요는 여기에서 확인할 수 있습니다.

이 내용을 슬라이드로 보려면 프레젠테이션 모드를 이용하세요.

Part 1 — Large Language Model

LLM이란

LLM(Large Language Model)은 텍스트를 입력받아 텍스트를 출력하는 대규모 언어 모델입니다.

“Large"의 의미

“Large"는 모델 자체가 크다는 뜻입니다. 구체적으로 모델의 파라미터 수가 많다는 것을 의미합니다.

Ollama에서 모델들을 살펴보면 같은 모델이라도 크기 차이가 있습니다.

같은 모델인데 왜 크기 차이가 날까요? 파라미터 수가 다르기 때문입니다.
8b는 80억개, 70b는 700억개, 405b는 4050억개의 파라미터를 가집니다.

Transformer 모델

현재 대부분의 LLM은 Transformer 아키텍처에 기반을 두고 있습니다.

Transformer 기반 모델 예시:

1. BERT (Bidirectional Encoder Representations from Transformers)
2. GPT (Generative Pre-trained Transformer)
3. T5 (Text-to-Text Transfer Transformer)
4. ViT (Vision Transformer)
5. CLIP (Contrastive Language–Image Pretraining)
6. ALBERT (A Lite BERT)

이 Transformer 기반 모델은 텍스트에만 국한된 것이 아니라, 관계를 나타내는 형태면 어떤 데이터에도 적용이 가능합니다.

다만, Transformer의 Attention 메커니즘은 파라미터 수가 엄청나게 많으며, 따라서 학습을 위해 엄청나게 많은 데이터가 필요합니다.

Local LLM

이런 큰 모델을 로컬에서 돌리는 것이 Local LLM입니다.

Local LLM을 지원하는 프로그램들:

• Ollama: https://ollama.com/
• LM Studio: https://lmstudio.ai/
• exo: https://github.com/exo-explore/exo

중요한 점:

• 제공되는 것은 전부 학습이 완료된(pre-trained) 모델입니다
• 로컬에서 돌려지는 부분은 “추론(inference)” 부분만 실행됩니다
• 실제로 학습(training)을 하려면 엄청나게 커다란 하드웨어(GPU 클러스터)가 필요합니다

Part 2 — Multimodal Model

LLM에서 LMM으로

텍스트 입력, 출력으로 진행되는 LLM.

멀티모달 데이터는 텍스트, 이미지, 음성 등 여러 형태의 데이터를 포함하며, 이러한 데이터를 통합하여 처리함으로써 더 풍부한 정보를 얻을 수 있습니다.

멀티모달의 장점

복잡한 이미지 해석 예시

이미지만 입력한 경우:

“번화한 도시 거리에 여러 사람들이 걸어가고 있고, 자동차들이 도로를 지나가고 있습니다.”

이미지+텍스트(질문)를 함께 입력한 경우:

질문: “교통 표지판의 종류와 위치를 자세히 설명해주세요.”

답변: “이 도시 사진에는 총 3개의 주요 교통 표지판이 있습니다. 오른쪽 상단에 빨간색 정지 표지판, 도로 중앙에 노란색 주의 표지판, 왼쪽 하단에 파란색 주차 안내 표지판이 보입니다.”

멀티모달 모델 아키텍처 예시

이미지(VGG16)와 텍스트(Dense)를 결합하는 간단한 멀티모달 모델:

과연 어떤 것이 더 잘 학습할까요?

멀티모달 접근이 단일 모달보다 더 풍부한 맥락을 활용할 수 있습니다.

코드 예시 (TensorFlow/Keras)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import tensorflow as tf
from tensorflow.keras.layers import Input, Dense, Concatenate, Embedding, Flatten
from tensorflow.keras.models import Model
from tensorflow.keras.applications import VGG16

# 이미지 입력 및 처리
image_input = Input(shape=(224, 224, 3), name='image_input')
base_model = VGG16(weights='imagenet', include_top=False, input_tensor=image_input)
x = Flatten()(base_model.output)
image_features = Dense(256, activation='relu')(x)

# 텍스트 입력 및 처리
text_input = Input(shape=(100,), name='text_input')
text_features = Embedding(input_dim=5000, output_dim=256, input_length=100)(text_input)
text_features = Flatten()(text_features)
text_features = Dense(256, activation='relu')(text_features)

# 멀티모달 융합
combined_features = Concatenate()([image_features, text_features])
output = Dense(1, activation='sigmoid')(combined_features)

# 모델 생성
model = Model(inputs=[image_input, text_input], outputs=output)
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

데이터 융합 방식

Part 3 — Transformer

Transformer 아키텍처 상세

Transformer 모델의 핵심은 Attention 메커니즘입니다.

입력 시퀀스 내의 관계를 학습하는 Self-Attention과,
서로 다른 시퀀스 간의 관계를 학습하는 Cross-Attention으로 구성됩니다.

텍스트에서의 Attention

1단계 - 문장:

한국어: “안녕하세요, 오늘 날씨는 정말 좋습니다.” 영어: “Hello, the weather is really nice today.”

2단계 - 토큰화 및 임베딩:

한국어 토큰: 안녕하세요 / , / 오늘 / 날씨 / 는 / 정말 / 좋습니다 / . → 8개 토큰 → v1~v8

영어 토큰: Hello / , / the / weather / is / really / nice / today / . → 9개 토큰 → v9~v17

3단계 - QKV 가중치 학습 (Attention):

8개 입력 토큰 x 9개 출력 토큰 = 72가지 경우에 대해서 관계를 계산합니다.

각 칸의 값은 “입력 토큰 vi가 출력 토큰 vj에 얼마나 주의(attention)를 기울이는가"를 나타냅니다.
아래 인터랙티브 데모에서 셀을 클릭하여 확인해보세요.

문장이 길어지면 길어질수록, 계산량이 많아집니다.

이미지에서의 Attention

Transformer는 이미지에도 적용 가능합니다. 텍스트의 단어 간 관계처럼, 이미지에서는 픽셀과 픽셀 사이의 관계를 학습합니다.

계산량 폭발 문제

256x256 이미지의 경우:

• 입력: 256x256 = 65,536 픽셀
• 출력: 256x256 = 65,536 픽셀
• 관계 조합: 65,536 x 65,536 = 4,294,967,296 (약 42억개)

텍스트(72개)에 비해 이미지(42억개)는 계산량이 압도적으로 많습니다.

해결 방법

이미지에 직접 Self-Attention을 적용하기엔 너무 크기 때문에,
subsampling 및 convolution을 거쳐 크기를 줄인 다음 Self-Attention을 적용합니다. (예: Conformer 아키텍처)

Dense vs Convolution vs Self-Attention 비교

각 레이어를 클릭하여 연결 패턴의 차이를 확인해보세요.

Part 4 — CLIP 모델

CLIP 개요

CLIP (Contrastive Language-Image Pretraining): OpenAI에서 개발한 이미지-텍스트 유사도 모델.
아래 데모에서 이미지와 텍스트를 선택하여 유사도 점수를 확인해보세요.

• 1에 가까울수록 이미지와 텍스트가 잘 일치
• 고양이 사진 + ‘고양이 사진’ → 높은 점수
• 고양이 사진 + ‘자동차 사진’ → 낮은 점수

데모 노트북: CLIP_model.ipynb — COCO 데이터셋으로 CLIP 유사도를 직접 테스트해볼 수 있습니다.

COCO 데이터셋 시연 결과

Cat 카테고리 (COCO 이미지 ID: 416256):

Dog 카테고리 (COCO 이미지 ID: 329219):

CLIP 모델 구조

1
2
3
4
5

model_name = "openai/clip-vit-base-patch32"
model = TFCLIPModel.from_pretrained(model_name)

model.summary()
# Total params: 151,277,313 (577.08 MB)

• 파라미터: 약 1.5억개
• TFCLIPTextTransformer + TFCLIPVisionTransformer 로 구성

학습 방법: 대조 학습 (Contrastive Learning)

관련 쌍은 가까이, 비관련 쌍은 멀리 — “학습 시작” 버튼을 눌러 임베딩 공간에서의 변화를 확인하세요.

• 인터넷에서 수집한 대규모 이미지-텍스트 쌍 데이터셋으로 학습
• 대조 손실(contrastive loss): 관련 쌍의 유사성 최대화, 비관련 쌍의 유사성 최소화

SigLIP 2: CLIP의 후속 표준 (2025)

CLIP이 멀티모달 비전 인코더의 시작이었다면, SigLIP 2는 현재의 표준입니다.

Part 5 — BLIP-2 모델

BLIP-2 개요

BLIP-2 (Bootstrapping Language-Image Pre-training 2): Salesforce에서 개발. (2023) 각 단계 탭을 클릭하여 데이터 흐름을 확인하세요.

데모 노트북: BLIP-2 Demo.ipynb — Image Captioning, VQA, Q-Former 시각화 등을 직접 실행해볼 수 있습니다.

2단계 학습 상세

1단계: 이미지 인코더(ViT-L/14)와 Q-Former로 이미지-텍스트 정렬 학습

• 32개의 Learned Queries가 이미지에서 무엇을 추출할지 학습
• 3가지 학습 목표: Image-Text Matching / Image-Grounded Text Generation / Contrastive Learning

2단계: Q-Former 출력을 LLM에 연결하여 텍스트 생성 학습

• Q-Former와 FC 레이어만 학습 (이미지 인코더와 LLM은 frozen)

효율성

전체 3.2B 파라미터 중 190M만 학습 (6%) — 기존 모델을 재활용하여 효율적

Adapter 방식에서 Native Multimodal로 (2025~)

Native Multimodal의 장점: 정보 병목 해소, 첫 레이어부터 cross-modal 이해 가능

Part 6 — Stable Diffusion과 이미지 생성

Denoising 개념

이 원리를 역으로 이용하면, 순수한 노이즈에서 시작하여 의미 있는 이미지를 생성할 수 있습니다.
아래 데모에서 슬라이더를 움직여 denoising 과정을 단계별로 확인해보세요.

Stable Diffusion 아키텍처

프롬프트를 선택하고 “생성 시작"을 눌러 파이프라인의 각 단계를 확인하세요.

데모 노트북: Stable Diffusion Demo.ipynb — 프롬프트, 가이던스 스케일, 부정 프롬프트 등을 변경하며 이미지를 생성해볼 수 있습니다.

Autoregressive 이미지 생성 (2025)

2025년, GPT-4o가 Diffusion 없이 이미지를 생성하면서 패러다임이 전환되었습니다. “동시 생성 시작” 버튼을 눌러 두 방식의 차이를 확인하세요.

지브리풍 바이럴 사례 (2025.03)

• GPT-4o의 이미지 생성 기능 출시 직후
• 72시간 동안 1.3억 사용자가 7억장의 이미지 생성
• AI 생성 이미지의 저작권·윤리 문제가 사회적 이슈로 부각

Part 7 — 최신 트렌드와 미래 방향

MoE (Mixture of Experts)

기존 모델은 입력이 들어오면 모든 파라미터를 사용합니다.
MoE는 다릅니다. “새 입력 보내기” 버튼을 눌러 라우터가 어떤 Expert를 선택하는지 확인하세요.

Llama 4 Maverick (Meta, 2025)

“Large"를 유지하면서도 추론 비용을 크게 절감 → 로컬에서도 더 큰 모델 가능

Omni-Modal: 텍스트+이미지+오디오+비디오 통합

입력 모달리티를 선택하고 Thinker-Talker 아키텍처의 동작을 확인하세요.

Qwen2.5-Omni (Alibaba, 2025.03): Thinker-Talker 아키텍처로 텍스트를 생각하면서 동시에 말하는 구조

비디오 이해 + Grounding

모델이 “이 영상에서 사람은 어디에 있는가?“라는 질문에 대해 바운딩박스 좌표 (x1, y1, x2, y2) 로 정확한 위치를 출력합니다.
아래 데모에서 질문을 선택하여 각 프레임의 바운딩박스를 확인하세요.

활용 가능한 모델 (RTX 3090, 24GB)

윤리와 저작권

• 저작권: 학습 데이터에 포함된 이미지/텍스트의 저작권 문제
• 딥페이크: 사실적인 이미지/영상 생성으로 인한 위험
• 편향: 학습 데이터의 편향이 모델 출력에 반영
• 지브리 사례: 특정 작가/스튜디오의 스타일을 무단 복제하는 것의 윤리적 문제

Part 8 — 시연: Qwen2.5-VL 비디오 Grounding

시연 환경

데모 노트북: Qwen2.5-VL Demo.ipynb — 이미지 Grounding, 비디오 이해, 비디오 Grounding을 직접 실행해볼 수 있습니다.

시연 내용

시연 코드 구조

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

# 모델 로드
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    torch_dtype=torch.float16,
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

# 이미지 + 질문 입력
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "path/to/image.jpg"},
            {"type": "text", "text": "이 이미지에서 사람의 위치를 바운딩박스 좌표로 알려주세요."},
        ],
    }
]

# 추론
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, videos=video_inputs,
                   padding=True, return_tensors="pt").to("cuda")

output_ids = model.generate(**inputs, max_new_tokens=512)
output_text = processor.batch_decode(output_ids, skip_special_tokens=True)

핵심 관찰 포인트

• 같은 이미지라도 질문(텍스트)에 따라 다른 Grounding 결과
• 비디오 프레임 수에 따른 이해도 차이
• FP16 vs 4-bit 양자화 시 품질/속도 차이
• 한국어 질문 vs 영어 질문의 결과 차이

전체 아키텍처 진화 요약

참고 자료

• CLIP 논문: “Learning Transferable Visual Models From Natural Language Supervision” (Radford et al., 2021)
• BLIP-2 논문: “BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models” (Li et al., 2023)
• Stable Diffusion: “High-Resolution Image Synthesis with Latent Diffusion Models” (Rombach et al., 2022)
• SigLIP 2: “SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features” (Google, 2025)
• Llama 4: https://ai.meta.com/blog/llama-4-multimodal-intelligence/
• Qwen2.5-Omni: https://github.com/QwenLM/Qwen2.5-Omni
• Qwen2.5-VL: https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct
• Ollama: https://ollama.com/
• LM Studio: https://lmstudio.ai/