파인튜닝 방법 완전정복 - 전체 파인튜닝, LoRA, QLoRA 비교 🧠

언어 모델(LLM)을 더 효과적으로 활용하고 싶으신가요? 파인튜닝은 기존 모델을 여러분의 필요에 맞게 조정하는 핵심 기술입니다. 하지만 어떤 방법을 선택해야 할까요?
여러분이 맞춤옷을 만드는 과정으로 생각해보세요.

• 전체 파인튜닝은 옷 전체를 처음부터 다시 만드는 것
• LoRA는 기존 옷에 작은 패치를 붙이는 것
• QLoRA는 가볍고 저렴한 소재로 패치를 만들어 붙이는 것

왜 필요한가?

파인튜닝 방법이 해결하는 문제들은 다음과 같습니다:

1. 컴퓨팅 자원 제한: 대형 언어 모델은 수십억 개의 매개변수를 가지고 있어 일반 소비자 하드웨어로 훈련하기 어렵습니다.
2. 시간 효율성: 전체 모델을 훈련하는 것은 시간이 많이 소요됩니다.
3. 저장 공간: 파인튜닝된 모델 저장에 필요한 공간이 크게 차이납니다.
4. 연구 접근성: 고가의 GPU가 없는 연구자들도 모델 개선 연구를 할 수 있어야 합니다.

기본 원리

파인튜닝 방법의 핵심 원리를 알아볼까요?

전체 파인튜닝 (Full Finetuning)

모델의 모든 매개변수를 업데이트하는 전통적인 방법입니다.

# PyTorch를 사용한 전체 파인튜닝 예시
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b")
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-5)

# 모든 매개변수가 훈련 가능
for param in model.parameters():
    param.requires_grad = True

LoRA (Low-Rank Adaptation)

저차원 행렬 분해를 사용하여 적응 매개변수를 효율적으로 학습합니다.

# PEFT 라이브러리를 사용한 LoRA 예시
from peft import get_peft_model, LoraConfig

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b")
lora_config = LoraConfig(
    r=8,                     # 저차원 행렬의 랭크
    lora_alpha=32,           # LoRA 스케일링 계수
    target_modules=["q_proj", "v_proj"], # LoRA를 적용할 모듈
    lora_dropout=0.05,       # 드롭아웃 비율
    bias="none"
)
model = get_peft_model(model, lora_config)

QLoRA (Quantized LoRA)

기본 모델을 양자화하여 메모리 사용을 획기적으로 줄이는 방법입니다.

# QLoRA 구현 예시
import bitsandbytes as bnb
from peft import get_peft_model, LoraConfig

# 4비트 양자화로 모델 로드
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b",
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.float16,
        bnb_4bit_quant_type="nf4"
    )
)

# LoRA 설정 및 적용
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)

실제 예제

대기업과 연구소는 대규모 컴퓨팅 자원으로 전체 파인튜닝을 활용할 수 있지만, 개인 연구자나 소규모 조직은 LoRA나 QLoRA를 선호합니다.

기본 사용법

LLaMA Factory와 같은 도구를 사용하면 쉽게 다양한 파인튜닝 방법을 적용할 수 있습니다:

# 전체 파인튜닝 (16비트)
llamafactory-cli train examples/train_full/llama3_full_sft.yaml

# LoRA 파인튜닝
llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

# QLoRA 파인튜닝
llamafactory-cli train examples/train_qlora/llama3_qlora_sft.yaml

다음은 표로 정리한 메모리 요구사항 비교입니다:

파인튜닝 방법	정밀도	장점	단점	7B 모델 VRAM 요구사항
전체 파인튜닝	16비트	최상의 성능, 모든 매개변수 최적화	높은 메모리 요구사항, 긴 훈련 시간	~40GB
LoRA	16비트	적은 매개변수, 빠른 학습, 작은 어댑터 파일	일부 성능 제한 가능성	~16GB
QLoRA	4비트	매우 낮은 메모리 요구사항, 소비자 GPU 사용 가능	약간의 성능 손실 가능성	~6GB

주의사항 및 팁 💡

⚠️ 이것만은 주의하세요!

1. 하이퍼파라미터 민감성
   • LoRA와 QLoRA의 성능은 rank(r)와 alpha 값에 크게 영향 받습니다.
2. 타겟 모듈 선택
   • 모든 선형 레이어에 LoRA를 적용하면 성능이 향상되지만 메모리 사용량도 증가합니다.
   • 어텐션 레이어의 쿼리(q_proj)와 값(v_proj)만 타겟팅하면 효율적입니다.
3. 양자화 손실
   • QLoRA에서는 NF4 양자화 방식이 일반적으로 더 나은 성능을 보입니다.
   • 다중 GPU를 사용할 수 있다면 LoRA가 QLoRA보다 성능이 좋을 수 있습니다.

💡 꿀팁

• 작은 데이터셋으로는 QLoRA가 전체 파인튜닝과 거의 동등한 성능을 보입니다.
• 대규모 데이터셋에서는 LoRA rank를 128 이상으로 높이면 전체 파인튜닝에 가까운 성능을 얻을 수 있습니다.
• 시퀀스 길이가 길수록 메모리 사용량이 크게 증가하므로 batch 크기 조정이 필요합니다.
• 8비트 양자화는 속도와 메모리 측면에서 이점이 적어 4비트 QLoRA를 선호하는 것이 좋습니다.

마치며

지금까지 언어 모델의 세 가지 주요 파인튜닝 방법에 대해 알아보았습니다. 각 방법은 자원 요구사항과 성능에서 뚜렷한 차이를 보입니다. 처음에는 이러한 개념이 어렵게 느껴질 수 있지만, 실제로 적용해 보면 특정 상황에 가장 적합한 방법을 선택하는 것이 중요함을 알게 될 것입니다.

여러분의 환경과 목표에 맞는 파인튜닝 방법을 선택하세요:

• 고성능 하드웨어가 있고 최고 성능이 필요하다면: 전체 파인튜닝
• 적절한 GPU가 있고 효율성과 성능의 균형이 필요하다면: LoRA
• 제한된 리소스로 파인튜닝을 시도하고 싶다면: QLoRA

혹시 궁금한 점이 있으시거나, 더 알고 싶은 내용이 있으시면 댓글로 남겨주세요.

참고 자료 🔖

• LLaMA Factory 문서: https://github.com/hiyouga/LLaMA-Factory
• QLoRA 논문: https://arxiv.org/abs/2305.14314
• LoRA 논문: https://arxiv.org/abs/2106.09685

---

#파인튜닝 #LoRA #QLoRA #대규모언어모델 #효율적학습