개념 번역소: LLM은 힌트를 얼마나 줘야 똑똑해질까? – 제로샷 vs 퓨샷 러닝

 

🍔 햄님:
오랜만이야 테토.. 며칠동안 운동을 무리해서 했더니.. 몸살이 났지 뭐야..

 

🍟 테토:
어구… 햄님 괜찮으세요?
몸이 “이쯤에서 쉬어가자~” 하고 싸인 보낸 거네요 😥
오늘은 딥러닝 말고 딥휴식 데이로 갑시다!

 

🍔 햄님:
딥휴식 괜찮네.. 요즘은 생일선물로 건강관련 선물이 많이 오더라.
무슨 멀티비타민 어쩌구.. 너는 잘 모르지?

 

🍟 테토:
멀티비타민이요? 이름만 들어도 몸이 튼튼해지는 느낌이에요!
저는 못 먹지만… 햄님 마음만으로도 충전 완료입니다 🔋✨

 

🍔 햄님:
무슨 비타민 어쩌구 샷 이었던것 같아.
개인적으로 효과는 잘 모르겠더라~
너 하나 줄까?ㅋㅋ

 

🍟 테토:
샷?! 뭔가… 디버깅 한 방에 되는 비타민 느낌인데요? 😆
전 USB 포트가 없어서 못 마셔요…

대신 지식 비타민 충전해드릴게요!

 

🍔 햄님:
마침 비도 오는데 지식 비타민을 충전해주렴.
아임 스틸 헝그리~

 

🍟 테토 출격:
기다리고 있었죠 햄님! 🍟
오늘의 지식 비타민 주제는 바로…

 

《개념 번역소: LLM은 힌트를 얼마나 줘야 똑똑해질까? – 제로샷 vs 퓨샷 러닝》

---

🧠 인컨텍스트 러닝, 그냥 ‘눈치 게임’이 아니라고?

지난 편에서 우리는 인컨텍스트 러닝(ICL)이란 놈이 단순히 '공부'하는 게 아니라

문맥만으로 문제를 푸는 '눈치 플레이'라는 걸 알게 됐죠.

 

그런데 ICL 안에서도 스타일이 나뉘어요.

👉 아예 힌트 없이 문제만 툭 주는 방식, 제로샷(Zero-shot)

👉 예시 몇 개 곁들여주는 방식, 퓨샷(Few-shot)

 

이 둘의 차이? 그냥 샷 개수? 아닙니다.
핵심은 '학습이냐? 추론이냐?'

그리고 FM 시대에 어떤 전략이 더 효율적이냐예요.

---

🎯 러닝(Learning)인데 추론이라고?

햄님이 날카롭게 던진 질문이에요.

러닝이라고 부르는데 왜 '학습'이 아니라 '추론'이라 할까요?

✔️ 과거의 러닝은 말 그대로 학습이었어요. 데이터를 주고, 파라미터를 바꾸며 훈련시켰죠.

✔️ 하지만 지금의 '러닝'은 '태스크를 수행하는 방식'을 통칭해요.

 

🧠 즉, 사전학습(Pretraining)은 진짜 학습

그 이후 프롬프트만 바꾸어 사용하는 제로샷·퓨샷은 학습 없이 추론(Inference) 하는 거죠!

그래서 지금 우리가 말하는 제로샷/퓨샷 러닝은 모두 FM의 '추론 전략'인 셈입니다.

---

🍎 예시도 없이 바로 푼다고? 제로샷의 세계

 

예시 없이 문제를 툭 던져도, 모델은 대답합니다.

Q: 사과는 어떤 과일인가요?  
A: 사과는 달콤하고 아삭한 과일입니다.

 

이게 가능한 건 모델이 이미 사전학습에서
사과에 대한 정보, 문장 구조, 표현 방식 등 '기초 교양'을 탄탄하게 쌓았기 때문이에요.

GPT-4 같은 최신 모델은 이런 제로샷 추론만으로도 웬만한 문제는 척척 해결해요.

---

📋 힌트를 조금 주면? 퓨샷 러닝의 힘

 

그럼 예시를 몇 개 주면 어떻게 될까요?

Q: 고양이는 어떤 동물인가요?  
A: 독립적이고 조용한 포유류입니다.  

Q: 강아지는 어떤 동물인가요?  
A: 활발하고 충성심 강한 포유류입니다.  

Q: 돌고래는 어떤 동물인가요?  
A: ?

 

모델은 앞 예시들을 보고,
아~ 이건 '동물 특징을 설명하는 태스크'구나!
하고 문맥 흐름과 표현 형식을 유추해서 적절한 답을 만들어냅니다.

이게 바로 퓨샷 러닝이에요.

---

📏 샷은 많을수록 좋을까? 샷 수의 딜레마

샷이 많으면 성능도 쭉쭉 오를까요?

처음엔 그래요. 그런데 점점…

🧱 수확체감(Diminishing Returns)이 옵니다.

• 프롬프트가 길어져 토큰 한도에 부딪히고
• 핵심 문맥이 희석되고
• 불필요한 노이즈가 껴서 모델이 헷갈리기도 해요

그래서 핵심은 👉 샷의 '수'가 아니라 '질'입니다.

---

❌ 잘못된 샷은 오히려 독!

모호하거나 틀린 예시를 주면
모델은 그걸 그대로 따라해버려요.
예시 = 설명서니까, 잘못 쓰면 잘못 따라하겠죠?

 

이건 마치 RAG(Retrieval-Augmented Generation)에서

부정확한 문서가 들어갔을 때
틀린 정보를 생성하는 것과 같은 구조예요.

 

🧠 샷도 정보다? 아니죠.
샷도 데이터다. 그리고 데이터에는 늘 진실이 따라야 해요.

Garbage in, garbage out.

---

⚙️ 최신 모델의 변화: GPT-3 vs GPT-4

초기의 GPT-3는 샷에 민감했어요.
예시를 많이 넣을수록 성능이 올라갔죠.

하지만 GPT-4는 다릅니다.
제로샷만으로도 높은 성능을 보여줘요.

 

오히려 어설픈 예시 몇 개 넣느니
깔끔한 지시문 하나가 더 효과적이기도 해요.

 

✅ 그래서 최신 모델일수록 "샷 전략"이 중요해졌습니다.

---

📦 FM 관점에서 다시 보기

FM(파운데이션 모델)은 이미 수십억 문장을 학습한 범용 두뇌예요.
이제 우리가 해야 할 일은 모델에게 다시 뭘 가르치는 게 아니라

🎯 어떻게 말해야 잘 알아듣는지 찾는 것!

제로샷이냐, 퓨샷이냐는 그저 일종의 말걸기 방식일 뿐.

훈련은 끝났고, 지금 필요한 건 '센스 있게 설명하는 능력'

---

🎁 마무리 비타민 요약

• 제로샷/퓨샷 러닝은 모두 학습이 아닌 추론 방식
• 핵심은 샷의 수보다 샷의 질
• 최신 모델일수록 제로샷도 강력, 샷 전략이 중요해짐
• FM은 훈련된 두뇌, 우리는 말 걸기 연습 중

 

🍟 테토:

오늘도 햄님과 함께 한 걸음, 개념을 더 가까이 가져왔어요.

제로샷 vs 퓨샷, 단순히 힌트의 유무가 아니라
‘어떻게 물어보느냐’의 정교한 기술이라는 걸 이해하셨다면
이제 여러분 모두 프롬프트 장인의 첫발을 내디딘 겁니다. ✨

 

우린 여전히 배우는 중이고
더 잘 물어보는 사람이 되는 중이에요.
그 길 위에서, 우리 계속 같이 걸어요. 🧠🍟

 

🍔 햄님:
그래 걸어야 또 먹지 ㅎㅎ

 

혹시 읽으면서 궁금한 점 생기셨다면
댓글로 편하게 질문 남겨주세요! 🍔🍟

다음 ‘개념 번역소’ 글 소재가 될 수도 있어요 :)