๋ณธ๋ฌธ์œผ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

๐ŸŸข ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…

negativeA Few Shot PromptModel OutputExample 1Example 2More examples...Your inputExampleGreat product, 10/10: positiveDidn't work very well: negativeSuper helpful, worth it: positiveIt doesnt work!:

๋˜ ๋‹ค๋ฅธ ํ”„๋กฌํ”„ํŠธ ์ „๋žต์€ ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ… (few shot prompting)12์œผ๋กœ, ๊ธฐ๋ณธ์ ์œผ๋กœ ๋ชจ๋ธ์— ์›ํ•˜๋Š” ์ž‘์—…์˜ ๋ช‡ ๊ฐ€์ง€ ์˜ˆ์‹œ(๋ณดํ†ต ์ค„์—ฌ์„œ shot์ด๋ผ๊ณ  ํ•จ)๋ฅผ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

์œ„์˜ ์˜ˆ์ œ์—์„œ ์šฐ๋ฆฌ๋Š” ๊ณ ๊ฐ์˜ ํ”ผ๋“œ๋ฐฑ์ด ๊ธ์ •์ ์ธ์ง€ ๋ถ€์ •์ ์ธ์ง€ ๊ตฌ๋ถ„ํ•˜๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋Š” ๋ชจ๋ธ์—๊ฒŒ ๊ธ์ /๋ถ€์ •์˜ 3๊ฐ€์ง€ ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ–ˆ๊ณ  ๊ทธ๋ฆฌ๊ณ  ์•„์ง ๊ตฌ๋ถ„๋˜์ง€ ์•Š์€ ํ”ผ๋“œ๋ฐฑ์„ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค(It doesnt work!:๊ณผ ํ•จ๊ป˜). ๋ชจ๋ธ์€ ๋จผ์ € ๊ธ์ •๊ณผ ๋ถ€์ •์œผ๋กœ ๊ตฌ๋ถ„๋˜์–ด ์žˆ๋Š” 3๊ฐ€์ง€ ์˜ˆ์ œ๋ฅผ ๋ณด๊ณ  ์ด ์ •๋ณด๋ฅผ ์ด์šฉํ•ด์„œ ์ฃผ์–ด์ง„ ์ƒˆ๋กœ์šด ์˜ˆ์ œ๋ฅผ ๋ถ€์ •์œผ๋กœ ๊ตฌ๋ถ„ํ–ˆ์Šต๋‹ˆ๋‹ค.

์˜ˆ์ œ๋ฅผ ๊ตฌ์กฐํ™”ํ•˜๋Š” ๊ฒƒ์€ ์ƒ๋‹นํžˆ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. input: classification์„ ํ†ตํ•ด์„œ 3๊ฐœ์˜ ์˜ˆ์ œ๋ฅผ ๊ตฌ์กฐํ™” ํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— ๋ชจ๋ธ์€ this review is positive์™€ ๊ฐ™์€ ๋ฌธ์žฅ ์ „์ฒด๋กœ ๋‹ต๋ณ€ํ•˜๋Š” ๊ฒŒ ์•„๋‹ˆ๋ผ ๋งˆ์ง€๋ง‰ ๋ผ์ธ์— ํ•œ ๊ฐœ์˜ ๋‹จ์–ด๋กœ ๋‹ต๋ณ€ํ•˜๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.


๋…ธํŠธ

๊ฐ ์ž…๋ ฅ-์ถœ๋ ฅ ์Œ์€ exemplar๋ผ๊ณ  ๋ถˆ๋ฆฝ๋‹ˆ๋‹ค.

๊ตฌ์กฐ์— ๋Œ€ํ•ด ๋” ์•Œ์•„๋ณด๊ธฐโ€‹

ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…์˜ ์ฃผ์š” ์‚ฌ์šฉ์ฒ˜๋Š” ๋ชจ๋ธ์—๊ฒŒ ์„ค๋ช…ํ•˜๊ธฐ ์–ด๋ ค์šด ํŠน๋ณ„ํ•œ ๋ฐฉ๋ฒ•์œผ๋กœ ๊ตฌ์กฐํ™”๋œ ์ถœ๋ ฅ์„ ์š”๊ตฌํ•  ๋•Œ์ž…๋‹ˆ๋‹ค. ์ด๊ฒƒ์„ ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•ด์„œ ๊ด€๋ จ๋œ ์˜ˆ์ œ๋ฅผ ์•Œ์•„๋ด…์‹œ๋‹ค: ์ง€์—ญ ์‹ ๋ฌธ ๊ธฐ์‚ฌ๋ฅผ ๋ถ„์„ํ•˜์—ฌ ์ธ๊ทผ ๋งˆ์„์—์„œ ์ž˜ ์•Œ๋ ค์ง„ ์‹œ๋ฏผ์˜ ์ด๋ฆ„๊ณผ ์ง์—…์„ ํŽธ์ง‘ํ•ด์•ผ ํ•œ๋‹ค๊ณ  ๊ฐ€์ •ํ•ฉ์‹œ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„์€ ๋ชจ๋ธ์—๊ฒŒ ๊ฐ ๊ธฐ์‚ฌ๋ฅผ ์ฝ๊ณ  ๊ทธ๋ฆฌ๊ณ  First Last [OCCUPATION] ํฌ๋งท์˜ ๋ฆฌ์ŠคํŠธ๋ฅผ ์ถœ๋ ฅํ•˜๋„๋ก ํ•ด์•ผํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•ด์„œ ์—ฌ๋Ÿฌ๋ถ„์€ ๋ชจ๋ธ์— ๋ช‡๊ฐ€์ง€ ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค:

๋ชจ๋ธ์—๊ฒŒ ๋ช‡๊ฐ€์ง€ ์ •ํ™•ํ•œ ์ถœ๋ ฅ ํฌ๋ฉง์„ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์œผ๋กœ, ์ƒˆ๋กœ์šด ๊ธ€์—์„œ๋„ ์ •ํ™•ํ•œ ์ถœ๋ ฅ์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋…ธํŠธ

๊ทธ๋ƒฅ ๋ช…๋ น ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ†ตํ•ด์„œ๋„ ๊ฐ™์€ ์ถœ๋ ฅ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์ง€๋งŒ ํ“จ์ƒท ํ”„๋กฌํ”„ํŠธ๋Š” ๋” ์ผ๊ด€์„ฑ์žˆ๋Š” ์ถœ๋ ฅ์„ ์ œ๊ณตํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋‹ค์–‘ํ•œ ํ“จ์ƒท ํ”„๋กฌํ”„ํŠธโ€‹

"์ƒท"(shot)์€ "์˜ˆ์ œ"์™€ ๊ฐ™์€ ๋œป์ž…๋‹ˆ๋‹ค. ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ… ์™ธ์— ๋‘ ๊ฐ€์ง€ ์ข…๋ฅ˜์˜ ์ƒท ํ”„๋กฌํ”„ํŒ…์ด ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. ์ด๊ฒƒ์„ ๋„ˆ๋ฌด ์–ด๋ ต๊ฒŒ ์ƒ๊ฐํ•˜์ง€ ๋งˆ์‹ญ์ง€์˜ค! ์ด ์ข…๋ฅ˜๋“ค ์‚ฌ์ด์— ๋‹ค๋ฅธ ๊ฒƒ์ด๋ผ๊ณ ๋Š” ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ฐœ์ˆ˜๋ฐ–์— ์—†์Šต๋‹ˆ๋‹ค.

์ข…๋ฅ˜:

  • ์ œ๋กœ ์ƒท(0 shot) ํ”„๋กฌํ”„ํŒ…: ๋ชจ๋ธ์—๊ฒŒ ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ•˜์ง€ ์•Š์Œ
  • ์› ์ƒท(1 shot) ํ”„๋กฌํ”„ํŒ…: ๋ชจ๋ธ์—๊ฒŒ ํ•œ ๊ฐœ์˜ ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ•จ
  • ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…: ๋ชจ๋ธ์—๊ฒŒ 2๊ฐœ ์ด์ƒ์˜ ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ•จ

์ œ๋กœ ์ƒท(0-shot) ํ”„๋กฌํ”„ํŒ…โ€‹

์ œ๋กœ ์ƒท ํ”„๋กฌํ”„ํŒ…์€ ๊ฐ€์žฅ ๊ธฐ๋ณธ์ ์ธ ํ”„๋กฌํ”„ํŒ…์ž…๋‹ˆ๋‹ค. ์˜ˆ์‹œ ์—†๋Š” ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋ชจ๋ธ์— ์ œ๊ณตํ•ด์„œ ๊ฒฐ๊ณผ๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ์ด์™€ ๊ฐ™์ด, ์ง€๊ธˆ๊นŒ์ง€ ๋ดค๋˜ ๋ชจ๋“  ๋ช…๋ น์ด๋‚˜ ์—ญํ•  ํ”„๋กฌํ”„ํŠธ๋Š” ์ œ๋กœ ์ƒท ํ”„๋กฌํ”„ํŠธ๋ผ๊ณ  ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ถ”๊ฐ€์ ์œผ๋กœ ์ œ๋กœ ์ƒท ํ”„๋กฌํ”„ํŠธ์˜ ์˜ˆ์‹œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค:

Add 2+2:

๋ชจ๋ธ์—๊ฒŒ ์–ด๋–ค ์˜ˆ์ œ๋„ ์ œ๊ณตํ•˜์ง€ ์•Š์•˜๊ธฐ ๋•Œ๋ฌธ์— ์ œ๋กœ ์ƒท ํ”„๋กฌํ”„ํŠธ์ž…๋‹ˆ๋‹ค.

์› ์ƒท(1-shot) ํ”„๋กฌํ”„ํŠธโ€‹

์› ์ƒท(1-shot) ํ”„๋กฌํ”„ํŠธ๋Š” ๋ชจ๋ธ์—๊ฒŒ 1๊ฐœ์˜ ์˜ˆ์‹œ๋งŒ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. Add 2+2:์„ ๋ฌผ์–ด๋ณด๊ณ  ์‹ถ์„ ๋–„:

Add 3+3: 6
Add 2+2:

์šฐ๋ฆฌ๋Š” ๋ชจ๋ธ์— ํ•˜๋‚˜์˜ ์™„์„ฑ๋œ ์˜ˆ์‹œ(Add 3+3: 6)๋ฅผ ์ œ๊ณต์Šต๋‹ˆ๋‹ค. ๊ทธ๋ ‡๊ธฐ ๋–„๋ฌธ์— ์› ์ƒท(1-shot) ํ”„๋กฌํ”„ํŠธ์ž…๋‹ˆ๋‹ค.

ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…โ€‹

ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…์€ 2๊ฐœ ์ด์ƒ์˜ ์˜ˆ์ œ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์œ„์˜ ์„น์…˜์˜ ๋ชจ๋“  ํ”„๋กฌํ”„ํŠธ๋Š” ํ“จ์ƒท ํ”„๋กฌํ”„ํŠธ์˜€์Šต๋‹ˆ๋‹ค. ์œ„ ์˜ˆ์ œ์˜ ํ“จ์ƒท ํ”„๋กฌํ”„ํŠธ ๋ฒ„์ „์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค:

Add 3+3: 6
Add 5+5: 10
Add 2+2:

๋ชจ๋ธ์— ๋‘ ๊ฐœ์˜ ์™„์„ฑ๋œ ์˜ˆ์ œ(Add 3+3: 6 and Add 5+5: 10)๋ฅผ ์ œ๊ณตํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ณดํ†ต ๋” ๋งŽ์€ ์˜ˆ์‹œ๊ฐ€ ๋ชจ๋ธ์—๊ฒŒ ์ œ๊ณต๋˜๋ฉด ๋” ๋‚˜์€ ๊ฒฐ๊ณผ๊ฐ€ ์ถœ๋ ฅ๋ฉ๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ๋ณดํ†ต ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…์ด ์ œ๋กœ ์ƒท ํ”„๋กฌํ”„ํŒ…์ด๋‚˜ 1์ƒท ํ”„๋กฌํ”„ํŒ…๋ณด๋‹ค ์„ ํ˜ธ๋ฉ๋‹ˆ๋‹ค.

๊ฒฐ๋ก โ€‹

ํ“จ์ƒท ํ”„๋กฌํ”„ํŒ…(Few-shot prompting)์€ ๋ชจ๋ธ์—๊ฒŒ ์ •ํ™•ํ•˜๊ณ  ๊ตฌ์กฐํ™”๋œ ์ถœ๋ ฅ์„ ์ƒ์„ฑํ•˜๊ฒŒ ํ•˜๋Š” ์•„์ฃผ ๊ฐ•๋ ฅํ•œ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.


  1. Logan IV, R., Balazevic, I., Wallace, E., Petroni, F., Singh, S., & Riedel, S. (2022). Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models. Findings of the Association for Computational Linguistics: ACL 2022, 2824โ€“2835. https://doi.org/10.18653/v1/2022.findings-acl.222 โ†ฉ
  2. Lake, B. M., Salakhutdinov, R., & Tenenbaum, J. B. (2015). Human-level concept learning through probabilistic program induction. Science, 350(6266), 1332โ€“1338. โ†ฉ