๐ข ํจ์ท ํ๋กฌํํ
๋ ๋ค๋ฅธ ํ๋กฌํํธ ์ ๋ต์ ํจ์ท ํ๋กฌํํ (few shot prompting)12์ผ๋ก, ๊ธฐ๋ณธ์ ์ผ๋ก ๋ชจ๋ธ์ ์ํ๋ ์์ ์ ๋ช ๊ฐ์ง ์์(๋ณดํต ์ค์ฌ์ shot์ด๋ผ๊ณ ํจ)๋ฅผ ์ ์ํฉ๋๋ค.
์์ ์์ ์์ ์ฐ๋ฆฌ๋ ๊ณ ๊ฐ์ ํผ๋๋ฐฑ์ด ๊ธ์ ์ ์ธ์ง ๋ถ์ ์ ์ธ์ง ๊ตฌ๋ถํ๋ ค๊ณ ํฉ๋๋ค. ์ฐ๋ฆฌ๋ ๋ชจ๋ธ์๊ฒ ๊ธ์ /๋ถ์ ์ 3๊ฐ์ง ์์ ๋ฅผ ์ ๊ณตํ๊ณ ๊ทธ๋ฆฌ๊ณ ์์ง ๊ตฌ๋ถ๋์ง ์์ ํผ๋๋ฐฑ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค(It doesnt work!:
๊ณผ ํจ๊ป). ๋ชจ๋ธ์ ๋จผ์ ๊ธ์
๊ณผ ๋ถ์
์ผ๋ก ๊ตฌ๋ถ๋์ด ์๋ 3๊ฐ์ง ์์ ๋ฅผ ๋ณด๊ณ ์ด ์ ๋ณด๋ฅผ ์ด์ฉํด์ ์ฃผ์ด์ง ์๋ก์ด ์์ ๋ฅผ ๋ถ์
์ผ๋ก ๊ตฌ๋ถํ์ต๋๋ค.
์์ ๋ฅผ ๊ตฌ์กฐํํ๋ ๊ฒ์ ์๋นํ ์ค์ํฉ๋๋ค. input: classification
์ ํตํด์ 3๊ฐ์ ์์ ๋ฅผ ๊ตฌ์กฐํ ํ๊ธฐ ๋๋ฌธ์ ๋ชจ๋ธ์ this review is positive
์ ๊ฐ์ ๋ฌธ์ฅ ์ ์ฒด๋ก ๋ต๋ณํ๋ ๊ฒ ์๋๋ผ ๋ง์ง๋ง ๋ผ์ธ์ ํ ๊ฐ์ ๋จ์ด๋ก ๋ต๋ณํ๊ฒ ๋์์ต๋๋ค.
๊ฐ ์ ๋ ฅ-์ถ๋ ฅ ์์ exemplar๋ผ๊ณ ๋ถ๋ฆฝ๋๋ค.
๊ตฌ์กฐ์ ๋ํด ๋ ์์๋ณด๊ธฐโ
ํจ์ท ํ๋กฌํํ
์ ์ฃผ์ ์ฌ์ฉ์ฒ๋ ๋ชจ๋ธ์๊ฒ ์ค๋ช
ํ๊ธฐ ์ด๋ ค์ด ํน๋ณํ ๋ฐฉ๋ฒ์ผ๋ก ๊ตฌ์กฐํ๋ ์ถ๋ ฅ์ ์๊ตฌํ ๋์
๋๋ค. ์ด๊ฒ์ ์ดํดํ๊ธฐ ์ํด์ ๊ด๋ จ๋ ์์ ๋ฅผ ์์๋ด
์๋ค: ์ง์ญ ์ ๋ฌธ ๊ธฐ์ฌ๋ฅผ ๋ถ์ํ์ฌ ์ธ๊ทผ ๋ง์์์ ์ ์๋ ค์ง ์๋ฏผ์ ์ด๋ฆ๊ณผ ์ง์
์ ํธ์งํด์ผ ํ๋ค๊ณ ๊ฐ์ ํฉ์๋ค. ์ฌ๋ฌ๋ถ์ ๋ชจ๋ธ์๊ฒ ๊ฐ ๊ธฐ์ฌ๋ฅผ ์ฝ๊ณ ๊ทธ๋ฆฌ๊ณ First Last [OCCUPATION]
ํฌ๋งท์ ๋ฆฌ์คํธ๋ฅผ ์ถ๋ ฅํ๋๋ก ํด์ผํฉ๋๋ค. ์ด๋ฅผ ์คํํ๊ธฐ ์ํด์ ์ฌ๋ฌ๋ถ์ ๋ชจ๋ธ์ ๋ช๊ฐ์ง ์์ ๋ฅผ ์ ๊ณตํ ์ ์์ ๊ฒ์
๋๋ค:
๋ชจ๋ธ์๊ฒ ๋ช๊ฐ์ง ์ ํํ ์ถ๋ ฅ ํฌ๋ฉง์ ์ ๊ณตํ๋ ๊ฒ์ผ๋ก, ์๋ก์ด ๊ธ์์๋ ์ ํํ ์ถ๋ ฅ์ ์ ๊ณตํ ์ ์์ ๊ฒ์ ๋๋ค.
๊ทธ๋ฅ ๋ช ๋ น ํ๋กฌํํธ๋ฅผ ํตํด์๋ ๊ฐ์ ์ถ๋ ฅ์ ๋ง๋ค ์ ์์ง๋ง ํจ์ท ํ๋กฌํํธ๋ ๋ ์ผ๊ด์ฑ์๋ ์ถ๋ ฅ์ ์ ๊ณตํ ๊ฒ์ ๋๋ค.
๋ค์ํ ํจ์ท ํ๋กฌํํธโ
"์ท"(shot)์ "์์ "์ ๊ฐ์ ๋ป์ ๋๋ค. ํจ์ท ํ๋กฌํํ ์ธ์ ๋ ๊ฐ์ง ์ข ๋ฅ์ ์ท ํ๋กฌํํ ์ด ์กด์ฌํฉ๋๋ค. ์ด๊ฒ์ ๋๋ฌด ์ด๋ ต๊ฒ ์๊ฐํ์ง ๋ง์ญ์ง์ค! ์ด ์ข ๋ฅ๋ค ์ฌ์ด์ ๋ค๋ฅธ ๊ฒ์ด๋ผ๊ณ ๋ ์์ ๋ฅผ ์ ๊ณตํ๋ ๊ฐ์๋ฐ์ ์์ต๋๋ค.
์ข ๋ฅ:
- ์ ๋ก ์ท(0 shot) ํ๋กฌํํ : ๋ชจ๋ธ์๊ฒ ์์ ๋ฅผ ์ ๊ณตํ์ง ์์
- ์ ์ท(1 shot) ํ๋กฌํํ : ๋ชจ๋ธ์๊ฒ ํ ๊ฐ์ ์์ ๋ฅผ ์ ๊ณตํจ
- ํจ์ท ํ๋กฌํํ : ๋ชจ๋ธ์๊ฒ 2๊ฐ ์ด์์ ์์ ๋ฅผ ์ ๊ณตํจ
์ ๋ก ์ท(0-shot) ํ๋กฌํํ โ
์ ๋ก ์ท ํ๋กฌํํ ์ ๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ ํ๋กฌํํ ์ ๋๋ค. ์์ ์๋ ํ๋กฌํํธ๋ฅผ ๋ชจ๋ธ์ ์ ๊ณตํด์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํฉ๋๋ค. ์ด์ ๊ฐ์ด, ์ง๊ธ๊น์ง ๋ดค๋ ๋ชจ๋ ๋ช ๋ น์ด๋ ์ญํ ํ๋กฌํํธ๋ ์ ๋ก ์ท ํ๋กฌํํธ๋ผ๊ณ ๋ณผ ์ ์์ต๋๋ค. ์ถ๊ฐ์ ์ผ๋ก ์ ๋ก ์ท ํ๋กฌํํธ์ ์์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
Add 2+2:
๋ชจ๋ธ์๊ฒ ์ด๋ค ์์ ๋ ์ ๊ณตํ์ง ์์๊ธฐ ๋๋ฌธ์ ์ ๋ก ์ท ํ๋กฌํํธ์ ๋๋ค.
์ ์ท(1-shot) ํ๋กฌํํธโ
์ ์ท(1-shot) ํ๋กฌํํธ๋ ๋ชจ๋ธ์๊ฒ 1๊ฐ์ ์์๋ง ์ ๊ณตํฉ๋๋ค. Add 2+2:
์ ๋ฌผ์ด๋ณด๊ณ ์ถ์ ๋:
Add 3+3: 6
Add 2+2:
์ฐ๋ฆฌ๋ ๋ชจ๋ธ์ ํ๋์ ์์ฑ๋ ์์(Add 3+3: 6
)๋ฅผ ์ ๊ณต์ต๋๋ค. ๊ทธ๋ ๊ธฐ ๋๋ฌธ์ ์ ์ท(1-shot) ํ๋กฌํํธ์
๋๋ค.
ํจ์ท ํ๋กฌํํ โ
ํจ์ท ํ๋กฌํํ ์ 2๊ฐ ์ด์์ ์์ ๋ฅผ ์ ๊ณตํฉ๋๋ค. ์์ ์น์ ์ ๋ชจ๋ ํ๋กฌํํธ๋ ํจ์ท ํ๋กฌํํธ์์ต๋๋ค. ์ ์์ ์ ํจ์ท ํ๋กฌํํธ ๋ฒ์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
Add 3+3: 6
Add 5+5: 10
Add 2+2:
๋ชจ๋ธ์ ๋ ๊ฐ์ ์์ฑ๋ ์์ (Add 3+3: 6
and Add 5+5: 10
)๋ฅผ ์ ๊ณตํ์ต๋๋ค. ๋ณดํต ๋ ๋ง์ ์์๊ฐ ๋ชจ๋ธ์๊ฒ ์ ๊ณต๋๋ฉด ๋ ๋์ ๊ฒฐ๊ณผ๊ฐ ์ถ๋ ฅ๋ฉ๋๋ค. ๊ทธ๋์ ๋ณดํต ํจ์ท ํ๋กฌํํ
์ด ์ ๋ก ์ท ํ๋กฌํํ
์ด๋ 1์ท ํ๋กฌํํ
๋ณด๋ค ์ ํธ๋ฉ๋๋ค.
๊ฒฐ๋ก โ
ํจ์ท ํ๋กฌํํ (Few-shot prompting)์ ๋ชจ๋ธ์๊ฒ ์ ํํ๊ณ ๊ตฌ์กฐํ๋ ์ถ๋ ฅ์ ์์ฑํ๊ฒ ํ๋ ์์ฃผ ๊ฐ๋ ฅํ ๊ธฐ์ ์ ๋๋ค.
- Logan IV, R., Balazevic, I., Wallace, E., Petroni, F., Singh, S., & Riedel, S. (2022). Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models. Findings of the Association for Computational Linguistics: ACL 2022, 2824โ2835. https://doi.org/10.18653/v1/2022.findings-acl.222 โฉ
- Lake, B. M., Salakhutdinov, R., & Tenenbaum, J. B. (2015). Human-level concept learning through probabilistic program induction. Science, 350(6266), 1332โ1338. โฉ