사고 사슬 프롬프팅

사고 사슬 (CoT) 프롬프팅은 최근에 개발된 방법입니다. LLM에게 이유에 대해서 설명하도록 만드는 방법입니다. 아래의 사진에서 퓨샷 표준 프롬프트(왼쪽)와 사고 사슬 프롬프팅(오른쪽)을 비교해 볼 수 있습니다.

CoT의 메인 아이디어는 LLM에게 답이 나오는 과정에 대해서 설명한 표본을 보여줌으로써 LLM이 프롬프트에 답할 때 똑같이 그에 대한 과정을 설명하도록 만드는 것입니다. 이유에 대한 설명은 종종 답을 더 정확하게 만듭니다.

예시

몇가지 예시가 있습니다. 먼저 GPT-3 (davinci-003)가 몇가지 간단한 단어 문제를 틀린 것을 볼 수 있습니다. 두 번째에서는 GPT-3(davinci-003)이 CoT를 통해서 같은 문제를 맞은 것을 볼 수 있습니다.

Incorrect

Correct

결과

CoT는 산술적, 상식적, 상징적 추론 과제와 같은 일들에 더 효율적으로 나은 결과를 만들어 냈다. 특히 PaLM 540B는 GSM8K에서 57%의 정확도 향상을 보였다.

제한

중요한 점은, Wei 등에 따르면, "CoT는 ∼100억 개의 파라미터를 가진 모델과 함께 사용할 때만 성능 향상을 가져옵니다". 더 작은 모델은 비논리적인 사고 사슬을 작성했고 이는 표준 프롬프트로 작성할 때 보다 더 부정확했습니다. 모델들은 보통 모델의 크기에 비례하는 방식으로 CoT프롬프트에 따른 성능 향상을 보였습니다.

참고

이 챕터를 작성하는 과정에서 어떤 언어 모델도 다치지 않았답니다😊.