SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHTREASONING IN LANGUAGE MODELS

📍 Abstract

 

이 논문에서는 새로운 디코딩 전략인 self-consistency를 제안한다. greedy decoding에서의 하나의 reasoning path를 찾는 대신, 여러개의 다양한 reasoning paths를 샘플링하고, 그 후 "marginalize out"하여 결과값을 도출한다. 복잡한 추론 문제는 일반적으로 여러 가지 다른 사고 방식을 허용하여 고유한 정답을 도출한다는 직관을 활용한 방법론이고, COT 성능을 더 향상시킬 수 있다. 

 

📍 Introduction

 

LM이 NLP field에서 뛰어난 성공을 거둔 것은 사실이나, reasoning task에서의 능력은 다소 부족하며, 모델의 scale을 단순히 증가시킨다고 해서 해결할 수 있는 문제가 아니다. 이러한 결점을 해결하기 위해, Chain-of-thought prompting 기법이 제안되어 인간이 문제를 해결하는 사고 방식을 묘사하며 짧은 답변을 생성한다. 

 

CoT(Chain-of-Thought)?

reasoning 능력을 향상시키기 위한 prompt engineering technique의 일종으로, 즉시 추론 step들을 생성하며 생각하는 과정을  통해 최종 답변의 accuracy 향상도 보장한다.

모델 크기를 확장하는 것만으로는 충분히 해결할 수 없는 산술적, 상식적, 기호적 추론과 같은 복잡한 task에서 충분한 성능을 보이는 것이 특징이다.

ex) "If there are 3 cars in the parking lot and 2 more cars arrive, how many cars are in the parking lot?"
  여기서 단순히 답인 5만 생성하는 것이 아니라, 다음과 같은 추론 경로를 포함하여 답변을 생성한다.

  - CoT : There are 3 cars in the parking lot already. 2 more arrive. Now there are 3+2=5 cars. The answer is 5.

 

이 논문에서는 CoT에서 사용되는 greedy decoding 전략을 대체할 수 있는 새로운 decoding 전략인 self-consistency를 소개한다. 복잡한 추론 문제는 보통 다중 추론 경로를 고려하여 정답을 도출한다는 점을 활용하는 것이다.

 

Figure 1은 CoT prompting과 Self-consistency의 차이를 보인다.

 

CoT의 greey decoding 부분을 대신하여 다양한 추론 경로를 샘플링 하고 marginalize out한 후 최종 답변을 생성한다.

 

CoT에서 최적의 추론 경로를 찾기 위한 greedy decoding 대신, "sample-and-marginalize" 디코딩 절차를 따른다.

 

• 1). 추론 경로의 "diverse set"을 생성하기 위해 LM의 decoder단에서 샘플링한다.   

              -> (각 추론 경로들은 최종적으로 다른 답변을 내놓을 수 있다)

• 2). 그래서 저자들은 샘플링된 추론 경로들에서 추론 샘플들을 "marginalize out"하고 최종 답안들의 가장 일관된 답변을 택함으로써,  최적의 답변을 찾는다. 

 

이는 다양하면서 서로 다른 사고방식이 결국 같은 답안을 도출해낸다는 인간의 경험과 유사한 접근 방식이되고, 마지막 답안이 옳다는 것에 더 큰 힘이 실리게 된다. self-consistency는 greedy 디코딩의 한계점인 반복성과 지역적 최적성을 방지하는 동시에, 단일 샘플링 생성의 확률성을 완화한다.