Abstract
- 충분히 큰 언어 모델
- Chain-of-Thought Prompting
- 산술 추론(arithmetic reasoning), 상식 추론(commonsense reasoning), 기호 추론(symbolic reasoning)
- 단 8개의 예시만으로, PaLM 540B는 GSM8K 수학 문제 벤치마크에서 SOTA
Introduction
- 최근 동향 및 문제 제기:
- 언어 모델의 규모를 확장하면 성능 향상, 샘플 효율성 증가 등의 효과가 있지만,
- 산술 추론, 상식 추론, 기호 추론과 같은 어려운 과제에서는 높은 성능을 달성하기 충분하지 않다
- 기존 연구들:
- 자연어 기반 근거 생성(natural language rationale): 처음부터 학습, 파인튜닝, neuro-symbolic
- LLM with prompting & in-context few-shot learning: GPT-3 few-shot prompting, in-context learning
- 한계:
- 고품질 rationale 데이터를 대량 구축? 많은 비용
- few-shot prompting은 reasoning task에 성능이 좋지 않음
- Figure 1
- < input, Chain of Thought, output >
- CoT란? 일련의 중간 자연어 추론 단계(a series of intermediate natural language reasoning steps)
- 해결하고자 하는 task: reasoning
- Figure 2
- (성능) PaLM 540B + standard prompting < Finetuned GPT-3 175B < priot best < PaLM 540B + CoT Prompting
- 대규모 학습 데이터셋? 필요 없다
- 모델을 다시 학습시키지 않아도 된다
- 자연어 예시 몇 개만으로도 가능하다
Chain-of-Thought Prompting
추론 과제를 해결할 때 인간의 사고 과정을 모방한다.
- 사람은 주로 문제를 여러 개의 중간 단계로 분해하여 각각을 해결하고 최종 답을 제시함
언어 모델이 이와 유사한 Chain of Thought를 생성할 수 있는 능력을 갖도록 하는 것이 논문의 목표
- solution이 아닌 chain of thought (일반적으로 solution이나 explanation은 최종 답변 이후에 제시된다)
- step-by-step 단계별 사고 과정을 모방함
CoT의 4가지 특징
- 원칙적으로 모델이 여러 단계의 문제를 중간 단계들로 분해할 수 있게 해주어, 추가적인 계산을 할당할 수 있다
- 모델의 행동을 해석할 수 있는 창을 제공한다. 모델이 최종 답에 어떻게 도달했는지가 추정가능하여 디버깅할 기회를 제공
- 인간이 언어를 통해 해결할 수 있는 모든 과제에 적용될 가능성이 있다 (범용 reasoning 기술)
- 충분히 큰 언어 모델에서 few-shot prompting의 예시에 CoT 시퀀스 예시를 포함시키는 것만으로 쉽게 유도된다
(참고로, 2번은 화이트박스와는 다른 개념이다. 여전히 모델 내부 계산을 완전히 설명하는 것은 해결되지 않은 연구 문제라고 명시)
Arithmetic Reasoning
- Figure 1과 같은 형태의 수학 서술형 문제
- 사람에게는 단순한 문제인데, 언어 모델이 종종 어려움을 겪는 과제
Experimental Setup
five math word problem benchmarks:
- GSM8K 수학 서술형 문제 벤치마크
- 다양한 문제 구조를 포함하는 SVAMP 수학 문제 데이터셋
- 다양한 유형의 수학 문제를 포함하는 ASDiv 데이터셋
- 대수(algebra) 문제를 포함하는 AQuA 데이터셋
- MAWPS 벤치마크
Baseline: standard few-show prompting
- question-answer(입력-출력) 쌍으로 이루어진 in-context exemplars를 제공한다
- 즉, Q-A Q? 형태
Ours: few-shot prompting의 각 예시에 해당 답변에 대한 CoT를 추가
- CoT를 포함한 8개의 few-shot 예시는 수작업으로 작성 (특별한 프롬프트 엔지니어링 과정을 거치지 않음)
- 전체 예시는 Appendix Table 20에 수록
- 객관식인 AQuA를 제외한 모든 벤치마크에서 동일한 8개의 예시 세트를 사용 (다양한 수학 문제 전반에서 성공적인지 확인)
- AQuA의 경우, 훈련 데이터셋에서 가져온 4개의 예시와 해설을 사용 (Appendix Table21)
Results
Figure 4:
- emergent ability - CoT 추론 능력이 모델 규모가 증가함에 따라 나타나는 창발적 능력이다
- GSM8K, SVAMP, MAWPS에서 새로운 SoTA 달성 (단, SVAMP는 standard만으로도 달성)
- 나머지 두 데이터셋인 AQuA와 ASDiv에서는 최고 성능과 2% 이내의 차이까지 도달 (Appendix Table 2)
중요한 결론 3가지:
- CoT prompting이 모델 규모에 따라 나타나는 창발적 능력이다 (약 100B 파라미터 규모 이상의 모델에서 성능 향상)
- 더 복잡한 문제일수록 더 큰 성능 향상 (GSM8K에서 성능이 두 배 이상 향상, MAWPS의 가장 쉬운 하위 데이터셋 SingleOp는 성능향상이 거의 없거나 감소)
- GPT-3 175B와 PaLM 540B에서의 CoT prompting은 기존 SoTA와 비교해도 매우 경쟁력 있는 결과를 보임
여기서, 생기는 질문
Q. 왜 CoT는 약 100B 이상의 모델에서만 효과가 나타나는가?
A. 저자들은 정성분석을 통해 작은 모델은 유창한 문장을 생성하지만 논리적으로는 잘못된 CoT를 생성한다는 사실을 발견했다고 보고한다. 논문은 이에 대해 명확한 원인을 규명하고 있지는 않지만, 작은 모델은 논리적으로 일관된 추론 과정을 유지할 능력이 부족하다고 해석할 여지가 있다.
즉, 문제는 CoT 형식을 사용하지 못하는 것이 아니라, 그 안에 담긴 추론 과정이 논리적으로 잘못될 수 있다는 점이다.
따라서 CoT의 효과는 단순히 모델이 '생각 과정을 많이 해서', '추론 단계를 많이 생성해서' 발생하는 것이 아니라, 모델이 의미 있는 추론 과정을 생성할 수 있을 정도로 충분히 커졌을 때 나타나는 emergent ability로 볼 수 있다.
(논문에서는 이러한 효과가 약 100B 이상의 모델에서 관찰됨)
Q. 중간과정을 사고함으로써 오류를 방지할 수 있다고 생각하는데, 왜 SingleOp에서는 오히려 성능이 감소되는가?
(CoT가 없어도 잘할 수 있는 문제이므로 성능향상이 없을 수는 있겠지만 왜 감소하는가)
A. 첫째, MAWPS의 SingleOp 문제는 한 번의 연산만으로 해결 가능한 매우 단순한 문제이므로 중간 추론 과정이 불필요
둘째, 논문에서 저자들이 유창하지만 비논리적인 추론 과정을 생성한다고 언급한 것을 보아, CoT가 오히려 불필요한 오류를 추가하여 성능이 감소했을 수 있다
즉, 이미 직접 해결 가능한 문제에서 추가적인 추론 과정이 오히려 오류가 개입할 여지를 늘릴 수 있다.
개인적으로 이는 사람이 직관적으로 바로 풀 수 있는 쉬운 문제를 굳이 여러 단계로 나누어 설명하려다 오히려 실수하거나 혼란이 생기는 상황과 유사해 보인다.
Q. 기존 최고 성능 방법들?
A. 일반적으로 대규모 라벨링된 학습 데이터셋을 사용하여 특정 작업에 맞게 모델을 파인튜닝한 것.
예를 들어 GSM8K의 경우 Figure 2에서 비교한 prior best는 GPT-3를 수학 문제 전용 데이터로 학습시키고 verifier를 추가로 사용한 시스템 Cobbe et al. (2021)의 결과이다
Q. 모델의 성능 향상이 진짜 CoT 때문이 맞나? 단순히 더 긴 출력 형식(Output Format)을 사용해서 그런 것 아닌가?
A. 저자들은 ablation study를 통해 CoT의 성능 향상이 어디서 오는지, 동일한 성능 향상이 다른 형태의 프롬프팅으로도 얻어질 수 있는 부분인지를 검증하고자 한다.
Ablation study
the natural question of whether the same performance improvements can be conferred via other types of prompting,
그래서 세 가지 CoT 변형에 대한 제거 실험을 설계
Figure 5
| 방법 | 질문 |
| Standard Prompting (baseline) | - |
| Equation Only | 식만 쓰면? |
| Variable Compute Only | 토큰만 많이 쓰면? |
| Reasoning After Answer | 답 먼저 말하고 추론? |
| Chain-of-thought prompting |
Equation Only
- 수학적 식을 생성하기 때문에?
- 실험 방법: 정답 제시 전 오직 수학적 식만 출력
- GSM8K에서 큰 도움이 되지 않는 결과
- 즉, GSM8K 문제의 의미가 CoT의 자연어 추론 과정 없이 곧바로 수식으로 변환하기는 어렵다
- 한 단계 또는 두 단계 정도의 간단한 문제들에서는 성능 향상이 확인됨
Variable Compute Only
- 더 많은 계산(중간 토큰)을 사용할 수 있어서?
- 실험 방법: 문제 해결에 필요한 수식의 문자 수와 동일한 길이의 마침표(...)만 출력
- baseline과 거의 동일한 성능
- 즉, 단순히 계산량을 증가하는 것만으로는 CoT의 성공을 설명할 수 없다
Chain of Thought After Answer
- 단순히 사전학습 과정에서 습득한 관련 지식을 더 잘 끌어내게 해주는 것일 수도?
- 실험 방법: CoT를 정답 이후에만 제시하는 대체 설정
- baseline과 거의 동일한 성능
- 즉, CoT의 순차적 추론이 단순 지식 활성화 이상의 역할을 한다
결론적으로, 세 실험 모두 baseline과 큰 차이가 없었으며
CoT의 성능 향상은 단순 출력 길이 증가나 수식 생성 때문이 아니라, 자연어 기반의 순차적 추론 과정 자체에서 비롯되었다.
Robustness of Chain of Thought
ablation study를 통해 CoT의 효과는 뒤받침하였지만, 수작업으로 작성한 8개의 예시가 우연히 잘 된 것은 아닌가?
Sensitivity to exemplars is a key consideration of prompting approaches
(Ex. few-shot 예시 순서 변경만으로 GPT-3의 SST-2 성능은 54.3% ⇾ 93.4% near SoTA)
- 앞선 실험들: Annotator A가 작성한 CoT 사용
1번 실험
- Annotator B와 C가 동일한 few-shot 예시에 대해 독립적으로 CoT 작성 (Appendix H 참조)
- Annotator A는 Cobbe et al. 에서 사용된 풀이 스타일을 따라, 기존보다 더 간결한 버전의 CoT도 추가 작성
- 기존 예시: 원래 컴퓨터는 9대였다. 4일 동안 매일 5대씩 추가되었다. 따라서 5 x 4 = 20 대가 추가되었다. 9 + 20 = 29 이다. (여러 개의 짧은 문장 사용)
- 간결한 버전: 5 x 4 = 20대의 새로운 컴퓨터가 추가되었다. 따라서 현재 서버실에는 9 + 20 = 29대의 컴퓨터가 있다.
2번 실험
- 다른 예시 집합에서도 효과적으로 동작하는지 확인
- GSM8K 학습 데이터셋에서 무작위로 추출한 세 개의 8개 예시 세트에 대해서도 실험을 진행
- 해당 예시들에는 이미 CoT와 유사한 추론 과정이 포함되어 있어, 입력 컨텍스트 창에 맞추기 위해 예시를 60개 토큰 이하로 샘플링하고, 또한 예시를 2단계 이하로 제한 (저자들이 구성한 8개의 예시와 공정한 비교)
결과
- figure 6: 서로 다른 CoT annotation 사이에는 성능 차이가 존재하지만, 다양한 작성자와 다양한 예시를 사용한 경우에도 baseline을 큰 폭으로 능가
- CoT는 특정 언어적 스타일에 의존하지 않는다
Q. 추가적으로 다른 연구자가 작성하거나 다른 예시 세트를 사용하는 등의 시도를 하긴 했지만 정말 우연이 아니다 라는 일반화를 하기에는 부족한 실험 아닌가?
- robustness를 보여주는 증거는 맞지만, 일반화를 강하게 주장하기에는 실험 범위가 제한적이다
Commonsense Reasoning
- 다양한 상식 추론 문제. 일반적인 배경지식을 바탕으로 물리적 현상이나 인간의 상호작용에 대해 추론하는 문제들을 포함
- 현실 세계와 상호작용하기 위해 필수적인 능력
- 현재 자연어 이해 시스템들에게 아직 해결되지 않은 과제
Benchmarks
five datasets covering a diverse range of commonsense reasoning types:
- CSQA: 복잡한 의미 관계를 포함하는 상식 질문. 답을 위해 사전 지식이 필요한 경우가 많다
- StrategyQA: 질문에 답하기 위해 여러 단계의 추론을 수행해야하는 데이터셋
- Big-bench에서 두 개의 특화된 평가 데이터셋 선택
- Date Understanding: 주어진 문맥으로부터 날짜를 추론하는 과제
- Sports Understanding: 스포츠와 관련된 문장이 plausible한지 아닌지 판단하는 과제
- SayCan 데이터셋: 자연어 명령을 로봇 행동 시퀀스로 변환하는 과제
Prompts
- 이전 섹션( 3 Arithmetic Reasoning )과 동일한 실험 설정을 사용
- CSQA와 StrategyAQ의 경우 학습 데이터셋에서 무작위로 예시를 선택 후 CoT 수작업 ⇾ few-shot 예시 사용
- Big-bench 과제는 학습 데이터셋이 없어서 평가 데이터셋의 첫 10개 예시를 few-shot으로 사용하고 나머지로 성능 측정
- SayCan은 Ahn et al. (2022)에서 사용한 학습 데이터셋 6개 예시를 사용. CoT 수작업
Results
- figure 7은 PaLM 모델의 결과 (LaMDA, GPT-3 및 다양한 모델 크기에 대한 전체 결과는 Table 4)
- 모든 과제에서 모델 규모를 키우면 Standard Prompting의 성능도 향상
- CoT는 그보다 추가적인 성능 향상을 제공
- 특히, PaLM 540B에서 가장 큰 개선 효과
- StrategyQA에서는 SoTA 달성 (75.6% vs 69.4%)
- Sports Understanding에서는 human(일반적인 스포츠 애호가)보다 높은 결과를 기록 (95.4% vs 84%)
- 다만, CSQA에서는 성능 향상이 제한적이었음
Q. 왜 다른 데이터셋과 달리 CSQA는 성능 향상이 거의 없었을까?
- 논문에서 답하고 있지 않음
Symbolic Reasoning
- 기호 추론
- 인간에게는 단순하지만 언어 모델에게는 어려울 수 있는 과제
Tasks
- two toy tasks
- Last Letter Concatenation: 이름을 구성하는 각 단어의 마지막 글자를 이어 붙이는 작업 (Amy Brown ⇾ yn)
- Coin Flip: 여러 사람이 동전을 뒤집거나 뒤집지 않았을 때 최종적으로 동전이 앞면(head)인지 여부를 판단하는 작업
(Last Letter Concatenation은 언어 모델이 이미 CoT 없이도 수행할 수 있는 First Letter Concatenation보다 더 어려운 버전이라고 함)
Datasets
기호 추론 과제는 구조가 명확하여, 각 과제에 대해 아래의 두 데이터셋을 모두 사용함
- In-domain 테스트셋: few-shot 예시와 동일한 단계 수를 가진 문제들로 구성
- Out-of-Domain(OOD) 테스트셋: few-shot 예시보다 더 많은 단계 수를 가진 문제들로 구성
- 두 단어로 이루어진 이름만 예시로 보고, 이후 세 단어 또는 네 단어로 이루어진 이름에 대해 해당 과제를 수행
- coin flip 과제도 마찬가지로 뒤집기 횟수를 늘려 평가
Q. 앞선 실험들과 다른 점?
A. 수학/상식 추론에서는 few-shot 예시 문제의 난이도와 실제 테스트 문제의 나이도가 비슷함 (In-domain)
여기서는 In-domain 데이터셋과 Out-of-domain(예시보다 시험이 더 어려움) 데이터셋 모두 사용
Q. 왜?
A. 기호 추론 과제의 경우 구조가 명확하기 때문에 그만큼 모델이 패턴 매칭을 잘 할 가능성이 있다
또한, 수학/상식 추론과 달리 기호 추론은 규격화가 가능하기 때문에 두 데이터셋(난이도 조정)을 모두 만들 수 있었다.
Results
- in-domain 평가는 toy task이다
- few-shot 예시에 이미 완전한 풀이 구조가 제공되어 있기 때문
- 그럼에도 작은 모델들은 실패함
- unseen symbols에 대해 추상적 조작을 수행하는 능력은 약 100B 규모 이상의 모델에서만 나타남
- OOD 평가에서는 baseline이 두 과제 모두에서 실패, 반면 CoT의 경우 모델 규모가 커질수록 성능이 향상되는 경향
- 충분히 큰 규모의 언어 모델에서는 학습 과정에서 보지 못한 더 긴 추론 체인에 대해서도 일반화를 가능하게 한다
Q. in-domain 평가는 toy task라는데 그렇다면 수학/상식 추론의 결과는 믿을만한가?
A. 저자들이 toy task라고 한 것은 기호 추론의 in-domain 데이터셋이다.
수학/상식 추론은 구조적으로 toy task가 될 수 없기 때문에 예시와 시험 문제의 난이도가 비슷한 in-domain 데이터셋이더라도 신뢰할 수 있다.
기호 추론은 현실 세계의 문제가 아니라 연구를 위해 인위적으로 만든 규칙 기반 문제이기 때문에 더 엄격한 OOD 데이터셋을 사용함
Q. in-domain보다 OOD에서 성능이 더 안 좋은데, 이 실험이 정말 '추론 능력'을 측정한 것인지 아니면 단순 예시 패턴을 따라하는 능력을 측정한 것인지?
- 아래의 limitation 에서 언급하고 있음
Discussion
- 대규모 언어 모델에서 다단계 추론 행동을 유도하는 간단한 메커니즘, CoT를 살펴본 결과,
- 산술 추론 성능을 크게 향상시키며 (ablation, robust 실험으로도 검증)
- 상식 추론 실험을 통해 사고 연쇄 추론의 언어적 특성 덕분에 CoT가 보편적으로 적용 가능하다
- 기호 추론을 통해 OOD를 더 긴 시퀀스 길이로 일반화하는 데 도움이 됨
- 모든 실험은 간단하게 유도, 언어 모델을 미세 조정하지 않았다
- 모델 규모가 커짐에 따라 사고 연쇄 추론이 나타난다
- 본 연구는 표준 프롬프트가 대규모 언어 모델의 능력에 대한 하한선만 제공한다는 점을 강조
- 이러한 관찰은 답변보다 더 많은 질문을 제기
- how much more can we expect reasoning ability to improve with a further increase in model scale?
- What other prompting methods might expand the range of tasks that language models can solve?
한계점
- 사고 연쇄가 인간 추론자의 사고 과정을 모방하지만, 신경망이 실제로 추론하는지에 대한 답을 제시하는 것은 아니다. 열린 질문으로 남기겠다
- few-shot 환경에서는 CoT 작성 비용이 크지 않지만, 대규모 파인튜닝 데이터셋을 만들 때는 이러한 주석(annotation) 비용이 커질 수 있다 (합성 데이터 생성이나 제로샷 일반화를 통해 극복할 수 있을 가능성이 있다)
- 정확한 추론 경로가 보장되지 않으며 이는 정답과 오답 모두로 이어질 수 있다
- CoT가 대규모 모델에서만 나타나기 때문에 실제 응용 분야에서 활용하기에는 비용이 많이 드므로, 더 작은 모델에서 추론을 유도하는 방법을 탐구하는 추가 연구가 필요하다
'논문 리뷰' 카테고리의 다른 글
| ComKD-CLIP: Comprehensive Knowledge Distillation for Contrastive Language-Image Pre-traning Model 리뷰 (0) | 2026.06.26 |
|---|---|
| DeepSeek-V3 Technical Report 리뷰 (0) | 2026.06.19 |
