GUESS THE INSTRUCTION! FLIPPED LEARNING MAKES LANGUAGE MODELS STRONGER ZERO-SHOT LEARNERS
Category
PaperReview
Venue
ICLR 2023
Backbone
T5
Text
- Instruction과 X를 나누어서 Meta Training을 하는게 P(I | x,y) 효율적이고 효과적인 instruction tuning이다.
- T0에 비해서 압도적인 효율성
- Unlikelihood Training이 Instruction, Input사이에 걸린 Spurious Correlation을 완화시키고 Correct Label에 모델이 반응할 수 있도록 도와줌 (이러면서 모델이 진정한 label의 의미를 배울 수 있도록 도와주었나 싶기도…?)
→ Label generation (different surface form but same semantic)에 굉장히 효과적
- Instruction 정방향으로 forwarding하는 과정이 없는데 해석하는게 신기함
- Label Prior가 Uniform하다는 Prior는 위험한 가정
PPT