BART1 [Dialogue] GPT-2, BART로 대화 생성 모델 설계 구조 GPT2와 BART로 대화 생성 모델을 학습하는 방법에 대해 설명하겠다.여기서 두 화자 간 대화 모델을 가정하고 설명한다. 특히, user의 말에 system이 응답해주는 식이다. 다음 대화를 각 모델이 어떻게 입력으로 받아들이고 어떤 label을 취하는지 살펴보겠다.예시 대화xxxxxxxxxxUser: Hello, I need your help.System: What do you want?User: Can you speak Korean?System: A little bitGPT-2GPT는 autoregressive model이다. 따라서 현재 output이 다음 input token이 된다. 그러나 학습 시에는 한 번에 학습하기 위해 teacher forcing 방식을 사용한다. 따라서 다음과 같은 형.. 2021. 11. 10. 이전 1 다음
