[CQG] GTM: A Generative Triple-Wise Model for Convolutional Question Generation 논문 아이디어 요약

논문 GTM: A Generative Triple-Wise Model for Conversational Question Generation 에 대한 요약이다.

Motivation

Open-domain Conversational Question Generation (CQG)의 궁극적인 목표는 interactiveness를 향상시키고 conversation의 연속성을 유지시키는데 있다. CQG 데이터를 보면, answer는 항상 생성될 질문 다음에 나오며 추론 중에는 사용할 수 없다. 다음 예시를 보자.

Post를 P, Question를 Q, Answer를 A라 하자. 처음엔 P만을 사용해서 Q3나 Q4와 같은 분명하지 않거나(dull) 맥락에 벗어난(deviated) 질문이 주로 생성되었다. A가 Q와 P에 강한 관련성을 가지고 있다는 관찰을 기반으로, question generation 과정에 대답을 통합하려는 시도가 있었다. 그러나 PQA triple을 PQ와 QA pairs로 나누어 다루었다. 또한, one-to-many mapping feature를 무시하고 각 QA pair의 one-to-one 관계만을 활용했다. 그러나 위 예시를 보면 triple을 가지고 a person's eating activity라는 전체 대화의 background를 알 수 있으며, PQ와 QA pairs 둘 다 one-to-many mappings을 가진다.

위의 한계점과 각 triple 내 semantic 관계에 관해서 특정 질문의 content는 그것의 P와 A의 제어 하에 있다는 관찰을 기반으로 하여 Generative Triple-wise Model for CQG를 제안한다.

Generative Triple-wise Model (GTM)

In training set, each conversation is represented as ${p,q,qt,a}$
> Post $p=\{p_i\}^{|p|}_{i=1}$, question $q=\{q_i\}^{|q|}_{i=1}$, question type $qt$, answer $a=\{a_i\}^{|a|}_{i=1}$

위 그림은 GTM의 training process다.

1) Triple-level variable $z^t$는 shared background를 capture하기 위해 도입하고, 이는 PQA utterances로부터 추론된다.

2) Answer latent variable $z^a$와 question latent variable $z^q$는 post와 $z^t$에 의해 조건화된 Gaussian 분포로부터 샘플링된다.

3) 또한, 질문이 대답에 의해 제어되는 것을 확실히 하기 위해 $z^q$는 $z^a$에 의존된다.

 

이 글은 논문의 아이디어만을 다룬다. 네트워크의 세부사항은 본 논문을 참고하길 바란다.