본문 바로가기

end-to-end6

[TDS] MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems의 이해 이 글은 MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems의 방법론 이해를 위한 글이다.Abstract대화 시스템 학습을 위해 데이터를 수집하고 annotation하는 건 시간이 많이 들고 도메인 간 호환도 잘 안 된다. 그래서 human supervision을 줄이기 위해 pre-trained language model을 이용한다. 이전의 TDS는 보통 특정 task에 특화된 여러 모듈로 이루어져있고 그러한 모듈은 pre-training stage를 거의 거치지 않는다. 이렇다보니 pre-trained LM을 다른 대화 tasks에 적응시키기 위해 tasks-specific 아키텍쳐 수정이 필요하다. MinTL (Minimal.. 2021. 9. 7.
[TDS] A Tailored Pre-Training Model for Task-Oriented Dialog Generation (PRAL)에 대한 이해 이 글은 ACL 2021에 게재된 A Tailored Pre-Training Model for Task-Oriented Dialog Generation (PRAL)의 방법론 이해를 위한 글이다.AbstractMotivation : TDS를 build하는 현재 접근들은 여전히 상당한 양의 annotations을 요구해 노동력을 많이 요구한다. 그래서 더 적은 supervision을 위해 large-scale language models로 대화 시스템을 개발하는 쪽으로 많은 연구들이 있었다. 그러나 LM을 대화 시스템에 적용하기엔 많은 한계점들이 있다.1) 대화 시스템을 위한 LM pre-training은 엄청난 양의 훈련 corpora를 요구하지만 고품질의 다양한 대화 데이터를 얻는 건 항상 어렵다.2) .. 2021. 9. 5.
[TDS] Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models (ARDM) 논문에 대한 이해 이 글은 Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models (ARDM)의 방법론 이해를 위한 글이다. 이 논문은 2019년에 공개됐지만 EACL 2021에 게재되었다.Abstract존재하는 dialog system 모델들은 extensive human annotations을 요구하고 다른 tasks에 일반화하는 것이 어렵다. 이 논문에서는 simple, general, and effective framework: Alternating Recurrent Dialog Model (ARDM)을 제안한다. ARDM은 각 speaker를 따로 모델링하고 large pre-trained LM의 이점을 취한다. 이는 효과적인.. 2021. 9. 3.
[TDS] SOLOIST: Building Task Bots at Scale에 대한 이해 이 글은 논문 SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching 이해를 위한 글이다.AbstractSOLOIST는 대규모 task bots을 build하기 위해 transfer learning과 machine teaching을 사용한다. 또한, 고전적인 modular TDS를 단일 neural model인 Transformer-based auto-regressive language model로 파라미터화한다. 여러 유형의 dialog corpora에 pre-trained 모델은 machine teaching을 거친 약간의 task-specific dialogs만으로 새로운 tasks를 성취하도록 효율적으로 적응.. 2021. 9. 2.
[TDS] SimpleTOD에 대한 이해 (End-to-end TDS) 이 글은 SimpleTOD (A Simple Language Model for Task-Oriented Dialogue)의 방법론 이해를 위한 글이다.AbstractTask-Oriented dialogue systems은 주로 세 가지 subtasks(e.g., NLU, DST, NLG)로 분해되어 해결되었었다. 간단하고 통합된 접근으로 SoTA 성능을 달성하기 위해, 모든 sub-tasks를 single sequence prediction 문제로 recast해 훈련된 단일 causal LM인 SimpleTOD를 이용하여 task-oriented dialogue 접근을 간단히 한다. 또한, SimpleTOD는 GPT-2와 같은 pre-trained, open domain, causal LM으로부터 tra.. 2021. 9. 1.
논문 GraphDialog: Integrating Graph Knowledge into End-to-End Task-Oriented Dialogue Systems에 대한 이해 End-to-End TDS (Task-oriented Dialogue Systems)을 위한 작업 중 하나인 GraphDialog: Integrating Graph Knowledge into End-to-End Task-Oriented Dialogue Systems (EMNLP 2020) 논문의 이해를 돕기 위한 글이다.MotivationsEnd-to-End TDS는 plain text inputs으로부터 바로 시스템 응답을 생성하는 것을 목적으로 한다. 이 시스템 위해 다음 2가지의 challenges가 남아있다.1) How to effectively incorporate external knowledge bases (KBs) into the learning framework2) How to accur.. 2021. 8. 28.