분류 전체보기72 [TDS] Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models (ARDM) 논문에 대한 이해 이 글은 Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models (ARDM)의 방법론 이해를 위한 글이다. 이 논문은 2019년에 공개됐지만 EACL 2021에 게재되었다.Abstract존재하는 dialog system 모델들은 extensive human annotations을 요구하고 다른 tasks에 일반화하는 것이 어렵다. 이 논문에서는 simple, general, and effective framework: Alternating Recurrent Dialog Model (ARDM)을 제안한다. ARDM은 각 speaker를 따로 모델링하고 large pre-trained LM의 이점을 취한다. 이는 효과적인.. 2021. 9. 3. [TDS] SOLOIST: Building Task Bots at Scale에 대한 이해 이 글은 논문 SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching 이해를 위한 글이다.AbstractSOLOIST는 대규모 task bots을 build하기 위해 transfer learning과 machine teaching을 사용한다. 또한, 고전적인 modular TDS를 단일 neural model인 Transformer-based auto-regressive language model로 파라미터화한다. 여러 유형의 dialog corpora에 pre-trained 모델은 machine teaching을 거친 약간의 task-specific dialogs만으로 새로운 tasks를 성취하도록 효율적으로 적응.. 2021. 9. 2. [TDS] SimpleTOD에 대한 이해 (End-to-end TDS) 이 글은 SimpleTOD (A Simple Language Model for Task-Oriented Dialogue)의 방법론 이해를 위한 글이다.AbstractTask-Oriented dialogue systems은 주로 세 가지 subtasks(e.g., NLU, DST, NLG)로 분해되어 해결되었었다. 간단하고 통합된 접근으로 SoTA 성능을 달성하기 위해, 모든 sub-tasks를 single sequence prediction 문제로 recast해 훈련된 단일 causal LM인 SimpleTOD를 이용하여 task-oriented dialogue 접근을 간단히 한다. 또한, SimpleTOD는 GPT-2와 같은 pre-trained, open domain, causal LM으로부터 tra.. 2021. 9. 1. 논문 GraphDialog: Integrating Graph Knowledge into End-to-End Task-Oriented Dialogue Systems에 대한 이해 End-to-End TDS (Task-oriented Dialogue Systems)을 위한 작업 중 하나인 GraphDialog: Integrating Graph Knowledge into End-to-End Task-Oriented Dialogue Systems (EMNLP 2020) 논문의 이해를 돕기 위한 글이다.MotivationsEnd-to-End TDS는 plain text inputs으로부터 바로 시스템 응답을 생성하는 것을 목적으로 한다. 이 시스템 위해 다음 2가지의 challenges가 남아있다.1) How to effectively incorporate external knowledge bases (KBs) into the learning framework2) How to accur.. 2021. 8. 28. [CQG] GTM: A Generative Triple-Wise Model for Convolutional Question Generation 논문 아이디어 요약 논문 GTM: A Generative Triple-Wise Model for Conversational Question Generation 에 대한 요약이다.MotivationOpen-domain Conversational Question Generation (CQG)의 궁극적인 목표는 interactiveness를 향상시키고 conversation의 연속성을 유지시키는데 있다. CQG 데이터를 보면, answer는 항상 생성될 질문 다음에 나오며 추론 중에는 사용할 수 없다. 다음 예시를 보자.Post를 P, Question를 Q, Answer를 A라 하자. 처음엔 P만을 사용해서 Q3나 Q4와 같은 분명하지 않거나(dull) 맥락에 벗어난(deviated) 질문이 주로 생성되었다. A가 Q와 P에 강.. 2021. 8. 23. [TDS] Multi-task Learning for NLG in Task-Oriented Dialogue 논문 정리 이 글은 논문 Multi-task Learning for Natural Language Generation in Task-Oriented Dialogue에 대한 정리다.Motivation존재하는 시스템들은 현재 주어진 목표에 대한 의미적으로 정확한 응답을 제공하지만, 인간 언어의 variation과 fluency를 맞추는데 어려움을 겪고 있다. 즉, task-oriented dialogue 시스템에서 인간 응답과 구별할 수 없을 정도로 자연스러운 utterance를 생성하는 것은 아직 해결되지 않은 문제다.Goal1) Multi-task learning framework for NLG, NLG-LM2) 요청된 정보를 전달하는 high-quality 응답 생성3) Unconditional LM을 거쳐 생성.. 2021. 8. 23. [ODS] Personalized Response Generation via Generative Split Memory Network 논문에 대한 간단 요약 이 글은 NAACL 2021에 게재된 논문 Personalized Response Generation via Generative Split Memory Network에 대한 요약이다.Motivations생성 및 대화 시스템 진보에도 불구하고, 특정 개인 특성을 text generation 시스템에 적용하여 개인화된 응답 (personalized response)을 전달하는 것은 상대적으로 덜 연구되어있다.Chit-chat agents는 human-like conversational systems을 통해 사람들과 상호작용하고 인간 대화의 의미를 이해한다. 이를 통해, user experience를 향상시키는 더 나은 응답을 만든다. Data-driven 접근 방식을 통해 많은 성공을 거뒀지만. consis.. 2021. 8. 14. [TDS] 논문 Coorperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles 요약 이 글은 Personalized TDSs (Task-Oriented Dialogue Systems)에 대한 논문 중 하나인 WWW 2021에 게재된 논문 Coorperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles에 대한 요약이다.Task 정의Personalized Task-oriented Dialogue Systems (TDS)Dialogue models은 rank-based models과 generation-based models로 나눌 수 있다. 이 논문에서 목표로 하는 rank-based models은 랜덤한 후보에서 최고의 응답을 고르는 response selectio.. 2021. 8. 14. GPT-1,2,3, DialoGPT 차이에 대해 간단히 알아보자. GPT-1,2,3, DialoGPT 차이가 뭘까? 간단히 알아보자.GPT-1 : Improving Language Understanding by Generative Pre-TrainingGPT-2 : Language Models are Unsupervised Multitask LearnersGPT-3 : Language Models are Few-Shot LearnersDialoGPT : DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation 먼저, GPT-1에 대해 알아보자.GPT-1은 특정 tasks를 학습할 labeled data가 희소하기 때문에 특정 tasks에 대해 적절히 수행하도록 훈련하는 것이.. 2021. 8. 12. [RL] Decision Transformer에 대한 이해 이 글은 논문 Decision Transformer: Reinforcement Learning via Sequence Modeling에 대한 이해를 돕기 위한 포스팅이다. 논문 외 추가적인 내용에 관한 참고 문서들은 페이지 맨 아래에 적어놓았다.Abstract이 논문은 기존의 강화학습과 달리 sequential modeling을 통한 강화학습을 이용하여 여러 문제들을 풀 수 있다는 것을 보여준다. Decision Transformer는 causally masked Transformer를 이용함으로써 Reinforcement Learning (RL)의 문제들을 sequential modeling으로 바꾼다.위 이미지는 Decision Transformer 구조를 도식화한 것으로, Return-to-go ,.. 2021. 7. 11. 이전 1 2 3 4 5 ··· 8 다음
