NLP9 논문 GraphDialog: Integrating Graph Knowledge into End-to-End Task-Oriented Dialogue Systems에 대한 이해 End-to-End TDS (Task-oriented Dialogue Systems)을 위한 작업 중 하나인 GraphDialog: Integrating Graph Knowledge into End-to-End Task-Oriented Dialogue Systems (EMNLP 2020) 논문의 이해를 돕기 위한 글이다.MotivationsEnd-to-End TDS는 plain text inputs으로부터 바로 시스템 응답을 생성하는 것을 목적으로 한다. 이 시스템 위해 다음 2가지의 challenges가 남아있다.1) How to effectively incorporate external knowledge bases (KBs) into the learning framework2) How to accur.. 2021. 8. 28. GPT-1,2,3, DialoGPT 차이에 대해 간단히 알아보자. GPT-1,2,3, DialoGPT 차이가 뭘까? 간단히 알아보자.GPT-1 : Improving Language Understanding by Generative Pre-TrainingGPT-2 : Language Models are Unsupervised Multitask LearnersGPT-3 : Language Models are Few-Shot LearnersDialoGPT : DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation 먼저, GPT-1에 대해 알아보자.GPT-1은 특정 tasks를 학습할 labeled data가 희소하기 때문에 특정 tasks에 대해 적절히 수행하도록 훈련하는 것이.. 2021. 8. 12. [VCR] From Recognition to Cognition: Visual Commonsense Reasoning 논문 이해 From Recognition to Cognition: Visual Commonsense Reasoning은 CVPR 2019 (oral)에 게재된 논문으로, Visual Commonsense Reasoning (VCR) task를 새로 제안하고 그에 대한 데이터셋과 추론 모델을 제안한다. 이 포스팅은 task 정의와 데이터셋 생성까지만 다룬다.VCR 이란?특정 상황에 대한 이미지와 이에 대한 질문이 주어지면, 정확한 대답과 함께 정당한 근거를 제시해야 하는 task이다. 논문에서는 해당 task를 다음과 같이 정의한다.Given an image, a machine must answer a question that requires a thorough understanding of the visual wo.. 2021. 7. 11. [NLP] Transformer 모델 분석 (Self-Attention) transformer 현재 Attention is All you Need는 NLP를 한다면 반드시 읽어야 될 논문일 뿐만 아니라 인공지능을 연구한다면 반드시 읽어봐야 할 논문이 되었다. 꽤 오래 전에 읽고 정리해놓은 내용을 기억을 상기시킬 겸 포스팅한다. 이미 수많은 블로그에서 자세히 포스팅되어있으니 요약본 느낌으로 간단히 설명하고자 한다. 거의 모든 그림 및 내용은 http://jalammar.github.io/illustrated-transformer/ 을 참고하였다. 추가적으로 NLP의 다른 기본 내용을 좀 더 쉽게 이해하고자 한다면 이 글을 읽어보는 것을 추천한다.Overview해당 논문에서 나오는 Transformer 모델을 high-level에서 먼저 살펴보자. 일단 다음과 같은 Encoder.. 2020. 10. 11. 다중 감성(multi-class sentiment) 분류 모델 개발일지 - 2 2019-03-17-multi-sent-2 지난 주에 자모에 대해 Fasttext를 이용하여 Embedding 하는것을 고려했었다. 그러나 Labeling에 대한 문제 해결이 우선이었기 때문에 이 방법에 대한 고려는 뒤로 미루기로 했다.데이터 라벨링일단 데이터는 Tweet 데이터를 사용하기로 결정했었다. 찬찬히 tweet들을 살펴본 결과 하나의 아이디어가 생각났다. 저번에 tweet에 어떠한 이모티콘이 있으면 그 감정으로 Labeling하는 논문이 있었는데 한국 tweet은 이모티콘을 많이 쓰지 않아 적용하기 어려울 것이라 생각했었다. 그러나 이모티콘으로 검색이 된다면 해당 이모티콘을 사용한 tweet을 많이 뽑아낼 수 있다는 생각을 했다. 어떻게 보면 당연한 이야긴데 깊게 생각하지 못 했던 것 같다. .. 2019. 3. 17. 다중 감성(multi-class sentiment) 분류 모델 개발일지 - 1 2019-03-08-multi-sent-1 목차개발 목표진행 상황추후 계획 및 아이디어 개발 목표주로 감정 분석(sentiment analysis)은 긍부정 형식으로 양극(polar)의 형태로 분류를 하는 경우가 대부분이다. 하지만 감정을 긍정과 부정만으로 나누기에는 한계점이 많다. 예를 들면, 슬픈 영화에 대한 댓글 중 "너무 슬퍼 ㅠㅠ", "영화 보는 내내 자꾸 눈물이 흘렀어요 ㅠㅠ" 와 같은 댓글이 있다고 하자. 이 댓글들은 당연히 부정으로 분류될 것이다. 그러나 슬픈 영화인 것을 감안하면 슬프다는 의미는 곧 칭찬이며 이 영화에 대해 긍정적인 평가를 하고 있다는 것을 알 수 있다. 그렇기 때문에 특정 한글 텍스트에 대해 여러 가지 감정으로 분류하고, 추가적으로 분류된 감정에 맞는 이모지(Emoji).. 2019. 3. 9. [keras, NLP] Seq2Seq로 번역 모델 구현하기 2019-02-02-seq2seq_translation seq2seq 모델로 번역 모델을 만들어보자. 1. 데이터 전처리seq2seq 모델을 번역 모델로 학습하기 위해서는 세 가지 종류의 데이터가 필요하다.인코더의 입력으로써 넣을 원 언어의 텍스트 데이터디코더의 입력으로써 넣을 타겟 언어의 텍스트 데이터Teacher forcing을 위한 타겟 언어의 텍스트 데이터학습에는 영어 텍스와 이에 대해 프랑스어로 변역된 텍스트의 모임인 코퍼스 데이터를 사용할 것이다. Data download http://www.manythings.org/anki/fra-eng.zip 이 데이터는 각 줄에 하나의 (영어, 프랑스어) 텍스트 쌍이 있고 이는 Tab으로 구분된다. 이를 다음과 같이 source 텍스트와 target 텍.. 2019. 2. 2. [NLP] 코드로 보는 RNN 2018-01-19-rnn 김성훈 교수님의 모두의 딥러닝 강의의 RNN 구현 코드는 최신 Tensorflow 버전에서는 안 돌아간다. 그래서 구글링해가면서 다시 구현했다. 이왕 구현하는 김에 객체화해서 구현해보았다. 1. 모델 구축def build(self): self.x_data = tf.placeholder(shape=self.input_size, dtype=tf.float32) rnn_cell = tf.nn.rnn_cell.BasicRNNCell(self.rnn_size) initial_state = tf.random_normal(shape=(self.batch_size, rnn_cell.state_size), mean=1.0) # cell, inputs, dtype outputs, _ = tf.n.. 2019. 1. 19. [NLP] 기본 개념 : Bag-Of-Words(BOW), Distributed hypothesis 2019-01-06-bow-distributed 1. Bag Of Words(BOW)간단히 말하면, 특정 문서에서 단어의 순서들을 생각하지 않고 그저 단어가 출현하는 빈도 수만을 보는 방법입니다. 다음은 NLP 기본 가정 중 하나인 Bag of words hypothesis입니다. Turney & Pantel (2010:153): Bag of words hypothesis "The frequencies of words in a document tend to indicate the relevance of the document to a query (Salton et al., 1975). – If documents and pseudo-documents (queries) have similar column v.. 2019. 1. 6. 이전 1 다음
