NLP20 [ODS] Personalized Response Generation via Generative Split Memory Network 논문에 대한 간단 요약 이 글은 NAACL 2021에 게재된 논문 Personalized Response Generation via Generative Split Memory Network에 대한 요약이다.Motivations생성 및 대화 시스템 진보에도 불구하고, 특정 개인 특성을 text generation 시스템에 적용하여 개인화된 응답 (personalized response)을 전달하는 것은 상대적으로 덜 연구되어있다.Chit-chat agents는 human-like conversational systems을 통해 사람들과 상호작용하고 인간 대화의 의미를 이해한다. 이를 통해, user experience를 향상시키는 더 나은 응답을 만든다. Data-driven 접근 방식을 통해 많은 성공을 거뒀지만. consis.. 2021. 8. 14. [TDS] 논문 Coorperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles 요약 이 글은 Personalized TDSs (Task-Oriented Dialogue Systems)에 대한 논문 중 하나인 WWW 2021에 게재된 논문 Coorperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles에 대한 요약이다.Task 정의Personalized Task-oriented Dialogue Systems (TDS)Dialogue models은 rank-based models과 generation-based models로 나눌 수 있다. 이 논문에서 목표로 하는 rank-based models은 랜덤한 후보에서 최고의 응답을 고르는 response selectio.. 2021. 8. 14. GPT-1,2,3, DialoGPT 차이에 대해 간단히 알아보자. GPT-1,2,3, DialoGPT 차이가 뭘까? 간단히 알아보자.GPT-1 : Improving Language Understanding by Generative Pre-TrainingGPT-2 : Language Models are Unsupervised Multitask LearnersGPT-3 : Language Models are Few-Shot LearnersDialoGPT : DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation 먼저, GPT-1에 대해 알아보자.GPT-1은 특정 tasks를 학습할 labeled data가 희소하기 때문에 특정 tasks에 대해 적절히 수행하도록 훈련하는 것이.. 2021. 8. 12. [VCR] From Recognition to Cognition: Visual Commonsense Reasoning 논문 이해 From Recognition to Cognition: Visual Commonsense Reasoning은 CVPR 2019 (oral)에 게재된 논문으로, Visual Commonsense Reasoning (VCR) task를 새로 제안하고 그에 대한 데이터셋과 추론 모델을 제안한다. 이 포스팅은 task 정의와 데이터셋 생성까지만 다룬다.VCR 이란?특정 상황에 대한 이미지와 이에 대한 질문이 주어지면, 정확한 대답과 함께 정당한 근거를 제시해야 하는 task이다. 논문에서는 해당 task를 다음과 같이 정의한다.Given an image, a machine must answer a question that requires a thorough understanding of the visual wo.. 2021. 7. 11. 다중 감성(multi-class sentiment) 분류 모델 개발일지 - 2 2019-03-17-multi-sent-2 지난 주에 자모에 대해 Fasttext를 이용하여 Embedding 하는것을 고려했었다. 그러나 Labeling에 대한 문제 해결이 우선이었기 때문에 이 방법에 대한 고려는 뒤로 미루기로 했다.데이터 라벨링일단 데이터는 Tweet 데이터를 사용하기로 결정했었다. 찬찬히 tweet들을 살펴본 결과 하나의 아이디어가 생각났다. 저번에 tweet에 어떠한 이모티콘이 있으면 그 감정으로 Labeling하는 논문이 있었는데 한국 tweet은 이모티콘을 많이 쓰지 않아 적용하기 어려울 것이라 생각했었다. 그러나 이모티콘으로 검색이 된다면 해당 이모티콘을 사용한 tweet을 많이 뽑아낼 수 있다는 생각을 했다. 어떻게 보면 당연한 이야긴데 깊게 생각하지 못 했던 것 같다. .. 2019. 3. 17. 다중 감성(multi-class sentiment) 분류 모델 개발일지 - 1 2019-03-08-multi-sent-1 목차개발 목표진행 상황추후 계획 및 아이디어 개발 목표주로 감정 분석(sentiment analysis)은 긍부정 형식으로 양극(polar)의 형태로 분류를 하는 경우가 대부분이다. 하지만 감정을 긍정과 부정만으로 나누기에는 한계점이 많다. 예를 들면, 슬픈 영화에 대한 댓글 중 "너무 슬퍼 ㅠㅠ", "영화 보는 내내 자꾸 눈물이 흘렀어요 ㅠㅠ" 와 같은 댓글이 있다고 하자. 이 댓글들은 당연히 부정으로 분류될 것이다. 그러나 슬픈 영화인 것을 감안하면 슬프다는 의미는 곧 칭찬이며 이 영화에 대해 긍정적인 평가를 하고 있다는 것을 알 수 있다. 그렇기 때문에 특정 한글 텍스트에 대해 여러 가지 감정으로 분류하고, 추가적으로 분류된 감정에 맞는 이모지(Emoji).. 2019. 3. 9. [keras, NLP] Seq2Seq로 번역 모델 구현하기 2019-02-02-seq2seq_translation seq2seq 모델로 번역 모델을 만들어보자. 1. 데이터 전처리seq2seq 모델을 번역 모델로 학습하기 위해서는 세 가지 종류의 데이터가 필요하다.인코더의 입력으로써 넣을 원 언어의 텍스트 데이터디코더의 입력으로써 넣을 타겟 언어의 텍스트 데이터Teacher forcing을 위한 타겟 언어의 텍스트 데이터학습에는 영어 텍스와 이에 대해 프랑스어로 변역된 텍스트의 모임인 코퍼스 데이터를 사용할 것이다. Data download http://www.manythings.org/anki/fra-eng.zip 이 데이터는 각 줄에 하나의 (영어, 프랑스어) 텍스트 쌍이 있고 이는 Tab으로 구분된다. 이를 다음과 같이 source 텍스트와 target 텍.. 2019. 2. 2. [NLP] 자연어 처리를 위한 필수 개념 정리: Language model, Representation 2018-01-20-nlp-1 Language Model(언어 모델)[정의] 단어 시퀀스에 대한 확률 분포로, 시퀀스1 내 단어 토큰들에 대한 확률을 할당하는 모델이다. m개의 단어가 주어질 때, m개의 단어 시퀀스가 나타날 확률은 다음과 같다.예를 들어, 시퀀스 내 단어들이 "Today is monday" 라는 문장을 이루게 되는 확률을 구해보자. "Today" 가 선택될 확률은 P("Today")다. 그 다음 "is" 가 올 확률은 P("Today")·P("is") 라고 생각할 수 있다. 하지만 글은 순서가 동일해야 똑같은 의미를 지니는 시퀀스 데이터다. 따라서 다음과 같이 표현되어야 한다.이러한 확률 분포는 학습 데이터의 성격에 따라 매번 다르게 계산될 것이다. 왜냐하면 학습 데이터의 성격이 다르면.. 2019. 1. 21. [NLP] 코드로 보는 RNN 2018-01-19-rnn 김성훈 교수님의 모두의 딥러닝 강의의 RNN 구현 코드는 최신 Tensorflow 버전에서는 안 돌아간다. 그래서 구글링해가면서 다시 구현했다. 이왕 구현하는 김에 객체화해서 구현해보았다. 1. 모델 구축def build(self): self.x_data = tf.placeholder(shape=self.input_size, dtype=tf.float32) rnn_cell = tf.nn.rnn_cell.BasicRNNCell(self.rnn_size) initial_state = tf.random_normal(shape=(self.batch_size, rnn_cell.state_size), mean=1.0) # cell, inputs, dtype outputs, _ = tf.n.. 2019. 1. 19. [NLP] 기본 개념 : Bag-Of-Words(BOW), Distributed hypothesis 2019-01-06-bow-distributed 1. Bag Of Words(BOW)간단히 말하면, 특정 문서에서 단어의 순서들을 생각하지 않고 그저 단어가 출현하는 빈도 수만을 보는 방법입니다. 다음은 NLP 기본 가정 중 하나인 Bag of words hypothesis입니다. Turney & Pantel (2010:153): Bag of words hypothesis "The frequencies of words in a document tend to indicate the relevance of the document to a query (Salton et al., 1975). – If documents and pseudo-documents (queries) have similar column v.. 2019. 1. 6. 이전 1 2 다음
