1. Introduction 이제까지의 머신러닝의 일반적인 접근법은 어떠한 task에서 바라는 행동(예를 들면 질문과 질문에 대한 대답, 글과 글에 대한 요약 같은 것들)을 담은 데이터를 학습시켜서 이를 따라할 수 있는 시스템을 만들고, 다른 iid 데이터에서도 이 performance가 잘 작동되는지 test하는 것이었다. 그러나 이러한 접근법은 다루기가 힘들고 데이터 분포의 작은 변화에도 큰 영향을 받는다는 단점이 있었다. 시스템의 보편성에서 문제가 일어나는 이유를 특정 단일한 task에 training data를 제한했기 때문이라고 분석하였다. 그래서 더 넓은 영역의 domain과 task에 대한 performance를 측정하고 training을 할 수 있도록 구조를 고치는 것이 필요하다고 제안되었..

심화 스터디/NLP 스터디1 2021. 11. 11. 19:44

1. Introduction 이제까지의 NLP 모델은 labeled data를 필요로 했고 이러한 데이터는 label을 달기 위해 시간도 오래걸릴뿐더러 텍스트가 다양한 영역에서 적용될 수 있는 가능성을 제한했다. 그래서 unlabeled data를 사용하는 모델은 그 이전 모델에 대한 중요한 대안이 되었다. 심지어 unsupervised한 방식으로 만들어진 모델은 훨씬 더 좋은 성능을 보였다. 그러나 unlabeled text를 사용하는 모델은 두가지 문제점이 있었다. 첫번째, 어떤 종류의 목적에서 가장 효율적인지 분명하지 않았다. (다만 최근 연구에서는 language modeling, machine translation, discourse coherence 등의 목적에서 좋은 성과를 보였다.) 두번째..

심화 스터디/NLP 스터디1 2021. 9. 30. 20:13

딥러닝 기반 모델 발전 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다. GPT : Transformer의 디코더(Decoder) 활용 BERT : Transformer의 인코더(Encoder) 활용 0. Abstract 이전까지는 인코더와 디코더를 포함해 시퀀스를 변형시키는 RNN/CNN 기반 모델을 전적으로 사용 인코더/디코더 구조 + Attention 메카니즘 : 성능 향상 본 논문에서는 Attention 메카니즘에 전적으로 기반을 둔 Transformer 아키텍처 제안 각 sequence를 반복해서 처리할 필요가 없으므로 행렬곱을 이용해 병렬 처리 가능 - 시간 단축 WMT 2014) 영→독,영→불 변환하는 Task에서 성능 개선 seqeucne를 처리하는 여러 task에..

심화 스터디/NLP 스터디1 2021. 9. 30. 02:27

팀원 12기 전지우, 13기 윤정현, 13기 이현규, 14기 구은아

심화 스터디/NLP 스터디1 2021. 8. 27. 17:52