Abstract 본 논문에서는 BERT를 extractive, abstractive model 모두에게 사용할 framework를 제안한다. Extractive encoder의 맨 위에 inter-sentence Transformer layer를 쌓아서 생성 Abstractive 새로운 Fine-tuning schedule Two-staged fine-tuning Introduction 모델 등장 배경 대부분의 pretrained language model은 분류 task를 위한 문장 & 문단수준의 자연어 이해를 위한 인코더로 채택 됐다. → 텍스트 요약을 위해서는 previous task와 다르게 요약에는 개별 단어와 문장의 의미를 이해하는 것을 넘는 광범위한 이해가 필요 세 가지의 기여 요약 task..

심화 스터디/NLP 스터디2 2021. 9. 28. 13:55

0. Abstract BART 임의로 noise를 주어 텍스트를 손상 시킨 후 원래 텍스트를 재구성하기 위한 모델을 학습하는 (denoising autoencoder) 사전 학습 모델 Transformer 아키텍처를 기반으로 하는 사전 학습 모델 본 논문에서는 다양한 작업에서 최상의 성능을 갖는 BART의 실험 결과를 보이고 있음 1. Introduction NLP 작업에서 가장 성공적인 성과를 보여준 Self-supervised 접근 방식인 마스크 된 언어 모델(MLM)의 변형 → 단어의 임의 하위 집합이 마스크 된 텍스트를 재구성하도록 학습된 구조 (ex. BERT) 그러나 이러한 방법은 일반적으로 특정 유형의 end task에 초점을 맞추고 적용 가능성이 떨어진다는 한계가 있음 (ex. BERT →..

심화 스터디/NLP 스터디2 2021. 9. 25. 21:31

BERTSUM : extractive summarization을 위한 BERT 변형 모델 Single-document summarization - abstractive summarization : text rewriting을 통해 원문에 없던 단어, 구 등을 이용해서 summary 생성 - extractive summarization : 문서 내에 중요한 spans(주로 문장 단위) 그대로 가져와서 합치는 방식 방법론 d (document) : [sent1, sent2, …, sentm]으로 구성된 문서 extractive summary는 senti마다 yi ∈ {0,1} 로 summary에 포함시킬지 말지 assign 1) BERT cf. 원래 BERT masked-language model로 outp..

심화 스터디/NLP 스터디2 2021. 9. 19. 14:50

0. AE & AR : 자연어 처리 모델 Pretraining의 대표적인 두 Objective Auto Encoding Auto Regressive 1. XLNET AE 방식과 AR 방식에는 문제점이 있다고 판단하여 각각의 문제점을 보완하고 둘을 함께 사용하고자 시도한 모델 BERT 이후 처음으로 의미 있는 성능 향상을 이루어낸 모델 AE의 문제점: [MASK] token이 독립적으로 예측되기 때문에 token 사이의 dependency는 학습할 수 없음 Fine-tuning 과정에서 [MASK] token이 등장하지 않기 때문에 pre-training과 fine-tuning 사이에 discrepancy 발생 AR의 문제점: 단일 방향 정보만 이용하여 학습 가능함 각각의 문제점을 해결하고자 아래의 세 기..

심화 스터디/NLP 스터디2 2021. 9. 19. 14:42

0. Abstract 기존의 Sequence transduction 모델들은 대부분 복잡한 Encoder와 decoder를 포함하는 recurrent하거나 convolutional한 인공신경망을 기반으로 한다. 본 논문에서는 이러한 recurrence/convolutions를 제외하고 Attention 구조 메커니즘 만을 이용한 보다 단순한 Transformer 구조를 소개한다. 1. Introduction 기존의 순환 신경망인 LSTM이나 GRU와 같은 모델들은 sequential modeling과 언어 모델링/기계 번역과 같은 transduction 문제들에서 SOTA 결과를 보였지만 이전 시점의 은닉 상태와 현 시점의 입력으로 새로운 은닉 상태의 sequence가 출력되는 구조로 인해 병렬 처리가 ..

심화 스터디/NLP 스터디2 2021. 9. 18. 09:45

해당 포스팅은 고현웅 님께서 업로드 하신 Machine Translation Survey(Vol1): Background 영상을 참고해 만들었습니다. 관련 링크는 다음과 같습니다: https://www.youtube.com/watch?v=KQfvEg-fGMw 1. Sequence to Sequence 1) Encoder: 입력 받은 데이터를 이해해 이에 대한 일종의 보고서(Context vector)를 출력하는 모델 2) Decoder: 이 보고서를 입력 받아 어떤 문장을 생성하는 모델 → 문제점: 입력이 엄청나게 길더라도 이 모든 내용을 fixed size 벡터로 축소해 보고서를 출력해야 함. 즉 해당 보고서로 내용을 완벽하게 표현할 수 없음! (빠지고 축소되고... 등등) 이는 문장 생성에서도 마찬가..

심화 스터디/NLP 스터디2 2021. 9. 18. 09:45

팀원 12기 이가영, 13기 금지헌, 13기 기다연, 13기 박주영, 13기 홍석민

심화 스터디/NLP 스터디2 2021. 8. 27. 17:54