작성자 : 14기 임혜리 참고 커널 : https://www.kaggle.com/munmun2004/nyc-taxi NYC Taxi 한글커널 Explore and run machine learning code with Kaggle Notebooks | Using data from New York City Taxi Trip Duration www.kaggle.com 0. Competition Introduction 이 대회의 목적은 뉴욕에서의 택시 여행 기간(단위 : 초)를 예측하는 모델을 만드는 것이었다. 일반적인 대회와는 다르게 가장 성과 측정치가 좋았던 사람을 뽑는 것보다는 통찰력이 있고 현실에서 사용 가능한 모델을 만드는 사람에게 보상을 지불하는 형태로 진행되었다. 성과 측정치 >RMSLE(Root..

심화 스터디/코드 분석 스터디 2021. 9. 27. 00:37

0. Abstract BART 임의로 noise를 주어 텍스트를 손상 시킨 후 원래 텍스트를 재구성하기 위한 모델을 학습하는 (denoising autoencoder) 사전 학습 모델 Transformer 아키텍처를 기반으로 하는 사전 학습 모델 본 논문에서는 다양한 작업에서 최상의 성능을 갖는 BART의 실험 결과를 보이고 있음 1. Introduction NLP 작업에서 가장 성공적인 성과를 보여준 Self-supervised 접근 방식인 마스크 된 언어 모델(MLM)의 변형 → 단어의 임의 하위 집합이 마스크 된 텍스트를 재구성하도록 학습된 구조 (ex. BERT) 그러나 이러한 방법은 일반적으로 특정 유형의 end task에 초점을 맞추고 적용 가능성이 떨어진다는 한계가 있음 (ex. BERT →..

심화 스터디/NLP 스터디2 2021. 9. 25. 21:31

참고 커널: https://www.kaggle.com/sh0wmaker/binary-image-classification 0. 대회 소개 대회에 대한 간략한 소개: 북해에서 항해를 하다보면 맞닥드리는 제일 위험한 상황은 표류하는 빙하와의 충돌이다. 이 문제에 대해 골머리를 앓고 있던 에너지 회사인 Statoil사는 위성 회사인 C-CORE와 협력을 하여 표류 빙하와 일반적인 배의 위성 사진을 분류하는 모델을 만들기 위해 이 대회를 개최하게 되었다. 데이터 소개 데이터는 지상 600km에 위치한 위성에서 레이더를 쏴 반사된 빛을 이용해 이미지화(backscatter)한 것이라 한다. 물체가 견고할수록(land, islands, sea ice, icebergs, ships) 더 강한 레이더 에너지가 반사되어..

심화 스터디/코드 분석 스터디 2021. 9. 25. 14:54

참고 커널 URL https://www.kaggle.com/harunshimanto/speech-classification-using-cnn Speech Classification using CNN Explore and run machine learning code with Kaggle Notebooks | Using data from TensorFlow Speech Recognition Challenge www.kaggle.com https://www.kaggle.com/aggarwalrahul/nlp-speech-recognition-model-dev NLP - Speech Recognition Model Dev Explore and run machine learning code with Kaggle..

심화 스터디/코드 분석 스터디 2021. 9. 23. 18:37

1주차에는 스터디원들과 함께 각자 머신러닝 주제를 하나씩 정해서 서로에게 설명해주는 시간을 가졌습니다. 주제 및 관련 내용은 아래 파일들을 확인해주세요.

심화 스터디/분류, 예측 모델 스터디 2021. 9. 23. 14:46

분류, 예측에 사용하는 여러가지 머신러닝, 딥러닝 모델들을 학습한다.

심화 스터디/분류, 예측 모델 스터디 2021. 9. 23. 14:44

BERTSUM : extractive summarization을 위한 BERT 변형 모델 Single-document summarization - abstractive summarization : text rewriting을 통해 원문에 없던 단어, 구 등을 이용해서 summary 생성 - extractive summarization : 문서 내에 중요한 spans(주로 문장 단위) 그대로 가져와서 합치는 방식 방법론 d (document) : [sent1, sent2, …, sentm]으로 구성된 문서 extractive summary는 senti마다 yi ∈ {0,1} 로 summary에 포함시킬지 말지 assign 1) BERT cf. 원래 BERT masked-language model로 outp..

심화 스터디/NLP 스터디2 2021. 9. 19. 14:50

0. AE & AR : 자연어 처리 모델 Pretraining의 대표적인 두 Objective Auto Encoding Auto Regressive 1. XLNET AE 방식과 AR 방식에는 문제점이 있다고 판단하여 각각의 문제점을 보완하고 둘을 함께 사용하고자 시도한 모델 BERT 이후 처음으로 의미 있는 성능 향상을 이루어낸 모델 AE의 문제점: [MASK] token이 독립적으로 예측되기 때문에 token 사이의 dependency는 학습할 수 없음 Fine-tuning 과정에서 [MASK] token이 등장하지 않기 때문에 pre-training과 fine-tuning 사이에 discrepancy 발생 AR의 문제점: 단일 방향 정보만 이용하여 학습 가능함 각각의 문제점을 해결하고자 아래의 세 기..

심화 스터디/NLP 스터디2 2021. 9. 19. 14:42