0. Abstract 기존의 Sequence transduction 모델들은 대부분 복잡한 Encoder와 decoder를 포함하는 recurrent하거나 convolutional한 인공신경망을 기반으로 한다. 본 논문에서는 이러한 recurrence/convolutions를 제외하고 Attention 구조 메커니즘 만을 이용한 보다 단순한 Transformer 구조를 소개한다. 1. Introduction 기존의 순환 신경망인 LSTM이나 GRU와 같은 모델들은 sequential modeling과 언어 모델링/기계 번역과 같은 transduction 문제들에서 SOTA 결과를 보였지만 이전 시점의 은닉 상태와 현 시점의 입력으로 새로운 은닉 상태의 sequence가 출력되는 구조로 인해 병렬 처리가 ..

심화 스터디/NLP 스터디2 2021. 9. 18. 09:45

해당 포스팅은 고현웅 님께서 업로드 하신 Machine Translation Survey(Vol1): Background 영상을 참고해 만들었습니다. 관련 링크는 다음과 같습니다: https://www.youtube.com/watch?v=KQfvEg-fGMw 1. Sequence to Sequence 1) Encoder: 입력 받은 데이터를 이해해 이에 대한 일종의 보고서(Context vector)를 출력하는 모델 2) Decoder: 이 보고서를 입력 받아 어떤 문장을 생성하는 모델 → 문제점: 입력이 엄청나게 길더라도 이 모든 내용을 fixed size 벡터로 축소해 보고서를 출력해야 함. 즉 해당 보고서로 내용을 완벽하게 표현할 수 없음! (빠지고 축소되고... 등등) 이는 문장 생성에서도 마찬가..

심화 스터디/NLP 스터디2 2021. 9. 18. 09:45

작성 : 13기 최해윤 Part Ⅰ. Tabular Solution Methods 강화학습의 simplest forms에 대하여 배우는 챕터다. action-value function이 array나 table 형태로 나타나기에 충분할 정도로 그 state와 action space가 작은 형태다. 이러한 경우, optimal value function과 optimal policy를 찾을 가능성이 높다. 이는 오직 approximate solutions만 찾아내는 much larger problems과 대비된다. 강화학습이 다른 학습들과 구분되는 가장 중요한 특징은 correct actions에 대한 정보를 제공하여 instruct 하는 것이 아니라 actions을 평가한다는 것이다. 이것이 곧 active..

심화 스터디/강화학습 스터디 2021. 9. 17. 00:57

작성 : 13기 최해윤 주어진 어떤 상황(state)에서 보상(reward)을 최대화할 수 있는 행동(action)에 대해 학습 답이 존재하는 훈련데이터를 토대로 한 학습이 아닌 환경과의 상호작용을 통해 학습 현재 선택한 Action이 미래의 순차적 보상에 영향 (Delayed Reward) External Supervisor이 존재하지 않는다. [ Trade-off between Exploitation and Exploration ] Agent는 reward를 얻기 위한 action을 선택하기 위해 이미 경험한 것을 exploit하거나 미래에 더 나은 action selection을 위한 environment와의 상호작용을 위해 explore한다. 위 두 방법 중에 더 나은 결과를 만들 방법을 택하여야..

심화 스터디/강화학습 스터디 2021. 9. 16. 22:19

작성자: 14기 김혜림 [참고 논문] https://arxiv.org/pdf/2006.01409.pdf https://arxiv.org/pdf/2005.08235.pdf COVIDGR Dataset and COVID-SDNet Methodology for Predicting COVD-19 Based on Chest X-Ray Images 초록 Abstract COVID-19를 검사하는 방법은 크게 RT-PCR, CT, Chest X-Ray(이하 CXR) 로 나눌 수 있다. 세 가지 방법중 CXR는 time/cost 효율적이며 대부분의 병원에서 이용가능하다는 장점이 있다. 따라서 CXR 이미지를 DNN 구조를 거쳐 classification 하고자 한 것이 본 논문의 목표이다. 그러나 현존하는 데이터셋은 ..

심화 스터디/의료 데이터 스터디 2021. 9. 16. 21:11

참고 커널 URL https://www.kaggle.com/bertcarremans/data-preparation-exploration Data Preparation & Exploration Explore and run machine learning code with Kaggle Notebooks | Using data from Porto Seguro’s Safe Driver Prediction www.kaggle.com https://www.kaggle.com/aharless/xgboost-cv-lb-284 XGBoost CV (LB .284) Explore and run machine learning code with Kaggle Notebooks | Using data from Porto Segur..

심화 스터디/코드 분석 스터디 2021. 9. 16. 18:30

작성자: 13기 김현지 타이타닉 데이터 셋을 활용해 Binary Classification 문제를 해결하기 위한 데이터 분석 과정을 공부해 본다. 데이터 셋: Titanic - Machine Learning from Disaster 참고 커널: EDA TO Prediction(DieTanic) 타이타닉 튜토리얼 1 - Exploratory data analysis, visualization, machine learning 타이타닉 튜토리얼 2 - Exploratory data analysis, visualization, machine learning 커널 필사: KUBIG 코드 분석 스터디 Github → 2주차 → 타이타닉 코드들 타이타닉 데이터를 활용한 이진분류(커널 필사 내용 요약, 정리) 캐글 커..

심화 스터디/코드 분석 스터디 2021. 9. 16. 17:36

작성자: 13기 김현지 깃허브로 협업하기, Collaborator 추가 방법 깃허브를 통해 협업을 할 경우 팀원 중 누군가 원격 저장소를 만들고 나머지 팀원들을 공동 작업자(Collaborator)로 추가해야 한다. Contributors vs Collaborators Contributors 프로젝트의 핵심 개발 팀이 아닌 외부에서 온 사람으로서 일부 변경을 통해 프로젝트에 기여하고자 하는 사람이다. 프로젝트의 관리자는 아니지만 한 프로젝트의 커밋에 관여하는 모든 사람을 말한다. Push 권한은 없으므로 Fork하여 프로젝트를 통째로 복사해 온 후 Push를 하게 되면 자신이 복사해온 프로젝트에 Push가 완료되고, 원래의 저장소로 Push의 내용을 보낼 수 있다. → Pull Request 생성 Pul..

알쓸쿠잡/깃 & 깃허브 2021. 9. 15. 17:15