NLP3 [논문리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract BERT는 최초의 bi-directional(or non-directional) 방법으로 사전 훈련된 언어 모델이다. BERT는 대용량 unlabeled data로 모델을 미리 학습 시킨 후, 특정 task의 labeled data로 transfer learning을 하는 모델로서 self-supervised learning을 사용하여 단어와 문맥의 깊은 의미를 학습한다. Pretrain 후 모델은 최소한의 조정으로 다양한 작업과 다양한 데이터 세트에 맞게 조정할 수 있다. BERT는 특정 task를 처리하기 위해 새로운 network를 붙일 필요 없이, BERT 모델 자체의 fine-tuning을 통해 해당 task의 SOTA를 달성했다고 한다. Introduction Language .. 2023. 1. 25. [논문 리뷰] Sequence to Sequence Learning with Neural Networks (2014) 자연어 논문을 리뷰하기 위해 차례대로 논문 리뷰를 진행하려고 한다. 우선 가장 먼저 Seq2Seq 라고 불리는 Google에서 발표한 Sequence to Sequence Learning 논문부터 리뷰를 진행하기로 했다. Abstract 기존의 Deep Neural Networks는 고정 길이의 벡터 차원만 학습이 가능하기에, 일반적으로 길이가 다른 sequence에 적용이 어려웠다. 거의 대부분의 input text length는 일정하지 않고 서로 다르므로 Sequence to Sequence Learning 논문에서는 다층의 Long-Short-Term Memory (LSTM) 아키텍처를 통해 end-to-end 방법을 사용하여 sequence 학습을 가능하게 한다. LSTM을 통해 input se.. 2022. 9. 25. [논문 리뷰] Detext : A Deep Text Ranking Framework with BERT 1. Introduction LinkedIn의 Search & Recommendation Ecosystem에 들어가는 아키텍쳐는 아래와 같은 모습으로서 엄청나게 많은 엔진들이 하루에 수천만번 검색이 이루어지는 대형 포털사이트에서 돌아간다. 최근의 BERT같은 자연어 모델은 분명 NLP에서 뛰어난 성과를 보이고 있지만, 검색 시스템에 직접 적용하기에는 BERT 모델의 높은 계산 비용으로 인해 매우 큰 부담이다. 그래서 링크드인에서는 직접 다양한 사례를 연구해서 BERT를 기반으로 모델을 구축하는 검색 시스템의 Ranking 시스템 프레임워크 DeText를 소개하고, 또한 인기 있는 NLP 모델에 새로운 기능을 부여하는 방법을 설명한다. DeText를 사용하면 사용자는 작업 유형에 따라 NLP 모델을 교환하.. 2022. 9. 22. 이전 1 다음
