Bert3 [논문 리뷰] Exploiting BERT for End-to-End Aspect-based Sentiment Analysis 기존의 Sentiment Analysis(감성 분석)은 문장 전체를 보고 문장이 긍정인지 부정인지 분류하는 형태로 진행된다. 그러나, 이는 문장 내에 다중 속성이 내포되어 있더라도 하나의 속성만을 도출한다는 단점이 있다. 예를 들어, "이 종목의 매출액은 증가하였지만 영업이익은 감소했다."라는 문장은 종목의 매출액에 대한 속성은 긍정을 나타내고, 영업이익에 대한 속성은 부정을 나타낸다. 그러나, 기존의 Sentiment Analysis 방식을 사용하는 경우에는 해당 문장에 대한 매출액, 영업이익에 대한 속성을 모두 긍정 혹은 부정으로 판별해야 되는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 BERT-E2E-ABSA 모델을 제안하였고, 2019년에 EMNLP에서 발표한 논문이다. Introd.. 2023. 2. 13. [논문리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract BERT는 최초의 bi-directional(or non-directional) 방법으로 사전 훈련된 언어 모델이다. BERT는 대용량 unlabeled data로 모델을 미리 학습 시킨 후, 특정 task의 labeled data로 transfer learning을 하는 모델로서 self-supervised learning을 사용하여 단어와 문맥의 깊은 의미를 학습한다. Pretrain 후 모델은 최소한의 조정으로 다양한 작업과 다양한 데이터 세트에 맞게 조정할 수 있다. BERT는 특정 task를 처리하기 위해 새로운 network를 붙일 필요 없이, BERT 모델 자체의 fine-tuning을 통해 해당 task의 SOTA를 달성했다고 한다. Introduction Language .. 2023. 1. 25. [논문 리뷰] Detext : A Deep Text Ranking Framework with BERT 1. Introduction LinkedIn의 Search & Recommendation Ecosystem에 들어가는 아키텍쳐는 아래와 같은 모습으로서 엄청나게 많은 엔진들이 하루에 수천만번 검색이 이루어지는 대형 포털사이트에서 돌아간다. 최근의 BERT같은 자연어 모델은 분명 NLP에서 뛰어난 성과를 보이고 있지만, 검색 시스템에 직접 적용하기에는 BERT 모델의 높은 계산 비용으로 인해 매우 큰 부담이다. 그래서 링크드인에서는 직접 다양한 사례를 연구해서 BERT를 기반으로 모델을 구축하는 검색 시스템의 Ranking 시스템 프레임워크 DeText를 소개하고, 또한 인기 있는 NLP 모델에 새로운 기능을 부여하는 방법을 설명한다. DeText를 사용하면 사용자는 작업 유형에 따라 NLP 모델을 교환하.. 2022. 9. 22. 이전 1 다음
