Multi-task1 [논문 리뷰] Massive Multi-task Representations with Pre-Finetuning 1. Abstract Language Model Pre-Training • unlabeled dataset을 활용한 학습 방법 • 대표적으로 문장에서 특정 단어를 맞추는 방식으로 Unspervised Learning • ELMO, BERT 등등 Multil-task learning • 여러 Task의 Labeled Dataset을 활용하여 1개의 모델 Supervised Learning • 장점 : 1. 지식 공유 : Task 1을 학습하면서 얻은 정보가 다른 연관 Task들에 좋은 영향을 줌 2. 과적합 방지 : 여러 task들을 학습하면서 보다 일반화된 특징(generalized representation)을 학습 3. 계산 효율성 : 동시에 학습하기 때문에 계산 비용이 적다 4. 다양성 : 현실에서.. 2022. 9. 24. 이전 1 다음
