본문 바로가기

전체 글11

[논문 리뷰] Exploiting BERT for End-to-End Aspect-based Sentiment Analysis 기존의 Sentiment Analysis(감성 분석)은 문장 전체를 보고 문장이 긍정인지 부정인지 분류하는 형태로 진행된다. 그러나, 이는 문장 내에 다중 속성이 내포되어 있더라도 하나의 속성만을 도출한다는 단점이 있다. 예를 들어, "이 종목의 매출액은 증가하였지만 영업이익은 감소했다."라는 문장은 종목의 매출액에 대한 속성은 긍정을 나타내고, 영업이익에 대한 속성은 부정을 나타낸다. 그러나, 기존의 Sentiment Analysis 방식을 사용하는 경우에는 해당 문장에 대한 매출액, 영업이익에 대한 속성을 모두 긍정 혹은 부정으로 판별해야 되는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 BERT-E2E-ABSA 모델을 제안하였고, 2019년에 EMNLP에서 발표한 논문이다. Introd.. 2023. 2. 13.
[논문리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract BERT는 최초의 bi-directional(or non-directional) 방법으로 사전 훈련된 언어 모델이다. BERT는 대용량 unlabeled data로 모델을 미리 학습 시킨 후, 특정 task의 labeled data로 transfer learning을 하는 모델로서 self-supervised learning을 사용하여 단어와 문맥의 깊은 의미를 학습한다. Pretrain 후 모델은 최소한의 조정으로 다양한 작업과 다양한 데이터 세트에 맞게 조정할 수 있다. BERT는 특정 task를 처리하기 위해 새로운 network를 붙일 필요 없이, BERT 모델 자체의 fine-tuning을 통해 해당 task의 SOTA를 달성했다고 한다. Introduction Language .. 2023. 1. 25.
[Docker] Docker에서 Jupyter Notebook 사용 Jupyter notebook Image Pull https://hub.docker.com/r/jupyter/datascience-notebook/ docker pull jupyter/datascience-notebook Docker hub.docker.com Docker Container 생성 (Jupyter Notebook) docker run \ --name jupyter-notebook \ -e GRANT_SUDO=yes \ --user root \ -p 8800:8888 \ -d \ -it \ jupyter/datascience-notebook --name : 컨테이너 이름 -e : jupyter notebook 에 root 권한 할당 --user : 컨테이너에 root 권한 할당 -p : 호스.. 2022. 12. 23.
[논문 리뷰] ATTENTION IS ALL YOU NEED (2017) Seq2Seq 모델 Encoder에서 압축한 context vector는 전체 입력 시퀀스 데이터가 길어질 경우 문장 앞 부분에 대한 정보 손실이 발생한다. (long term dependency problem) 이를 해결하기 위해 Attention mechanism이 나왔고, 현재 대부분의 언어 모델이 TransFormer 모델 기반이라고 해도 과언이 아닐만큼 언어 모델의 한 획을 그은 논문이라고 생각한다. 해당 논문은 2017년 Neural Information Processing Systems (Neural IPS)에서 발표된 논문이며, Google Brain과 Google Research 그룹에서 발표한 논문이다. Abstract RNN, 특히 LSTM과 GRU는 sequence modeling과.. 2022. 12. 7.
[Docker] Error response from daemon 해결 Docker 컨테이너에 Port를 등록하는데 아래와 같은 오류가 발생했다. docker: Error response from daemon: driver failed programming external connectivity on endpoint notebook (e5c378b99fc2a8dce7d7c7806f946b71b433df9d359fff08c8d0f9d194663493): (iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 Docker에서 외부로 오픈하려는 포트가 겹쳐서 컨테이너가 실행이 제대로 안되는 오류였고, 방화벽 오류등의 문제로 발생한다고 한다. 해결 방법은 아래와 같다. 1. 오류가 발생 하고 있는 Docker Contai.. 2022. 9. 30.
[Docker] 도커 설명 1. 도커란? Docker는 애플리케이션을 신속하게 구축, 테스트 및 배포할 수 있는 소프트웨어 플랫폼입니다. Docker는 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징하며, 이 컨테이너에는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 모든 것이 포함되어 있습니다. • 컨테이너 기반의 오픈소스 가상화 플랫폼 • 도커 컨테이너 > 프로세스가 동작하는 독립된 가상공간 > 다른 컨테이너나 호스트의 환경과 상관없이 실행 2. 도커의 장점 • 개발환경의 동기화가 용이하다. • 이미지라는 것을 통해 컨테이너를 생성하면 로컬 환경과 독립적으로 구동 • 따라서 호스트의 환경에 관계없이 동일한 개발환경을 간편하게 안정적으로 구축할 수 있음 • 가상머신에 비해 자원적,성능적 우위 • .. 2022. 9. 29.
[논문 리뷰] Sequence to Sequence Learning with Neural Networks (2014) 자연어 논문을 리뷰하기 위해 차례대로 논문 리뷰를 진행하려고 한다. 우선 가장 먼저 Seq2Seq 라고 불리는 Google에서 발표한 Sequence to Sequence Learning 논문부터 리뷰를 진행하기로 했다. Abstract 기존의 Deep Neural Networks는 고정 길이의 벡터 차원만 학습이 가능하기에, 일반적으로 길이가 다른 sequence에 적용이 어려웠다. 거의 대부분의 input text length는 일정하지 않고 서로 다르므로 Sequence to Sequence Learning 논문에서는 다층의 Long-Short-Term Memory (LSTM) 아키텍처를 통해 end-to-end 방법을 사용하여 sequence 학습을 가능하게 한다. LSTM을 통해 input se.. 2022. 9. 25.
[논문 리뷰] A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance https://paperswithcode.com/ 에서 Finance를 검색했을 때, FinRL이 가장 상위에 있어, 호기심을 갖게 되었고 해당 논문을 리뷰하기로 함. 1. Introduction 최근에 Deep Reinforcement Learning이 점점 더 많이 사용되고 있는데, 주식 거래에 있어서 실용적인 Deep Reinforcement Learning 에이전트를 학습 및 개발시키려면 많은 시간과 비용이 발생하며, 오류가 나기도 쉬움. 이를 위해 SOTA의 DRL 알고리즘들(DQN, DDPG, PPO, SAC, A2C, TD3, etc)을 fine-tuning 하여 라이브러리 형태로 제공하여 사용자들이 오랜 시간 힘든 개발 과정을 거치지 않고 쉽고 빠르게 DRL 알고리즘을 통해 자신만의 Sto.. 2022. 9. 24.

티스토리툴바