목록AI/논문리뷰 (1)

I about me

[논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension

TransformerBART도 transformer의 기본 아키텍처를 본 따 발전되어져 왔다.잠시 집고 넘어가보면, transformer 는 Encoder와 Decoder로 구성되며,예를 들어, "I am a student"라는 문장이 입력될 때, Encoder 는 이 문장의 의미를 벡터로 변환하고, Encoder 로부터 정보를 전달받아 Decoder 가 “쥬 스위 에튀디앙”의 결과가 도출하게 된다.BERT vs. GPT Encoder 와 Decoder 는 서로 분리되어 각자의 장점을 극대화시켜 별도의 모델들로 발전하게 되었다.대표적인 모델이 Encoder 구조의 BERT와 Decoder 구조의 GPT이다. 위 그림에서 알 수 있듯 이러한 장점이 있다.그러나 이것의 단점은 BERT는 생성을 잘하지 못하..
AI/논문리뷰 2024. 11. 8. 14:14
이전 Prev 1 Next 다음