I about me

텍스트 분류고객 피드백을 여러 카테고리로 분류언어에 따라 고객 지원 요청 티켓을 전달 언어에 따라 그 요청을 적절한 담당자나 팀에 할당하는 과정 또는 시스템 기능이메일의 스팸 필터가 받음 메일함에서 정크 메일을 걸러냄텍스트의 감성분석 ex) 테슬라의 트위터 포스트 분석이 장에서는 BERT에 비견하는 DistilBERT를 사용함DistilBERT는 BERT보다 파라미터를 줄였음에도, 성능이 꿀리지 않아 실제로 BERT를 실생활에서 이용할 때, 속도와 메모리 때문에 DistilBERT이 사용됨 1. 데이터셋 불러오기 load_dataset() 함수로 emotion 데이터셋을 로드함from datasets import load_datasetemotions = load_dataset('emotion')2. To..

인코더 & 디코더NN입력층에서 출력층까지 정보가 한 방향으로 흐름중간에 있는 은닉층(hidden layer)을 통해 복잡한 패턴을 학습RNN시간적 순서를 고려한 네트워크 → 시계열 데이터각 시점의 출력은 현재 입력과 이전 시점의 출력을 기반으로 계산h에 대한 가중치(W_h)가 t번 곱해짐에 따라t > 1 → ∞ (Nan, inf) → exploding → 학습이 더 이상 불가능 → clipping로 해결t → 0 → vanishing → LSTM, GRU로 해결장기의존성 문제(the problems of long-term dependencies)입력과 출력 사이의 거리가 멀어질수록 연관 관계가 적어지는 문제LSTMRNN의 장기의존성 문제를 해결하고자 LSTM 모델 등장cell state를 추가하여 중요한..