I about me

왼쪽처럼 모델을 훈련시킬 때, loss가 줄어드는 것은 매우 좋은 것이다.그러나, 오른쪽 그림에서 말하듯, 새로운 데이터가 들어왔을 때 train 모델과 test모델의 차이를 줄이는 것이 훨씬 중요 그러나, 훈련 데이터에 너무 맞춰져서  오히려 새로운 데이터가 들어왔을 때 성능이 저하될 때가 있는데, 이를 우리는 Overfitting이라고 하며 이러한 문제를 해결하기 위해 1. Bias–variance tradeoff2. early stopping3. Model Ensembles4. Regularization1. Bias–variance tradeoffBias: 학습된 모델의 예측값 평균과 실제 값간의 차이를 의미 (학습 능력)Variance: 예측값의 평균과 실제 값간의 차이 (예측 능력)우리는 일반적..

gradients 소실 zero-centered계산 비용역전파 학습출력이 0이나 1에 가까워질수록 발생X지수함수 쓰기 때문(But, 큰 문제 x)  출력이 -1이나 1에 가까워질수록 발생 O   음수면 0. 양수이면 입력값 그대로 출력gradients 소실X ↓ 음 →  dead ReLU X 단순 연산이라 계산 효율 뛰어남  음의 영역에도 0 X(= dead ReLU X)X단순 연산이라 계산 효율 뛰어남α → 역전파 통해 학습됨이 활성화 함수에서는 내적의 기본적인 형태를 미리 정의하지 않는다.대신에, max(w1Tx+b1,w2Tx+b2)">𝑚𝑎𝑥(𝑤1𝑇𝑥+𝑏1, 𝑤2𝑇𝑥+𝑏2)를 사용한다.maxout은 둘 중에 최대값을 취한다.이는 saturation되지 않고, 그레이디언트를 잘 계..

Improve your training error # Learning rate# Learning rate decay# Optimal Learning Rate for Different Batch sizesLearning rate모델이 데이터를 학습하며 가중치를 조정해나간다.그래서 학습의 일정 기간동안, 가중치의 크기를 조절하여 손실을 줄이는 방향으로 학습한다. 이때, 학습률이 높으면 가중치가 크게 변하고, 낮으면 작게 변합니다. 즉, 학습률은 잠깐 뜸들여 방향을 찾는 것을 말한다.      - 손실이 급격히 증가하다는 것 = very high 학습률 - 손실이 처음에는 감소하다가 나중에 평평 = 아직은 high 학습률- loss가 확 줄어드는 방향으로 간다? → good 학습률- loss이 매우 천천히다?..

강노 2. Neural Networks (NN)Traditional ML Approaches // 전통적인 기계 학습 접근법 소개Introduction to Neural Networks // 신경망 소개Activation Functions (Nonlinearity) // 활성화 함수 (비선형성)Sigmoid, ReLU,Leaky ReLU, ELU, SELU, and Maxou 강노 3. Backpropagation// 인공 신경망에서 사용되는 학습 알고리즘 중 하나로, 출력 값과 실제 값 사이의 오차를 계산하고 이 오차를 최소화하기 위해 네트워크의 가중치를 조정하는 과정 Gradient Descent // 함수의 기울기을 활용하여 최적화 문제를 해결하는 방법 중 하나 Computational Graphs..