I about me

gradients 소실 zero-centered계산 비용역전파 학습출력이 0이나 1에 가까워질수록 발생X지수함수 쓰기 때문(But, 큰 문제 x)  출력이 -1이나 1에 가까워질수록 발생 O   음수면 0. 양수이면 입력값 그대로 출력gradients 소실X ↓ 음 →  dead ReLU X 단순 연산이라 계산 효율 뛰어남  음의 영역에도 0 X(= dead ReLU X)X단순 연산이라 계산 효율 뛰어남α → 역전파 통해 학습됨이 활성화 함수에서는 내적의 기본적인 형태를 미리 정의하지 않는다.대신에, max(w1Tx+b1,w2Tx+b2)">𝑚𝑎𝑥(𝑤1𝑇𝑥+𝑏1, 𝑤2𝑇𝑥+𝑏2)를 사용한다.maxout은 둘 중에 최대값을 취한다.이는 saturation되지 않고, 그레이디언트를 잘 계..

Improve your training error # Learning rate# Learning rate decay# Optimal Learning Rate for Different Batch sizesLearning rate모델이 데이터를 학습하며 가중치를 조정해나간다.그래서 학습의 일정 기간동안, 가중치의 크기를 조절하여 손실을 줄이는 방향으로 학습한다. 이때, 학습률이 높으면 가중치가 크게 변하고, 낮으면 작게 변합니다. 즉, 학습률은 잠깐 뜸들여 방향을 찾는 것을 말한다.      - 손실이 급격히 증가하다는 것 = very high 학습률 - 손실이 처음에는 감소하다가 나중에 평평 = 아직은 high 학습률- loss가 확 줄어드는 방향으로 간다? → good 학습률- loss이 매우 천천히다?..

본 글은 https://iai.postech.ac.kr/teaching/deep-learning/ 해당 페이지를 보고 공부한 것을 정리한 내용입니다  Polynomial Regression(다항회귀)- 데이터를 표현함에 있어 선형이 아닌 곡선으로 나타나는 경우에 사용하는 회귀- 회귀모델의 차수(degree)를 조절함으로써 데이터에 대한 적합성을 조정할 수 있음 아래 에서 d는 차수를 뜻하므로 d = 1이라면,d = 2이라면,d = n이라면,d = 1 d = 2 d = 3d = 4d = 5d = 6d = 7d = 8d = 9 Errors on Train and Test Datasets다항회귀 모델의 차수(degree)를 변화시키면서- --- : Train  데이터에 대한 잔차 제곱합 (RSS) - ---..

본 글은 https://iai.postech.ac.kr/teaching/deep-learning/ 해당 페이지를 보고 공부한 것을 정리한 내용입니다 머신러닝기계 학습 = 기계가 배운다 그렇다면? 기계가 무엇을? 어떻게? 배울 수 있을까? 과거에는 인공지능을 개발할 때 해당 분야의 전문가들이 만든 많은 양의 샘플들을 데이터 베이스화 하여 자료들을 일일이 수작업으로 컴퓨터에 직접 등록하는 방법 그러나, 대부분의 작업이 사람의 손을 거쳐야 하므로 필연적으로 많은 시간과 노력, 비용이 발생 또한, 시대가 발전함에 따라 사람조차 명확하게 구분할 수 없는 지식(no explicit knowledge)을 구현해야 하거나, 사람이 일일이 구현하기에는 너무 많은 양의 규칙들이 필요한 경우가 생겨나기 시작 그러므로 머신러..

본 글은 https://iai.postech.ac.kr/teaching/deep-learning/ 해당 페이지를 보고 공부한 것을 정리한 내용입니다 Gradient Descent이번 강의에서는 경사 하강법 알고리즘과 그 변형들에 대해 다룰 것Batch Gradient Descent (배치 경사 하강법) Stochastic Gradient Descent (확률적 경사 하강법)Mini-batch Gradient Descent (미니 배치 경사 하강법) 세 가지 경사 하강법 알고리즘의 개념을 로지스틱 회귀 모델을 사용하여 탐구할 것 Gradient Descent의 한계 Adaptive learning rate 학습률이 너무 크다면? 모델이 최적의 값을 지나치게 되어 수렴하지 않을 수 있다학습률이 너무 작다면?..

본 글은 https://iai.postech.ac.kr/teaching/deep-learning/ 해당 페이지를 보고 공부한 것을 정리한 내용입니다 최적화 1) 엔지니어링 문제 해결과 2) 의사 결정을 하는데 많이 중요한 도구이다.ex) 컨테이너의 적재 무게 밸런싱, 식단 구성화(고객 만족도↑, 식단 금액↓) etc다음의 기본요소를 갖는다1) Objective function // 목적 함수      y = f(x)     ex) 여행 거리를 나타내는 함수를 최소화하면서도, 여행에 필요한 시간은 최대한 짧게 만드는 함수2) Decision variable or unknown // 결정 변수 혹은 미지수      ex) 도시 간의 이동 경로, 출발 시간 3) Constraints // 제약 조건     ..

강노 2. Neural Networks (NN)Traditional ML Approaches // 전통적인 기계 학습 접근법 소개Introduction to Neural Networks // 신경망 소개Activation Functions (Nonlinearity) // 활성화 함수 (비선형성)Sigmoid, ReLU,Leaky ReLU, ELU, SELU, and Maxou 강노 3. Backpropagation// 인공 신경망에서 사용되는 학습 알고리즘 중 하나로, 출력 값과 실제 값 사이의 오차를 계산하고 이 오차를 최소화하기 위해 네트워크의 가중치를 조정하는 과정 Gradient Descent // 함수의 기울기을 활용하여 최적화 문제를 해결하는 방법 중 하나 Computational Graphs..