ML5 10.ReLU, weight 초기화, DropOut과 Ensemble * Backpropagation Issue - Sigmoid 함수를 사용할 경우 값이 0이상 1이하의 값으로 예측됨 - backward로 미분값을 계산할 경우 0에 가까운 값으로 곱해지기 때문에 layer가 많아질수록 처음 입력값이 최종값에 미치는 영향도가 작아짐 -> Vanishing gradient 발생 * ReLU(Rectified Linear Unit) 사용 - 0보다 작으면 inactive L1 = tf.nn.relu(tf.matmul(X,W1)+b1) * 초기값 설정 - W를 초기화 시킬 때 초기값을 랜덤값으로 초기화 함 - backward를 진행하면 미분값이 사라짐 - Weight 초기값을 0으로 모두 초기화 하면 안됨 * RBM(Restricted Boatman Machine)을 사용해서 .. 2020. 2. 19. 09.XOR using Neural Networks * XOR - Multiple logistic regression 으로 해결 가능 (3개의 network) * Weight 과 bias를 행렬로 나타내어 처리 할 수 있음 - Layers 각각의 Weight과 bias 어떻게 예측할 것인지 (W와 b의 값을 어떻게 자동적으로 학습할 수 있을지) *G (Gradient Descent Algorithm) x1(각각의 입력 값)이 Y에 끼치는 영향(미분값)을 알아야 예측 할 수 있음 Backpropagation Algorithm 예측값과 출력값을 비교해서 cost를 backward로 보내 W,b 예측 *sigmoid 미분 * 실습 - Xor layer 구성 import tensorflow as tf import numpy as np x_data = np.arr.. 2020. 2. 18. 08.Neural Network Neural Network - 뉴런을 Activation Functions로 나타낼 수 있음 AND/OR 문제를 풀 수 있으면 예측할 수 있는 모델을 만들 수 있을것이라고 생각 XOR Problem - XOR은 Linear 하게 선을 그어도 100% 확률로 예측할 수 없음 (Weight 과 bias를 예측 할 수 없음) * Backpropagation - W,b를 먼저 예측한 후 - backword를 통해 W,b를 다시 예측 * Convolutional Neural Networks - 한 번에 그림을 인식시키는 것이 아니라 픽셀을 잘라서 layer로 보낸 후 나중에 합치는 방법으로 개발 - 문자와 숫자 인식에 90% 이상 인식률을 보임 - 구글 자율주행 자동차 * (문제) Backpropagation 은.. 2020. 2. 18. 07. Application & Tips * Learning rate - Gradient descent : cost를 가장 작게 하는 값을 찾기 위해 사용 - learning rate 를 알맞게 정하는 것이 중요 1) Learning rate 가 너무 큰 경우 -> overshooting 발생 - cost가 점점 커지는 경우가 발생 2) learning rate 가 너무 작은 경우 - local minimun에서 멈추는 현상 발생 해결방법 - learning rate는 data나 환경에 따라 달라 질 수 잇음 - 0.01로 먼저 정하고 출력해보면서 learning rate를 수정 * Data preprocessing - pre-processing 이 필요없는 Data set - Data pre-processing이필요 함 -> learning .. 2020. 2. 16. 이전 1 2 다음 반응형
