전체 글98 09.XOR using Neural Networks * XOR - Multiple logistic regression 으로 해결 가능 (3개의 network) * Weight 과 bias를 행렬로 나타내어 처리 할 수 있음 - Layers 각각의 Weight과 bias 어떻게 예측할 것인지 (W와 b의 값을 어떻게 자동적으로 학습할 수 있을지) *G (Gradient Descent Algorithm) x1(각각의 입력 값)이 Y에 끼치는 영향(미분값)을 알아야 예측 할 수 있음 Backpropagation Algorithm 예측값과 출력값을 비교해서 cost를 backward로 보내 W,b 예측 *sigmoid 미분 * 실습 - Xor layer 구성 import tensorflow as tf import numpy as np x_data = np.arr.. 2020. 2. 18. 08.Neural Network Neural Network - 뉴런을 Activation Functions로 나타낼 수 있음 AND/OR 문제를 풀 수 있으면 예측할 수 있는 모델을 만들 수 있을것이라고 생각 XOR Problem - XOR은 Linear 하게 선을 그어도 100% 확률로 예측할 수 없음 (Weight 과 bias를 예측 할 수 없음) * Backpropagation - W,b를 먼저 예측한 후 - backword를 통해 W,b를 다시 예측 * Convolutional Neural Networks - 한 번에 그림을 인식시키는 것이 아니라 픽셀을 잘라서 layer로 보낸 후 나중에 합치는 방법으로 개발 - 문자와 숫자 인식에 90% 이상 인식률을 보임 - 구글 자율주행 자동차 * (문제) Backpropagation 은.. 2020. 2. 18. 07. Application & Tips * Learning rate - Gradient descent : cost를 가장 작게 하는 값을 찾기 위해 사용 - learning rate 를 알맞게 정하는 것이 중요 1) Learning rate 가 너무 큰 경우 -> overshooting 발생 - cost가 점점 커지는 경우가 발생 2) learning rate 가 너무 작은 경우 - local minimun에서 멈추는 현상 발생 해결방법 - learning rate는 data나 환경에 따라 달라 질 수 잇음 - 0.01로 먼저 정하고 출력해보면서 learning rate를 수정 * Data preprocessing - pre-processing 이 필요없는 Data set - Data pre-processing이필요 함 -> learning .. 2020. 2. 16. 06.Multinomial classification - Softmax Classification * Multinomial Classification : 여러 개의 값 중 하나의 값을 예측 - 3 개의 classifier로 구현 가능 - 각 각의 classifier를 하나의 매트릭스로 표현 가능 * Softmax classification 1. scores - A, B, C 3개 중에서 하나를 예측하는 모델 - binary classification 3개를 사용하여 Y를 예측 2. probability - Softmax 함수를 사용하여 계산 - Softmax 함수 1) 입력을 0에서 1사이의 값으로 변환 2) 변환된 결과에 대해 합계가 1이 되도록 만들어 줌 3. One-hot-Encoding - 가장 큰 값을 1로, 나머지는 0으로 변환 - tensorflow 에서 argmax 함수로 제공 * Co.. 2020. 2. 14. 이전 1 ··· 10 11 12 13 14 15 16 ··· 25 다음 반응형
