[ 기본 ] Neural network - feed forward

안녕하세요 비오는 장마철에 다시 뵙네요!!  

neuron network  중 한 개의 노드를 perceptron 이라고 부릅니다.

입력으로 x1, x2, x3 가 주어졌을 때  이를 이용해서 output 을 나타내는 대표적인 non-linear 모델의 핵심 내용입니다.

perceptron 이 모여서 한 개의 layer를 구성하고 layer 들이 모이면 흔히들 말하는 multi-layer perceptron 이라고 부르는 neural network이 구성됩니다.

그 핵심은 물론 perceptron 이겠죠??

neuron 이 동작하는 원리를 따라서 만들었다고 인공신경(perceptron) 이라고 붙었을 만큼, 동작 원리는 비슷합니다.

우선 x1,x2,x3 라는 입력값이 들어왓을 때 각각의 가중치(w1,w2,w3) 가 곱혀져 값이 나옵니다. 

여기서 한가지 생각을 해봅시다. 바늘에 찔렸을 때와 모기가 물렸을 때, 느끼는 정도는 당연히 다르겠죠?

모기에 물렸을 때 분명히 민감한 사람들은 느껴지겠지만, 대부분은 물렸는지도 모르고 지나갈 것입니다. 

과연 입력값이 너무 작아서 우리가 느끼지 못하는 것일까요?

입력값이 너무 작으면 아예, 출력값으로 아무것도 전달하지 않는 무언가가 있기 때문입니다.

방금 말한  넘어온 값을 threshold 에 따라 무언가를 동작시킬지 말지 하는 함수들을 activation function 이라고 부릅니다.

이를 표현한 것이  $z=f(u)$ 입니다.

종류는 많지만, 우선적으로 아래 sigmoid, tanh, ReLu(rectified linear Unit)  3가지 정도만 있다면 이해하셔도 무방합니다.

activation function

- sigmoid

- tanh

-ReLu

category	output(activation function)	error function
regression	identity mapping	least square method
binarization	logistic	cross-entrophy
classification	soft-max	cross-entrophy