모두의 딥러닝 (5) - 퍼셉트론

인간의 뇌는 치밀하게 연결된 약 천억개의 뉴런으로 이루어져 있다.

뉴런과 뉴런 사이에는 시냅스라는 연결 부위가 있는데, 신경 말단에서 자극을 받으면 시냅스에서 화학 물질이 나와 전위 변화를 일으킨다.

전위가 임계 값을 넘으면 다음 뉴런을 신호를 전달하고 그렇지 않으면 아무것도 하지 않는다.

지금까지 배운 과정과 비슷하다고 생각하다면 GOOD JOB!!

즉 인간의 뇌의 메커니즘을 바탕으로 딥러닝이 만들어 졌따. 즉 뉴런과 비슷한 메커니즘을 사용하면 인공적으로 '생각'하는 무언가를 만들지 않겠냐는 생각으로 딥러닝이 만들어 졌다.

그 첫 연구가 바로 인공 신경망(Artificial Neural Network) 연구다. 

 

 

이 사진은 뉴런과 퍼셉트론을 비교한 사진인데 뉴런이 자극을 받아 시냅스라는 연결 부위를 통해 전위가 임계 값을 넘으면 다른 연결된 뉴런으로 자극이 전달이 되는 것처럼 퍼셉트론도 입력값 X1, X2가 w1, w2라는 가중치와 b라는 편향(y절편)이 더해져 가중합이 되어 활성화 함수를 만나(ex. 시그모이드) 임계치를 넘으면 출력되는 는 비슷한 구도를 설명해준다. 여기서 퍼셉트론은 입력 값과 활성화 함수를 사용해 출력 값을 다음을 넘기는 가장 작은 신경망 단위이다. 이 퍼셉트론이 모여서 신경망을 이룬다! 활성화 함수란 가중합의 결과를 놓고 1 또는 0을 출력해서 다음으로 보내는데 이때 0과 1을 판단하는 함수가 활성화 함수다. 아까 배웠던 시그모이드 함수가 대표적 활성화 함수!

 

하지만 여기서 문제점이 생겨 잠시 퍼셉트론 연구는 멈추게 된다.

그 이유는 다음의 사진이 설명해주는데

 

이것이 퍼셉트론의 한계를 설명할 때 등장하는 XOR(exclusive OR) 문제이다.

컴퓨터는 두 가지의 디지털 값, 즉 0과 1을 입력해 하나의 값을 출력하는 회로가 모여 만들어지는데, 이 회로를 Gate라고 부른다. 이 사진은 OR Gate, AND Gate, XOR Gate를 보여주고 있다. 보이는 것처럼 OR 게이트는 x1, x2값중에 하나만 1이 되어도 1을 출력하고 AND 게이트는 x1, x2값에서 둘다 1이 되어야 1을 출력한다. XOR 게이트는 둘 중 하나만 1일 떄 1이 출력되는데 보이는 것과 같이 해당되는 점을 (-), (+)를 통해 설명하고 있다. OR , AND 게이트는 빨간색 선으로 결과값이 1인 값(+)을 구분할 수 있는데 XOR의 경우는 선을 그어 구분할 수 없다.

몇 년이 지난 후 이 문제가 해결 되는데 이를 해결한 개념이 바로 다중 퍼셉트론이다.

 

XOR 문제 해결

이 방법을 고안해서 다중 퍼셉트론을 만들었는데 종이를 통해 XOR Gate를 구현해 보니 평면을 휘어주면 두 구분선이 생겨 결과값이 1인 점(+)을 구별해낼수 있게 된다는 것이였다. 즉 XOR 문제를 해결하기 위해서는 두 개의 퍼셉트론을 한 번에 계산할 수 있어야 했는데 이를 가능하게 하려면 숨어있는 층, 즉 은닉층을 만들어야 했다! 이 은닉층이 좌표 평면을 왜곡시키는 결과를 가져오게 된다.

 

다중 퍼셉트론을 도식화하면 이런 그림이 나타난다.

 

숨어있는 은닉층으로 퍼셉트론이 각각의 가중치와 편향값을 보내고 은닉층에서 모인 값이 한 번 더 활성화 함수를 이용해 최종값(Yout)으로 결과를 보낸다. 

은닉층에 모이는 중간 정거장(n1, n2)을 노드(node)라고 한다.

이 다층 퍼셉트론으로 XOR 문제를 해결했던 학자들의 과정을 코딩으로 설명해보자면 이렇다.

마지막에 if __name__ == 'main'을 설명한 이유는 그때 한참 파이썬도 공부하고 있던 때였는데 계속해서 나오는 부분을 그냥 대충 넘어갔던게 거슬려서 계속 찾아보면서 아예 머리속에 박아둘려고 제대로 검색해 요약해놓은 것이다.

다음 장은 오차 역전파!