[Data Mining] 딥러닝의 기초 - 퍼셉트론, 인공신경망

딥러닝의 기초 - 퍼셉트론, 인공신경망

표기 방식

퍼셉트론

Frank Rosenblatt(1957)

참고 - 활성함수

퍼셉트론의 한계

다층퍼셉트론

• 퍼셉트론의 선형분류기를 비선형분류기로
  • 다수의 인공신경세포(노드, Node)로 구성된 층(Layer)으로 구분
  • 입력층, 은닉층(Hidden Layer), 출력층으로 구성

은닉층의 역할

• 도메인을 선형분류 가능하도록 변화시킴

수식으로 표현하는 다층퍼셉트론

가중치의 표현

인공신경세포의 표현

은닉층의 인공신경세포(노드)의 값 계산

다층퍼셉트론의 출력층 노드의 계산

입력층 → 은닉층의 행렬-벡터 표현

입력층 → 출력층의 행렬-벡터 표현(앞먹임, Feed-forward or forward pass)

다층퍼셉트론과 행렬곱

• 지금까지의 수식은 하나의 데이터에 대한 결과
• 다층퍼셉트론의 입력층 → 출력층의 계산은 데이터에 대해 “독립”
  • 데이터 간의 의존성이 없기 때문에 동시에 계산 가능
• 입력값-출력값의 데이터가 100개 있다고 가정할 때

• 입력층 → 은닉층의 계산의 변화

---

[참고] 행렬곱이 왜 중요한가?

• 많은 계산을 요구하는 O(n^3) 알고리즘
  • 4만 x 4만 행렬곱에 필요한 메모리는 약 12GB

• 행렬곱은 계산자원(CPU, GPU, FPGA, AP, …)을 가장 잘 활용할 수 있는 알고리즘