인공신경망

인공신경망이란

인공신경망은 생물학적 뉴런을 모방한 단순 연산 처리기를 가중치로 연결한 모형이다.

데이터로부터 입력과 출력의 관계를 학습하는 머신러닝 모델이다.

핵심 키워드는 인공 뉴런, 가중치, 편향, 활성화 함수, 역전파, 경사하강법이다.

뉴런의 계산

뉴런은 입력에 가중치를 곱해 더하고, 편향을 더한 뒤 활성화 함수에 넣는다.

편향은 활성화 임계값을 옮기고, 활성화 함수는 가중합을 비선형으로 바꾼다.

활성화 함수가 없으면 여러 층을 쌓아도 하나의 선형 변환과 같아진다.

그래서 비선형성은 다층 구조가 존재하는 이유가 된다.

학습 절차

신경망은 입력을 받아 순전파로 예측값을 만든다.

손실 함수로 예측과 정답의 차이를 재고, 역전파로 기울기를 구한다.

기울기에 학습률 η를 곱해 가중치를 경사하강법으로 갱신한다.

손실이 수렴할 때까지 반복하며, 전체 데이터를 한 번 본 주기를 에포크라 한다.

활성화 함수 비교

활성화 함수는 가중합을 비선형으로 바꾸는 함수다.

대표적으로 Sigmoid, Tanh, ReLU가 있으며 출력 범위가 서로 다르다.

Sigmoid는 0과 1 사이 확률로 해석하고, Tanh는 중심이 0이다.

ReLU는 계산이 단순하지만 음수 영역에서 뉴런이 소멸할 수 있다.

계산 예제

입력 0.5와 -1.0, 가중치 0.4와 0.6, 편향 0.1인 뉴런을 보자.

가중합은 -0.3이고, 시그모이드를 거치면 출력은 약 0.426이다.

목표값 1과 비교하면 출력 기울기는 -0.574이고, δ는 약 -0.141이다.

학습률 0.5를 곱해 갱신하면 w1은 0.435가 된다. 학습률 0.5는 예제용 가정이다.

헷갈리는 점

시험에서 자주 틀리는 부분을 짚어 보자.

신경망은 비선형 활성화를 여러 층에 합성한 함수라서 회귀와 구별된다.

역전파는 기울기 계산법이고, 갱신은 경사하강법 같은 최적화가 맡는다.

은닉층과 뉴런 수에는 표준 공식이 없어 검증 데이터 평가로 정한다.

이제 직접 풀어 보자.

정답과 정리

정답은 아니오다. 역전파는 기울기를 계산하는 방법이다.

갱신은 경사하강법 같은 최적화 알고리즘이 맡는다.