[AI학습방법] 인공지능 학습, 딥러닝 기본 구조 알아보기 4장

인공지능학습방법 중 딥러닝은 인공신경망을 활용하여 데이터에서 중요한 특성을 자동으로 학습하고 분류하는 기술입니다. 최근다양한 분야에서 활발히 활용되고 있으며 앞으로도 하드웨어발전, 데이터증가, 알고리즘향상 등으로 딥러닝기술은 지속적으로 발전할 것으로 기대됩니다.

<뉴런 인공신공망인공신공망 출처 : Pixabay>

 

□ 인공지능 학습, 딥러닝(Deep Learning basics) 기본 구조 알아보기

딥러닝은 인공신경망(다층 퍼셉트론)의 발전된 기술로, 여러 개의 뉴런으로 구성된 레이어를 연결한 네트워크를 통해 인간의 뇌가 생각하는 방식을 모방한 알고리즘입니다. 딥러닝의 기본 구조는 뉴런과 레이어로 이루어져 있으며, 입력층, 출력층, 활성화함수 등의 과정을 통해 학습이 이루어집니다. 

 

1. 퍼셉트론(Perceptron)

퍼셉트론은 인공 신경망의 가장 기본적인 형태로, 1957년 프랭크 로젠블라트(Frank Rosenblatt) 박사에 의해 고안되었습니다. 퍼셉트론은 단층 신경망으로, 입력 데이터를 처리하여 0 또는 1로 이진 분류 문제를 해결하는 데 사용됩니다. 단층 퍼셉트론은 and, or, not 문제해결은 가능하나, x-or 문제를 해결할 수 없는 한계점이 있습니다. (포스팅 24.5.20 인공지능 첫 번째 겨울 참고) 이에 퍼셉트론을 병렬로 결합하여 비선형으로 확장 가능한 다층 퍼셉트론이 나오게 됩니다.

<퍼셉트론 출처 : y은광>

 

퍼셉트론(Perceptron)

퍼셉트론은 인공신경망의 기본 단위로, 생물학적, 뉴런을 모방한 구조입니다. 입력 신호에 가중치를 곱하고 편향을 더한 후 주로 계단함수(step function)인  활성화 함수 거쳐 출력을 생성합니다. 퍼셉트론의. 연결 강도를 나타내는 가중치와 편향을 학습하여 원하는 출력이 나오도록 합니다.

 

단층 퍼셉트론은 현대 인공 신경망의 기초를 마련한 중요한 모델입니다. 비록 단층 퍼셉트론은 복잡한 문제를 해결하는 데 한계가 있지만, 다층 퍼셉트론과 딥러닝의 발전에 큰 영향을 주었습니다. 퍼셉트론의 개념은 오늘날의 딥러닝 기술의 기반을 이루고 있으며, 계속해서 연구되고 발전되고 있습니다.

 

2. 딥러닝(Deep Learning basics) 신경망의  다층 퍼셉트론 구조

딥러닝 모델은 일반적으로 여러 층으로 구성된 인공 신경망으로 이루어져 있습니다. 각 층은 입력 데이터를 처리하고 다음 층으로 전달하는 역할을 합니다. 딥러닝 구조는 다양한 형태가 있지만, 기본적인 구조는 다음과 같습니다

 

다층 퍼셉트론(MLP, Multi-Layer Perceptron)

가장 기본적인 신경망 구조로, 입력층,입력층, 여러 개의 은닉층, 출력층으로 구성됩니다. 주로 정형 데이터의 분류와 회귀 문제에 사용됩니다. 은닉층과 비선형 활성화 함수를 통해 XOR문제와 같은 비선형적으로 분리되지 않는 문제를 해결할 수 있습니다.

MLP는 현대 딥러닝 모델의 기초를 이루며, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network)등 복잡한 신경망 구조로 발전하는 데 중요한 역할을 했습니다.

 

한계점을 살펴보면 MLP는 복잡한 모델이기 때문에 학습 데이터에 과적합(overfitting)될 수 있으며, 이를 방지하기 위해 정규화(regularization) 기술이 필요합니다. 깊은 신경망의 경우 학습 속도가 느리고, 기울기, 소실 문제(vanishing gradient problem)가 발생할 수 있습니다. 또한 많은 양의 학습 데이터를 필요로 하며, 데이터가, 부족한 경우 일반화 성능이 떨어질 수 있습니다.

 

<다층 퍼셉트론 출처 : y은광>

 

아래 화면은 논문 쓸 때 실험연구했던 그림 코딩 중 하나로 기후환경에 관한 내용입니다. 기후 위기가 무엇이냐는 질문에 은닉층에서 가중치값을 만들어 내고 있는 모습이죠. 지금 화면에서 가중치값을 볼 수 있는 것을 인공지능 윤리에 말하는 투명성이나 설명 가능성이라고 할 수 있겠는데요, 각 계층의 개수(선), 노드 개수(원), 각 노드에 사용된 점수(레이블)는 레이블을 만들 때 단어를 입력하고 분류한, 직접 입력한 숫자이며 가중치값은 인공지능이 함수를 활용하여 만들어 내고 있습니다.

<은닉층에서 가중치 계산 출처 : y은광>

 

 

입력층(Input Layer) : 데이터가 신경망에 입력되는 층입니다.

이미지, 텍스트, 음성 등 다양한 형태의 데이터를 받을 수 있으며, 모델에 입력되는 데이터가 들어오는 층입니다. 입력 데이터의 특성 수만큼의 뉴런을 가집니다.

 

은닉층(Hidden Layer) : 입력층과 출력층 사이에 위치하는 층입니다.

입력 데이터의 특징을 추출하고 복잡한 패턴을 학습합니다. 층이 깊어질수록(Deep) 더 복잡한 특징을 학습할 수 있습니다. 또한 입력 데이터의 특징을 추출하고 변환하는 역할을 합니다. 여러 개의 은닉층이 존재(심층신경망, DNN)할 수 있으며, 각 층의 뉴런 수와 활성화 함수(Activation Function)는 달라질 수 있습니다. 활성화 함수로는 주로 시그모이드 함수(sigmoid function), 하이퍼볼릭 탄젠트 함수(tanh), 렐루 함수(ReLU, Rectified Linear Unit) 등이 있습니다.

 

출력층(Output Layer) :최종적인 예측 결과를 출력하는 층입니다.

분류 문제의 경우 클래스 확률을 출력하고, 회귀 문제의 경우 예측값을 출력합니다. 최종. 결과를 출력하는 층입니다. 분류 문제의 경우 클래스 수만큼의 뉴런을 가지며, 회귀 문제의 경우 1개의 뉴런을 가질 수 있습니다.

 

가중치(Weight) : 신경망의 핵심요소로, 입력데이터를 처리하고 출력 값을 생성하는 학습 과정

가중치는 생성하는 과정에서 각 입력값에 곱해져서 합산됩니다. 모델의 출력이 주어진 목표와 얼마나 가까운지에 따라 가중치가 조정됩니다. 또한 데이터에서 패턴을 인식하고 학습하며 적절한 가중치 조정을 통해 입력데이터와 출력 데이터 간의 관계를 학습합니다.

 

순전파(Forward Propagation) : 입력층에서 출력층으로 데이터를 전달하는 과정

각 층의 퍼셉트론들이 입력 신호를 받아 가중치와 편향을 적용하여 출력을 생성하며, 시계열 데이터나 순차 데이터 처리에 사용됩니다. 각. 시점의 출력이 다음 시점의 입력으로 사용되며, LSTM(Long Short-Term Memory)이나 GRU(Gated이나 Recurrent Unit) 같은 변형이 사용됩니다.

 

역전파(Backward Propagation) : 출력층에서 계산된 오차를 은닉층을 거쳐 입력층으로 역방향으로 전파하며, 각 층의 가중치를 조정하며, MLP는 역전파 알고리즘을 사용하여 학습합니다. 출력값과 실제값의 차이를 최소화하도록 손실함수의 기울기는 경사하강법(Gradient Descent)을 활용하여 가중치를 업데이트합니다.

 

다층 퍼셉트론은 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 성공적으로 사용되고 있으며, 인공 신경망 연구의 중요한 이정표로서 현대의 많은 딥러닝 모델의 기초를 제공합니다.딥러닝의 발전은 다양한 산업에서 혁신을 가져오고 있으며, 앞으로도 많은 가능성을 가지고 있습니다. 그러나 기술의 발전과 함께 윤리적 문제와 사회적 영향을 고려하는 것도 매우 중요합니다.

 

 

감사합니다.

 

퍼셉트론 한계점에 관한 글

2024.05.20-인공지능의 역사 인공지능 첫 번째 겨울과 활성기

인공지능의 역사 인공지능 첫 번째 겨울과 활성기