... ...

개념 Neural Network에서 Mini Batch 단위로 입력되는 각 Layer의 입력을 정규화하여 학습을 안정화 시키는 학습 기술 Batch Normalization Layer에서 Normalization 기본 전제 전체 (N, 28, 28, 1) 데이터에 대해 batch_size = n 일 경우, Mini Batch = N/n개이고, 최초 Conv2D Layer의 kernel unit = 75, kernel size = (3, 3), input shape = (28, 28, 1)일 때 작동 원리 75개의 각 커널은 random하게 선택된 1개의 Mini Batch 내 모든 data point에 대해 Convolution 연산을 수행하고, 그 결과 값으로 각 data point에 대한 평균값과 분..

종종 정규화라는 이름으로 이해되는 세 가지 개념의 목적과 사용 방법, 예시에 대해 간단하게 정리해본다. Normalization, Standardization, Regularization은 서로 다른 개념이지만 데이터 전처리와 모델 학습 단계에서 데이터의 안정성과 모델 학습의 효율성을 제고하기 위해 사용된다. Normalization과 Standardization은 데이터의 스케일을 변환하는 방법이고, Regularizaition은 모델의 파라미터에 적용되어 Overfitting을 예방하는 역할을 수행한다. Normalization (정규화) 데이터의 범위를 [0, 1] 혹은 [-1, 1]과 같은 특정 범위로 스케일을 조정하는 것으로, 데이터의 전체적인 모양 혹은 특성은 훼손하지 않고 기존 데이터와 동일..