batch_normalization_layer
-
Batch Normalizationdeep learning/normalization 2024. 2. 6. 23:55
개념 Neural Network에서 Mini Batch 단위로 입력되는 각 Layer의 입력을 정규화하여 학습을 안정화 시키는 학습 기술 Batch Normalization Layer에서 Normalization 기본 전제 전체 (N, 28, 28, 1) 데이터에 대해 batch_size = n 일 경우, Mini Batch = N/n개이고, 최초 Conv2D Layer의 kernel unit = 75, kernel size = (3, 3), input shape = (28, 28, 1)일 때 작동 원리 75개의 각 커널은 random하게 선택된 1개의 Mini Batch 내 모든 data point에 대해 Convolution 연산을 수행하고, 그 결과 값으로 각 data point에 대한 평균값과 분..