... ...

데이터 스케일링(data scaling)은 데이터 전처리 과정의 핵심 단계 중 하나로, dataset의 features를 특정 범위로 조정하거나, 데이터의 분포를 표준화하는 과정으로, 주요 목적은 다음과 같다. 1. 특성 간의 균형 조정 (★★★) 데이터 feature를 특정 범위 값으로 조절하여 feature 크기에 따른 불균형을 조정할 수 있다. 이를 통해 특성의 중요도를 공정하게 해석하여 overfitting을 극복할 수 있다. 이는 특히 거리 기반의 알고리즘(KNN, K-Means Clustering 등)에 있어 특성 간 거리 측정이 더 공정하게 이루어지도록 하여 알고리즘의 정확도와 성능을 향상시킨다. 2. 모델의 수렴 속도 향상 scale을 일치시킴으로서 최적화 알고리즘이 수렴하는 속도를 일정하..

개념 Neural Network에서 Mini Batch 단위로 입력되는 각 Layer의 입력을 정규화하여 학습을 안정화 시키는 학습 기술 Batch Normalization Layer에서 Normalization 기본 전제 전체 (N, 28, 28, 1) 데이터에 대해 batch_size = n 일 경우, Mini Batch = N/n개이고, 최초 Conv2D Layer의 kernel unit = 75, kernel size = (3, 3), input shape = (28, 28, 1)일 때 작동 원리 75개의 각 커널은 random하게 선택된 1개의 Mini Batch 내 모든 data point에 대해 Convolution 연산을 수행하고, 그 결과 값으로 각 data point에 대한 평균값과 분..

종종 정규화라는 이름으로 이해되는 세 가지 개념의 목적과 사용 방법, 예시에 대해 간단하게 정리해본다. Normalization, Standardization, Regularization은 서로 다른 개념이지만 데이터 전처리와 모델 학습 단계에서 데이터의 안정성과 모델 학습의 효율성을 제고하기 위해 사용된다. Normalization과 Standardization은 데이터의 스케일을 변환하는 방법이고, Regularizaition은 모델의 파라미터에 적용되어 Overfitting을 예방하는 역할을 수행한다. Normalization (정규화) 데이터의 범위를 [0, 1] 혹은 [-1, 1]과 같은 특정 범위로 스케일을 조정하는 것으로, 데이터의 전체적인 모양 혹은 특성은 훼손하지 않고 기존 데이터와 동일..