Sparse Representation _vs_ Dense Representation

Sparse Representation

• 데이터에서 대부분의 element들이 유효하지 않은 경우에 적합한 표현 방법으로, 비교적 적은 수의 위치나 요소만을 저장하여 데이터를 효율적으로 표현하는 방법  
• 장점
  • 메모리 효율적 : 무의미한 값들은 표현하지 않는 방식
  • 높은 가독성 : 데이터의 중요한 특성만을 표현하여 해당 데이터의 구조와 내용을 이해하기 쉽다는 장점
  • 빠른 처리속도 : 불필요한 연산을 줄일 수 있다는 점에서 빠른 처리가 가능
• 단점
  • 정보 손실 : 불필요한 정보를 표현하지 않음으로서 일부 정보가 손실되는 문제 발생
  • 복잡성 : 알고리즘 구현에 있어 복잡하여 처리가 어렵다는 단점 (스케일링 등)

 

Dense Representation

• 데이터를 밀집된 형태로 표현하는 방법으로, 대부분의 element들이 유효한 값을 갖고 있는 경우에 적합한 표현 방법
• 장점
  • 높은 표현력 : 데이터의 특성을 연속적이고 풍부하게 표현함으로써 복잡한 패턴의 학습과 모델링에 유용
  • 범용성 : 일반적인 표현 방법이기 때문
  • 높은 성능 : 높은 표현력을 가진다는 점에서 복잡한 패턴을 상대적으로 유용하게 포착 가능
• 단점
  • 메모리 사용량 : 모든 데이터가 명시적으로 저장된다는 점에서 더 많은 메모리가 사용됨
  • 처리 시간 : 모든 데이터 포인트가 연산에 포함되어야 한다는 점에서 상대적인 처리 시간이 소요됨
  • 희소성 : 실제 데이터셋은 본질적으로 희소하다는 점에서 데이터셋의 실체를 반영하지 못한다는 현실 데이터의 기본 특성을 대표하지 못함