인공신경망을 사용하는 이유

Universal Approximation Theorm (일반적 근사 이론)

• 충분히 큰 네트워크를 사용하면 어떠한 연속 함수도 원하는 정밀도로 근사할 수 있다.
• 과연 모든 것이 인공신경망을 통해 구현이 가능하며, 그렇게 구현된 인공신경망은 언제나 효율적인가?
  • 내적에 있어서는 인공신경망으로 표현하는 것이 상당히 비효율적이며, attention 모델에서는 이러한 내적을 인공신경망이 아닌 단순 내적으로 표현하여 사용함으로써 모델의 성능 효율성을 극대화했다.
• 중요한 것은, 모든 함수는 인공신경망으로 표현될 수 있으나, 모든 인공신경망이 최대의 효율성을 갖고 있는 것은 아니라는 것이다. 인공신경망에서 표현가능한 비효율적인 대상을 효율적인 비 인공신경망으로 표현하는 것은 모델의 성능을 향상시키는 데 핵심적일 수 있다. (예 : 역행렬)