... ...

Universal Approximation Theorm (일반적 근사 이론) 충분히 큰 네트워크를 사용하면 어떠한 연속 함수도 원하는 정밀도로 근사할 수 있다. 과연 모든 것이 인공신경망을 통해 구현이 가능하며, 그렇게 구현된 인공신경망은 언제나 효율적인가? 내적에 있어서는 인공신경망으로 표현하는 것이 상당히 비효율적이며, attention 모델에서는 이러한 내적을 인공신경망이 아닌 단순 내적으로 표현하여 사용함으로써 모델의 성능 효율성을 극대화했다. 중요한 것은, 모든 함수는 인공신경망으로 표현될 수 있으나, 모든 인공신경망이 최대의 효율성을 갖고 있는 것은 아니라는 것이다. 인공신경망에서 표현가능한 비효율적인 대상을 효율적인 비 인공신경망으로 표현하는 것은 모델의 성능을 향상시키는 데 핵심적일 수 있..