... ...

1. Positional Encoding 정의 : 순서를 고려하지 않는 모델의 입력 sequence에 위치 정보를 제공하기 위한 encoding 방법 목적 : 모델이 단어의 순서를 이해하여 더 정확한 출력을 생성할 수 있도록 하기 위함 필요성 순환 신경망은 sequence data의 순서 정보(시간 정보)를 hidden state를 통해 순차적으로 전달하여 모델링하지만, 모든 입력을 동시에 처리하는 attention mechanism을 사용할 경우 입력 데이터의 순서를 감지할 수 있는 구조적 특성을 갖지 못함 단어나 토큰의 순서 정보를 직접적으로 인식할 수 없다는 점에서, sequence의 순서 정보를 별도로 제공해야할 필요성 대두 문장 내의 단어 위치를 알 수 없다면 문장의 뜻이 완전히 달라지는 문제가..