LLM의 근간 'Attention is All You Need'

인공지능 기술의 폭발적인 성장 중심에는 트랜스포머(Transformer) 아키텍처라는 거대한 혁신이 있었습니다. 'Attention is All You Need'라는 논문 제목이 증명하듯, 어텐션 메커니즘은 이제 자연어 처리(NLP)를 넘어 컴퓨터 비전(CV)과 멀티모달(Multimodal) 영역까지 아우르는 현대 인공지능의 핵심 엔진으로 자리 잡았음

​

어텐션 메커니즘은 모델이 입력을 처리할 때 '어떤 부분에 더 집중해서 볼 것인가?'를 결정하는 단계입니다. 이를 위해 모델은 입력 데이터를 세 가지의 서로 다른 벡터인 Query(Q), Key(K), Value(V)로 변환하여 계산함

​

자세한 내용은 첨부 논문 확인 하세요.

Attention Is All You Need.pdf

2.11MB