LLM (Large Language Model) 대규모 언어 모델

<답>
1. 개요

• LLM은 대규모 데이터 학습을 통해 인간 언어를 처리, 이해, 생성하는 AI 모델로, Transformer 기반 신경망을 활용하여 다양한 산업에서 활용됨

2. LLM의 개념 및 구조
 가. 개념

• LLM 정의: 대규모 데이터셋을 학습하여 인간 언어를 이해하고 생성하는 AI 모델 ​
• 기술 기반: Transformer 신경망 구조를 사용하며, 수억~수십억 개의 파라미터를 포함 ​

나. 개념도

• Transformer 모델의 Encoder와 Decoder 구조. Encoder는 입력 텍스트를 분석하고, Decoder는 이를 바탕으로 출력 텍스트를 생성

• Self-Attention은 문맥을 고려한 관계 분석을 가능하게 하며, 병렬 처리로 속도를 향상시킴

​다. LLM 주요 기능

구분	주요 내용
텍스트 생성	사용자 요청에 맞는 자연스러운 텍스트 생성
번역 및 요약	다국어 번역 및 문서 핵심 내용 요약
감정 분석	텍스트의 감정 및 의미 분석
데이터 클러스터링	고객 피드백 및 제품 설명 분류

3. LLM과 기존 언어 모델 비교

구분	기존 언어 모델	LLM
학습 데이터 크기	제한적	수십억~수조 단위 데이터
신경망 구조	RNN 등 순차 처리	Transformer 기반 병렬 처리
파라미터 수	수백만 단위	수십억~수조 단위

•  LLM은 대규모 데이터와 병렬 처리 기술로 기존 모델 대비 높은 성능을 제공

4. 기술 동향
ㅇ  GPT-4, LLaMA 등 초대형 모델 개발이 활발하며 의료, 금융, 법률 등 전문 분야로 확장되고 있음

ㅇ LLM 규모에 따라 파운데이션 모델을 바탕으로 SLM등 다양한 규모 활용됨

<끝>