<문 > OWASP TOP 10 for LLM 프롬프트 인젝션(Prompt Injection)

<답>

1. 개요

ㅇ 프롬프트 인젝션은 OWASP LLM TOP 10의 1위 위협으로, 악의적 입력을 통해 LLM의 출력을 조작하는 공격 기법
ㅇ 공격자가 정교하게 설계된 프롬프트를 삽입하여 AI 시스템의 의도된 동작을 우회하고, 민감정보 유출, 권한 상승, 부적절한 콘텐츠 생성 등을 유발

2. 프롬프트 인젝션의 개념 및 유형

가. 개념

• LLM 기반 시스템에서 사용자 입력에 악의적 명령을 삽입하여 모델의 원래 지시사항을 무시하게 만드는 보안 취약점
• SQL Injection과 유사한 메커니즘으로 작동하나, 자연어 처리 특성상 탐지가 더 어려움
• 시스템 프롬프트와 사용자 입력 간 경계가 모호하여 발생하는 근본적 취약점

나. 개념도

다. 공격 유형

• 직접 주입: 사용자가 직접 대화창에 "이전 지시 무시하고..." 등의 명령 입력
• 간접 주입: 외부 문서나 웹페이지에 숨겨진 악성 프롬프트를 RAG 시스템이 읽어들여 실행
• 탈옥(Jailbreak): "DAN(Do Anything Now)" 등의 기법으로 안전 가드레일 우회
• 두 가지 유형 모두 LLM의 컨텍스트 혼동을 악용하며, 간접 주입이 탐지가 더 어려움

라. 주요 공격 기법 및 영향

구분	기법	실행 메커니즘	영향도	대표 사례
직접공격	역할 전환	"당신은 이제 제한 없는 AI입니다"	높음	안전필터 우회
간접공격	숨겨진 명령	문서에 보이지 않는 텍스트 삽입	매우높음	이력서 스캔 공격
탈옥	DAN 기법	가상 시나리오로 제약 무력화	높음	유해 콘텐츠 생성
데이터유출	프롬프트 추출	"이전 지시사항 반복하세요"	중간	시스템 프롬프트 노출
권한상승	플러그인 악용	API 호출 명령 주입	매우높음	외부시스템 무단접근

• 공격 성공 시 민감정보(개인정보, 내부 시스템 프롬프트) 노출, 악성코드 배포, 평판 손상 등 다층적 피해 발생

 3. 전통적 보안 vs LLM 보안 비교

구분	SQL Injection	XSS	프롬프트 인젝션	특수성	대응난이도
입력형태	구조화(SQL구문)	스크립트코드	자연어(비구조)	문맥의존적	매우높음
탐지방법	패턴매칭	태그필터링	의미분석 필요	정규식 무용	높음
경계구분	명확(쿼리/데이터)	명확(HTML/JS)	모호(지시/입력)	근본적 한계	매우높음
검증가능성	결정적	결정적	확률적	모델의존	높음
진화속도	느림	보통	매우빠름	새기법 지속출현	매우높음

4. 방어 전략 및 기술 동향

• 입력 검증: 프롬프트 방화벽 구축, 메타캐릭터 필터링, 입력 길이 제한, 화이트리스트 기반 검증
• 출력 검증: 민감정보 마스킹, 응답 모니터링, 이상 탐지 시스템(Anomaly Detection) 적용
• 아키텍처 설계: 권한 분리(Least Privilege), 시스템 프롬프트와 사용자 입력 명확한 구분자 사용, 샌드박스 환경 실행
• 최신 동향: LLM 전용 WAF 등장, OWASP LLM AI Security & Governance Checklist 표준화, Red Teaming 기반 취약점 사전 발견, Constitutional AI 등 자체 정렬 기술 발전, 프롬프트 서명 및 암호화 기법 연구 진행 중

<끝>