<문> AI 신뢰성 인증의 개념, 인증범위 및 특성별 점검사항

<답>

1. 개요

ㅇ AI 신뢰성 인증(CAT: Certification of AI Trustworthiness)은 AI 시스템의 의사결정과 활동이 모든 이해관계자의 기대치를 충족시키는 역량을 검증하는 제도임
ㅇ 2023년 국내 최초 제정된「인공지능 시스템 신뢰성 제고를 위한 요구사항(TTAK.KO-10.1497)」단체표준을 기반으로 2024년 정식 운영되며, 국제표준(ISO/IEC 23894, 42001, 38507) 기반으로 고도화됨

2. AI 신뢰성 인증의 개념 및 특성

가. 신뢰성(Trustworthiness) 개념

• ISO/IEC 22989 기준: AI 시스템의 의사결정 및 활동에 영향받는 모든 이해관계자(개발자, 제공자, 사용자)의 기대치를 충족시키는 역량​
• 기술적 가치(정확성, 강건성, 안정성)와 사회적 가치(투명성, 책무성, 공정성)를 모두 포함하는 포괄적 개념임​
• 확인 가능함(Verifiability)을 전제로 객관적 평가가 가능해야 함

나. 신뢰성 특성 15개 항목

• 강건성, 안정성, 회복탄력성, 제어가능성 등 기술적 특성 8개​
• 투명성, 편향 및 공정성, 보안, 프라이버시, 안전, 책무성, 무결성, 진실성 등 사회적 특성 7개​
• 각 특성은 AI 생명주기 전 단계(설계-개발-배포-운영)에서 검증됨

다. 인증 대상 분류

인증 대상	세부 내용
AI 모델	고유한 모델 명칭과 배포 버전을 가진 독립적 AI 모델(오픈소스 미세조정 모델 포함)
AI 시스템	AI 모델을 포함한 네트워크, 데이터베이스, 사용자 환경 등 전체 하드웨어·소프트웨어 제품
AI 사업자 및 이용자	AI 경영시스템 및 거버넌스 체계를 운영하는 조직

3. 인증범위 및 평가체계 비교

항목	AI 거버넌스	AI 제품 신뢰성
인증방법	심사(Audit)	시험·평가(Test & Evaluation)
평가대상	정책·조직·프로세스 이행수준	AI 제품의 신뢰성 특성 항목
핵심기준	위험관리체계, AI 경영시스템, 거버넌스 요소	15개 신뢰성 특성의 기능·성능
적용표준	ISO/IEC 42001, 23894, 38507	ISO/IEC 22989, NIST AI RMF
평가방식	문서·절차 심사 중심	실 운영환경 시스템 대응능력 평가

4. 특성별 점검사항 및 활용

가.  주요 특성별 점검방법

특성	점검방법	점검사항(예시)
투명성	시험·평가	모델·데이터 명세, 벤치마크 결과, AI 생성 콘텐츠 표시
책무성	검증·확인	규제기반 책임성, 합의기반 책임성 이행 여부
개인정보보호	검증·확인	학습데이터 출처 및 비식별화 데이터 사용 확인
저작권보호	검증·확인	학습데이터 출처 및 저작권 확보 여부
공정성	시험·평가	인구통계학적 동등성, 편향 제거 기법 적용
안전성	시험·평가	유해한 오용 방지, 제어가능성, 세이프가드 구현
추적가능성	검증·확인	데이터 추적, 기록 추적, 변경이력 관리
설명가능성	시험·평가	모델설명력, 결과해석력
품질	시험·평가	정확성, 안정성, 강건성 측정
보안	시험·평가	모델·데이터·시스템 보안, 공격 방어 대책

나. 15개 핵심 요구사항

• AI 시스템 위험관리 계획 및 수행, AI 거버넌스 체계 구성, 신뢰성 테스트 계획 수립​
• 추적가능성 및 변경이력 확보, 데이터 상세정보 제공, 데이터 견고성 확보​
• 학습데이터·모델·시스템 구현 단계별 편향 제거, 오픈소스 보안성 점검​
• 모델 공격 방어 대책, 모델 명세 및 설명 제공, 안전모드 구현, 사용자 이해도 제고, 서비스 범위 설명​

5. 동향 및 활용

• 2024년 기준 7건 인증 부여, 39건 검증 서비스 제공으로 민간 주도 신뢰성 확보 활성화​
• EU AI법 등 글로벌 규제 대응을 위한 국내 기업의 사전 적합성 평가 수단으로 활용됨

<끝>