최술사의 모두의 ICT 기술 통섭

1. 개요중첩학습(Nested Learning)은 상,하위 모델 또는 알고리즘을 계층적으로 중첩시켜 학습 및 최적화를 수행하는 기법으로, 복잡한 의사결정과 예측 문제를 단계적으로 분해해 성능과 안정성을 향상시키는 방법론임상위(Outer) 수준에서 구조,하이퍼파라미터·정책을 결정하고, 하위(Inner) 수준에서 세부 파라미터·모델을 학습함으로써 AutoML, 메타러닝, 연속 최적화, 강화학습 전략 탐색 등에 활용됨 2. 중첩학습가. 개념딥러닝 모델의 이질적 구성요소(트랜스포머, CNN, 옵티마이저 등)가 사실은 깊이(depth)가 아닌 고유한 최적화 수준(level),목적,학습 규칙을 가진 중첩 최적화 집합이라는 관점으로, 이를 통합 수식으로 표현하는 학습 패러다임뇌과학 영감을 받아 신경 가소성(neuro..

1. 개요슈퍼팟(Superpod)은 대규모 GPU/AI 가속기를 초고속 인터커넥트로 묶어 하나의 논리적 초고성능 컴퓨팅 자원처럼 사용하는 풀스택 AI 인프라/클러스터 아키텍처임초고대 규모 모델(수천억~수조 파라미터) 학습·추론을 위해 컴퓨팅, 네트워크, 스토리지, 소프트웨어를 통합 설계한 AI 팩토리/AI 슈퍼컴퓨터 개념으로, NVIDIA DGX SuperPOD, Huawei Atlas SuperPod 등으로 상용화됨2. 슈퍼팟(Superpod)가. 개념슈퍼팟은 수십~수천 노드의 GPU/AI 칩을 고속 내부망(NVLink류, 전용 스위치)과 데이터센터급 패브릭으로 연결한 대규모 AI 컴퓨팅 클러스터임단순 노드 집합이 아니라, 컴퓨팅,스토리지,네트워크 및 관리 소프트웨어를 통합 최적화한 풀스택 플랫폼으로 ..

1. 개요 LLM 사전 학습은 대규모 비라벨 텍스트를 이용해 언어 패턴·세계 지식을 학습시키는 기초 모델 구축 단계이며, 사후 학습은 이를 특정 작업,행동 양식에 맞게 정렬 및 최적화하는 단계임사전 학습은 self-supervised next-token/마스킹 예측으로 거대 연산 및 데이터를 사용해 범용 기반 모델을 만들고, 사후 학습은 SFT,RLHF 등으로 지시 수행력, 안전성, 도메인 적합성을 높여 실사용 가능한 서비스 모델로 완성함 2. LLM 사전 학습과 사후 학습 가. 개념구분사전 학습(Pre-training)사후 학습(Post-training)개념트랜스포머 기반 LLM에 대해 방대한 웹 텍스트·도서·코드 등 비라벨 코퍼스를 이용, 다음 토큰 예측(autoregressive) 또는 마스크 토큰..

1. 개요TurboSparse는 LLM(대규모 언어모델) 추론 시 FFN(Feed-Forward Network) 레이어의 활성화 희소성(Activation Sparsity)을 극대화하여, 최소 파라미터만 활성화함으로써 SOTA급 성능과 2~5배 추론 속도 향상을 동시에 달성하는 경량 추론 가속 기술임​SwiGLU·GeGLU 등 기존 활성화 함수는 희소성이 낮고, 단순 ReLU 대체 시 성능 저하 발생 → 신규 dReLU 함수 + 고품질 학습 데이터 혼합 + MoE 희소성 결합으로 문제 해결 2. 터보스파스(TurboSparse) 기술 가. 개념추론 시 각 입력 토큰에 대해 전체 파라미터 중 극히 일부만 활성화되는 "조건부 연산(Conditional Computation)" 구조를 구현하며, 비활성 뉴런은..

1. 개요서로 다른 어텐션 방식(로컬 및 글로벌, 선형 및 소프트맥스, SSM Attention 등)을 하나의 아키텍처 내에서 혼합 및 결합하여 표현력, 연산 효율, 장거리 의존성 포착을 동시에 달성하는 복합 주의 메커니즘2024~2025년 LLM,비전,시계열 전 영역에서 Transformer for everything 시대를 대체하는 핵심 아키텍처 트렌드로 부상2. 하이브리드 어텐션가. 개념 및 필요성개념필요성풀 소프트맥스(Full Softmax) 어텐션의 O(n2)한계를 극복하기 위해, 슬라이딩 윈도우(로컬),선형,희소,SSM 등의 경량 어텐션을 풀 어텐션과 교차 및 혼합 배치한 아키텍처풀 어텐션은 장거리 문맥 캡처에 강하나 시퀀스 길이에 이차 복잡도, 메모리 폭증 문제 → 로컬 어텐션만 쓰면 원거리..

1. 개요LLM, sLLM, SLM은 모두 트랜스포머 기반 언어모델이나, 파라미터 규모,자원 요구,적용 영역에서 차별화되는 계층적 모델군임대규모 범용지능(LLM)에서 경량화 범용(sLLM), 특화 및 온디바이스용(SLM)으로 스펙트럼을 형성하며, 성능과 비용,지연,프라이버시 요구에 따라 적정 모델을 선택하는 것이 핵심임 2. LLM, sLLM, SLM 가. 개념구분주요 내용LLM(Large Language Model)- 수십~수천억(또는 그 이상) 파라미터를 가지는 초대형 트랜스포머 기반 언어모델로, 대규모 코퍼스를 사전학습하여 범용 질의응답·코드생성·요약 등 광범위 작업을 수행- 높은 표현력과 추론능력을 가지나, 막대한 연산자원·비용, 긴 지연과 환경·프라이버시 이슈가 수반됨sLLM(smaller La..

1. 개요RAG(Retrieval-Augmented Generation)는 외부 지식 검색 결과를 생성형 AI 입력에 결합해 최신·정확한 답변을 생성하는 아키텍처Vector RAG는 벡터 임베딩 기반 유사도 검색, Graph RAG는 그래프 구조 기반 관계 검색에 특화되어, 도메인 구조와 질문 난이도에 따라 선택 및 혼용2. RAG, Vector RAG 및 Graph RAG가. 개념구분주요 내용RAG RAG는 질문→관련 문서 검색→LLM에 함께 입력→답변 생성의 파이프라인으로, 모델 파라미터 밖의 지식을 실시간 활용하는 프레임워크내부 파라미터 지식 한계를 극복하고, 도메인 문서·DB·API 등 다양한 외부 지식 소스를 통합하는 것이 핵심Vector RAG 문서,단락,문장을 임베딩 벡터로 변환 후, 질문..

1. 개요LLM 뇌 분할(Computational Split-Brain) 문제란 대형 언어 모델이 어떤 원리·절차를 유창하게 설명(이해)할 수 있지만, 동일 원리를 실제로 실행·계산하는 데 있어서 체계적으로 실패하는 구조적 이해-실행 해리(Comprehension-Competence Dissociation) 현상임이는 단순한 데이터 부족이나 프롬프트 문제가 아닌, 트랜스포머 아키텍처의 근본적 제약에서 비롯되며, 규모를 키워도 본질적으로 해소되지 않는다는 점에서 차세대 LLM 설계의 핵심 과제로 부상함2. LLM 뇌 분할(Split-Brain) 문제가. 개념구분주요 내용정의LLM 내부에서 지식 표현 경로(instruction pathway)와 실행 연산 경로(execution pathway)가 기하학적 ..

1. 개요지속 학습(Continual Learning)은 비정상(non-stationary) 데이터 스트림 환경에서 과거 지식을 유지하며 새로운 태스크를 순차적으로 학습하는 AI 패러다임으로, Catastrophic Forgetting(파국적 망각) 억제가 핵심 목표임메타 학습(Meta-Learning)은 학습하는 방법을 학습(learn to learn)하는 상위 학습 프레임워크로, 소수의 샘플(few-shot)만으로도 새로운 태스크에 빠르게 적응하는 일반화 능력을 부여함2. AI의 지속 학습(Continual Learning) 및 메타 학습(Meta-Learning)가. 개념구분주요 내용지속 학습 (CL) - 태스크 T₁→T₂→…→Tₙ를 순차적으로 학습하되, 이전 태스크 성능이 저하되지 않도록 안정성(..

1. 개요장기 계획 강화학습(Long-horizon RL)이란 수십~수천 스텝에 걸친 긴 시간 범위(Time Horizon) 내에서 희소 및 지연 보상을 다룸에이전트가 최적 정책을 학습하는 강화학습 기술로, 크레딧 할당·탐색·계산복잡도 문제를 해결해 장기 누적보상(Return)을 극대화하는 것이 핵심 목표임2. 장기 계획 강화학습가. 개념구분주요 내용정의 - 에이전트가 매우 긴 에피소드(Episode) 동안 상태 전이(State Transition)와 누적보상을 고려하여 전략적 정책(Policy)을 학습하는 RL 프레임워크로, 중간 보상이 거의 없는 희소보상(Sparse Reward) 환경이 전형적 적용 대상3대 핵심 과제- (1) 크레딧 할당(Credit Assignment): 어떤 행동이 장기 보상..