최술사의 모두의 ICT 기술 통섭

1. 개요ERPS(Ethernet Ring Protection Switching, ITU-T G.8032)는 Layer 2 링 토폴로지에서 루프 방지 및 50ms 이내 고속 링 복구를 제공하는 이더넷 보호 프로토콜임ERPSv1(2008)은 단일 링 보호에 집중하고, ERPSv2(2010)는 v1과 완벽한 호환성을 유지하면서 다중 링, 다중 인스턴스, 비복귀 스위칭 등 확장 기능을 제공함2. ERPS의 기본 구조 및 동작 원리가. 개념RAPS(Ring Auto Protection Switching) PDU를 활용한 링 상태 감시 및 자동 보호 전환 메커니즘RPL(Ring Protection Link) Owner, RPL Neighbor(v2), 일반 포트 역할 정의로 논리적 루프 차단나. 개념도RPL Ow..

1. 개요중첩학습(Nested Learning)은 상,하위 모델 또는 알고리즘을 계층적으로 중첩시켜 학습 및 최적화를 수행하는 기법으로, 복잡한 의사결정과 예측 문제를 단계적으로 분해해 성능과 안정성을 향상시키는 방법론임상위(Outer) 수준에서 구조,하이퍼파라미터·정책을 결정하고, 하위(Inner) 수준에서 세부 파라미터·모델을 학습함으로써 AutoML, 메타러닝, 연속 최적화, 강화학습 전략 탐색 등에 활용됨 2. 중첩학습가. 개념딥러닝 모델의 이질적 구성요소(트랜스포머, CNN, 옵티마이저 등)가 사실은 깊이(depth)가 아닌 고유한 최적화 수준(level),목적,학습 규칙을 가진 중첩 최적화 집합이라는 관점으로, 이를 통합 수식으로 표현하는 학습 패러다임뇌과학 영감을 받아 신경 가소성(neuro..

1. 개요슈퍼팟(Superpod)은 대규모 GPU/AI 가속기를 초고속 인터커넥트로 묶어 하나의 논리적 초고성능 컴퓨팅 자원처럼 사용하는 풀스택 AI 인프라/클러스터 아키텍처임초고대 규모 모델(수천억~수조 파라미터) 학습·추론을 위해 컴퓨팅, 네트워크, 스토리지, 소프트웨어를 통합 설계한 AI 팩토리/AI 슈퍼컴퓨터 개념으로, NVIDIA DGX SuperPOD, Huawei Atlas SuperPod 등으로 상용화됨2. 슈퍼팟(Superpod)가. 개념슈퍼팟은 수십~수천 노드의 GPU/AI 칩을 고속 내부망(NVLink류, 전용 스위치)과 데이터센터급 패브릭으로 연결한 대규모 AI 컴퓨팅 클러스터임단순 노드 집합이 아니라, 컴퓨팅,스토리지,네트워크 및 관리 소프트웨어를 통합 최적화한 풀스택 플랫폼으로 ..

1. 개요 LLM 사전 학습은 대규모 비라벨 텍스트를 이용해 언어 패턴·세계 지식을 학습시키는 기초 모델 구축 단계이며, 사후 학습은 이를 특정 작업,행동 양식에 맞게 정렬 및 최적화하는 단계임사전 학습은 self-supervised next-token/마스킹 예측으로 거대 연산 및 데이터를 사용해 범용 기반 모델을 만들고, 사후 학습은 SFT,RLHF 등으로 지시 수행력, 안전성, 도메인 적합성을 높여 실사용 가능한 서비스 모델로 완성함 2. LLM 사전 학습과 사후 학습 가. 개념구분사전 학습(Pre-training)사후 학습(Post-training)개념트랜스포머 기반 LLM에 대해 방대한 웹 텍스트·도서·코드 등 비라벨 코퍼스를 이용, 다음 토큰 예측(autoregressive) 또는 마스크 토큰..

1. 개요TurboSparse는 LLM(대규모 언어모델) 추론 시 FFN(Feed-Forward Network) 레이어의 활성화 희소성(Activation Sparsity)을 극대화하여, 최소 파라미터만 활성화함으로써 SOTA급 성능과 2~5배 추론 속도 향상을 동시에 달성하는 경량 추론 가속 기술임​SwiGLU·GeGLU 등 기존 활성화 함수는 희소성이 낮고, 단순 ReLU 대체 시 성능 저하 발생 → 신규 dReLU 함수 + 고품질 학습 데이터 혼합 + MoE 희소성 결합으로 문제 해결 2. 터보스파스(TurboSparse) 기술 가. 개념추론 시 각 입력 토큰에 대해 전체 파라미터 중 극히 일부만 활성화되는 "조건부 연산(Conditional Computation)" 구조를 구현하며, 비활성 뉴런은..

1. 개요서로 다른 어텐션 방식(로컬 및 글로벌, 선형 및 소프트맥스, SSM Attention 등)을 하나의 아키텍처 내에서 혼합 및 결합하여 표현력, 연산 효율, 장거리 의존성 포착을 동시에 달성하는 복합 주의 메커니즘2024~2025년 LLM,비전,시계열 전 영역에서 Transformer for everything 시대를 대체하는 핵심 아키텍처 트렌드로 부상2. 하이브리드 어텐션가. 개념 및 필요성개념필요성풀 소프트맥스(Full Softmax) 어텐션의 O(n2)한계를 극복하기 위해, 슬라이딩 윈도우(로컬),선형,희소,SSM 등의 경량 어텐션을 풀 어텐션과 교차 및 혼합 배치한 아키텍처풀 어텐션은 장거리 문맥 캡처에 강하나 시퀀스 길이에 이차 복잡도, 메모리 폭증 문제 → 로컬 어텐션만 쓰면 원거리..