최술사의 모두의 ICT 기술 통섭

1. 개요서로 다른 어텐션 방식(로컬 및 글로벌, 선형 및 소프트맥스, SSM Attention 등)을 하나의 아키텍처 내에서 혼합 및 결합하여 표현력, 연산 효율, 장거리 의존성 포착을 동시에 달성하는 복합 주의 메커니즘2024~2025년 LLM,비전,시계열 전 영역에서 Transformer for everything 시대를 대체하는 핵심 아키텍처 트렌드로 부상2. 하이브리드 어텐션가. 개념 및 필요성개념필요성풀 소프트맥스(Full Softmax) 어텐션의 O(n2)한계를 극복하기 위해, 슬라이딩 윈도우(로컬),선형,희소,SSM 등의 경량 어텐션을 풀 어텐션과 교차 및 혼합 배치한 아키텍처풀 어텐션은 장거리 문맥 캡처에 강하나 시퀀스 길이에 이차 복잡도, 메모리 폭증 문제 → 로컬 어텐션만 쓰면 원거리..

1. 개요LLM, sLLM, SLM은 모두 트랜스포머 기반 언어모델이나, 파라미터 규모,자원 요구,적용 영역에서 차별화되는 계층적 모델군임대규모 범용지능(LLM)에서 경량화 범용(sLLM), 특화 및 온디바이스용(SLM)으로 스펙트럼을 형성하며, 성능과 비용,지연,프라이버시 요구에 따라 적정 모델을 선택하는 것이 핵심임 2. LLM, sLLM, SLM 가. 개념구분주요 내용LLM(Large Language Model)- 수십~수천억(또는 그 이상) 파라미터를 가지는 초대형 트랜스포머 기반 언어모델로, 대규모 코퍼스를 사전학습하여 범용 질의응답·코드생성·요약 등 광범위 작업을 수행- 높은 표현력과 추론능력을 가지나, 막대한 연산자원·비용, 긴 지연과 환경·프라이버시 이슈가 수반됨sLLM(smaller La..

1. RISE-Video: Can Video Generators Decode Implicit World Rules? - RISE-Video는 텍스트-이미지-비디오 합성 모델을 평가하기 위한 새로운 벤치마크를 제시합니다. 시각적 충실도보다는 인지적 추론에 중점을 두고 있으며, 다차원 메트릭 시스템과 자동화된 LMM 기반 평가를 사용합니다. - [자세한 내용](https://arxiv.org/abs/2602.05986)2. Steering LLMs via Scalable Interactive Oversight - Scalable Interactive Oversight 프레임워크는 복잡한 작업을 관리 가능한 의사 결정 나무로 분해하여 AI 시스템의 인간 감독 및 정렬을 강화합니다. - [..

1. Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization - KV 캐쉬 메모리의 한계를 극복하기 위해 의미 기반 스무딩과 점진적인 잔차 양자화를 활용하며, 메모리 사용량을 대폭 줄이는 동시에 지연 시간을 최소화함. - [논문 링크](https://arxiv.org/abs/2602.02958)2. SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation - 부드러운 몸체 조작을 위한 3D 가우시안 스플랫 시뮬레이터로, 변형 동역학, 환경 힘 및 로봇 동작을 통합된 잠재 신경 공간에서 결합하여 안정적이고 긴 시간 조작을 ..

1. CodeOCR: On the Effectiveness of Vision Language Models in Code Understanding - 다중 모달 대형 언어 모델이 압축된 이미지 형태로 소스 코드를 효과적으로 이해하며, 코드 이해 작업에서 성능을 유지하거나 개선하면서도 토큰 수를 크게 줄일 수 있음을 보여줌. - [자세한 내용 보기](https://arxiv.org/abs/2602.01785)2. daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently - 장기적인 에이전트 작업 흐름에서의 문제를 해결하기 위해 풀 리퀘스트 시퀀스를 활용하여 구조적 감독을 제공하고, 일관성 유지를 위한 점진적 분해 및 버그 수정 역사로부터..

1. FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents - 파일 시스템 기반의 이중 에이전트 프레임워크는 지속적인 저장소를 외부 메모리로 활용하여 대규모 언어 모델 에이전트가 컨텍스트 윈도우 한계를 넘어 연구 작업을 수행할 수 있도록 합니다. - [자세히 보기](https://arxiv.org/abs/2602.01566)2. WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora - WildGraphBench는 위키피디아의 구조화된 콘텐츠를 사용하여 다양한 문서 유형에 대한 다중 사실 집계 및 요약 기능을 평가합니..

1. ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas - 자동화된 프레임워크로, 도구 보강된 언어 모델을 합성 데이터를 사용해 훈련하여 다단계 의사결정 능력을 향상시킴. - [아카이브 링크](https://arxiv.org/abs/2601.21558)2. THINKSAFE: Self-Generated Safety Alignment for Reasoning Models - 대형 추론 모델의 안전성을 향상시키기 위해 가벼운 거부 유도와 자가 생성 응답에 대한 미세 조정을 통해 성능을 유지하며 계산 비용을 절감함. - [아카이브 링크](https://arxiv.org/abs/2601.23143)3. T..

1. Harder Is Better: Boosting Mathematical Reasoning via Difficulty-Aware GRPO and Multi-Aspect Question Reformulation - MathForge는 수학적 추론을 향상시키기 위해 난이도 인식을 기반으로 한 정책 최적화와 다중 측면의 질문 재구성을 결합한 이중 프레임워크를 제공합니다. 기존의 강화 학습 방법에서의 한계를 해결합니다. [자세히 보기](https://arxiv.org/abs/2601.20614) 2. Advancing Open-source..

1. Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs - LLM을 활용한 데이터 준비 방법이 규칙 기반 파이프라인에서 프롬프트 기반의 맥락 인식 접근법으로 변화하고 있다. - 데이터 정리, 통합, 보강 작업으로 분류됨. - [논문 링크](https://arxiv.org/abs/2601.17058)2. The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation - 대화 내용을 영화로 변환하는 새로운 에이전트 기반 프레임워크 소개. - 비디오 콘텐츠를..

1. AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security - AI 에이전트의 자율 도구 사용과 환경 상호작용으로 인한 안전 및 보안 문제를 다루기 위해 고급 가드레일 프레임워크가 필요합니다. - 리스크 진단 및 투명한 모니터링 기능을 제공합니다. - [자세한 내용 보기](https://arxiv.org/abs/2601.18491)2. AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning - AdaReasoner는 멀티모달 모델이 도구 사용을 일반적인 추론 기술로 학습할 수 있도록 합니다. - 스케일러블 데이터 큐레이션과 도..