🇰🇷 국내
DS
웹페이지 기능을 AI 에이전트가 직접 실행하는 WebMCP 적용
에이전트 중심 웹 연동 방식 전환
출처: 전자신문
원문 기사 보기 ↗
Definition
LLM 추론 중 생성된 어텐션 키·값 텐서를 저장해 재사용하는 캐시 구조. 중복 연산 제거를 통한 지연시간 단축과 GPU 비용 절감.
에이전트 장문 컨텍스트 확산에 따른 KV 캐시의 HBM 용량 초과. GPU 중심 비용 산정에서 메모리·저장소 포함 TCO 관점으로의 이동.
Prefix Caching, PagedAttention
공통 프롬프트 접두부 KV 블록 공유와 단편화 억제
HBM-DRAM-NVMe 오프로딩, CXL 메모리
접근 빈도별 KV 블록 계층 배치
캐시 인지 라우팅, 퇴출 정책, TTL
적중률 극대화와 보존 비용 균형
에이전트 중심 웹 연동 방식 전환
GPU 중심 비용 인식의 저장소 확장
취약점 악용 대비 법적 안전조치 환기
뉴스 내용은 각 원문 출처를 인용했으며, 자세한 내용은 원문 링크에서 확인할 수 있습니다.