🇰🇷 국내
SE
다우오피스 메신저 업데이트 경로 악용 침해
정상 업데이트 채널 악용 공급망 공격 사례
출처: 데일리시큐
원문 기사 보기 ↗
Definition
연산 노드 로컬 디스크 대신 별도 서비스에 셔플 데이터를 저장·병합하는 구조. 실행기 장애 전파 차단과 셔플 읽기 효율 개선 목적.
참고: Apache Celeborn (Spark·Flink 원격 셔플 서비스)
대규모 Spark·Flink 배치에서 로컬 셔플 유실에 따른 재계산 비용 급증. LinkedIn의 일 750건에서 20건으로 페치 실패 감소 사례 등장.
셔플 서버, 컴퓨트-스토리지 분리
실행기 수명과 셔플 데이터 수명의 분리
푸시 기반 셔플, 파티션 병합
소량 랜덤 읽기의 순차 읽기 전환
데이터 복제, 장애 시 재조회
노드 장애 시 스테이지 재실행 최소화
정상 업데이트 채널 악용 공급망 공격 사례
원격 셔플 서비스 도입 효과의 정량 실증
SW 산업 가치사슬 재편 관점의 정책 논점
뉴스 내용은 각 원문 출처를 인용했으며, 자세한 내용은 원문 링크에서 확인할 수 있습니다.