팬아웃(fan-out) 마이크로서비스 아키텍처에서 각 서비스의 개별 지연은 낮더라도, 느리게 완료되는 요청들이 누적되면 p99 레이턴시가 예상보다 훨씬 높아지는 **Straggler 문제**가 발생한다. 이를 해결하기 위해 **Adaptive Hedged Request** 기법을 소개하는데, DDSketch 알고리즘으로 실시간 분위수(quantile)를 추정하고, 윈도우 로테이션으로 분포 변화(drift)에 동적으로 대응한다. 추가 요청으로 인한 부하 증폭을 막기 위해 **토큰 버킷(token bucket) 예산 제한**을 함께 적용하며, 이를 통해 p99 레이턴시를 최대 74% 감소시켰다고 보고한다.
본 기사는 InfoQ의 내용을 기반으로 AI가 백엔드 개발자 관점에서 자동 요약한 스크랩입니다. 카테고리는 백엔드 분야에 해당하며, 관련 분야의 최신 동향 파악을 위해 매일 자동 수집됩니다.
아래 원문 링크를 통해 전체 내용을 확인할 수 있습니다.