컨텍스트 유지와 압축이 LLM 추론 성능을 바꾸는 이유
AI 기반 기능을 백엔드 서비스에 통합하는 사례가 늘어나면서, 단순히 "API를 호출한다"는 수준을 넘어 어떤 설정으로 호출하느냐가 실질적인 품질 차이를 만들어내는 국면에 접어들었다. 최근 ARC-AGI-3 벤치마크에서 두 가지 API 설정만으로 점수가 3배 향상됐다는 결과는, 백엔드 개발자 입장에서도 눈여겨봐야 할 시사점을 담고 있다.
핵심은 store: true 옵션과 대화 압축(compaction) 설정이다. store: true는 모델이 추론 과정에서 생성한 중간 컨텍스트를 세션 간에 보존하도록 지시하는 옵션이다. 대화 압축은 긴 컨텍스트를 그대로 누적하는 대신, 의미 있는 정보를 요약·압축하여 토큰 한도 내에서 더 많은 추론 맥락을 유지할 수 있게 한다.
실무에서 이 설정이 왜 중요한가
복잡한 다단계 추론이 필요한 작업 — 예를 들어 긴 문서 분석, 멀티턴 에이전트 워크플로우, 코드 리뷰 자동화 등 — 에서는 이전 추론의 맥락이 현재 응답의 품질을 직접적으로 결정한다. 매 요청마다 컨텍스트를 처음부터 다시 구성하는 방식은 비용도 높고, 모델이 앞선 추론 결과를 활용하지 못해 품질도 떨어진다.
백엔드 서비스에서 OpenAI API를 사용하는 경우라면, 아래와 같이 요청 페이로드에 설정을 명시할 수 있다.
{
"model": "gpt-5",
"store": true,
"messages": [...],
"compaction": {
"enabled": true
}
}
이 두 설정의 조합은 단순한 성능 튜닝이 아니다. 추론 연속성(reasoning continuity) 을 API 수준에서 보장하는 설계 선택이며, 에이전트 파이프라인을 구성할 때 아키텍처 결정에 영향을 준다. 예를 들어, 세션 상태를 별도 스토리지에 직접 관리하던 로직 일부를 API 레이어에 위임할 수 있어 코드 복잡도도 줄어든다.
비용과 성능의 트레이드오프를 어떻게 볼 것인가
컨텍스트를 보존한다는 것은 곧 토큰 소비가 누적된다는 의미이기도 하다. 여기서 압축(compaction)의 역할이 중요해진다. 압축 없이 store: true만 사용하면 컨텍스트가 선형적으로 늘어나 비용이 급격히 증가할 수 있다. 반면 압축을 함께 활성화하면 의미 손실을 최소화하면서 토큰 효율을 높이는 균형점을 찾을 수 있다.
실무적으로는 워크로드 특성에 따라 설정을 다르게 가져가는 전략이 유효하다.
- 단발성 요청(single-turn): 두 설정 모두 비활성화 — 오버헤드 없음
- 멀티턴 대화 또는 에이전트 루프:
store: true+ 압축 활성화 — 품질·비용 균형 - 장시간 실행 파이프라인: 압축 주기와 요약 전략을 별도로 모니터링하여 컨텍스트 드리프트 방지
Java 백엔드에서 API 클라이언트를 구성할 때도 이 설정을 추상화하는 레이어를 두면, 추후 모델 교체나 설정 변경 시 서비스 코드 수정 없이 대응할 수 있다.
정리
store: true와 대화 압축 설정은 다단계 추론 작업에서 응답 품질을 크게 향상시키며, 단순 프롬프트 최적화와는 다른 차원의 접근이다.- 비용 효율을 위해 두 설정은 함께 사용하는 것이 원칙이며, 워크로드 유형에 따라 선택적으로 적용해야 한다.
- API 설정을 추상화하는 클라이언트 레이어를 설계하면, 모델·설정 변경에 유연하게 대응할 수 있는 백엔드 구조를 만들 수 있다.