Cars24가 AI 에이전트로 고객 대화를 확장한 방법
중고차 거래 플랫폼 Cars24는 대규모 고객 문의와 리드 관리라는 구조적 문제를 안고 있었다. 수만 건에 달하는 일일 상담 요청, 이탈한 잠재 고객의 재접촉, 복잡한 거래 프로세스를 사람만으로 처리하기에는 명백한 한계가 있었다. 이 문제를 해결하기 위해 Cars24는 단순한 FAQ 챗봇이 아닌, OpenAI 기반의 음성·채팅 에이전트를 핵심 고객 접점에 배치하는 전략을 선택했다.
핵심은 "에이전틱 워크플로우(Agentic Workflow)"의 도입이다. 기존 룰 기반 챗봇이 사전 정의된 시나리오 안에서만 동작했다면, 에이전틱 시스템은 사용자의 의도를 파악하고 다음 행동을 스스로 결정한다. 예를 들어 이탈한 리드에게 자동으로 재접촉하고, 대화 맥락에 따라 차량 추천이나 가격 협상 안내를 동적으로 제공하는 방식이다. 결과적으로 월 100만 분 이상의 고객 대화를 처리하고, 이탈 리드의 약 12%를 재확보하는 성과로 이어졌다.
에이전틱 AI가 백엔드 아키텍처에 미치는 영향
이러한 시스템을 백엔드 관점에서 구현하면, 단순한 API 호출 이상의 설계가 필요하다. LLM을 중심으로 Tool Calling, 상태 관리, 외부 시스템 연동이 유기적으로 맞물려야 한다.
// 에이전트가 CRM 시스템을 호출하는 Tool 정의 예시 (개념적)
@Component
public class LeadLookupTool implements AgentTool {
public String execute(String customerId) {
LeadInfo lead = crmService.findById(customerId);
return lead.toJsonSummary(); // LLM에게 컨텍스트로 전달
}
}
백엔드 개발자가 주목해야 할 지점은 대화 상태의 영속성과 멱등성이다. 에이전트는 멀티턴 대화를 유지해야 하므로 Redis나 DB에 세션 컨텍스트를 저장하는 구조가 필요하다. 또한 LLM 응답 지연이나 외부 API 타임아웃에 대비한 재시도 정책, 폴백 로직도 설계 단계에서 반드시 고려해야 한다. Cars24처럼 대규모 트래픽 환경에서는 비동기 메시지 큐(Kafka, SQS 등)와 결합해 에이전트 작업을 분산 처리하는 패턴이 일반적으로 활용된다.
조직 전반으로 확산되는 에이전틱 워크플로우
Cars24 사례에서 또 하나 주목할 점은 AI를 고객 접점에만 국한하지 않았다는 것이다. 영업, 운영, 품질 관리 등 회사 내부 팀 전반에 에이전틱 워크플로우를 확산시키는 방향으로 발전시켰다. 이는 "AI를 제품에 붙이는" 수준을 넘어 업무 프로세스 자체를 재설계하는 시도다.
백엔드 개발자 입장에서 이 흐름이 중요한 이유는, 앞으로 구축해야 할 시스템의 성격이 달라지기 때문이다. 단순 CRUD API를 넘어, 에이전트가 소비할 수 있는 잘 정의된 Tool API, 실행 이력을 추적하는 감사 로그 시스템, 그리고 에이전트의 의사결정을 사람이 개입해 검토할 수 있는 Human-in-the-loop 구조가 새로운 백엔드 설계 요소로 부상하고 있다.
정리
- 에이전틱 AI 시스템은 룰 기반 챗봇과 달리 상태 관리, Tool Calling, 외부 시스템 연동을 아우르는 복잡한 백엔드 설계를 요구한다.
- 대규모 대화 처리를 위해 비동기 큐, 세션 영속성, 폴백 전략은 선택이 아닌 필수 설계 요소다.
- AI는 단일 기능이 아닌 조직 전반의 워크플로우를 변화시키는 방향으로 진화하고 있으며, 백엔드 개발자는 이를 지탱하는 인프라 설계 역량을 갖춰야 한다.