선형 어텐션의 새로운 가능성: Kimi Linear가 주목받는 이유
2025년 10월, Moonshot AI의 Kimi 팀이 공개한 Kimi Linear는 선형 어텐션(Linear Attention) 아키텍처 분야에서 주목할 만한 성과를 발표했다. 핵심 주장은 단순하지만 강렬하다. 기존 Full Attention 대비 공정한 비교 조건에서 처음으로 선형 어텐션이 성능을 앞섰다는 것이다. 짧은 컨텍스트, 긴 컨텍스트, 강화학습 스케일링 시나리오 모두에서 이를 달성했다고 밝히고 있어, 단순한 효율화 연구를 넘어선 아키텍처적 전환점으로 해석된다.
Full Attention의 한계와 선형 어텐션의 구조적 도전
트랜스포머의 Self-Attention은 시퀀스 길이 N에 대해 O(N²)의 연산 복잡도를 가진다. 웹 백엔드 관점에서 보면, 이는 긴 요청이나 대형 컨텍스트를 다루는 서비스에서 처리 비용과 응답 지연이 기하급수적으로 증가함을 의미한다. 선형 어텐션은 이를 O(N)으로 줄이는 대안이지만, 표현력(expressiveness) 손실로 인해 실제 성능이 Full Attention에 미치지 못하는 것이 오랜 과제였다.
Kimi Linear는 **Kimi Delta Attention(KDA)**이라는 핵심 모듈을 통해 이 문제를 정면 돌파한다. KDA는 Gated DeltaNet을 확장하여 보다 세밀한 게이팅 메커니즘을 도입했다. RNN 기반 유한 상태 메모리의 한계 안에서도 더 풍부한 정보를 표현할 수 있도록 설계된 것이다. 아키텍처는 KDA와 Multi-Head Attention을 레이어 단위로 혼합하는 하이브리드 구조를 채택하며, 3B 활성 파라미터, 48B 전체 파라미터 규모로 사전학습되었다.
DPLR 행렬과 하드웨어 효율의 트레이드오프
Kimi Linear의 또 다른 기술적 특징은 Diagonal-Plus-Low-Rank(DPLR) 전이 행렬의 특수화된 변형을 활용한 청크 단위(chunkwise) 알고리즘이다. 일반적인 DPLR 공식 대비 연산량을 대폭 줄이면서도, 클래식한 Delta Rule과의 일관성을 유지했다는 점이 중요하다.
일반 DPLR: O(d² × chunk_size)
Kimi 특수화 DPLR: O(d × rank × chunk_size) — rank << d
이 접근은 GPU 하드웨어의 메모리 대역폭과 연산 유닛을 효율적으로 활용하기 위한 설계다. 백엔드 시스템 입장에서 이 차이는 단순한 이론값이 아니다. 동일한 GPU 예산 안에서 더 긴 컨텍스트를 처리하거나, 더 많은 동시 요청을 처리할 수 있다는 실무적 의미를 갖는다.
웹 백엔드 개발자가 이 연구를 주목해야 하는 이유
모델 아키텍처 연구가 순수 ML 영역처럼 보일 수 있지만, 서비스 레이어에서 이를 호출하는 Java 백엔드 개발자에게도 시사점이 있다. 선형 어텐션 기반 모델은 KV 캐시 메모리 사용량이 시퀀스 길이에 무관하게 고정된다는 특성을 가진다. 이는 다음과 같은 설계 변화를 가져올 수 있다.
- 스트리밍 응답 처리: 고정 메모리 풋프린트 덕분에 장시간 스트리밍 요청의 서버 자원 예측이 쉬워진다.
- 동시성 설계: 메모리 사용이 예측 가능하므로, 스레드 풀이나 Virtual Thread 기반 동시 요청 처리 전략을 더 명확하게 수립할 수 있다.
- API 게이트웨이 타임아웃 정책: 긴 컨텍스트 요청도 연산 시간이 선형적으로 증가하므로, 타임아웃 임계값 설정 근거가 생긴다.
정리
- Kimi Linear는 선형 어텐션이 Full Attention을 공정한 조건에서 최초로 앞선 사례로, 아키텍처 설계의 방향 전환을 시사한다.
- KDA의 세밀한 게이팅과 특수화된 DPLR 알고리즘은 표현력과 하드웨어 효율을 동시에 확보하는 핵심 기법이다.
- 선형 어텐션의 고정 메모리 특성은 백엔드 서비스의 자원 예측 및 동시성 설계에 실질적인 이점을 제공한다.