Google의 LiteRT-LM 프레임워크가 Gemma 4 Multi-Token Prediction(MTP) 기능을 네이티브로 지원하면서 로컬 추론 속도를 최대 2.2배 향상시켰다. 기존 Kotlin, C++에서 지원하던 API 범위를 Swift 및 JavaScript로 확장하여 다양한 플랫폼 대응이 가능해졌다. 온디바이스 추론 성능 최적화와 멀티 플랫폼 SDK 설계 관점에서 참고할 만한 사례다.
본 기사는 InfoQ의 내용을 기반으로 AI가 백엔드 개발자 관점에서 자동 요약한 스크랩입니다. 카테고리는 백엔드 분야에 해당하며, 관련 분야의 최신 동향 파악을 위해 매일 자동 수집됩니다.
아래 원문 링크를 통해 전체 내용을 확인할 수 있습니다.