Google의 LiteRT-LM 프레임워크가 Gemma 4 Multi-Token Prediction(MTP) 기능을 네이티브로 지원하면서 로컬 추론 속도를 최대 2.2배 향상시켰다. 기존 Kotlin, C++에서 지원하던 API 범위를 Swift 및 JavaScript로 확장하여 다양한 플랫폼 대응이 가능해졌다. 온디바이스 추론 성능 최적화와 멀티 플랫폼 SDK 설계 관점에서 참고할 만한 사례다.
본 기사는 InfoQ의 내용을 기반으로 AI가 백엔드 개발자 관점에서 자동 요약한 스크랩입니다. 카테고리는 웹 분야에 해당하며, 관련 분야의 최신 동향 파악을 위해 매일 자동 수집됩니다.
아래 원문 링크를 통해 전체 내용을 확인할 수 있습니다.