Apple's new SpeechAnalyzer API, benchmarked against Whisper and its predecessor

Apple SpeechAnalyzer vs Whisper: 온디바이스 음성 인식 벤치마크 결과 분석

iOS/macOS 26부터 Apple은 기존 SFSpeechRecognizer를 새로운 SpeechAnalyzer / SpeechTranscriber API로 교체했다. 그런데 Apple은 공식적으로 어떠한 정확도 수치도 공개하지 않았다. 이에 한 팀이 LibriSpeech 표준 데이터셋 5,559개 발화를 기준으로 직접 벤치마크를 수행했고, 모든 트랜스크립트를 공개했다. 백엔드 개발자 관점에서도 음성 인식 기능을 앱에 통합하거나 정확도 기반 엔진 선택을 해야 하는 상황이 생기는 만큼, 이 결과는 실무 의사결정에 직접 영향을 줄 수 있다.

벤치마크 결과: SpeechAnalyzer의 압도적 우위

테스트는 Apple M2 Pro (32GB, macOS 26) 환경에서 모든 엔진을 완전히 온디바이스로 실행했다. 평가 지표는 WER(Word Error Rate) — 단어 대치·누락·삽입의 비율이며, 낮을수록 정확하다.

결과는 명확하다. SpeechAnalyzer는 clean 음성에서 2.12%, 노이즈가 있는 음성에서도 4.56%의 WER을 기록하며 모든 Whisper 모델을 앞섰다. 특히 주목할 점은 Whisper Small(~460MB)보다 정확하면서 약 3배 빠르게 동작한다는 것이다. 반면 기존 SFSpeechRecognizer는 clean 음성에서조차 Whisper Tiny(40MB)보다 낮은 정확도를 보이며 최하위를 기록했다.

실무 적용 관점: 마이그레이션과 엔진 선택

이 결과가 실무에서 갖는 의미는 세 가지로 정리된다.

• 즉시 마이그레이션 고려: SFSpeechRecognizer 기반 iOS/macOS 앱을 운영 중이라면, SpeechAnalyzer로의 전환은 단순한 API 교체가 아니라 정확도 관점에서 명백한 품질 향상을 의미한다. 특히 노이즈 환경(회의, 외부 녹음 등)에서의 개선폭이 크다.
• 온디바이스 우선 전략: 프라이버시, 네트워크 비용, 레이턴시 측면에서 온디바이스 음성 인식이 필요한 경우, 더 이상 Whisper를 추가 번들링할 이유가 줄어든다. 시스템 엔진이 더 작고 빠르며 정확하다.
• Whisper가 여전히 유효한 케이스: 크로스 플랫폼(Android, Web, 서버사이드) 환경이나 다국어 지원이 핵심인 서비스는 Whisper의 강점이 유지된다. SpeechAnalyzer는 Apple 플랫폼에 종속된다.

// SpeechAnalyzer 기본 사용 예시 (iOS/macOS 26+)
let analyzer = SpeechAnalyzer()
let result = try await analyzer.transcribe(audioFile: url)
print(result.transcript)

기존 SFSpeechRecognizer 코드와 비교하면 API 구조가 단순해졌고, async/await 기반으로 전환되어 Swift Concurrency와의 통합도 자연스럽다.

정리

• Apple SpeechAnalyzer는 test-clean 2.12% WER로 Whisper Small을 포함한 모든 테스트 엔진 중 최고 정확도를 기록했으며, 속도도 약 3배 빠르다.
• 기존 SFSpeechRecognizer는 Whisper Tiny(40MB)보다도 정확도가 낮아, Apple 플랫폼 대상 앱에서는 마이그레이션이 강하게 권장된다.
• 단, SpeechAnalyzer는 Apple 플랫폼 전용이므로 크로스 플랫폼·다국어 요구사항이 있는 서비스에서는 Whisper와의 병행 전략을 별도로 검토해야 한다.