엣지 AI용 초저전력 반도체 솔루션 전문업체인 Ambiq Micro의 엣지 AI 런타임 솔루션인 HeliosRT (런타임)은 엣지 컴퓨팅 환경의 고유한 요구 사항에 맞춰 AI 모델의 성능과 에너지 효율성을 크게 향상시키도록 설계되었다.
Ambiq의 런타임 솔루션은 엔지니어가 Apollo SoC의 잠재력을 최대한 발휘할 수 있도록 설계된 개발자 중심 툴 포트폴리오이다. HeliosRT는 디지털 헬스케어, 스마트 홈, 산업 자동화 등 다양한 애플리케이션에서 엣지 AI를 위한 유연하고 고성능의 배포 옵션을 제공한다.
HeliosRT는 LiteRT(이전 TensorFlow Lite for Microcontrollers)의 성능을 향상한 것으로 에너지 제약이 있는 환경에 최적화되었다. 기존의 TensorFlow 워크플로와 완벽하게 호환되는 HeliosRT는 다음과 같은 개선 사항을 제공한다.
- Apollo510의 벡터 가속 하드웨어에 최적화된 맞춤형 AI 커널
- 오디오 및 음성 처리 모델에 향상된 숫자 지원
- 표준 LiteRT 구현에 비해 추론 속도와 전력 효율성이 최대 3배 향상
이 Helios 솔루션은 Ambiq의 특허받은 임계치 이하 전력 최적화 기술(SPOT)을 기반으로 구축되었다. 이는 이미 전 세계적으로 2억 7천만 대 이상의 기기에 채택되었다.
HeliosRT는 현재 neurospot SDK를 통해 베타 버전으로 제공되는데 대량 공급은 3분기로 예정되어 있다.
