베리실리콘이 초저에너지 및 고성능 신경망 처리 장치(NPU) IP가 이제 40TOPS를 넘는 AI 컴퓨팅 성능으로 대규모 언어 모델(LLM)의 온디바이스 추론을 지원한다고 발표했다.
이 에너지 효율적인 NPU 아키텍처는 모바일 플랫폼에서 생성형 AI 기능에 대한 증가하는 수요를 충족하도록 특별히 설계되었다. 이 아키텍처는 AI PC와 기타 최종 기기에 강력한 컴퓨팅 성능을 제공할 뿐만 아니라 AI폰과 기타 모바일 플랫폼의 점점 더 엄격해지는 에너지 효율성 과제를 충족하도록 최적화되었다.
베리실리콘의 초저에너지 NPU IP는 구성 및 확장성이 뛰어난 아키텍처를 기반으로 혼합 정밀도 계산, 고급 희소성 최적화 및 병렬 처리를 지원한다. 이 설계에는 효율적인 메모리 관리와 희소성 인식 가속이 통합되어 계산 오버헤드와 지연 시간을 줄이고, 원활하고 반응성이 뛰어난 AI 처리를 보장한다.
이 설계는 AI-NR, AI-SR을 비롯한 수백 개의 AI 알고리즘과 스테이블 디퓨전(Stable Diffusion), LLaMA-7B와 같은 주요 AI 모델을 지원한다. 또한 베리실리콘의 다른 프로세싱 IP와 완벽하게 통합되어 이기종 컴퓨팅을 지원하고, SoC 설계자가 다양한 애플리케이션 요구 사항을 충족하는 포괄적인 AI 솔루션을 개발할 수 있도록 지원한다.
베리실리콘의 초저에너지 NPU IP는 텐서플로우 라이트(TensorFlow Lite), ONNX, 파이토치(PyTorch)와 같은 인기 있는 AI 프레임워크도 지원하여 다양한 AI 사용 사례에서 고객의 배포를 가속화하고 통합을 간소화한다.
