퀄컴 테크날러지가 미국 시애틀에서 열린 마이크로소프트 빌드 2023 (Microsoft Build 2023)에서 스냅드래곤 컴퓨팅 플랫폼(Snapdragon® compute platforms)기반 생성형 AI실행 등 온디바이스 AI 혁신 기술을 선보였으며, 스냅드래곤이 탑재된 윈도우 11 PC용 애플리케이션 개발에 새로운 가능성을 제시했다.
지아드 아즈가(Ziad Asghar) 퀄컴 제품 관리 수석부사장은 “생성형 AI가 안정적으로 자리잡기 위해서는 엣지 디바이스에서 추론 기능의 활용이 극대화되어야 한다”라며 “퀄컴의 최고급 AI 하드웨어와 소프트웨어는 개발자들이 AI 기술을 활용해 스냅드래곤이 탑재된 노트북, 휴대폰 및 기타 디바이스 상에서 놀라운 사용자 경험을 선사하도록 뒷받침할 것”라고 전했다.
미래의 AI는 온디바이스와 클라우드를 모두 포괄해야 한다. AI 애플리케이션을 온디바이스로 운영하면 비용효율성, 프라이버시, 개인화, 지연(latency) 등을 향상시킬 수 있다. 스냅드래곤 플랫폼에는 전용 퀄컴 AI 엔진(Qualcomm® AI Engine)이 장착되어 온디바이스 AI를 얇고, 가벼운 소형 기기에서 구현해 단순히 CPU 또는 GPU에 의존하는 것보다 AI 워크로드의 처리 효율성을 높인다.
퀄컴 테크날러지는 마이크로소프트 빌드 2023에서 차세대 윈도우 11 PC상에서 생성형 AI 개발에 도움을 주는 데모를 시연하고 툴을 제공했다. 10억 개 이상의 매개 변수를 보유한 텍스트-투-이미지 생성형 AI인 스테이블 디퓨전(Stable Diffusion)은 단말기 상에서 운영되며, 퀄컴은 대규모 언어 모델(LLM) 등 100억 개 이상의 매개 변수를 보유한 모델들을 수개월 내에 단말기상에서 운영할 수 있을 것으로 내다보고 있다.
퀄컴 AI 스택(Qualcomm® AI Stack)을 향상시키고 개발자들이 차세대 온디바이스 AI 경험을 선보이도록 지원하기 위해, 퀄컴은 이번 빌드 2023에서 일반 대중을 대상으로 퀄컴 AI 엔진 다이렉트 SDK(Qualcomm AI Engine Direct SDK)을 최초로 개방했다. ONNX 런타임과 퀄컴 AI 스택을 바탕으로 서피스 프로9 5G와 레노버 씽크패드 x13s에서 스냅드래곤 8cx Gen3 AI 엔진을 이용해 AI 워크로드를 처리할 수 있다.
