https://newatlas.com/computers/smht-parallel-processing/

Software tweak doubles computer processing speed, halves energy use

Existing processors in PCs, smartphones and other devices can be supercharged for enormous power and efficiency gains using a new parallel processing software framework designed to eliminate bottlenecks and use multiple chips at once.

newatlas.com

병목 현상을 제거하고 한 번에 여러 칩을 사용하도록 설계된 새로운 병렬 처리 소프트웨어 프레임워크를 사용하면 PC, 스마트폰 및 기타 장치의 기존 프로세서를 개선하여 엄청난 전력 및 효율성을 얻을 수 있습니다.

스마트폰과 PC, 데이터 센터 서버에 이르기까지 대부분의 최신 컴퓨터에는 그래픽 처리 장치(GPU), 즉 인공지능(AI) 및 기계 학습을 위한 하드웨어 가속기가 포함되어 있습니다. 유명한 상용 제품의 예로는 NVIDIA GPU의 텐서 코어, Google 클라우드 서버의 TPU(Tensor Processing Unit), Apple iPhone의 뉴럴 엔진, Google Pixel 휴대폰의 Edge TPU 등이 있습니다.

이러한 각 구성 요소는 정보를 개별적으로 처리하여 한 처리 장치에서 다음 처리 장치로 정보를 이동하는데, 이로 인해 데이터 흐름에 병목 현상이 자주 발생합니다. 캘리포니아 대학교 리버사이드 (UCR)의 연구진은 새로운 연구에서 기존의 다양한 구성 요소를 동시에 작동시켜 처리 속도를 크게 향상시키고 에너지 소비를 줄이는 방법을 제시하고 있습니다.

UCR 전기 및 컴퓨터 공학 조교수이자 이 연구의 공동 주 저자인 헝 웨이 쳉 (Hung-Wei Tseng) 교수는 "프로세서를 새로 추가할 필요가 없습니다. 기존에 사용하던 프로세서가 이미 있기 때문입니다"라고 말했습니다.

연구진의 프레임워크인 '동시적 및 이기종 멀티스레딩(SHMT; Simultaneous and Heterogeneous Multithreading)'은 특정 종류의 프로세서에만 코드 영역을 독점적으로 위임하는 기존 프로그래밍 모델에서 벗어나, 다른 리소스를 유휴 상태로 남겨두지 않고 현재 기능에 기여하도록 합니다.

다시 말해서, SHMT는 여러 구성 요소의 다양성을 활용하여 계산 작업을 분할하여 구성 요소 간에 공유합니다. 즉, 일종의 병렬 처리 방식입니다.

(a) 기존의 이기종 컴퓨터, (b) 소프트웨어 파이프라이닝이 적용된 기존의 이기종 컴퓨터, (c) SHMT가 Hsu 및 Tseng 함수를 실행하는 방식 비교

작동 방식

관심이 있으신 분들을 위해, SHMT가 작동하는 방식에 대한 (매우 기초적인) 개요를 설명하겠습니다. 일련의 가상 연산(VOP)을 통해 CPU 프로그램은 가상 하드웨어 장치로 함수를 '오프로드'할 수 있습니다. 프로그램 실행 중에 런타임 시스템이 SHMT의 가상 하드웨어를 구동하여 하드웨어 리소스의 스케줄링 결정 능력을 측정합니다.

SHMT는 리소스를 독점하지 않고 품질 관리와 작업 부하 균형을 유지하는 데 도움이 되는 품질 인식 작업 스틸링(QAWS; quality-aware work-stealing) 스케줄링 정책을 사용합니다. 런타임 시스템은 VOP를 하나 이상의 고수준 연산(HLOP)으로 나누어 여러 하드웨어 리소스를 동시에 사용합니다.

그런 다음 SHMT의 런타임 시스템은 이러한 HLOP를 대상 하드웨어의 작업 대기열에 할당합니다. HLOP는 하드웨어에 독립적이므로 런타임 시스템은 필요에 따라 작업 할당을 조정할 수 있습니다.

프로토타입 테스트 및 결과

개념을 테스트하기 위해 연구원들은 최신 스마트폰에서 볼 수 있는 종류의 칩과 처리 능력을 갖춘 시스템을 구축했으며, 데이터 센터에서 가능한 작업을 테스트할 수 있도록 몇 가지 수정을 가했습니다.

SHMT 프로토타입 플랫폼

연구원들은 특히 쿼드 코어 ARM Cortex-A57 프로세서(CPU)와 128개의 Maxwell 아키텍처 GPU 코어를 포함하는 NVIDIA의 Jetson Nano 모듈을 사용하여 임베디드 시스템 플랫폼을 맞춤 제작하였습니다. Google Edge TPU는 M.2 Key E 슬롯을 통해 시스템에 연결되었습니다.

CPU, GPU 및 TPU는 그래픽 카드, 메모리 및 저장 장치와 같은 마더보드 구성 요소를 위한 표준화된 인터페이스인 온보드 PCIe 인터페이스를 통해 데이터를 교환했습니다. 시스템의 주 메모리(25.6GB/s의 속도로 작동하는 4GB 64비트 LPDDR4, 1,600MHz)는 공유 데이터를 호스팅했습니다. Edge TPU에는 추가적으로 8MB 장치 메모리가 있으며 운영체제로는 Ubuntu Linux 18.04가 사용되었습니다.

연구팀은 벤치마크 애플리케이션을 사용하여 SHMT 개념을 테스트했으며, 최고 성능의 QAWS(quality-aware work-stealing) 정책을 통한 프레임워크가 기준치 대비 속도를 1.95배 향상시키고 에너지 소비를 51% 절감했다는 놀라운 결과를 발견했습니다.

다양한 스케줄링 정책을 통한 SHMT 속도 향상(기준 GPU 대비)

이 모든 것이 무엇을 의미하나요?

연구원들은 SHMT에 대한 시사점이 매우 크다고 말합니다. 기존의 휴대폰, 태블릿, 데스크톱 및 노트북의 소프트웨어 앱에서 이 새로운 소프트웨어 라이브러리를 사용하여 성능을 크게 향상시킬 수 있습니다. 또한 값비싼 고성능 부품의 필요성을 줄여 더 저렴하고 효율적인 디바이스를 만들 수도 있습니다.

SHMT는 에너지 사용량과 냉각 요구 사항을 줄여주므로, 데이터 센터를 운영하는 경우 두 가지 주요 비용 항목을 최적화하는 동시에 탄소 배출량과 물 사용량도 줄일 수 있습니다.

에너지 소비 및 지연

항상 그렇듯이 시스템 구현, 하드웨어 지원 및 최대의 이점을 얻을 수 있는 애플리케이션 유형에 대한 추가 연구가 필요하지만, 이러한 종류의 결과를 통해 해당 연구팀이 필요한 리소스를 확보하는 데 큰 어려움은 없을 것으로 예상됩니다.

해당 연구는 마이크로아키텍처에 관한 제56회 IEEE/ACM 국제 심포지엄인 MICRO 2023에서 발표되었습니다.