AI 하드웨어: CPU 대 GPU 대 NPU

컴퓨팅 시스템에서의 역할부터 살펴보겠습니다.

 

CPU(중앙처리장치)

CPU 또는 프로세서는 컴퓨터의 두뇌입니다. 계산을 수행하고 운영 체제와 애플리케이션의 명령을 실행하여 모든 것이 원활하게 실행되도록 하는 '관리자' 역할을 합니다.

 

GPU(그래픽 처리 장치)

GPU는 그래픽 및 계산 작업을 처리하도록 설계된 특수 칩입니다. 병렬 처리를 통해 무거운 작업을 처리하는 '전문가'와 같으므로 다음과 같은 작업에 매우 빠릅니다.

• 그래픽 렌더링
• 노름
• 과학적 시뮬레이션
• 머신러닝

 

NPU(신경처리장치)

NPU는 머신 러닝과 AI 워크로드를 위해 특별히 설계된 '슈퍼 스페셜리스트' 칩입니다. 다음에 최적화되었습니다.

• 신경망 처리
• 딥러닝
• 자연어 처리

 

반응형

 

좋은 소리네요. 하지만 CPU와 GPU는 얼마나 다를까요?

CPU는 복잡한 논리와 조건문이 있는 순차적 작업을 위해 설계되었습니다. 예로는 "if-else" 문을 사용하여 최단 경로를 찾는 내비게이션 소프트웨어가 있습니다.

 

최신 CPU는 일부 병렬 처리 기능을 위해 여러 개의 코어(Intel Core i9-13900KS와 같은 하이엔드 칩의 경우 최대 24개)를 갖추고 있습니다. 그러나 데이터 센터를 위한 Intel의 56코어 Xeon W9-3495 프로세서 와 같은 더 많은 병렬 칩이 있습니다..

이와 대조적으로 GPU는 대량 병렬 프로세서입니다. 이는 다음과 같은 병렬 워크로드에 이상적입니다.

• 그래픽 렌더링(광범위한 선형 대수 계산)
• 딥러닝 AI 모델 학습(대규모 행렬 곱셈)

 

GPU를 그렇게 빠르게 만드는 것은 무엇인가?

수천 개의 코어를 갖춘 GPU 아키텍처의 대규모 병렬성은 그래픽 렌더링 및 딥 러닝과 같이 병렬화할 수 있는 워크로드에 대해 CPU보다 훨씬 빠르게 계산을 수행할 수 있게 해줍니다. 각 GPU 코어는 동시에 계산을 수행할 수 있습니다.

 

그러나 GPU는 CPU를 완전히 대체하는 것은 아닙니다. 단일 CPU 코어는 병렬화나 벡터화가 쉽지 않은 복잡한 분기 논리를 포함하는 직렬 계산 작업의 경우 개별 GPU 코어보다 여전히 훨씬 빠릅니다.

 

CPU는 다양한 워크로드를 처리할 수 있는 다재다능한 차량과 같습니다. GPU는 레이싱카와 비슷합니다. 그래픽, AI/ML 등의 한계까지 병렬 계산 처리량을 끌어올리도록 최적화된 고성능 전문 머신입니다.

 

AI 작업에 일반 CPU를 사용할 수 있나요?

CPU는 AI 작업을 수행할 수 있지만 일반적으로 대규모 또는 복잡한 AI 워크로드의 경우 GPU 및 TPU와 같은 특수 AI 하드웨어보다 느리고 효율성이 떨어집니다. 그러나 CPU는 소규모 AI 애플리케이션이나 낮은 대기 시간이 중요한 경우에 적합합니다.

 

300x250

 

NPU는 어떤가요?

NPU는 엣지 또는 모바일 기기에서 신경망과 머신 러닝 추론을 구축할 때 고성능, 고효율, 저지연성을 제공하는 특수 AI 가속 칩입니다.

핵심 요점:

• AI/ML을 위한 전용 하드웨어

NPU는 신경망과 딥러닝 모델을 학습하고 실행하는 데 기본이 되는 행렬 곱셈과 기타 수학 연산을 위해 최적화된 특수 칩입니다.

• 병렬 처리

GPU와 마찬가지로 NPU는 신경망 계산에 필요한 많은 병렬 계산을 동시에 수행하도록 설계된 수천 개의 작은 프로세서 코어를 사용하여 대규모 병렬 처리를 활용합니다.

• 전력 효율성

NPU는 매우 전력 효율적으로 AI 계산을 수행하도록 설계되어 배터리/열 제약이 제한된 모바일/임베디드 장치에서 AI 가속화를 구현할 수 있습니다.

• 낮은 정밀도

신경망은 정확도를 크게 잃지 않고 낮은 정밀도(예: 8비트 또는 4비트) 수학으로 작동할 수 있습니다. NPU는 이를 활용하여 성능과 효율성을 높입니다.

• 프레임워크 지원

TensorFlow, PyTorch, Caffe 등과 같은 주요 AI/ML 프레임워크와 모델은 Google, Qualcomm, Intel 등과 같은 공급업체의 NPU 하드웨어에서 실행되도록 최적화되었습니다.

 

 

예: 화상 통화에서 배경을 흐리게 처리하기

화상 통화 중이고 배경을 흐리게 처리하고 싶다고 가정해 보겠습니다. 이를 위해서는 NPU와 GPU가 원활하게 함께 작동하여 최적의 결과를 위해 각자의 강점을 활용해야 합니다.

• AI 알고리즘은 픽셀 데이터를 사용하여 이미지를 분할하고 관심 객체에 속하는 픽셀을 판별합니다.
• NPU가 이러한 분류를 처리합니다.
• GPU는 배경 픽셀에 흐림 효과를 추가합니다.

 

*원본 글 링크: https://www.linkedin.com/pulse/ai-hardware-cpu-vs-gpu-npu-alex-wang-h3j9c/