GPU - 3: 아키텍처와 설계

 

GPU 아키텍처와 설계

GPU 아키텍처와 설계는 현대 GPU가 그래픽 렌더링부터 인공지능(AI) 및 과학적 시뮬레이션에 이르기까지 다양한 작업을 처리할 수 있도록 하는 복잡하고 고도로 최적화된 시스템입니다. (※ NVIDIA 기준 설명)

 

1) 계층적 구조

NVIDIA GPU는 복잡한 그래픽 및 계산 작업을 효율적으로 처리할 수 있도록 계층적 구조로 설계되었습니다. 이 구조는 피라미드 형태로 시각화할 수 있으며, 각 계층은 조직의 다른 수준을 나타냅니다.

 

- Grid Level: GPU 전체와 그 자원을 나타냅니다.
- Graphics Processing Cluster (GPC) Level: 각 GPC는 독립적으로 작동하며, 자체 텍스처 처리 클러스터(TPC), 스트리밍 멀티프로세서(SM), 공유 리소스를 포함합니다. GPU 모델 및 용도에 따라 GPC의 수는 다릅니다.
- Streaming Multiprocessor (SM) Level: SM은 GPU 내 기본 처리 단위입니다. 각 SM은 다수의 CUDA 코어를 포함하며, 명령어 캐시, 멀티스레드 디스패처, 상수 캐시 등을 통해 명령어 흐름과 데이터 접근을 관리합니다.

 

2) 스트리밍 멀티프로세서(SM)

SM은 NVIDIA GPU 아키텍처의 핵심 구성 요소로, 다음과 같은 구성 요소를 포함합니다.

 

- Instruction Cache(I-Cache): SM에서 실행할 명령어를 저장하며, 자주 사용되는 명령어를 실행 유닛 가까이 유지해 지연 시간을 줄입니다.
- Multi-Threaded Issue(MT Issue): SM 내 다양한 실행 유닛으로 명령어를 디스패치하여, 가용 계산 자원을 최적화합니다.
- Constant Cache(C-Cache): 실행 중 변하지 않는 데이터를 저장하며, 스레드가 상수 값을 빠르게 액세스할 수 있도록 합니다.
- CUDA Core/Stream Processors(SP): 부동소수점 및 정수 연산과 같은 산술 연산을 처리하는 코어입니다. 다수의 SP 유닛이 명령어의 병렬 처리를 지원합니다.

3) 레이 트레이싱 및 AI를 위한 전문 코어

NVIDIA는 특정 작업 성능을 향상시키기 위해 전문 코어를 도입했습니다.

 

- RT Core: 실시간 레이 트레이싱을 위해 설계된 코어로, 복잡한 조명 및 반사와 같은 작업의 성능을 크게 향상시킵니다.
- Tensor Core: Volta 아키텍처에서 도입된 코어로, 딥러닝 작업에 최적화되어 있습니다. 행렬 연산을 수행하며 혼합 정밀도 컴퓨팅을 지원해 AI 워크로드에서 큰 성능 향상을 제공합니다.

4) 메모리 아키텍처 및 관리

GPU의 메모리 계층 구조는 병렬 계산 작업의 성능 최적화에 있어 중요한 역할을 합니다. 주요 메모리 구성 요소는 다음과 같습니다.

 

- Global Memory: GPU에서 가장 큰 메모리 풀로, 모든 스레드가 접근 가능하지만, 다른 메모리 유형에 비해 접근 속도가 상대적으로 느립니다.
- Shared Memory: 같은 스레드 블록 내의 스레드가 공유하는 작은 고속 메모리 풀로, 스레드 간 통신과 데이터 재사용에 사용됩니다.
- Local Memory: 각 스레드에 고유한 메모리로, 임시 변수나 레지스터 공간이 부족할 때 데이터를 저장하는 데 사용됩니다.
- Texture Memory and Constant Memory: 특정 읽기 패턴에 최적화된 전문 메모리 유형입니다. 텍스처 메모리는 2D 또는 3D 텍스처 검색에 최적화되어 있으며, 상수 메모리는 읽기 전용으로 여러 스레드에 상수를 브로드캐스트하는 데 최적화되어 있습니다.
- Register File: 각 스레드가 사용할 수 있는 가장 빠르고 가장 개인화된 메모리입니다. 레지스터 사용을 최소화하고 재사용을 극대화하는 것이 GPU 성능을 높이는 데 필수적입니다.

5) 디스플레이 및 출력 기술

그래픽 관련 작업에서는 다음 구성 요소가 있습니다.

 

- Raster Engine: 폴리곤을 픽셀로 변환하여 디스플레이를 위한 최종 이미지를 준비합니다.
- ROP(Render Output Units): 여러 프래그먼트에서 픽셀 데이터를 결합하여 단일 픽셀 이미지를 완성합니다.
- Display Controller: 화면으로 신호를 보내며, 디스플레이 설정 및 출력 구성을 관리합니다.

 

6) 멀티 GPU 시스템 및 통신

고성능 컴퓨팅 응용 프로그램을 위해 NVIDIA는 멀티 GPU 간 통신을 지원하는 고속 연결 기술을 제공합니다.

 

- NVLink: 멀티 GPU 시스템에서 통신을 가능하게 하는 고속 인터커넥트 기술로, 확장성과 성능 이점을 제공합니다.

 

GPU 아키텍처는 복잡한 계산 작업을 효율적으로 처리하기 위해 설계된 고도로 최적화된 시스템입니다. 계층적 구조, 특정 작업에 최적화된 전문 코어, 정교한 메모리 관리 시스템은 현대 GPU의 높은 성능을 가능하게 합니다. 이러한 구성 요소를 이해하면 다양한 응용 프로그램에서 GPU를 최적으로 활용할 수 있습니다.