NVIDIA Hopper(호퍼)는 엔비디아(NVIDIA)가 2022년에 발표한 데이터 센터 및 AI 연산 전용 GPU 아키텍처입니다. 이름은 컴퓨터 과학의 선구자인 ‘그레이스 호퍼(Grace Hopper)’의 이름을 따서 지어졌습니다.
이전 세대인 ‘암페어(Ampere)’ 아키텍처를 계승하며, 특히 생성형 AI와 대규모 언어 모델(LLM) 학습 및 추론을 위해 설계된 혁신적인 기술들이 대거 포함되어 있습니다.
주요 특징과 핵심 기술은 다음과 같습니다.
1. 트랜스포머 엔진 (Transformer Engine)
- 핵심 기능: Hopper의 가장 큰 특징입니다. GPT와 같은 트랜스포머 모델은 엄청난 연산량을 필요로 하는데, Hopper는 모델의 연산 과정에서 데이터 정밀도(FP8, FP16 등)를 실시간으로 지능적으로 조정합니다.
- 효과: 연산 속도를 이전 세대 대비 최대 6배 이상 빠르게 높이면서도 모델의 정확도는 유지합니다.
2. H100 GPU (대표 모델)
- Hopper 아키텍처를 기반으로 만들어진 주력 제품이 바로 NVIDIA H100입니다. 현재 전 세계 AI 기업들이 앞다투어 확보하려는 핵심 장비로, AI 개발의 ‘표준’이 되었습니다.
- 이전 세대(A100) 대비 딥러닝 학습 성능은 최대 9배, 추론 성능은 최대 30배까지 향상되었습니다.
3. NVLink 및 NVSwitch (데이터 연결성)
- AI 모델이 커지면서 수천 개의 GPU를 하나처럼 연결해야 하는데, Hopper는 4세대 NVLink와 NVSwitch를 통해 GPU 간 초고속 데이터 전송을 지원합니다. 여러 개의 H100을 연결해 거대한 ‘슈퍼 GPU’처럼 작동하게 만듭니다.
4. DPX 명령어 (다이내믹 프로그래밍 가속)
- 물류 최적화, 유전자 염기서열 분석, 로봇 경로 탐색 등 복잡한 알고리즘에서 사용되는 ‘다이내믹 프로그래밍’ 성능을 최대 7배까지 가속화합니다.
5. 왜 중요한가?
- 생성형 AI 시대의 주인공: ChatGPT와 같은 거대 AI 모델을 학습시키려면 수만 개의 GPU가 필요합니다. Hopper는 이러한 초거대 AI 학습 시간을 수개월에서 수주 단위로 획기적으로 단축해주기 때문에, AI 패권 경쟁의 핵심 무기가 되었습니다.
- 에너지 효율: 동일한 AI 연산을 수행할 때 이전 아키텍처보다 전력을 훨씬 효율적으로 사용합니다. (데이터 센터 운영 비용 절감)
요약하자면
NVIDIA Hopper는 “인공지능, 특히 ChatGPT와 같은 거대 언어 모델을 가장 빠르고 효율적으로 학습시키기 위해 탄생한 엔진”이라고 이해하시면 됩니다.
참고: 엔비디아는 Hopper의 다음 세대로 2024년 3월 ‘블랙웰(Blackwell)’ 아키텍처를 발표했으며, 현재는 Hopper에서 블랙웰로 넘어가는 전환기입니다.