엔비디아 보다 두배 빠른 KAIST의 AI 가속기: 어떤 기술일까?

 

 

KAIST가 엔비디아의 GPU보다

성능이 뛰어난 새로운 AI 가속기를 개발했습니다.

 

이 기술은 AI 서비스를 운영하는 회사들이

메모리 비용을 크게 줄일 수 있게 해줍니다.

 

KAIST 정명수 교수팀에서는 이 기술이

큰 기업들의 많은 관심을 받고 있다고 합니다.

 

그 기술이 어떤 기술인지 소개해 드리려고 합니다.

 

 

---

KAIST의 혁신적인 기술 개발

KAIST의 혁신적인 기술 개발

 

KAIST는 차세대 GPU 연결 기술인

CXL(Compute Express Link)을 개발했습니다.

 

이 기술을 통해 GPU의 메모리 읽기와

쓰기 성능을 크게 향상시켰습니다.

 

기존의 GPU 메모리는 용량이 제한적이어서

큰 모델을 학습하는 데 어려움이 있었지만,

CXL-GPU 기술을 사용하면 여러 개의

GPU를 연결해 문제를 해결할 수 있다고 합니다.

---

CXL-GPU의 성능과 활용

 

CXL-GPU는 CXL 기술을 통해 연결된

메모리 장치들을 GPU의 메모리 공간에 통합합니다.

 

이렇게 하면 시스템 구축 비용을 절감할 수 있고,

메모리 확장 장치가 메모리 쓰기 타이밍을

스스로 결정할 수 있어

성능이 더욱 향상된다고 합니다.

 

또한, GPU가 미리 메모리 읽기 힌트를 주면

메모리 읽기 속도가 더욱 빨라진다고 하네요.

 

---

기술 검증과 실용화

기술 검증과 실용화

 

이 연구는 파네시아라는 회사의

초고속 CXL 컨트롤러와

CXL-GPU 프로토타입을 사용해 검증되었습니다.

 

테스트 결과, 기존 기술보다 2.36배 빠르게

AI 서비스를 실행할 수 있음을 확인했습니다.

 

파네시아는 자체 개발한 CXL 컨트롤러로

여러 개의 메모리 장치를 GPU에 직접 연결해

단일 GPU가 테라바이트 수준의

큰 메모리 공간을 가질 수 있게 했습니다.

 

KAIST의 이 혁신적인 기술은

GPU 성능을 크게 향상시키고,

대규모 AI 서비스를 운영하는 데

큰 변화를 가져올 것으로 기대가 되는 부분이죠. 

 

두배 이상의 효율을 갖는다는 이야기는 

지금처럼 엄청나게많은 전기 소모와 열을 

절반으로 낮출 수 있다는 것이죠.

 

이 기술 개발로 AI와 데이터 처리 기술의

발전에 큰 기여를 할 것으로 기대됩니다.

 

---

3줄 요약

• KAIST가 엔비디아 GPU보다 성능이 뛰어난 AI 가속기를 개발했습니다.
• 새로운 CXL-GPU 기술로 메모리 비용을 줄이고 성능을 높일 수 있습니다.
• 파네시아의 CXL 컨트롤러를 사용해 2.36배 빠른 AI 서비스가 가능해졌습니다.