AI를 알려면 반도체를 이해해야하는 시대

2018년에 AI사업을 처음 시작했을 때 AI에 대해서 아무 것도 몰랐다. AI를 공부하면서 AI사업을 하려면 무엇이 필요한지 고민도 많이하고 시행착오도 많이 겪었다. 결국 그러한 과정 끝에 알게 된 AI의 3대 구성요소가 Data, 알고리즘(인력), 컴퓨팅 파워라는 것이었다.

​

AI과제는 결국 AI모델을 만드는 것이 목적인데, AI모델을 만들기 위해서는 데이터, 적합한 알고리즘(또는 알고리즘을 잘 아는 전문가), 그리고 마지막으로 컴퓨팅 파워(즉, GPU)가 필요하다. 이 책은 3가지 구성 요소 중에 GPU와 GPU의 상위 개념인 반도체를 설명한 책이다.

​

GPU가 AI에 필수적인 요소라는 것은 AI사업을 통해서 알게 되었는데, 그런 연유로 엔비디아 본사를 두 번 방문했었고, 그 중 한번은 젠슨황의 강의도 듣고 함께 셀피도 찍는 영광을 얻었던지라 GPU에 대한 관심과 HBM을 비롯한 반도체 산업에 궁금함이 많았었다.

​

책을 읽으면서 느껴지는 것은 저자가 반도체에 관해서 아주 쉽게 쓰려고 노력을 했다는 점이다. 반도체를 전혀 모르는 사람들을 위해서 최대한 상세하고 쉽게 저술하려고 했다는 점이 피부에 와닿는다. 다만 반도체 산업의 특성과 기술적인 내용이 있기 때문에, 이쪽 분야의 전문가가 아니거나 관심이 없는 분들은 조금 어렵게 느껴질 수도 있다. 나도 읽으면서 이해되는 부분도 많이 있었지만, 기술적으로 잘 모르는 부분도 꽤 있었다. 모든 기술적인 내용들을 다 이해하진 못하더라도 반도체 시장과 기술을 흐름을 이해하려고 노력했다.

​

​

AI 모델을 만들려면 필히 학습이 필요하다. 학습이 한 번에 끝나지 않기 때문에 다양한 데이터 조합으로 여러 번 학습해서 최고의 성능이 나와야 한다. 이런 학습을 여러 번 해봐야 하는데 GPU자원이 막강해야 짧은 시간에 많은 작업을 할 수 있는 것이다. 당시 우리는 엔비디아의 GPU인 V100으로 구성된 DGX서버와 DGX워크스테이션을 여러 대 사서 AI과제를 수행했다. 그때 GPU 서버를 사지 않았더라면 AI사업을 수주할 수도 없었을뿐만 아니라, 수주를 했어도 제대로 수행을 할 수 없었을 것이다.

​

책을 읽으면서 GPU서버들이 전기를 많이 소모한다고 하는 표현들을 봤는데 그 부분도 바로 이해가 됬다. 당시 데이터센터에 DGX서버들을 입고 시키는데 다른 서버들과 달리 요구되는 전기 사용량이 더 컸기 때문에 별도의 공사가 필요했고, 입고에 대해서 별로 탐탁치 않아했던 기억이 되살아났다.

​

책을 읽으면서 몰랐거나, 잘못 알았거나, 어설프게 알았던 내용들을 정리하는데 큰 도움이 된다.

개별 GPU칩의 성능보다는 8개의 GPU로 구성된 노드들의 분산학습이 더 의미가 있으며, 데이터 전송시에 속도 이슈가 있으므로 네트워크의 폭을 넓히고 속도를 빠르게 하는 것이 중요하다는 점. 노드 안의 GPU들간의 연결 속도를 빠르게 해주는데 사용되는 것이 '엔비링크', 노드간의 연결을 통한 데이터 이동 속도를 빠르게 해주는 것이 '인피니밴드'라는 것도 이번에 명확히 이해됬다.

​

또한 메모리도 속도에 큰 영향을 주므로 칩 안에 메모리를 장착하거나, 외부의 메모리를 활용하되 속도를 높이기 위해서 다양한 방식을 사용한다는 것도 알게 되었다.

​

종합해 보면 반도체는 전력사용량을 줄이고, 데이터 처리량과 속도의 균형점을 찾는데 역점을 두는 산업이라는 것을 알게 되었다. Deep Seek가 나와서 엔비디아와 SK하이닉스 주가가 떨어지는데 조금 지나면 다시 평정심을 찾을 것으로 본다. AI는 트랜스포머 같은 알고리즘만 중요한 것이 아니다. Data, 알고리즘, 컴퓨팅 파워가 조화를 이루어야 완성할 수 있는 영역인 것이다.

 

 

 

넥스트 디지털 - 예스24

 

Haejin Jeong TV, 정해진TV