제주대 도서관에서는 책 읽는 제주대학교의 모습을 위해 매주 아침독서를 제공하고 있습니다.

◈ 아침독서 바로가기 <비전공자도 이해할 수 있는 챗GPT>
 

◈ 모바일 아침독서 바로가기
※ 모바일 접속시 필요한 로그인 정보는 < 대학NO: jejunuac   ID: jejunuac   이름: 제주대학교> 
 

인간을 능가하는 GPT-4

초거대 모델, 크기 전쟁을 시작하다

처음 오픈AI에서 GPT 모델을 만들 때만 해도 매개변수는 1억여 개에 불과했습니다. 물론 이것도 당시에는 꽤 큰 크기였죠. 그러던 것이 GPT-2에 이르러서는 10배 이상 늘어나 15억 개가 됐습니다. 이듬해 GPT-3에서는 더욱 놀라운 일이 벌어집니다. 무려 100배 이상 증가한 1,750억 개의 매개변수를 가진 모델을 만들어낸 것입니다. 인간 두뇌의 뉴런(신경 세포) 개수를 860억 개로 추정하고 있는데, 이보다 훨씬 더 큰 모델을 만들어낸 것이죠. 당시에는 인간의 두뇌보다 훨씬 더 큰 모델로 알려지기도 했습니다. 물론 매개변수가 뉴런보다 많다고 해서 인간보다 더 뛰어나다고 볼 수는 없습니다. 혹자들은 뉴런과 뉴런을 잇는 시냅스의 개수가 이보다 훨씬 더 많은 320조 개에 달하기 때문에, 매개변수가 320조 개는 넘어야 인간과 비슷한 성능을 발휘할 수 있다고 주장하기도 합니다. 만약 그렇다면 아직 갈 길이 멀죠.

어쨌든 GPT-3는 놀라운 결과를 보여줬습니다. 이후에는 이를 기반으로 우리가 잘 아는 챗GPT가 등장해 세상을 깜짝 놀라게 했고, 그 이듬해에는 더욱 업그레이드된 GPT-4가 공개됐습니다. GPT-4 의 매개변수는 비공식적으로는 GPT-3보다 10배 더 큰 1조 8,000억 개로 추정하고 있죠. 이렇듯 매개변수가 점점 커지면서 모델의 성능은 더욱 강력해지고 있습니다. 이제는 단순히 크다고 부르기에도 부족할 만큼 엄청난 규모가 됐죠. 그래서 LLM의 Large를 ‘대규모’ 또는 ‘초거대’라 부르는 것입니다.