"네이버 혼자서는 거의 불가능합니다. 대학, 연구소, 기업 등 산학연관이 협력하는 생태계를 만들어 우리나라가 미국과 중국에 이어 세계 3위 AI리더십을 갖도록 하는데 힘을 보태겠습니다."
하정우 네이버 AI랩 연구소장은 10일 지능정보산업협회가 강남 그랜드인터컨티넨탈호텔에서 개최한 'AIIA(AI Is Anywhere)11월 조찬 포럼'에서 이 같이 밝혔다. 지디넷코리아가 후원한 행사에는 회원사 50여곳 대표자들이 참석했다. 하정우 소장이 '하이퍼클로바(HyperCLOVA): 네이버 초대규모 AI의 현재와 미래'를 주제로, 또 한상기 테크프론티어 대표가 '신뢰할 수 있는 인공지능'을 주제로 각각 초청 강연을 했다. AI기반 교육업체인 마블러스 임세라 대표도 '감성 인공지능의 유초등 비대면 교육 활용 사례'를 주제로 발표했다.
하 소장은 네이버의 '하이퍼클로바' 같은 초거대 AI 모델이 할 수 있는 영역이 점점 넓어지고 있다면서 "(AI) 모델 크기를 키워야만 달성할 수 있는게 있다"며 국내외서 벌어지고 있는 초거대(Hyperscale) AI모델 경쟁 이유를 설명했다. 개발언어를 모르는 기획자들이 코딩을 할 수 있는 '노코드'도 초거대AI 모델이 등장했기 때문에 가능해졌다. 기획자들이 코드를 몰라도 됨에 따라 혁신적인 서비스가 이전보다 나올 가능성이 훨씬 높아졌다.
초거대 AI분야에서 앞서가는 네이버는 올 5월말 '하이퍼클로바(HyperCLOVA)' 명명한 초거대AI를 공개했다. '하이퍼클로바'는 '알파고'를 만든 기업 오픈(Open)AI가 지난해 공개한 거대AI인 'GPT-3'보다 규모가 훨씬 더 크다. 특히 한글에 기반한 AI 모델이라는 점에서 남다른 의미가 있다. AI 모델의 크기를 나타내는 파라미터(Parameter, 매개변수)가 '하이퍼클로바'는 2040억 개로 GPT-3의 파라미터(1750억 개)를 뛰어넘었다. 파라미터 수가 높아질수록 AI가 더 많은 문제를 해결할 수 있다.
하 소장은 본인을 "AI연구로 세상을 더 살기좋게 만들고 싶은 과학자"라고 소개하며 현재의 AI 연구 트렌드로 4가지를 꼽았다.
사람이 데이터 라벨링(어떤 데이터인지 규정하는 것)을 하지 않아도 기계가 스스로 학습하는 '자가 지도(Self-supervised) 학습'과 '비거 트랜스포머(Bigger Transformer)', '비거&멀티모달(Bigger&Multomodal)','백프로퍼게이션(Backpropagation)' 등이다.
멀티 모달은 데이터 관점에서 본 것으로 텍스트와 이미지를 동시에 사용하는 걸 말한다. '비거 트랜스포머'는 구글이 2017년 공개한 AI모델 '트랜스포머'가 확장(스케일업)하기 좋은 구조를 가짐에 따라 점점 더 큰 트랜스포머가 나오는 걸 말한다. 특히 '트랜스포머' 등장은 텍스트 분야에서 AI모델의 획기적 발전을 가져온 계기가 됐다. 백프로퍼게이션은 가중치를 조절하며 오류값을 최소화하는 모델 학습 방법이다.
하 소장은 AI의 자가지도학습에 대해 "최근 트렌드는 데이터양이 많아 수십억장을 학습시켜야 한다. 그런데 사람이 이 수십억장 데이터를 다 라벨링할 수 없다. 그래서 나온것이 자가지도(셀프 슈퍼바이즈드)"라면서 페이스북의 '시어(SEER,Self-supervised Pretraining of Virtual Features in the wild)'를 소개했다. '시어'는 페이스북이 올 3월 공개한 자기지도학습법으로 스스로 이미지 인식법을 배우는 AI 모델이다. 특히 10억개의 파라미터를 가진 '시어'는 규정하지 않은 대규모 랜덤 이미지를 학습해 사람이 라벨링한 데이터보다 더 정확한 결과를 도출했다. 이는 '노이즈'가 있는 데이터를 갖고도 엄청난 데이터로 학습하면 정확한 결과를 얻을 수 있다는 점에서 주목을 끌었다.
구글이 2017년 선보인 트랜스포머에 대해 하 소장은 "공개되자 마자 자연어 처리 분야에서 센세이션을 일으켰다"면서 "분산처리와 스케일업이 용이한 장점이 있는데 이 때문에 버트(BERT)와 GPT-3가 나올 수 있었다"고 설명했다. 트랜스포머는 음성인식(ARS)에서도 큰 역할을 하고 있다. 하 소장은 "트랜스포머가 자연어에서 나왔지만 음성인식에서도 높은 성과를 보이고 있다"면서 "자가학습으로 음성을 10분만 학습해도 기존 학습의 1000시간 정도 효과를 낸다"고 덧붙였다. 구글이 처음 공개한 비전트랜스포머(ViT)도 소개했는데, ViT는 이미지 처리에서 지난 20년간 군림해 온 합성곱 신경망(CNN)을 능가하는 모델로 주목받았고 이후 많은 변종이 나왔다.
파라미터 급증과 관련, 하 소장은 2019년 상반기 나온 GPT-2가 15억개 파라미터였는데 이보다 1년여 뒤에 나온 GPT-3는 1750억개로 껑충뛰었고, 엔비디아와 마이크로소프트(MS)가 각각 트랜스포머를 기반으로 내놓은 언어모델인 '메가트론(Megatron)'과 '튜링 NLG(Turing NLG)'도 파라미터가 급증, 최근 5300억 파라미터나 된다고 설명했다. 하 소장은 "모델 자체를 효과적으로 학습할 수 있는 인프라를 만든게 놀랍다"면서 "모델이 클 수록 불가능할 것을 가능하게 만든다"고 밝혔다. 실제 GPT-3의 경우 특히 글쓰기를 잘하지만 글 뿐 아니라 이미지 만들기와 코드 짜는 것도 능하다. 초거대 AI모델이 할 수 있는 영역이 넓어지고 있는 것이다.
하 소장은 네이버가 초거대 AI모델인 '하이퍼클로바'를 이용해 더빙, 챗봇, 음성기록 서비스(노트), 컨택센터, OCR 등 다양한 일을 하고 있다고 소개했다. 네이버가 AI분야에서 거둔 학문적 성과도 주목할 만 하다. 네이버가 쓴 AI논문이 국제학술지(NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV, ACL, EMNLP, AAAI, ICASSP, Interspeech)에 채택되는 건수가 갈수록 증가했다. 2017년만해도 5건이였는데 2018년 15건, 2019년 26건, 2020년 43건으로 늘었다. 올해는 더 많아져 올 9월 현재 66건을 기록했다. 하 소장은 "논문으로만 끝나는게 아니라 이중 40%는 제품 및 서비스에 적용된다"고 강조했다.
초거대 AI를 하려면 ▲전문가 ▲데이터 ▲인프라(GPU, 네트워크, 스토리지, 공간) 등 3가지가 필요하다고 설명한 그는 "AI패러다임이 바뀌고 있다. 파운데이션 모델(Hyperscale AI) 하나만 잘 만들어놔도 된다"면서 "네이버도 투자를 많이해 초거대 AI모델인 하이퍼스케일을 만들었다"고 밝혔다. 그는 '하이퍼스케일'을 육수에 비유하며 "모두가 육수를 끊일 필요가 없다. 우리 육수를 잘 사용하면 된다"며 중소기업과 학교와의 협업을 강조했다. 이어 청중과 Q&A 시간에는 "앞으로 국내 초거대AI는 네이버 버전, LG버전, KT버전 등이 나올 것으로 생각한다"면서 "당국과 함께 이들 초거대AI를 중소기업 등에 공개하는 것을 논의하고 있다"고 말해 시선을 모았다.
