LLM에 대한 뒷이야기부터
2022년 11월, 그리 대단한 홍보도 없이 챗GPT가 문을 열었습니다. 그리고 두 달 만에 월 사용자 1억 명을 돌파하는 등 온갖 기록을 갈아치우며 대중적으로 가장 잘 알려진 AI로 등극했지요. 몇 년 전 딥마인드 등이 뉴스에서 화제가 된 적이 있고, 구글 검색을 비롯해 거의 모든 인터넷 사이트에서 눈에 띄지 않는 인공지능 기술을 써왔지만 공상과학소설에 등장하는 AI, 정말 사람처럼 느껴지는 AI는 챗GPT가 처음입니다.
챗GPT는 대규모 언어 모델 (Large Language Model, LLM)의 한 종류입니다. 간단히 설명해 볼게요. 태블릿이란 제품군에는 아이패드도 있고 삼성 갤럭시도 있고 그 외 중국 브랜드도 많이 있죠. LLM을 태블릿이라고 하면 GPT는 그중 한 브랜드라 할 수 있습니다.
다시 말해, GPT (Generative Pre-trained Transformer. 트랜스포머 기반의 생성형 AI)를 삼성 갤럭시 시리즈로 보면 됩니다. 갤럭시 시리즈에도 여러 버전이 있죠. 챗GPT 역시 GPT 버전 중 하나입니다. 여러 회사에서 다양한 태블릿을 만들어 내듯이 LLM에도 수많은 종류(그림 1 참조)가 있습니다.
챗GPT가 출시되고 나서 정말 난리가 났습니다. MS에서는 더 난리였어요. 2022년 11월 초, 저는 MS의 수많은 데이터 사이언티스트 중 한 명으로 이런저런 AI 모델들을 돌보고 있었습니다. 한적한 동물원 같았죠. 그런데 챗GPT가 팡! 터지고 갑자기 전원 강당으로 모엿! 하는 분위기가 조성되더니 저희 팀에 “제군들, 하던 일 다 멈추고 오늘부로 LLM에 투입된다!”란 명령이 떨어졌습니다. 그때부터 GPT 기반 기능을 만들기 시작했고, 몇 달 후 저희 회사는 코파일럿(Copilot)을 발표했습니다. 아, 그러고 보니 저희 팀 이름이 Copilot AI였네요. 그때만 해도 아무 생각 없었던 평사원 1531246호 양파 씨는 곧 LLM 광풍에 휩싸입니다.
사실, 2020년에 저희 조직에서 GPT-3 테스트 모델을 만들고 해커톤을 진행하기도 했습니다. 저도 이 모델을 써보곤 ‘와, 이거 대단한데? 엄청난데?’라고 감탄만 하고 넘어갔습니다. 하지만 MS는 그때 벌써 엄청난 투자를 하고 인프라를 만드는 등 준비를 아주 많이 했더라고요. 그로부터 2년 후 챗GPT가 공개됐는데, MIT 리뷰를 보니까 사실 제작자들도 이렇게까지 크게 성공할지 예상하지 못했던 거 같습니다. MS에서도 몇 년 전에 테이(Tay)라는, 대화 가능한 트위터 챗봇을 만들어 본 적이 있거든요. 테이는 안타깝게도 윤리적인 면에서 적절치 못한 학습을 한 탓에 16시간 만에 은퇴했죠. 그 외에도 이런저런 챗봇이 많았는데 챗GPT만큼 성공한 예가 없었습니다.
챗GPT가 그렇게 히트를 치고 나서 테크 업계에서는 불황이라는 말이 무색할 만큼 릴리스가 폭발적으로 이어졌습니다. “아니 왜 지금까지 가만히 있었어?” 할 만큼 얼떨떨한 내용이 마구 쏟아졌죠. MS에서도 지난 몇 년 동안 준비하던 프로젝트를 쉴 새 없이 출시했습니다. 구글이 내놓은 딥마인드의 경우, 구글의 기술력을 홍보하는 데 굉장한 효과가 있었습니다. 그런데 MS가 LLM 기반 모델에 힘을 쏟은 데 반해, 구글은 왜 그렇게 하지 않았느냐고 묻고 싶을 수 있습니다. 두 회사의 수익 모델이 완전히 달라서 그렇습니다.
앞서 말씀드렸다시피 저는 MS 12년 차입니다. 살다 보니 MS가 구글 검색에 진심으로 도전하고, 무려 MS가 이길지도 모른다고 정색하는 사람도 나오네요. ‘라떼만 해도’, 그러니까 제가 입사할 때만 해도, 가망 없는 검색엔진 빙(Bing)에 돈을 쏟아붓는 MS를 보고 저래도 되나 걱정하는 사람들이 많았습니다. 요새 메타(구 페이스북 및 계열사)가 메타버스에 돈 들이붓는 것을 걱정하는 것처럼요. 그리고 애저 (이하 Azure) 서비스를 시작할 때도 ‘아이고, 그 분야는 이미 아마존 웹 서비스(이하 AWS) 가 다 먹었는데 거기에 왜 끼어드냐!’ 하고 한숨 쉬는 사람들이 태반이었습니다. … 저도 그랬습니다.
그런데 오래 살다 보니 Azure가 AWS보다 돈을 더 벌고, 빙에 그렇게 돈을 들이더니 무려 구글에 도전하는 날이 오네요. 챗GPT가 등장한 뒤로는 “정말 Azure와 빙 없었으면 어쩔 뻔 했어”란 말도 나오구요. 그래서 ‘존버’는 이긴다고 하나요. 인생만사 새옹지마입니다.
사실 검색의 질로 비교하자면 생성형 AI(Generative AI)인 LLM은 몇십 년간에 걸쳐 최적화된, 이미 어마어마한 내용을 인덱싱하여 밀리세컨드 레벨로 찾아내는 구글 검색에 명함도 못 내밉니다. 챗GPT 사용 케이스로 와! 하는 내용들도 사실 구글에서 이미 간단하게나마 상용화한 부분도 많고요. 음성으로 검색하면 “◯◯ 사이트에 따르면 …”이라는 식으로 답변을 하나 내놓는 예가 그렇습니다. 그리고 그런 결과는 LLM보다 훨씬 더 정확합니다. 속도 면에서도 구글 검색이 초 단위의 실시간 답변이라면 GPT는 몇 달 걸려 정보를 모으고 정리하여 보고서를 올리는 느낌으로 느립니다. 백엔드 콜 하나당 가격을 매긴다면 챗GPT는 구글 검색보다 최소한 수십 배, 아마도 수천 수만 배로 비쌀 거라고 생각합니다.
제대로 된 LLM 모델을 만들고 훈련시키고 가동하는 데에는 천문학적인 투자가 필요합니다. MS와 오픈AI가 현재도 지속적으로 돈을 쏟아붓고 있지만, 여전히 이 기술은 비싸고 느립니다. 그럼에도 생성형 AI는 MS의 제품군에서 도움이 되는 부분이 너무나도 많습니다! 수많은 고객의 이메일을 간단히 요약해서 보여주면 상담원에게 아주 큰 도움이 되겠지요. 또한 워드를 사용하여 문서를 작성하거나 아웃룩으로 이메일을 작성하는 사용자에게 생성형 AI는 검색으로는 대체할 수 없는 기능을 제공합니다. 챗 방식으로 사용자와 이야기를 나누면서 문서 작성을 도와주고, 새로운 마케팅 아이템을 만들고, 제기된 문제를 처리할 수 있게 합니다.
그러면 생성형 AI가 MS에만 좋은 건가요?
아닙니다. 거의 매일처럼 쏟아지는 AI 제품과 플러그인과 익스텐션(또는 확장 프로그램)을 보셨나요? 대기업인 MS는 손댈 수 없는 수천만 개의 케이스를 커버하는 제품들이 봇물 터지듯 터져 나옵니다. 진정한 골드러시라고들 합니다. 정말로 그럴까요?
지금 골드러시가 맞나요?
맞습니다. 일반 개발자들도 대박을 낼 가능성이 엄청나게 높아졌습니다. 왜냐하면 기준을 만들고 인프라 기초를 정하고 대규모 투자를 통해서 이 기준대로 확대하려고 노력해야만 뭘 할 수 있는 시절이 한참 전에 지났기 때문입니다.
(…)
우리는 전화기가 처음 만들어진 시기에 살고 있지 않습니다. 현재의 IT 시장은 아이폰이 출시되고 앱스토어가 열린 그 시절과 비슷한 상황이지만, 그때보다 훨씬 더 쉬운 개발 환경이고 개발할 거리도 훨씬 많습니다.
챗GPT 골드러시
유튜브와 SNS를 포함한 온갖 엔터테인먼트, 뱅킹, 민원, 쇼핑 등등 거의 모든 사회 기능이 인터넷상의 API로 연결되어 있고 사용자 관리, 결제 시스템 등이 이미 구축되어 있습니다. 그리고 그곳에서 만들어 낸 데이터는 클라우드나 전용 서버에 저장되고 프로세싱되어 AI 모델의 먹이로 한없이 들어갔습니다.
불과 10년 전까지만 해도 AI 기술은 큰 공장에서 쓰는 로봇처럼 대개 특정한 목적과 용도로만 사용될 뿐이었습니다. 자동 교정, 추천 시스템, AI를 이용한 광고 시스템 최적화와 타기팅 등은 아주 훌륭한 신기술이지만 대다수 사람들에게는 챗GPT와 같은 충격은 없었을 것입니다.
빅데이터 러시 때엔 파이프라인을 구축하는 데에만 몇 년씩 걸렸기 때문에 데이터에서 인사이트를 뽑아내는 데도 대개 한참 걸렸습니다. 실패한 이들도 많았습니다. 클라우드로 옮겨가기까지도 아주 오래 걸렸죠. 아직도 은행이나 대기업은 그들만의 서버와 데이터 센터를 이용합니다. 일반인들도 외장 하드에서 클라우드로 데이터 저장소를 옮기는 변화를 서서히 경험했습니다. 기술자들도 최소 몇 달 혹은 몇 년에 걸쳐 새로운 시스템에 적응하였고, 파이프라인 베스트 프랙티스가 생겼습니다. 시스템 어드민 또는 시스템 관리자라는 직업 대신 데브옵스가 떠오르기 시작했죠.
그리하여 챗GPT가 시장에 나왔을 때 이미 전 세계는 인터넷으로 촘촘하게 연결되어 있었죠. 클라우드에 저장된 데이터를 클라우드의 엄청난 스케일아웃 프로세싱으로 처리하고, 다양한 서비스 API에 연결된 웹사이트들은 유저들의 반응에 따라 AI 모델을 실시간으로 업데이트하는 것이 당연한 세상이 되어 있었습니다. 갖가지 모바일 앱이 넘쳐나는 가운데 집 안의 사물인터넷, IoT 기기, 이동하는 차량, 거리와 상점, 직장 등 구석구석에 인터넷이 설치되었습니다. 모든 곳에서 데이터가 수집되고, 모든 곳이 인터넷으로 연결되었습니다.
이 시점에서 이전의 빅데이터, 클라우드 혁명과는 완전히 다른 양상을 보입니다. 사실 데이터베이스 종류 하나를 바꾸는 작업만도 일이 엄청나게 많다는 것을 마이그레이션 프로젝트를 진행해 본 분들은 아실 겁니다. 그렇지만 챗GPT가 공개된 2022년의 세상은 다릅니다. 웬만한 회사는 이미 모바일 앱 설계와 구현을 다 해두었고 패키징과 배포 역시 다 완성된 상태에서 LLM 사용만 살짝 더하여 자연어 처리(Natural Language Processing,이하 NLP)를 쉽게 만드는 것이라 그렇습니다.
LLM을 일반인이 만들거나 개발할 일은 거의 없을 겁니다. 그럴 필요도 없습니다. 내부 기술을 아주 잘 이해할 필요도 없습니다. 이렇게 비유할 수 있습니다. 여러분은 요리사이고, 주방은 완벽하게 세팅되어 있으며 냉장고에는 재료가 꽉꽉 들어차 있습니다. 냉장고가 어떤 회사 제품인지, 냉장고를 어떻게 설치해야 하는지, 주방칼은 어떤 것이 제일 적합한지도 알 필요가 없습니다. 이제 여러분이 음식을 맛있게 만들면 곧바로 CJ 푸드 인프라를 이용해서 대량 생산하여 편의점에 납품하거나 배민에 등록해서 팔 수도 있습니다. 지금 그런 상황입니다. 여기서 LLM은 고객들이 뭘 먹고 싶은지 주문을 받아 와서 여러분에게 넘기는 영업 직원의 역할도 합니다.
또한 최대한 손님들이 주문하기 쉽게 키오스크를 만들어서 세워 두었다면, 이제는 키오스크를 조작하지 않고도 그냥 사람에게 말하는 것처럼 말만 해도 주문이 가능해진 상황입니다. 음식이 나왔을 때 음식에 대한 설명도 이미 설정해 둔 똑같은 멘트를 하는 것이 아니라 사람처럼 상황에 따라 대응하는 것도 가능해졌습니다.
만약 오픈AI가 아니라 다른 LLM을 쓰고 싶다면? 그저 API 주소만 바꾸면 됩니다. 기업의 메인 데이터베이스 바꾸기, 전용 서버에서 클라우드로 바꾸기, 새로운 데이터 파이프라인 만들기 등을 할 때 해당 작업들의 난이도와 복잡성을 고려하면, LLM은 정말 간단합니다.
이 글은 『챗GPT 개발자 핸드북』 도서 내용을 발췌한 글입니다. 마이크로소프트 AI 개발자가 GPT 기반 제품을 만들면서 배운 최고의 경험과 관련 기술을 엄선하여 정리한 개발자를 위한 챗GPT 활용 가이드는 아래 도서에서 확인하실 수 있습니다.
