AI 개발을 시작하며

Table of contents

로컬 AI와 조우

2023년 어느 밤, 나는 외장하드에 120GB가 넘는 파일을 황급히 다운로드하고 있었다.

메타(Meta, 구 페이스북)의 언어모델 LLaMA가 유출되었다는 소식을 본 직후였다. 지금은 여러 회사가 자사 언어모델의 가중치를 공개하곤 하지만 당시만 해도 LLM(Large Language Model)은 거대 자본의 전유물이기에 나 같은 일반인이 해당 모델을 소유할 수 있다는 사실이 적잖은 충격이었다.

일단 다운로드는 받았지만 이런 거대 모델을 구동할 장비가 없었기에 며칠을 씨름했다. 다행인 점은 오픈소스 생태계에 있는 많은 개발자가 이 씨름에 동참하고 있었다는 점이다. 말 그대로 놀라운 혁신이 이어졌다. 양자화, LoRA, LLaMA.cpp 등 거대 언어 모델을 상용 PC에서 실행하는 방법들이 매일 공개되고 개선되길 반복했다.

마침내 LLaMa 65B¹모델을 맥북에서 실행하고 첫 프롬프트 응답을 출력했을 때의 감상을 잊을 수 없다. 어린 시절 처음으로 집에 컴퓨터가 생기던 날이 떠올랐다. 눈앞에 무엇이든 할 수 있는 가능성을 가진 무언가가 있는 듯했다.

나는 이때부터 로컬 AI가 우리 삶을 크게 바꿀 수 있다는 확신이 생겼지만, 쉽게 이 분야에 전념할 순 없었다. 당시 이미 다른 사업 아이템으로 창업 후 투자 논의를 진행 중인 상황이었기 때문이다. 그렇게 AI라는 세계에 더 깊이 발 담그진 못한 채 한 발짝 떨어져 간혹 한국어 Fine-tuning이나 LoRA학습 결과물을 만들어볼 뿐 그 이상 나아가진 못했다.

첫 창업과 폐업

시간은 흘러 3년 뒤, 처음 창업했던 회사는 자금 조달 실패와 내 건강 문제가 겹치면서 폐업하게 되었다. 내 손으로 설립했던 회사를 직접 해산 등기하던 날 등기소 앞을 거닐며 여러 생각이 스쳤다.

처음으로 사업 아이템을 떠올리고 피칭덱을 작성하고, 여러 곳에 피칭을 돌며 정부지원사업을 따내고, 법인을 설립하고 MVP(Minimum Viable Product)를 만들고 유저 인터뷰를 진행하고 제품을 출시하고 개선하고 팀원을 만나고 헤어지고… 하나씩 곱씹어 보면 절대 쉽지 않은 일이었다.

컴퓨터 앞에 앉아 코드와 씨름하던 개발자에게 사업이란 분명 미지의 세계다. 좋은 서비스를 만들자는 목표로 달렸지만 도착해보니 이는 시작점일 뿐이었다. 길 없는 숲을 헤매는 사람처럼 달리다 보면 어느새 내가 어디로 달려가는지 잊곤 했다.

하루에도 수십 개의 결정이 필요하고 그 결정들이 모두 회사의 생존과 직결됐다. 매번 조급하게 내린 결정은 최악만 면할 뿐 상황을 타개할 수 없었고 결국 더 이상 달릴 동력을 잃었다. 건강을 핑계로 스스로 추스를 시간을 갖게 되자 지난 3년간 애써 외면하고 있던 질문이 다시 떠올랐다.

해야만 하는 일이 아니라 내가 진짜 하고 싶은 건 무엇이었나.

창업 이후엔 늘 ‘Valuation’이란 말을 달고 살았다. 투자자 앞에 설 때마다 이 서비스가 얼마나 많은 돈을 벌 수 있는지 설명하는 데 심혈을 기울였다. 거짓은 없었으나 일종의 연기도 섞였음은 인정한다. 마치 나도 이 서비스가 가져올 부에 가장 신경 쓰는 사람인 양 행동했으니 말이다.

이제 다 지난 일이니, 고백하자면 내 가장 큰 관심은 ‘Valuation’이 아니라 ‘Vision’이었다. 아마 오랜 시간 마음 한켠 묻어둔 AI 개발을 다시 꺼낸 든 것은 이런 심리가 작용한 결과일 것이다. 현대문명의 외연을 넓히고 인류에게 도움을 줄 수 있는 기술을 만들고 싶다는 열망이 내 내밀한 바람이다.

블로그를 시작하는 이유

어느 날 대중 강연으로 유명한 물리학 교수의 강의를 들을 기회가 있었다. 그의 강연 내용은 자세히 기억나지 않지만, 그가 강의를 마칠 때쯤 한 말은 선명하게 기억난다.

과학을 대중에게 소개할 때 흥미 유발을 위해 우아한 식으로 세상의 이치를 설명할 수 있다고 말하곤 하지만, 사실 실제 연구란 매우 지저분한 값들과의 싸움이며 진흙탕 속을 뒤지는 것과 같습니다.

소프트웨어 개발은 물론이거니와 창업 역시 그렇다. 실패한 내 첫 창업도 뒤돌아보니 참으로 진흙탕 속을 구르는 것 같았다. 그 자체에 아쉬움은 없으나, 한 가지 아쉬운 것은 내가 그 경험을 기록으로 남기지 못한 것이다.

그래서 이 블로그를 시작한다.

이곳은 화려한 성공담보다는 시행착오가 더 많이 기록될 것이다. 어떤 날은 새로운 모델을 실험하다 하루를 보낼 것이고, 어떤 날은 논문 하나를 이해하기 위해 며칠을 보내기도 할 것이다. 때로는 며칠의 고민 끝에 고작 몇 줄의 코드를 적기도 할 것이다.

하지만 바로 그런 과정들이 결국 상상을 현실로 만드는 재료라고 믿는다. 이 블로그는 창업에 실패한 개발자가 AI 개발자로 전환해가는 과정의 기록이자, AI 기술을 실제로 다루는 사람의 실험 노트가 될 것이다.

언젠가 이 기록들이 누군가에게 작은 힌트가 되거나, 혹은 나 자신에게 다시 길을 찾는 지도 같은 역할을 하기를 바란다. 그리고 언젠가 이 여정의 끝에서 돌아봤을 때, 지금의 이 시작이 꽤 괜찮은 선택이었다고 말할 수 있기를 바란다.