로컬 AI와 LLM을 직접 만들고, 이해하는 과정을 기록한 psymon의 개발 블로그입니다.https://psymon-ai.github.io/https://psymon-ai.github.io/posts/%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80/korean-tokenizer-experiment-2-space-regex/https://psymon-ai.github.io/posts/%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80/korean-tokenizer-experiment-2-space-regex/한국어 토크나이저 실험 두 번째 기록. 형태소 가설 이후 regex와 공백 처리를 하나씩 바꿔 보며, TPW 기준으로 가장 강하게 남은 변수가 무엇이었는지 정리한다.Tue, 14 Apr 2026 01:02:54 GMThttps://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-5-classification-discriminant-analysis/https://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-5-classification-discriminant-analysis/베이즈 정리로 분류 문제를 바라본다. 조건부 확률에서 출발해 QDA, LDA, 나이브 베이즈의 수식을 단계별로 풀고, 정확도만으로는 부족한 분류 평가 지표까지 정리한다.Fri, 10 Apr 2026 09:44:11 GMThttps://psymon-ai.github.io/posts/%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80/korean-tokenizer-experiment-1-morpheme-hypothesis/https://psymon-ai.github.io/posts/%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80/korean-tokenizer-experiment-1-morpheme-hypothesis/한국어 토크나이저를 직접 만들며 겪은 첫 번째 실험 기록. 형태소 경계를 반영하면 좋아질 거라는 가설에서 출발해, α와 SuperBPE가 거의 듣지 않고 pre-tokenizer가 핵심 변수로 떠오르기까지의 과정을 정리한다.Fri, 10 Apr 2026 01:34:12 GMThttps://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-4-classification-logistic-regression/https://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-4-classification-logistic-regression/회귀에서 분류로 넘어간다. 선형 회귀의 한계를 시그모이드 함수로 극복하는 로지스틱 회귀, 닫힌 해가 없을 때 파라미터를 찾는 경사 하강법, 다중 클래스로 확장하는 소프트맥스까지 — 분류 문제의 기본 틀을 세운다.Tue, 07 Apr 2026 09:42:31 GMThttps://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-3-linear-regression-2/https://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-3-linear-regression-2/선형 회귀를 현실 데이터에 적용하기 위한 확장을 다룬다. 범주형 변수 처리, 변수 간 상호작용 모델링, 수많은 피처 중 최적의 조합을 고르는 피처 선택 등을 살펴본다.Sat, 04 Apr 2026 02:26:00 GMThttps://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-2-linear-regression-1/https://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-2-linear-regression-1/선형 회귀(Linear Regression)의 핵심을 파헤친다. RSS를 최소화하는 최소 제곱법, 그 배후의 최대 우도 추정(MLE), 행렬로 정리한 정규 방정식까지 — 머신러닝에서 가장 기본이 되는 예측 모델의 수학적 토대를 세운다.Thu, 02 Apr 2026 16:10:00 GMThttps://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-1-supervised-learning/https://psymon-ai.github.io/posts/llm-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D/ml-fundamentals-1-supervised-learning/머신러닝의 출발점 지도 학습(Supervised Learning)의 4단계(모델 형태 결정, 목표 정의, 학습, 예측)를 직접 코드로 따라가며 이해한다. 파라메트릭 모델과 논파라메트릭 모델의 차이, 그리고 과적합의 위험까지.Mon, 30 Mar 2026 11:31:00 GMThttps://psymon-ai.github.io/posts/%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80/tokenizer-the-invisible-gate/https://psymon-ai.github.io/posts/%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80/tokenizer-the-invisible-gate/한국어 토크나이저의 원리부터 BPE, WordPiece, SentencePiece까지. 한국어가 영어보다 토큰을 2배 더 쓰는 이유와 언어 모델 성능에 미치는 영향을 깊이 있게 다룹니다.Sat, 28 Mar 2026 12:23:00 GMThttps://psymon-ai.github.io/posts/ai-development-begins/https://psymon-ai.github.io/posts/ai-development-begins/2023년 어느 밤, 나는 외장하드에 120GB가 넘는 파일을 황급히 다운로드하고 있었다.Wed, 11 Mar 2026 09:22:08 GMThttps://psymon-ai.github.io/posts/llama-fine-tuning/https://psymon-ai.github.io/posts/llama-fine-tuning/LLaMa 유출 사건 이후 로컬 Ai에 관심이 생겨 여러 시도를 했습니다. 그간 시행 착오를 정리했습니다.Tue, 20 Jun 2023 19:47:59 GMThttps://psymon-ai.github.io/posts/local-ai-llama-leak-and-technological-inflection-point/https://psymon-ai.github.io/posts/local-ai-llama-leak-and-technological-inflection-point/여러분은 새로운 기술이 산업 전반, 더 나아가 우리 일상을 바꾸는 순간을 목격해보셨나요?Tue, 04 Apr 2023 15:33:05 GMT