Tag: LLM

All the articles with the tag "LLM".

• 한국어 토크나이저 실험기 2 - 공백의 의미

  14 Apr, 2026

  0

  한국어 토크나이저 실험 두 번째 기록. 형태소 가설 이후 regex와 공백 처리를 하나씩 바꿔 보며, TPW 기준으로 가장 강하게 남은 변수가 무엇이었는지 정리한다.

• 한국어 토크나이저 실험기 1 - 형태소 가설이 무너지다

  10 Apr, 2026

  0

  한국어 토크나이저를 직접 만들며 겪은 첫 번째 실험 기록. 형태소 경계를 반영하면 좋아질 거라는 가설에서 출발해, α와 SuperBPE가 거의 듣지 않고 pre-tokenizer가 핵심 변수로 떠오르기까지의 과정을 정리한다.

• 토크나이저, 언어 모델의 보이지 않는 관문

  Updated: 28 Mar, 2026

  1

  한국어 토크나이저의 원리부터 BPE, WordPiece, SentencePiece까지. 한국어가 영어보다 토큰을 2배 더 쓰는 이유와 언어 모델 성능에 미치는 영향을 깊이 있게 다룹니다.

• AI 개발을 시작하며

  11 Mar, 2026

  1

  2023년 어느 밤, 나는 외장하드에 120GB가 넘는 파일을 황급히 다운로드하고 있었다.

• LLaMa Fine-tuning

  21 Jun, 2023

  1

  LLaMa 유출 사건 이후 로컬 Ai에 관심이 생겨 여러 시도를 했습니다. 그간 시행 착오를 정리했습니다.

• 로컬 AI - LLaMa 유출과 기술 변곡점

  5 Apr, 2023

  1

  여러분은 새로운 기술이 산업 전반, 더 나아가 우리 일상을 바꾸는 순간을 목격해보셨나요?