LLM Core
5개의 연재 글이 있습니다.
series →시작하기: Transformer와 self-attentionWriting
프로젝트와 개인 학습을 기록하는 기술 문서 아카이브입니다.
Series
LLM Training
2개의 연재 글이 있습니다.
series →시작하기: Pretraining과 Fine-tuningunilink 설계 노트
12개의 연재 글이 있습니다.
series →시작하기: 설계 배경AI Curator 파이프라인 구축기
2개의 연재 글이 있습니다.
series →시작하기: 파이프라인 구축 방안Site Notes
Latest
- 2026.07.03Study
Decoding
확률 분포에서 token을 선택하는 greedy, sampling, temperature, top-k, top-p 전략 정리
- 2026.07.03Study
Logit과 Softmax
Transformer 출력 벡터가 Logit, Softmax를 거쳐 토큰 확률 분포로 변환되는 핵심 흐름
- 2026.07.03Study
Tokenizer와 Embedding
Tokenizer의 토큰 분할, Token ID 매핑, Embedding Layer 및 Position Embedding의 구조와 역할
- 2026.07.03Study
Base Model은 어떻게 Chat Model이 되는가
사전 학습을 마친 Base Model이 Instruction Tuning, Preference Tuning, Safety Alignment를 거쳐 대화형 Chat Model로 발전하는 세부 과정 정리
- 2026.07.03Study
Pretraining과 Fine-tuning
LLM이 대규모 텍스트로 기본 언어 패턴을 학습하고, 특정 작업에 맞게 조정되는 과정 정리