Tag
LLM
7 posts tagged LLM.
Posts
- 2026.07.03Study
Decoding
확률 분포에서 token을 선택하는 greedy, sampling, temperature, top-k, top-p 전략 정리
- 2026.07.03Study
Logit과 Softmax
Transformer 출력 벡터가 Logit, Softmax를 거쳐 토큰 확률 분포로 변환되는 핵심 흐름
- 2026.07.03Study
Tokenizer와 Embedding
Tokenizer의 토큰 분할, Token ID 매핑, Embedding Layer 및 Position Embedding의 구조와 역할
- 2026.07.03Study
Base Model은 어떻게 Chat Model이 되는가
사전 학습을 마친 Base Model이 Instruction Tuning, Preference Tuning, Safety Alignment를 거쳐 대화형 Chat Model로 발전하는 세부 과정 정리
- 2026.07.03Study
Pretraining과 Fine-tuning
LLM이 대규모 텍스트로 기본 언어 패턴을 학습하고, 특정 작업에 맞게 조정되는 과정 정리
- 2026.07.02Study
Encoder-only와 Decoder-only
Transformer 기반 LLM이 Encoder-only, Decoder-only, Encoder-Decoder 구조로 나뉘는 이유
- 2026.07.02Study
Transformer와 self-attention
Transformer가 sequence 데이터를 처리하는 방식과 Self-Attention이 Q, K, V 연산으로 토큰 간 관계를 계산하는 구조를 정리