도형준 지식 볼트
Search
검색
다크 모드
라이트 모드
탐색기
Home
❯
20.AI
❯
21.LLM & GenAI
폴더: 20.AI/21.LLM--and--GenAI
81건의 항목
2026년 7월 21일
Claude (1~3.5 시리즈): Anthropic의 Constitutional AI 기반 대형 언어 모델
Alignment
Anthropic
Claude
Constitutional-AI
Harmless-AI
Multimodal
RLAIF
RLHF
Safety
2026년 7월 21일
DistilBERT: 오픈소스 대규모 언어 모델
Attention-Transfer
DistilBERT
Efficient-Inference
Hugging-Face
Knowledge-Distillation
Model-Compression
Soft-Labels
2026년 7월 21일
Gemini 2.5 Pro: 내장 사고 기능의 최강 추론 모델
Chain-of-Thought
Gemini-2.5
Google-DeepMind
Long-Context
Mixture-of-Experts
MoE
Reasoning
RLVR
Thinking-Model
2026년 7월 21일
GPT-Neo: 오픈소스 LLM 생태계의 시발점
EleutherAI
Global-Attention
GPT-Neo
Local-Attention
Open-Source
Open-Source-LLM
Sparse-Attention
The-Pile
2026년 7월 21일
LLaMA 4 (Scout / Maverick / Behemoth): MoE 기반 대규모 언어 모델
iRoPE
LLaMA-4-(Scout-/-Maverick-/-Behemoth)
Long-Context
Meta
Mixture-of-Experts
MoE
Native-Multimodal
2026년 7월 21일
OpenAI o4-mini: 대규모 언어 모델
Cost-Efficiency
CoT
Multimodal-Reasoning
OpenAI
OpenAI-o4-mini
Reasoning
Test-Time-Compute
2026년 7월 21일
Gemini 3: Google DeepMind의 차세대 에이전틱 AI 모델
Agentic-AI
Deep-Think
Gemini-3
Google-DeepMind
Long-Context
Mixture-of-Experts
MoE
Multimodal
Reasoning
2026년 7월 21일
GPT-J: RoPE와 Parallel Transformer의 선구자
EleutherAI
GPT-J
JAX
Open-Source
Open-Source-LLM
Parallel-Transformer
Parallel-Transformer-Block
RoPE
The-Pile
2026년 7월 21일
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
2026년 7월 21일
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2026년 7월 21일
BART: 양방향 인코더와 자기회귀 디코더의 결합
BART
Bidirectional-Encoder
Denoising-Autoencoder
Encoder-Decoder
Meta-AI
rouge
Seq2Seq
Text-Infilling
text-summarization
Token-Deletion
2026년 7월 21일
Cohere Command A: 대규모 언어 모델
Agentic-AI
Cohere
Cohere-Command-A
enterprise-ai
Function-Calling
Long-Context
rag
2026년 7월 21일
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
2026년 7월 21일
Kimi K2.5: MoE 기반 대규모 언어 모델
Agentic-AI
Kimi-K2.5
MLA
MoE
Moonshot-AI
Tool-Use
2026년 7월 21일
Visual Instruction Tuning
2026년 7월 21일
OPT: GPT-3의 오픈소스 재현과 LLM 연구 민주화
GPT-3
Meta-AI
Open-Source
Open-Source-LLM
OPT
Pre-LayerNorm
reproducibility
Scaling-Laws
The-Pile
Transparency
2026년 7월 21일
DeepSeek-R1-Zero: SFT 없이 순수 RL만으로 추론이 창발한 최초의 대규모 모델
Aha-Moment
Chain-of-Thought
DeepSeek
Emergent-Behavior
GRPO
MoE
Open-Source
Pure-RL
Pure-RL-Training
R1-Zero
Reasoning
2026년 7월 21일
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
2026년 7월 21일
QLoRA: Efficient Finetuning of Quantized LLMs
2026년 7월 21일
ALBERT: 경량 BERT의 파라미터 효율화
ALBERT
Cross-Layer-Parameter-Sharing
Efficient-Model
Factorized-Embedding
glue
Google
Lite-BERT
Memory-Efficient
Parameter-Sharing
SOP
2026년 7월 21일
DeepSeek-R1: 순수 강화학습으로 o1에 필적하는 추론 AI의 민주화
Chain-of-Thought
DeepSeek
Distillation
GRPO
MoE
Open-Source
Pure-RL
Pure-RL-Training
R1
Reasoning
Self-Verification
2026년 7월 21일
ELECTRA: 오픈소스 대규모 언어 모델
Efficient-Pre-Training
ELECTRA
Generator-Discriminator
Replaced-Token-Detection
RTD
Sample-Efficiency
Stanford-University
2026년 7월 21일
Gemini 1.0: Google DeepMind의 네이티브 멀티모달 AI 모델
Gemini
Google-DeepMind
MMLU
MQA
Multimodal
Native-Multimodal
Native-Multimodal-Architecture
On-device-AI
TPU
2026년 7월 21일
Flan-T5: 명령어 튜닝으로 소형 모델이 거대 모델을 넘다
Chain-of-Thought
Flan-Collection
Flan-T5
Google-Research
Instruction-Tuning
MMLU
Multitask-Fine-tuning
T5
Zero-Shot
Zero-Shot-Generalization
2026년 7월 21일
Gopher: 대규모 언어 모델
DeepMind
Gopher
Retrieval-Augmentation
Scaling-Laws
2026년 7월 21일
Language Models are Few-Shot Learners (GPT-3)
2026년 7월 21일
Jamba 1.6: MoE 기반 대규모 언어 모델
AI21-Labs
Hybrid-Architecture
Jamba-1.6
Long-Context
Mamba
MoE
ssm
State-Space-Model
2026년 7월 21일
XLNet: 순열 언어 모델링으로 BERT의 한계를 넘다
AR-+-Bidirectional
CMU
glue
Google-Brain
Permutation-Language-Model
Permutation-LM
Segment-Recurrence
SQuAD
Transformer-XL
Two-Stream-Attention
XLNet
2026년 7월 21일
GPT-4.1: 코딩 에이전트 특화 모델
1M-Tokens
api
Coding-Agent
developer-tools
GPT-4.1
Instruction-Following
Long-Context
OpenAI
SWE-bench
2026년 7월 21일
OpenAI o3-pro: 추론 컴퓨트를 극대화한 최강 추론 모델
AIME
Chain-of-Thought
Compute-Scaling
CoT
Expert-Level-AI
GPQA
o3-pro
OpenAI
Process-Reward-Model
Reasoning
Test-Time-Compute
2026년 7월 21일
OpenAI o3: ARC-AGI 87.5%로 인간 평균을 넘어선 추론 AI의 이정표
Adaptive-Compute
AIME
ARC-AGI
Chain-of-Thought
CoT
GPQA
o3
OpenAI
Reasoning
Test-Time-Compute
2026년 7월 21일
Switch Transformer: MoE 기반 대규모 언어 모델
Expert-Capacity
Google-Research
load-balancing
Mixture-of-Experts
Sparse-MoE
Switch-Routing
Switch-Transformer
Top-1-Routing
2026년 7월 21일
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?
2026년 7월 21일
ELMo: 오픈소스 대규모 언어 모델
Allen-Institute-for-AI-(AI2)
BiLSTM
Character-CNN
Contextualized-Embeddings
ELMo
Language-Model-Pre-training
2026년 7월 21일
Phi-4 Reasoning: 오픈소스 대규모 언어 모델
Chain-of-Thought
GRPO
Microsoft
Phi-4-Reasoning
Reasoning
Small-Language-Model
Synthetic-Data
2026년 7월 21일
RoBERTa: BERT 학습 레시피의 최적화
BERT-Optimization
Byte-level-BPE
Dynamic-Masking
glue
Large-Batch
Large-Batch-Training
Meta-FAIR
No-NSP
Pre-training-Recipe
RoBERTa
Robust-Pre-Training
2026년 7월 21일
T5: 오픈소스 대규모 언어 모델
C4-Dataset
Google-Research
Multitask-Learning
Relative-Attention-Bias
Span-Corruption
T5
Text-to-Text
Unified-Framework
2026년 7월 21일
00.LLM & GenAI MOC
llm
2026년 7월 21일
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2026년 7월 21일
GPT-2: 비지도 멀티태스크 학습자
Byte-level-BPE
GPT-2
Language-Model
OpenAI
Pre-Norm
Scaling
Staged-Release
WebText
Zero-Shot
Zero-Shot-Learning
2026년 7월 21일
Mistral Large 3 / Mistral 3: MoE 기반 대규모 언어 모델
Agentic-AI
Function-Calling
GQA
Mistral-AI
Mistral-Large-3-/-Mistral-3
MoE
Open-Source
2026년 7월 21일
PaLM: 5400억 파라미터와 Chain-of-Thought의 힘
BIG-Bench
Chain-of-Thought
Chain-of-Thought-Prompting
Google
MQA
PaLM
Pathways
Pathways-System
RoPE
Scaling
Scaling-Laws
SwiGLU
2026년 7월 21일
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
2026년 7월 21일
GPT-5: 내장 추론과 범용 지능의 통합
1M-Context
Agentic-AI
GPT-5
Hallucination-Reduction
Multimodal
Native-Reasoning
OpenAI
Safety-Alignment
Thinking
2026년 7월 21일
OpenAI o1: 테스트 시간 컴퓨트 스케일링으로 추론 AI 시대를 연 모델
AIME
Chain-of-Thought
CoT
GPQA
Internal-Monologue
o1
OpenAI
Reasoning
RL
Test-Time-Compute
2026년 7월 21일
Qwen3: MoE 기반 대규모 언어 모델
Alibaba
Chain-of-Thought
Hybrid-Reasoning
MoE
Multilingual
Qwen3
Thinking-Mode
2026년 7월 21일
ERNIE: 오픈소스 대규모 언어 모델
Baidu
Dialogue-LM
Entity-Masking
ERNIE
Knowledge-Enhanced-Pre-Training
knowledge-graph
Phrase-Masking
2026년 7월 21일
Falcon: 데이터 품질이 모든 것을 결정한다
data-quality
Falcon
FlashAttention
GQA
Multi-Query-Attention
Open-Source
RefinedWeb
TII
2026년 7월 21일
GPT-5 업데이트: 지속적 개선과 에이전트 강화
Agentic-AI
Continual-Learning
GPT-5
GPT-5.2
Model-Updates
OpenAI
RLAIF
RLHF
Safety-Alignment
2026년 7월 21일
mT5: 오픈소스 대규모 언어 모델
Cross-lingual-Transfer
Google-Research
Large-Vocabulary
mC4-Dataset
mT5
Multilingual
Temperature-Sampling
2026년 7월 21일
Attention Is All You Need
2026년 7월 21일
Gemma: Open Models Based on Gemini Research and Technology
2026년 7월 21일
GPT-1: 생성적 사전학습의 시작
Autoregressive-LM
BPE
fine-tuning
GELU
Generative-Pre-Training
GPT-1
OpenAI
Pre-training
Supervised-Fine-Tuning
Transfer-Learning
Transformer-Decoder
Unsupervised-Pre-Training
2026년 7월 21일
Kimi K2: MoE 기반 대규모 언어 모델
Agentic-AI
Kimi-K2
MLA
MoE
Moonshot-AI
MuonClip-Optimizer
Tool-Use
2026년 7월 21일
LoRA: Low-Rank Adaptation of Large Language Models
2026년 7월 21일
Claude Opus 4: Anthropic의 에이전틱 AI 플래그십 모델
Agentic-AI
Anthropic
ASL-3
Claude
Constitutional-AI
Opus-4
RLHF
Safety
Safety-Evaluation
SWE-bench
2026년 7월 21일
Phi: 오픈소스 대규모 언어 모델
Microsoft
Parameter-Efficiency
Phi
Small-Language-Models
Synthetic-Data
Textbook-Quality-Data
2026년 7월 21일
Qwen2.5 Technical Report
2026년 7월 21일
Qwen3.5: MoE 기반 대규모 언어 모델
Agentic-AI
Alibaba
Chain-of-Thought
Early-Fusion-Multimodal
FP8-Training
Gated-DeltaNet
Hybrid-Attention
Hybrid-Reasoning
MoE
Multilingual
Qwen3.5
Thinking-Mode
2026년 7월 21일
BLOOM: 전 세계 연구자가 만든 오픈소스 다국어 LLM
다국어
AI-민주화
ALiBi
ALiBi-Position-Encoding
BigScience
BLOOM
BLOOMZ
Multilingual-LLM
Open-Science
Open-Source
ROOTS
2026년 7월 21일
GPT-4: 멀티모달 대형 언어 모델
128K-Context
Function-Calling
GPT-4
Mixture-of-Experts
MMLU
Multimodal
OpenAI
RLHF
2026년 7월 21일
On Layer Normalization in the Transformer Architecture
2026년 7월 21일
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
2026년 7월 21일
DeBERTa: 분리 어텐션으로 BERT를 넘어선 인코더 모델
사전학습
위치-인코딩
BERT
c2p-Attention
DeBERTa
Disentangled-Attention
Encoder
Enhanced-Mask-Decoder
Microsoft
NLU
Relative-Position-Encoding
SuperGLUE
SuperGLUE-SOTA
2026년 7월 21일
Mixtral of Experts
2026년 7월 21일
OLMo: Accelerating the Science of Language Models
2026년 7월 21일
Qwen2 Technical Report
2026년 7월 21일
UL2: 노이즈 제거 혼합으로 언어 학습 패러다임을 통합하다
Encoder-Decoder
Flan-UL2
Google-Research
Mixture-of-Denoisers
Mode-Token
R-Denoiser
S-Denoiser
UL2
Unified-LM
X-Denoiser
2026년 7월 21일
Claude Opus 4.5: SWE-bench 80.9%를 달성한 Anthropic의 최강 에이전트 모델
Agentic-AI
Anthropic
Claude
Coding-Agent
Constitutional-AI
Dense-Transformer
Multimodal
Opus-4.5
RLHF
Safety
SWE-bench
2026년 7월 21일
DeepSeek-V3 Technical Report
2026년 7월 21일
Llama 2: Open Foundation and Fine-Tuned Chat Models
2026년 7월 21일
Mistral 7B
2026년 7월 21일
Jamba: A Hybrid Transformer-Mamba Language Model
2026년 7월 21일
LLaMA: Open and Efficient Foundation Language Models
2026년 7월 21일
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
2026년 7월 21일
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2026년 7월 21일
Grok 3: 대규모 언어 모델
Chain-of-Thought
Grok-3
Large-Scale-Training
Real-time-Data
Reasoning
xAI
2026년 7월 21일
Yi: Open Foundation Models by 01.AI
2026년 7월 21일
Gemini 1.5: 100만 토큰 컨텍스트의 MoE 멀티모달 모델
Gemini-1.5
Google-DeepMind
Long-Context
Million-Token
Mixture-of-Experts
MoE
Multimodal
Needle-in-a-Haystack
2026년 7월 21일
Gemma 3: 단일 GPU에서 실행되는 멀티모달 오픈 모델
128K-Context
Gemma-3
Google-DeepMind
Knowledge-Distillation
Local-Global-Attention
Multilingual
Multimodal
On-device-AI
Open-Source-LLM
2026년 7월 21일
LLaMA 3: 오픈소스 대규모 언어 모델
GQA
Grouped-Query-Attention
Instruction-Tuning
LLaMA-3
Meta
Open-Source-LLM
RLHF