도형준 지식 볼트

태그: RoPE

3건의 항목

  • 2026년 7월 21일

    Mamba-3: 상태 공간 기반 시퀀스 모델

    • Carnegie-Mellon-University
    • Hybrid-Architecture
    • In-context-Learning
    • Mamba-3
    • RoPE
    • Sequence-Parallelism
    • Sparse-Attention
    • ssd
    • ssm
  • 2026년 7월 21일

    GPT-J: RoPE와 Parallel Transformer의 선구자

    • EleutherAI
    • GPT-J
    • JAX
    • Open-Source
    • Open-Source-LLM
    • Parallel-Transformer
    • Parallel-Transformer-Block
    • RoPE
    • The-Pile
  • 2026년 7월 21일

    PaLM: 5400억 파라미터와 Chain-of-Thought의 힘

    • BIG-Bench
    • Chain-of-Thought
    • Chain-of-Thought-Prompting
    • Google
    • MQA
    • PaLM
    • Pathways
    • Pathways-System
    • RoPE
    • Scaling
    • Scaling-Laws
    • SwiGLU

Created with Quartz v4.5.2 © 2026

  • GitHub
  • Discord Community