개요

원천: ArXiv Vision Token Reduction Studies 날짜: 2024-10-10 지역: US 계층: L1 신뢰도: 0.85

핵심 내용

RoPE (Rotary Position Embedding)의 Attention Decay 메커니즘

출처: ArXiv Vision Token Reduction Studies 날짜: 2024-10-10 지역: US 계층: L1 | 깊이: expert 신뢰도: 0.85 | 논제 정합: 0.83

핵심 지표

Relative position decay: exponential factor λ ≈ 0.9-0.95

요약

RoPE attention에서 상대 위치에 따른 exponential decay. 멀어질수록 attention weight 지수함수 감소. 부패 메커니즘의 수학적 근거.

Vibe Coding Economy 정합성

decay factor를 칩에서 보정 → 추가 연산 회로

마스터 논제 점수: 0.83

---

원본: kr_009 | 출처 URL: https://arxiv.org/abs/2602.12618v1

Vibe Coding Economy 정합성

마스터 논제 점수: 0.83

---

원본 ID: P2_kr_009