Attention Mechanism (어텐션 메커니즘)

한 줄 정의

Transformer 아키텍처(2017) 의 핵심 메커니즘. 입력의 어떤 부분에 "주의(attention)"를 집중할지 학습. Q (Query) · K (Key) · V (Value) 행렬 연산으로 단어 간 관련성 가중치를 계산. 본 LLMWiki Ch.4 · Holy Prompting 의 기술 토대 — "단어 선택 = 어텐션 좁히기".

요약

본 카드는 Holy Prompting의 기술적 토대. 사역자가 던진 모든 단어가 어텐션 가중치를 바꿔 답변을 결정 → Persona 한 줄이 세속과 신앙의 경계를 가른다는 본 LLMWiki 핵심 명제의 신경망적 근거.

기술 본질:

• 2017 Google "Attention is All You Need" 논문
• Q (Query) · K (Key) · V (Value) 행렬 곱
• 입력 토큰 간 가중치 계산
• 다음 토큰 예측의 핵심

사역적 의미:

• 사역자 단어 선택 = AI 어텐션 좁히기
• "양육 자료" → 학습 데이터 평균
• "30대 직장인 회의기 동반자" → 매우 좁은 답
• 거룩한 질문은 어텐션을 사역 본질로 강제

본문 상세

1. 기술 원리

1.1. Q-K-V 메커니즘

입력 문장: 「그 양은 매우 부드러운 양털을 가졌다」
   ↓
각 토큰 → Q · K · V 벡터로 변환
   ↓
Q · K^T 내적 → "양"과 "양털"의 관련성 ↑
   ↓
softmax → 확률 분포
   ↓
V로 가중합 → 다음 토큰 예측

1.2. Self-Attention vs Cross-Attention

• Self-Attention: 같은 시퀀스 내 토큰 간 관계
• Cross-Attention: 인코더 → 디코더 (번역 등)
• Multi-Head Attention: 여러 attention head 병렬 (서로 다른 관계 학습)

2. Transformer 아키텍처와의 관계

Transformer (2017) = "Attention is All You Need":

• RNN·CNN 없이 attention만으로
• 병렬 처리 가능 → GPU 효율 ↑
• LLM 시대의 토대 (GPT·BERT·Claude·Gemini 모두 transformer)

3. 사역적 의미 — Holy Prompting 토대

3.1. 단어 선택이 어텐션을 결정

→ 사역자의 모든 단어가 어텐션을 바꿈. 그래서 Holy Prompting이 가능.

3.2. Persona 한 줄의 위력

Prompt Engineering 5 단계 진화 1→2단계 (가장 큰 점프):

• "당신은 일대일 양육 사역자다" 한 줄 추가
• 어텐션이 사역 데이터로 좁혀짐
• 결과: 봄바람·꽃잎 → 부름·예수님 마음

→ 어텐션 메커니즘이 Persona의 효과를 신경망적으로 설명.

4. AI가 "듣는" 방식의 한계

AI는 단어 빈도·통계 패턴으로 듣는다:

• 영적 의미·인격·기도의 깊이는 듣지 ❌
• 단어 표면만으로 답
• 사역자 자신의 영성은 AI 답변에 ❌ (Canon 10)

→ Holy Prompting은 AI를 영적으로 만드는 게 ❌, 사역자가 영적 방향을 명시적으로 강제.

5. 본 시리즈 인용 매핑

사역 적용

카드뉴스 5장

1. Persona: "프롬프트가 왜 결과를 결정하는지 궁금한 사역자"
2. Context: 어텐션 메커니즘 + Holy Prompting + 5 단계 진화
3. Task: "단어 한 줄이 세속·신앙 가른다"
4. Format:
   - 슬라이드 1: 어텐션 = 단어 가중치
   - 슬라이드 2: 같은 질문, 다른 단어 → 다른 답
   - 슬라이드 3: Persona 한 줄의 위력
   - 슬라이드 4: 거룩한 질문 = 어텐션 강제
   - 슬라이드 5: 「Persona 한 줄이 경계를 가른다」

한계와 주의사항

• 어텐션은 통계적 가중치, 이해가 ❌
• AI를 영적 존재로 격상 ❌ (Canon 10)
• 어텐션 메커니즘은 발전 중 — 차세대 모델은 다른 메커니즘 가능
• 기술 이해가 영성 분별을 대체 ❌

핵심 인용 / 명언

"Attention Is All You Need." — Vaswani et al. 2017

"단어 선택 = 어텐션 좁히기 = 답의 방향 결정." — 본 LLMWiki

"Persona 한 줄이 세속과 신앙의 경계를 가른다." — Holy Prompting

관련

• term/transformer-architecture — Attention의 아키텍처
• term/llm-large-language-model — Attention 위에 세워진 LLM
• term/holy-prompting — Attention을 사역 본질로 좁힘
• concept/prompt-engineering-for-ministry — 4 대 요소
• synthesis/ai-seonyong-ch4-prompt-engineering — Ch.4 ★

외부 참조

• Vaswani et al., "Attention Is All You Need" (NeurIPS 2017)
• Bahdanau et al., "Neural Machine Translation by Jointly Learning to Align and Translate" (2015) — attention의 기원

"단어 선택이 어텐션을 결정. 거룩한 질문이 가능한 이유."