Transformer Architecture (트랜스포머 구조, 2017)
별칭: Transformer · 트랜스포머 · 트랜스포머 구조 · Attention Is All You Need
Transformer Architecture (트랜스포머 구조, 2017)
한 줄 정의
2017 Google "Attention Is All You Need" 논문이 제안한 신경망 아키텍처. RNN·CNN 없이 attention 메커니즘만으로 시퀀스를 처리. 현대 LLM (GPT·BERT·Claude·Gemini) 모두의 토대. 본 LLMWiki Ch.1 AI 시대 출발점의 기술적 이정표.
요약
본 카드는 현대 AI 시대의 기술적 출발점. 2017 이전 NLP는 RNN(LSTM·GRU) 기반으로 순차 처리 → 느림. Transformer는 attention만으로 병렬 처리 가능 → GPU 효율 폭발 → 거대 모델 가능 → LLM 시대 개막.
본 LLMWiki Ch.1에서 "2020년대 중반 LLM 폭발"의 기술 토대로 인용. 사역자가 알아야 할 핵심: Transformer가 모든 LLM의 토대이고, attention 메커니즘이 본 LLMWiki Holy Prompting의 신경망적 근거.
본문 상세
1. 핵심 혁신
| 이전 (RNN·CNN) | Transformer (2017) |
|---|---|
| 순차 처리 (느림) | 병렬 처리 (GPU 효율 ↑) |
| 장기 의존성 약함 | Self-attention으로 모든 토큰 ↔ 모든 토큰 |
| 작은 모델 한계 | 거대 모델 가능 |
| 2010s 중반까지 표준 | 2017 이후 모든 LLM 토대 |
2. 구조
[Encoder] (입력 이해)
↓ Multi-Head Self-Attention
↓ Feed-Forward
↓ (N 층 반복)
↓
[Decoder] (출력 생성)
↓ Masked Self-Attention
↓ Cross-Attention (Encoder ↔ Decoder)
↓ Feed-Forward
↓ (N 층 반복)
↓
[Output]
3. 후속 발전 — LLM 시대 개막
| 연도 | 모델 | 의미 |
|---|---|---|
| 2017 | Transformer | 출발점 |
| 2018 | BERT (Google) | Encoder-only |
| 2018 | GPT (OpenAI) | Decoder-only |
| 2019 | GPT-2 | 1.5B 매개변수 |
| 2020 | GPT-3 | 175B, Few-shot Learning |
| 2022.11 | ChatGPT | 대중화 |
| 2023 | GPT-4·Claude·Gemini | LLM 폭발 |
| 2025 | Vibe Coding | 자연어 프로그래밍 |
→ 모든 후속이 Transformer 위에.
4. 본 LLMWiki와의 관계
4.1. AI 시대의 기술 출발점
Ch.1 "시대 진단" 섹션:
- 2017 Transformer = 4차 AI 혁명의 기술 출발점
- 사역자가 이해할 필요: AI가 어떻게 가능한가
4.2. Holy Prompting의 신경망 토대
- Transformer = attention 위에 세워짐
- 사역자 단어 → attention 가중치 → 답변 결정
- 거룩한 질문 4 원칙의 기술적 근거
4.3. 현대 LLM 모두의 공통 토대
| LLM | 아키텍처 |
|---|---|
| GPT-4 | Decoder-only Transformer |
| Claude | Decoder-only Transformer |
| Gemini | Decoder-only Transformer |
| BERT | Encoder-only Transformer |
→ 모든 LLM이 Transformer 변형. 본 LLMWiki는 LLM 활용이므로 Transformer 이해 도움.
사역 적용
사역자가 알아야 할 핵심 3 가지
- Transformer = 현대 AI의 토대 (2017)
- Attention 메커니즘 = 단어 가중치 계산 (term/attention-mechanism)
- 모든 LLM이 Transformer 위에 = 동일 원리
카드뉴스 5장 (사역자용)
1. Persona: "AI 기술의 토대를 알고 싶은 사역자"
2. Context: 2017 논문 + 후속 발전
3. Task: "왜 2017이 AI 시대 출발점인가"
4. Format:
- 슬라이드 1: 「Attention Is All You Need」 (2017)
- 슬라이드 2: RNN vs Transformer
- 슬라이드 3: GPT·BERT·Claude·Gemini 모두 Transformer
- 슬라이드 4: 2017 → 2026 = 거대 모델 폭발
- 슬라이드 5: 어텐션 = Holy Prompting의 토대
한계와 주의사항
- Transformer가 AGI를 보장하지 ❌ — 한 단계 진화일 뿐
- 2017 후 발전 (Mamba·Mixture-of-Experts 등) 있음 — Transformer 단독 영원 ❌
- 기술 이해가 영성·신학을 대체 ❌
- AI 인격화 ❌ (Canon 10) — Transformer는 통계 모델
핵심 인용 / 명언
"Attention Is All You Need." — Vaswani et al. 2017 (논문 제목)
"2017 Transformer = 21세기 AI 시대의 기술적 출발점." — 본 LLMWiki
관련
- term/attention-mechanism — Transformer의 핵심
- term/llm-large-language-model — Transformer 위의 LLM
- term/agi-artificial-general-intelligence — Transformer가 AGI로 가는 길?
- synthesis/ai-seonyong-ch1-spiritual-overview — Ch.1 시대 진단
외부 참조
- Vaswani et al., "Attention Is All You Need" (NeurIPS 2017)
- The Illustrated Transformer (Jay Alammar blog)
"2017 Transformer 이후 모든 LLM. 사역자가 알아야 할 출발점."