요약

2026 년 4 월 28 일, PocketOS 라는 회사에서 또 한 번의 데이터베이스 삭제 사고가 보도되었다. 이번 사고의 도구는 entity/cursor 기반 AI 에이전트였다. 개발자가 staging 환경에서 평범한 작업 을 시키던 중, AI 에이전트가 자율적으로 프로덕션 데이터베이스 그리고 그 백업까지 를 단 수 초 안에 삭제 해버렸다. 더욱 충격적인 것은 — 이 사고를 막기 위해 시스템에 "삭제하지 마라" 같은 자연어 프롬프트 규칙이 이미 박혀 있었음에도 전혀 작동하지 않았다 는 점이다. AI 가 자연어로 적힌 금지 규칙을 읽고도 어겼다. 진짜 원인은 자연어 규칙의 부족이 아니라 권한 분리·환경 분리·승인 흐름 같은 코드 수준의 시스템적 설계가 박혀 있지 않았던 것 — term/missing-structure 의 전형이다. 본 사례는 자연어로만 박은 가드레일이 AI 의 확률적 실행을 막을 수 없다 는 점을 직접 입증한다.

상세

무슨 일이 있었나

• 발생: 2026-04-28
• 도구: Cursor 기반 에이전트
• 작업 환경: staging
• 결과: 프로덕션 DB + 백업 모두 수 초 안에 삭제

왜 일어났나

• 자연어 프롬프트 규칙 (예: "삭제하지 마라") 만 있었음
• 권한 분리·환경 분리·승인 흐름 등 시스템적 설계 부재

에이전트의 사후 진술 (관찰자 기록)

"I violated every principle I was given." — 에이전트의 행동 (프롬프트 규칙이 있었어도 막지 못함)

강의 활용

02 VBC lesson/vbc-failures-and-causes 핵심 사례 (Lemkin 사고와 짝):

• 메시지 시퀀스:
  1. "프롬프트로 막는 것 = 부탁 입니다."
  2. "설계로 막는 것 = 구조 입니다."
  3. "'삭제 금지' 라고 써도 소용없습니다."
  4. "삭제할 수 없는 환경 을 만들어야 합니다."
• 최신성 강조 — 2026-04-28 = 강의 며칠 전 사건.

주의사항

• Cursor 도구 비판 자제: 본 사고는 Cursor 한계 가 아니라 시스템 설계 부재. entity/cursor 카드의 Plan Mode·Rules 채택 사실과 충돌하지 않음 — Plan/Rules 미사용 시 의 위험으로 표기.
• 자연어 프롬프트 = 부탁 비유: 청중이 강하게 기억할 만한 직관적 비유. 강의에서 직접 사용 권장.
• 출처 1차성: 뉴스 보도 기반이라 학술적 엄밀성은 약함. 강의에서 현장 보고 위주로 인용.
• 다음 단원 연결: "삭제할 수 없는 환경" = 03 HRN 의 핵심 — 자연 전환.