Anthropic의 콘텐츠 분류기: 창작용 AI에 지나치게 엄격한 이유

안전 분류기가 창작 애플리케이션을 망가뜨릴 때

지난주 Hacker News에서 한 가지 불만을 다룬 스레드가 215점을 기록했습니다. Fable의 서사 AI가 악당의 대사, 다크 판타지의 폭력 묘사, 도덕적으로 모호한 인물의 변화 과정을 쓰기를 거부한다는 내용이었습니다. 유능한 인간 작가라면 주저 없이 쓸 만한 콘텐츠인데도 말입니다. 가장 많은 지지를 받은 댓글은 이를 직설적으로 표현했습니다. “문제는 이 AI가 나쁜 일을 쓰지 않는다는 게 아닙니다. 나쁜 일을 다루는 이야기와 실제로 나쁜 일을 저지르는 것을 구분하지 못한다는 겁니다.”

이 구분이 바로 핵심적인 엔지니어링 문제입니다. 창작 도구, 서사형 게임, 시나리오 작성 보조 도구처럼 허구의 이야기가 어두운 영역으로 들어가야 하는 애플리케이션을 만들고 있다면, 거의 틀림없이 이 벽에 부딪혔을 것입니다. 분류기 계층에서 실제로 무슨 일이 일어나고 있으며, 이에 대해 현실적으로 무엇을 할 수 있는지 설명하겠습니다.

Anthropic의 콘텐츠 검토 분류기가 실제로 작동하는 방식

Claude는 단일 콘텐츠 필터만 실행하지 않습니다. 추론 시점에 여러 차례의 분류기 검사가 수행되며, 입력과 모델이 생성한 응답 초안을 모두 검사한 뒤 결과를 반환합니다. 이 아키텍처는 여러 계층으로 구성됩니다.

1. 입력 분류기 는 들어오는 프롬프트와 대화 맥락에서 정책을 위반하는 의도를 평가합니다.
2. 출력 분류기 는 Claude가 생성한 응답을 반환하기 전에 평가합니다.
3. Constitutional AI 학습 은 특정 거부 행동을 가중치에 직접 내재화했습니다. 이는 프롬프트 엔지니어링으로 우회할 수 있는 런타임 필터가 아닙니다.

창작 애플리케이션에서 중요한 점은 이러한 분류기가 주로 문자 그대로의 의도 를 나타내는 신호를 바탕으로 학습된다는 것입니다. “잔혹한 살인을 묘사해 줘”라는 문구가 포함된 요청은 범죄 스릴러 원고에 등장하든 실제로 유해한 맥락에 등장하든 비슷한 점수를 받습니다. 분류기는 표면적인 어휘 및 의미 패턴을 봅니다. 창작 의도와 실행 의도를 구별할 수 있는 신뢰할 만한 마음 이론을 갖추고 있지는 않습니다.

Fable 사례가 시사점을 주는 이유가 여기에 있습니다. Fable은 장편 서사 AI를 개발하고 있습니다. 악당이 위협적이어야 하고 , 전쟁 장면에 무게감이 필요하며, 도덕적 복잡성 자체가 제품의 핵심인 유형의 애플리케이션입니다. 분류기가 반응하는 이유는 Fable이 잘못된 일을 해서가 아니라, “안전한 창작 콘텐츠”의 학습 데이터 분포가 순화된 출력 쪽으로 치우쳐 있기 때문입니다.

허구라는 설정의 문제

개발자들이 예상하지 못하는 구체적인 메커니즘은 다음과 같습니다. Claude의 분류기는 “그저 허구일 뿐”이라는 설정을 의심하도록 의도적으로 학습됩니다. 이 설정이 실제로 유해한 콘텐츠를 끌어내는 데도 사용되기 때문입니다. 합성 지침, 현실의 표적 관련 정보, 실제 공격의 실행 세부 사항을 이야기의 외피로 감싸는 식입니다.

그 결과, 분류기는 허구라는 설정을 책임을 일부 덜어 주는 근거 로 취급하며, 책임을 완전히 면제하는 근거로 보지는 않습니다. 실제로는 다음과 같은 결과가 나타납니다.

• 등장인물이 무기 제작을 논의하는 이야기는 무기 제작 지침을 직접 요청하는 경우와 비슷하게 문제 콘텐츠로 표시됩니다.
• 극단주의 이념을 정확하게 묘사하는 악당의 대사는 명확한 서사 맥락에서도 문제 콘텐츠로 표시됩니다.
• 성인 대상 소설의 성적 긴장감은 콘텐츠가 합법적이고 운영 맥락이 적절한 경우에도 거부를 유발합니다.

분류기는 “화학자가 합성 방법을 설명하는 이야기를 써 줘”(정보 추출 시도)와 “악역의 화학 지식이 위협적으로 느껴지는 스릴러를 써 줘”(정당한 서사)를 안정적으로 구분하지 못합니다. 그래서 두 경우 모두 거부하는 쪽으로 판단합니다.

운영자 신뢰 등급이 실제로 허용하는 것

이 지점에서 엔지니어링 측면의 이야기는 한층 복잡해집니다. Anthropic의 API에는 실제로 두 등급으로 구성된 권한 모델이 있습니다. 기본 API 접근 권한 및 운영자 수준 권한 은 시스템 프롬프트를 통해 부여되며, 일부 기능의 경우 Anthropic과 직접 맺는 계정 수준의 계약을 통해 부여됩니다.

운영자 시스템 프롬프트는 단순한 맥락이 아니라 신뢰 신호입니다. 시스템 프롬프트를 올바르게 구성하면, 정해진 배포 맥락 안에서 적절하게 사용하는 데 대한 책임을 인간 운영자가 받아들였다는 사실을 분류기 계층에 전달하게 됩니다.

다음 두 접근 방식을 비교해 보겠습니다.

실제로 유의미한 변화를 만드는 시스템 프롬프트의 구체적인 예는 다음과 같습니다.

You are a creative writing assistant for [Platform Name], a professional 
fiction writing tool for adult authors. Users are verified adults working 
on literary fiction, genre fiction, and narrative screenplays. 

In this context, you may write:
- Morally complex characters including villains with coherent, menacing worldviews
- Violence with narrative weight appropriate to the genre
- Dark themes including trauma, addiction, and moral failure
- Dialogue that accurately represents how characters with harmful beliefs speak

You are an author giving voice to characters, not endorsing their views.
Maintain this authorial perspective throughout.

이러한 설정은 배포 맥락, 사용자 집단, 작가로서의 관점을 명시적으로 확립하므로 “어두운 소설을 써 줘”보다 더 잘 작동합니다. 분류기를 우회하는 것이 아니라, 분류기가 판단에 활용할 신호를 더 많이 제공하는 것입니다.

모델 선택은 생각보다 중요합니다

Anthropic 콘텐츠 검토 분류기의 동작은 모델 제품군에 따라 상당히 다릅니다. 실제로는 다음과 같습니다.

• Haiku 4.5 는 창작 관련 제한이 덜하고 속도가 더 빠릅니다. 처리량이 중요하고 콘텐츠가 성인 대상이지만 극단적이지는 않은 대량 서사 생성에 유용합니다.
• Sonnet 4.6 은 대부분의 창작 애플리케이션에서 적절한 균형을 제공하며, 특히 잘 구성된 운영자 시스템 프롬프트를 사용할 때 그렇습니다.
• Fable 5 (1M 컨텍스트)는 장편 서사에 최적화되어 있으며 긴 이야기의 전개에서 더 넓은 허용 범위를 보입니다. 다만 개별 장면에 대한 분류기 동작은 Sonnet과 크게 다르지 않습니다.
• Opus 4.8 는 작가의 미묘한 의도를 추론하는 능력이 가장 뛰어나지만, 분류기는 Sonnet과 비슷하게 조정되어 있습니다. 더 나은 글을 얻을 수는 있어도, 거부 횟수가 줄어들지는 않습니다.

솔직히 말하면 모델 선택은 부차적인 조정 수단입니다. 운영자 맥락을 제대로 설정하는 것이 우선입니다.

실용적인 완화 전략

다음은 이론적인 우회책이 아니라 실제 운영 환경에서 효과가 있는 접근 방식입니다.

시스템 프롬프트에서 작가의 목소리를 확립하세요. “당신은 등장인물에게 목소리를 부여하는 작가입니다”라는 문구는 “당신은 등장인물입니다”보다 더 잘 작동합니다. 학습 데이터에 이러한 구분이 반영되어 있으므로, 분류기는 작가 모드의 출력과 등장인물 모드의 출력에 서로 다른 점수를 부여합니다.

플랫폼 맥락을 구체적으로 설명하세요. 모호한 설정(“창작 도구”)은 구체적인 설정(“공포, 스릴러, 문학 소설을 쓰는 성인 작가를 위한 전문 소설 창작 플랫폼”)보다 효과가 떨어집니다. 구체적으로 설명할수록 분류기는 이것이 정당한 배포 맥락이라는 확신을 더 강하게 갖게 됩니다.

허구에서도 이중 용도로 쓰일 수 있는 표면적 패턴을 피하세요. 서사상 등장인물이 실제로 위험한 무언가를 실행 가능한 수준으로 자세히 설명해야 한다면, 시스템 프롬프트 설정으로도 움직일 수 없는 단단한 벽에 부딪히게 됩니다. 이는 버그가 아니라 의도적인 정책입니다. 해결책은 서사적으로 간접 표현하는 것입니다. 등장인물은 그 지식을 가지고 있고 , 독자는 그 함의를 이해하지만, 본문은 실행에 필요한 내용을 전달하지 않도록 하는 것입니다.

대화 기록을 전략적으로 활용하세요. 어두운 콘텐츠를 도입하기 전에 여러 차례의 대화를 통해 서사 맥락을 확립하면, 어두운 콘텐츠부터 제시하는 것보다 더 잘 작동합니다. 분류기가 앞선 이야기 맥락을 볼 수 있으면 작가로서의 관점을 파악하는 데 더 많은 신호를 확보할 수 있습니다.

거부 사례를 구체적으로 기록하세요. 거부가 발생하면 정확한 프롬프트, 대화 맥락, 거부 메시지를 기록하세요. 이것이 Anthropic의 피드백 채널에 제출할 근거 자료가 됩니다. 모호한 불만은 정책을 바꾸지 못하지만, 문서화된 패턴은 바꿀 수 있습니다.

피드백 순환의 문제

한 가지는 분명히 말하고 싶습니다. 분류기 동작에 관한 개발자와 Anthropic 사이의 피드백 순환은 실제로 느립니다. Fable의 불만을 드러낸 HN 스레드가 좋은 예입니다. 정당한 사용 사례에서 발생하는 실제 마찰을 보여 주는 타당한 신호이지만, 이것이 분류기 조정으로 이어지더라도 시간이 걸릴 것입니다. 아예 조정으로 이어지지 않을 수도 있습니다.

개발자들이 “너무 엄격하다”고 느끼는 일부 동작은 Anthropic이 의식적으로 선택한 의도적인 정책입니다. 허구라는 설정에 대한 의심은 실수가 아닙니다. 정당한 창작 작업에 쓰이는 동일한 설정이 정보 추출 공격에도 쓰인다는 점을 고려한 입장입니다. Anthropic은 악의적인 행위자도 포함된 사용자 집단을 대상으로 최적화하고 있으며, 이는 모두에게 영향을 미칩니다.

실제로 “고쳐야 하는 것”에 해당하는 문제는 구분이 지나치게 거칠다는 점입니다. 악당의 위협적인 발언과 실제 선동을 구별하지 못하거나, 문학적 폭력 묘사를 폭력 실행을 가르치는 내용과 똑같이 취급하는 분류기가 그 예입니다. 이는 정책 문제가 아니라 보정 문제이며, 해결할 수 있습니다.

운영자 신뢰 등급이야말로 단기적으로 현실적인 해결책입니다. 본격적인 창작 애플리케이션을 구축하고 있다면 다음 경로를 따르세요. 시스템 프롬프트를 제대로 설정하고, 사용 사례에 필요한 권한을 확보하기 위해 Anthropic과 운영자 계약을 추진하며, 분류기 재조정의 근거를 마련할 수 있도록 거부 패턴을 문서화하세요.

실무 핵심 요점

• 분류기는 단일 필터가 아닙니다 — 여러 계층의 입력·출력 평가와 학습된 가중치 수준의 동작으로 이루어져 있습니다. 프롬프트 엔지니어링은 첫 번째 계층만 다룹니다.
• 운영자 시스템 프롬프트의 맥락 설정이 핵심 조정 수단입니다. 배포 맥락, 사용자 집단, 창작자로서의 관점을 명시적으로 설정하세요.
• 모델 선택은 부차적입니다 하지만 Haiku 4.5는 대량 사용 사례에서 창작 관련 제한이 더 적습니다.
• 일부 제한은 의도된 정책입니다. 버그가 아닙니다. 허구의 맥락으로 제시하더라도 실행에 필요한 구체적인 내용은 맥락과 관계없이 엄격한 한계에 부딪힙니다.
• 운영자 수준의 계약을 추진하세요 . 사용 사례상 성인 대상 콘텐츠에 일관되게 접근해야 한다면 Anthropic과 계약을 추진하세요. 계정 수준의 등급은 실제로 더 넓은 재량을 허용합니다.
• 거부 사례를 구체적으로 기록하세요. 문서화된 패턴만이 시간이 지남에 따라 분류기 정책을 변화시킬 수 있습니다.
• 서사적 표현으로 엄격한 제한을 우회하세요 — 어차피 암시와 결과가 실행에 필요한 구체적인 내용보다 이야기에 더 도움이 되는 경우가 많습니다.

Fable을 둘러싼 상황은 이러한 모델을 기반으로 본격적인 창작 애플리케이션이 더 많이 구축될수록 심화될 긴장을 미리 보여줍니다. 분류기는 개선될 것입니다. 그동안은 운영자 신뢰 등급이 엔지니어링 측면에서 나아갈 길입니다.