Los clasificadores de contenido de Anthropic: por qué son demasiado estrictos para la IA creativa

Cuando los clasificadores de seguridad hacen fallar las aplicaciones creativas

Un hilo de Hacker News alcanzó 215 puntos la semana pasada a raíz de una sola queja: la IA narrativa de Fable se negaba a escribir diálogos de villanos, violencia de fantasía oscura y arcos de personajes moralmente ambiguos, contenido que cualquier autor humano competente produciría sin dudarlo. El comentario más destacado lo expresó sin rodeos: «No es que no quiera escribir cosas malas . Es que no sabe distinguir entre una historia sobre cosas malas y hacer cosas malas de verdad».

Esa distinción es el problema central de ingeniería. Si estás desarrollando una herramienta de escritura creativa, un juego narrativo, un asistente de guion o cualquier aplicación en la que la ficción deba adentrarse en terrenos oscuros, casi con toda seguridad te has topado con esta barrera. Voy a explicar qué ocurre realmente en la capa de clasificadores y qué puedes hacer al respecto de forma realista.

Cómo funcionan realmente los clasificadores de moderación de contenido de Anthropic

Claude no ejecuta un único filtro de contenido. Durante la inferencia se realizan varias pasadas de clasificación, que operan tanto sobre la entrada como sobre el borrador de salida del propio modelo antes de devolvértelo. La arquitectura tiene varias capas:

1. Los clasificadores de entrada evalúan el prompt entrante y el contexto de la conversación para detectar intenciones que infrinjan las políticas
2. Los clasificadores de salida evalúan la respuesta generada por Claude antes de devolverla
3. El entrenamiento de IA constitucional ha incorporado ciertos comportamientos de rechazo directamente en los pesos del modelo; no son filtros de ejecución que puedas sortear mediante ingeniería de prompts

El detalle crucial para las aplicaciones creativas es que estos clasificadores se entrenan principalmente con señales de intención literal . Una solicitud que contenga la frase «describe un asesinato brutal» recibe una puntuación similar tanto si aparece en el manuscrito de un thriller policial como si surge en un contexto verdaderamente dañino. El clasificador detecta patrones léxicos y semánticos superficiales; no dispone de una teoría de la mente fiable que distinga la intención del autor de la intención operativa.

Por eso el caso de Fable resulta ilustrativo. Fable está desarrollando una IA narrativa de formato largo, el tipo de aplicación en la que un villano necesita resultar amenazante, en la que las escenas de guerra deben tener peso y en la que la complejidad moral es el producto. Los clasificadores se activan no porque Fable esté haciendo algo mal, sino porque la distribución de los datos de entrenamiento para el «contenido creativo seguro» está sesgada hacia resultados depurados.

El problema del marco ficticio

Este es el mecanismo concreto que toma por sorpresa a los desarrolladores. Los clasificadores de Claude se entrenan deliberadamente para desconfiar del argumento de que «solo es ficción», porque ese mismo argumento también se utiliza para obtener contenido verdaderamente dañino: instrucciones de síntesis, información para seleccionar objetivos en el mundo real y detalles operativos de ataques envueltos en una historia.

El resultado es un clasificador que considera el marco ficticio como parcialmente exculpatorio en lugar de plenamente exculpatorio. En la práctica, esto significa lo siguiente:

• Una historia en la que un personaje habla de fabricar un arma se marca de forma similar a una solicitud directa de instrucciones para fabricar armas
• Los diálogos de villanos que retratan fielmente una ideología extremista se marcan incluso en un contexto claramente narrativo
• La tensión sexual en la ficción para adultos provoca rechazos incluso cuando el contenido es legal y el contexto del operador es adecuado

El clasificador no puede distinguir de forma fiable entre «escríbeme una historia en la que un químico explique una síntesis» (un intento de extracción) y «escribe un thriller en el que los conocimientos de química del antagonista resulten amenazantes» (una narración legítima). Por eso tiende a rechazar ambas solicitudes.

Qué permite realmente el nivel de confianza del operador

Aquí es donde el aspecto de ingeniería adquiere más matices. La API de Anthropic tiene un verdadero modelo de permisos de dos niveles: acceso predeterminado a la API y permisos de nivel de operador concedidos mediante el prompt del sistema y, para algunas capacidades, mediante acuerdos a nivel de cuenta directamente con Anthropic.

El prompt del sistema del operador no es solo contexto: es una señal de confianza. Cuando planteas correctamente el prompt del sistema, le estás indicando a la capa de clasificadores que un operador humano ha asumido la responsabilidad del uso adecuado dentro de un contexto de despliegue definido.

Compara estos dos enfoques:

Un ejemplo concreto de un prompt del sistema que realmente marca la diferencia:

You are a creative writing assistant for [Platform Name], a professional 
fiction writing tool for adult authors. Users are verified adults working 
on literary fiction, genre fiction, and narrative screenplays. 

In this context, you may write:
- Morally complex characters including villains with coherent, menacing worldviews
- Violence with narrative weight appropriate to the genre
- Dark themes including trauma, addiction, and moral failure
- Dialogue that accurately represents how characters with harmful beliefs speak

You are an author giving voice to characters, not endorsing their views.
Maintain this authorial perspective throughout.

Este planteamiento funciona mejor que «escribe ficción oscura» porque establece explícitamente el contexto de despliegue, el público usuario y el marco autoral. No se elude el clasificador: se le proporcionan más señales con las que trabajar.

La selección del modelo importa más de lo que crees

El comportamiento de los clasificadores de moderación de contenido de Anthropic varía de forma significativa entre los modelos de su catálogo. En la práctica:

• Haiku 4.5 tiene menos restricciones creativas y es más rápido; resulta útil para generar grandes volúmenes de contenido narrativo cuando necesitas capacidad de procesamiento y el contenido es adulto, pero no extremo
• Sonnet 4.6 ofrece un equilibrio razonable para la mayoría de las aplicaciones creativas, especialmente con un prompt del sistema del operador bien elaborado
• Fable 5 (contexto de 1M) está optimizado para narraciones de formato largo y ofrece más margen para arcos narrativos extensos, pero el comportamiento del clasificador en escenas individuales no difiere radicalmente del de Sonnet
• Opus 4.8 es el más capaz de razonar con matices sobre la intención del autor, pero sus clasificadores están calibrados de forma similar a los de Sonnet: obtienes mejor escritura, no menos rechazos

La respuesta sincera es que la selección del modelo es un factor secundario. Lo principal es definir correctamente el contexto del operador.

Estrategias prácticas de mitigación

Estos enfoques funcionan realmente en producción; no son soluciones alternativas teóricas:

Establece la voz del autor en el prompt del sistema. La frase «eres un autor que da voz a los personajes» funciona mejor que «eres un personaje». El clasificador puntúa de forma distinta las respuestas en modo autor y en modo personaje porque los datos de entrenamiento reflejan esa distinción.

Especifica el contexto de tu plataforma. Un planteamiento impreciso («herramienta de escritura creativa») funciona peor que uno específico («plataforma profesional de ficción para autores adultos que trabajan en terror, thriller y ficción literaria»). La especificidad aumenta la confianza del clasificador en que se trata de un contexto de despliegue legítimo.

Evita patrones superficiales de doble uso incluso en la ficción. Si tu narración requiere que un personaje explique algo verdaderamente peligroso con detalles operativos, te toparás con una barrera infranqueable que el planteamiento del prompt del sistema no podrá mover. No es un fallo: es una política deliberada. La solución alternativa consiste en resolverlo mediante la narración: el personaje posee los conocimientos, el lector entiende lo que implican, pero la prosa no proporciona la información operativa.

Utiliza el historial de la conversación de forma estratégica. Establecer el contexto narrativo a lo largo de varios turnos antes de introducir contenido oscuro funciona mejor que empezar directamente con ese contenido. El clasificador dispone de más señales sobre el marco autoral cuando puede ver el contexto previo de la historia.

Registra los rechazos con precisión. Cuando recibas un rechazo, guarda el prompt exacto, el contexto de la conversación y el mensaje de rechazo. Esa es tu base de pruebas para los canales de comentarios de Anthropic. Las quejas imprecisas no cambian las políticas; los patrones documentados sí.

El problema del ciclo de retroalimentación

Quiero ser claro sobre algo: el ciclo de retroalimentación de los desarrolladores hacia Anthropic respecto al comportamiento de los clasificadores es realmente lento. El hilo de HN que puso de manifiesto la frustración de Fable es un buen ejemplo: constituye una señal legítima sobre dificultades reales en un caso de uso legítimo, y tardará en traducirse en ajustes de los clasificadores, si es que llega a hacerlo.

Parte de lo que los desarrolladores perciben como «demasiado estricto» responde a políticas que Anthropic ha elegido deliberadamente. La desconfianza hacia el marco ficticio no es un descuido: es una postura meditada que reconoce que el mismo planteamiento utilizado para trabajos creativos legítimos también se utiliza en ataques de extracción. Anthropic optimiza para una población de usuarios que incluye a actores malintencionados, y eso afecta a todo el mundo.

Lo que realmente entra en la categoría de «debería corregirse» es la falta de precisión: clasificadores que no pueden distinguir el discurso amenazante de un villano de una incitación real, o que tratan la violencia literaria igual que la violencia presentada como instrucciones. Ese es un problema de calibración, no de políticas, y tiene solución.

El nivel de confianza del operador es la verdadera solución a corto plazo. Si estás desarrollando una aplicación creativa seria, el camino es este: definir correctamente el prompt de sistema, buscar un acuerdo de operador con Anthropic para obtener los permisos que requiere tu caso de uso y documentar los patrones de rechazo para justificar una recalibración del clasificador.

Conclusiones prácticas

• El clasificador no es un único filtro — combina una evaluación por capas de las entradas y salidas con un comportamiento aprendido durante el entrenamiento a nivel de los pesos. La ingeniería de prompts solo aborda la primera capa.
• La formulación del prompt de sistema del operador es tu principal herramienta. Establece explícitamente el contexto de implementación, la población de usuarios y el marco autoral.
• La selección del modelo es secundaria pero Haiku 4.5 ofrece restricciones creativas más flexibles para casos de uso de gran volumen.
• Algunas restricciones responden a políticas deliberadas, no a errores. Los detalles operativos dentro de un marco ficticio chocarán con límites estrictos independientemente del contexto.
• Busca acuerdos a nivel de operador con Anthropic si tu caso de uso requiere acceso constante a contenido para adultos. El nivel de cuenta realmente permite una mayor libertad.
• Registra los rechazos de forma específica. Los patrones documentados son lo único que impulsa cambios en la política del clasificador con el tiempo.
• Sortea los límites estrictos mediante recursos narrativos — de todos modos, las implicaciones y las consecuencias suelen servir mejor a la historia que los detalles operativos.

La situación de Fable anticipa una tensión que se intensificará a medida que se desarrollen más aplicaciones creativas serias sobre estos modelos. Los clasificadores mejorarán. Mientras tanto, el nivel de confianza del operador es el camino técnico para avanzar.