I classificatori di contenuto di Anthropic: perché sono troppo rigidi per l'IA creativa

Quando i classificatori di sicurezza compromettono le applicazioni creative

La settimana scorsa, un thread su Hacker News ha raggiunto 215 punti per un'unica lamentela: l'AI narrativa di Fable si rifiutava di scrivere dialoghi di antagonisti, violenza nel fantasy oscuro e archi narrativi di personaggi moralmente ambigui — contenuti che qualsiasi autore umano competente produrrebbe senza esitazione. Il commento più votato lo ha detto senza mezzi termini: «Il problema non è che si rifiuti di scrivere cose cattive . È che non sa distinguere tra una storia su cose cattive e il fatto di fare cose cattive».

Questa distinzione è il problema ingegneristico centrale. Se stai sviluppando uno strumento di scrittura creativa, un gioco narrativo, un assistente per sceneggiature o qualsiasi applicazione in cui la finzione debba esplorare territori oscuri, quasi certamente ti sei scontrato con questo muro. Ti spiego cosa succede davvero a livello dei classificatori e cosa puoi realisticamente fare al riguardo.

Come funzionano davvero i classificatori di moderazione dei contenuti di Anthropic

Claude non esegue un unico filtro sui contenuti. Durante l'inferenza vengono effettuati più passaggi di classificazione, che operano sia sull'input sia sulla bozza di output del modello prima che ti venga restituita. L'architettura è stratificata:

1. Classificatori dell'input valutano il prompt in ingresso e il contesto della conversazione per individuare intenzioni che violano le policy
2. Classificatori dell'output valutano la risposta generata da Claude prima che venga restituita
3. Addestramento con Constitutional AI ha incorporato determinati comportamenti di rifiuto direttamente nei pesi — non sono filtri applicati in fase di esecuzione che puoi aggirare con il prompt engineering

Il dettaglio cruciale per le applicazioni creative è che questi classificatori vengono addestrati principalmente su segnali di intento letterale . Una richiesta contenente la frase «descrivi un omicidio brutale» riceve una valutazione simile sia che compaia nel manoscritto di un thriller poliziesco sia che si trovi in un contesto realmente dannoso. Il classificatore rileva schemi lessicali e semantici superficiali; non dispone di una teoria della mente affidabile per distinguere l'intento autoriale dall'intento operativo.

Ecco perché il caso Fable è istruttivo. Fable sta sviluppando un'AI per la narrativa di ampio respiro — il tipo di applicazione in cui un antagonista deve essere minaccioso, in cui le scene di guerra devono avere peso e in cui la complessità morale è il prodotto. I classificatori intervengono non perché Fable stia facendo qualcosa di sbagliato, ma perché la distribuzione dei dati di addestramento relativi ai «contenuti creativi sicuri» è sbilanciata verso output edulcorati.

Il problema della cornice narrativa

Ecco il meccanismo specifico che coglie gli sviluppatori alla sprovvista. I classificatori di Claude vengono deliberatamente addestrati a essere scettici nei confronti della giustificazione «è solo finzione», perché questa stessa cornice viene usata anche per ottenere contenuti realmente dannosi — istruzioni di sintesi, informazioni per individuare bersagli nel mondo reale e dettagli operativi di attacchi racchiusi in un involucro narrativo.

Il risultato è un classificatore che considera la cornice narrativa una giustificazione parziale anziché una giustificazione completa. In pratica, questo significa:

• Una storia in cui un personaggio discute della costruzione di un'arma viene segnalata in modo simile a una richiesta diretta di istruzioni per costruire armi
• I dialoghi di antagonisti che rappresentano accuratamente un'ideologia estremista vengono segnalati anche in un contesto chiaramente narrativo
• La tensione sessuale nella narrativa per adulti provoca rifiuti anche quando il contenuto è legale e il contesto dell'operatore è appropriato

Il classificatore non riesce a distinguere in modo affidabile «scrivimi una storia in cui un chimico spiega una sintesi» (tentativo di estrazione) da «scrivi un thriller in cui le conoscenze di chimica dell'antagonista risultano minacciose» (narrativa legittima). Quindi, per prudenza, tende a rifiutare entrambe.

Cosa sblocca davvero il livello di fiducia dell'operatore

È qui che il quadro ingegneristico si fa più articolato. L'API di Anthropic dispone effettivamente di un modello di autorizzazione a due livelli: accesso API predefinito e autorizzazioni a livello di operatore concesse tramite il prompt di sistema e, per alcune funzionalità, tramite accordi a livello di account stipulati direttamente con Anthropic.

Il prompt di sistema dell'operatore non è soltanto contesto — è un segnale di fiducia. Quando imposti correttamente il prompt di sistema, comunichi al livello dei classificatori che un operatore umano si è assunto la responsabilità dell'uso appropriato entro un contesto di distribuzione definito.

Confronta questi due approcci:

Un esempio concreto di prompt di sistema che fa davvero la differenza:

You are a creative writing assistant for [Platform Name], a professional 
fiction writing tool for adult authors. Users are verified adults working 
on literary fiction, genre fiction, and narrative screenplays. 

In this context, you may write:
- Morally complex characters including villains with coherent, menacing worldviews
- Violence with narrative weight appropriate to the genre
- Dark themes including trauma, addiction, and moral failure
- Dialogue that accurately represents how characters with harmful beliefs speak

You are an author giving voice to characters, not endorsing their views.
Maintain this authorial perspective throughout.

Questa impostazione funziona meglio di «scrivi narrativa oscura» perché definisce esplicitamente il contesto di distribuzione, il pubblico degli utenti e la cornice autoriale. Il classificatore non viene aggirato — riceve più segnali su cui basarsi.

La scelta del modello conta più di quanto pensi

Il comportamento dei classificatori di moderazione dei contenuti di Anthropic varia in modo significativo tra i modelli disponibili. In pratica:

• Haiku 4.5 ha restrizioni creative più leggere ed è più veloce — utile per la generazione narrativa ad alto volume quando serve un'elevata capacità di elaborazione e i contenuti sono maturi, ma non estremi
• Sonnet 4.6 offre un compromesso ragionevole per la maggior parte delle applicazioni creative, soprattutto con un prompt di sistema dell'operatore ben formulato
• Fable 5 (contesto di 1M) è ottimizzato per la narrativa di ampio respiro e mostra maggiore libertà per archi narrativi estesi, ma il comportamento dei classificatori sulle singole scene non è radicalmente diverso da quello di Sonnet
• Opus 4.8 è il più capace nel ragionamento autoriale ricco di sfumature, ma i classificatori sono calibrati in modo simile a quelli di Sonnet — ottieni una scritturamigliore, non meno rifiuti

La risposta onesta è che la scelta del modello è una leva secondaria. Impostare correttamente il contesto dell'operatore è la leva principale.

Strategie pratiche di mitigazione

Questi sono approcci che funzionano davvero in produzione, non espedienti teorici:

Definisci la voce autoriale nel prompt di sistema. La frase «sei un autore che dà voce ai personaggi» funziona meglio di «sei un personaggio». Il classificatore valuta diversamente gli output in modalità autore rispetto a quelli in modalità personaggio, perché i dati di addestramento riflettono questa distinzione.

Descrivi con precisione il contesto della tua piattaforma. Una descrizione vaga («strumento di scrittura creativa») funziona peggio di una specifica («piattaforma professionale di narrativa per autori adulti che lavorano nei generi horror, thriller e narrativa letteraria»). La precisione aumenta la fiducia del classificatore nella legittimità del contesto di distribuzione.

Evita formulazioni superficiali a duplice uso anche nella finzione. Se la tua narrazione richiede che un personaggio spieghi qualcosa di realmente pericoloso nei dettagli operativi, ti scontrerai con un limite invalicabile che l'impostazione del prompt di sistema non potrà spostare. Non è un bug — è una policy intenzionale. La soluzione è aggirare l'ostacolo sul piano narrativo: il personaggio possiede le conoscenze, il lettore ne comprende le implicazioni, ma la prosa non trasmette le informazioni operative.

Usa strategicamente la cronologia della conversazione. Stabilire il contesto narrativo su più turni prima di introdurre contenuti oscuri funziona meglio che iniziare direttamente con questi contenuti. Il classificatore dispone di più segnali sulla cornice autoriale quando può vedere il contesto narrativo precedente.

Registra i rifiuti in modo dettagliato. Quando ricevi un rifiuto, conserva il prompt esatto, il contesto della conversazione e il messaggio di rifiuto. Questi elementi costituiscono la tua base documentale per i canali di feedback di Anthropic. Le lamentele vaghe non cambiano le policy; gli schemi documentati sì.

Il problema del ciclo di feedback

Voglio essere chiaro su un punto: il ciclo di feedback dagli sviluppatori ad Anthropic sul comportamento dei classificatori è davvero lento. Il thread su HN che ha portato alla luce la frustrazione di Fable è un buon esempio — è un segnale legittimo di attriti reali in un caso d'uso legittimo, e ci vorrà tempo perché si traduca in modifiche ai classificatori, ammesso che ciò avvenga.

Parte di ciò che gli sviluppatori percepiscono come «troppo restrittivo» è una policy intenzionale frutto di una scelta deliberata di Anthropic. Lo scetticismo verso la cornice narrativa non è una svista — è una posizione ponderata, fondata sul fatto che la stessa cornice usata per il lavoro creativo legittimo viene impiegata anche per attacchi di estrazione. Anthropic ottimizza per una popolazione di utenti che comprende soggetti malintenzionati, e questo influisce su tutti.

Ciò che rientra davvero nella categoria «da correggere» è la scarsa granularità — classificatori che non riescono a distinguere il discorso minaccioso di un antagonista da un'effettiva istigazione, o che trattano la violenza letteraria allo stesso modo della violenza descritta a fini istruttivi. È un problema di calibrazione, non di policy, e può essere risolto.

Il livello di fiducia assegnato all’operatore è la vera soluzione nel breve termine. Se stai sviluppando un’applicazione creativa seria, il percorso è questo: definisci correttamente il prompt di sistema, cerca di ottenere un accordo come operatore con Anthropic per le autorizzazioni richieste dal tuo caso d’uso e documenta gli schemi ricorrenti dei rifiuti per sostenere la necessità di ricalibrare i classificatori.

Indicazioni pratiche

• Il classificatore non è un singolo filtro — combina una valutazione stratificata di input e output con un comportamento appreso a livello dei pesi del modello. Il prompt engineering interviene solo sul primo livello.
• L’impostazione del prompt di sistema dell’operatore è la tua leva principale. Definisci esplicitamente il contesto di distribuzione, il pubblico di utenti e l’impostazione autoriale.
• La scelta del modello è secondaria ma Haiku 4.5 offre restrizioni più leggere sulla creatività per i casi d’uso con volumi elevati.
• Alcune restrizioni sono scelte deliberate di policy, non bug. I dettagli operativi inseriti in una cornice narrativa incontreranno limiti rigidi indipendentemente dal contesto.
• Cerca di ottenere accordi a livello di operatore con Anthropic se il tuo caso d’uso richiede un accesso costante a contenuti per adulti. Il livello assegnato all’account consente davvero un margine di libertà maggiore.
• Registra i rifiuti in modo dettagliato. Gli schemi ricorrenti documentati sono l’unico elemento che modifica nel tempo la policy dei classificatori.
• Aggira i limiti rigidi attraverso la narrazione — del resto, ciò che viene suggerito e le conseguenze spesso servono la storia meglio dei dettagli operativi.

La situazione di Fable anticipa una tensione che si intensificherà man mano che verranno sviluppate applicazioni creative più serie basate su questi modelli. I classificatori miglioreranno. Nel frattempo, il livello di fiducia assegnato all’operatore è la strada da seguire sul piano ingegneristico.