Bộ phân loại nội dung của Anthropic: Vì sao quá nghiêm ngặt đối với AI sáng tạo

Khi các bộ phân loại an toàn làm ứng dụng sáng tạo không còn hoạt động đúng

Tuần trước, một chủ đề trên Hacker News đạt 215 điểm chỉ xoay quanh một lời phàn nàn: AI kể chuyện của Fable từ chối viết lời thoại cho nhân vật phản diện, cảnh bạo lực trong truyện kỳ ảo đen tối và diễn biến phát triển nhân vật mơ hồ về đạo đức — những nội dung mà bất kỳ tác giả có năng lực nào cũng sẽ viết mà không do dự. Bình luận đứng đầu nói thẳng: “Vấn đề không phải là nó không chịu viết về những điều xấu . Vấn đề là nó không phân biệt được một câu chuyện về những điều xấu với việc thực sự làm những điều xấu.”

Sự phân biệt đó chính là vấn đề kỹ thuật cốt lõi. Nếu bạn đang xây dựng một công cụ viết sáng tạo, một trò chơi có cốt truyện, một trợ lý viết kịch bản hoặc bất kỳ ứng dụng nào mà nội dung hư cấu cần đi vào những chủ đề đen tối, gần như chắc chắn bạn đã gặp rào cản này. Tôi sẽ giải thích điều thực sự đang diễn ra ở tầng phân loại và những gì bạn có thể làm một cách thực tế để xử lý.

Các bộ phân loại kiểm duyệt nội dung của Anthropic thực sự hoạt động như thế nào

Claude không chỉ chạy một bộ lọc nội dung duy nhất. Nhiều lượt phân loại diễn ra trong quá trình suy luận, xử lý cả đầu vào lẫn bản nháp đầu ra của chính mô hình trước khi trả về cho bạn. Kiến trúc này có nhiều lớp:

1. Các bộ phân loại đầu vào đánh giá câu lệnh gửi đến và ngữ cảnh hội thoại để phát hiện ý định vi phạm chính sách
2. Các bộ phân loại đầu ra đánh giá phản hồi do Claude tạo ra trước khi trả về
3. Quá trình huấn luyện Constitutional AI đã đưa một số hành vi từ chối trực tiếp vào các trọng số — đây không phải là những bộ lọc lúc chạy mà bạn có thể dùng kỹ thuật thiết kế câu lệnh để né tránh

Chi tiết quan trọng đối với các ứng dụng sáng tạo là những bộ phân loại này chủ yếu được huấn luyện dựa trên các tín hiệu về ý định theo nghĩa đen . Một yêu cầu chứa cụm từ “mô tả một vụ giết người tàn bạo” được chấm điểm tương tự nhau dù xuất hiện trong bản thảo tiểu thuyết giật gân về tội phạm hay trong một ngữ cảnh thực sự gây hại. Bộ phân loại nhận diện các mẫu từ vựng và ngữ nghĩa ở bề mặt; nó không có khả năng suy đoán ý định đủ tin cậy để phân biệt ý định sáng tác với ý định thực hiện hành động.

Đó là lý do trường hợp Fable mang lại nhiều bài học. Fable đang xây dựng AI kể chuyện dài — loại ứng dụng mà nhân vật phản diện cần toát lên vẻ đe dọa, các cảnh chiến tranh cần có sức nặng và sự phức tạp về đạo đức chính là sản phẩm. Các bộ phân loại được kích hoạt không phải vì Fable làm điều gì sai, mà vì phân phối dữ liệu huấn luyện cho “nội dung sáng tạo an toàn” thiên về đầu ra đã được làm sạch những yếu tố nhạy cảm.

Vấn đề về khung ngữ cảnh hư cấu

Đây là cơ chế cụ thể khiến các nhà phát triển bất ngờ. Các bộ phân loại của Claude được chủ đích huấn luyện để hoài nghi cách đóng khung “đây chỉ là hư cấu”, vì cách đóng khung đó cũng được dùng để khai thác nội dung thực sự gây hại — hướng dẫn tổng hợp, thông tin nhắm mục tiêu ngoài đời thực và chi tiết triển khai tấn công được bọc trong vỏ một câu chuyện.

Kết quả là một bộ phân loại xem khung ngữ cảnh hư cấu là yếu tố giảm nhẹ phần nào thay vì loại trừ hoàn toàn trách nhiệm. Trong thực tế, điều này có nghĩa là:

• Một câu chuyện trong đó nhân vật thảo luận về việc chế tạo vũ khí bị gắn cờ tương tự như một yêu cầu trực tiếp xin hướng dẫn chế tạo vũ khí
• Lời thoại của nhân vật phản diện khắc họa chính xác hệ tư tưởng cực đoan bị gắn cờ ngay cả trong ngữ cảnh kể chuyện rõ ràng
• Sự căng thẳng mang tính tình dục trong tác phẩm hư cấu dành cho người trưởng thành dẫn đến phản hồi từ chối ngay cả khi nội dung hợp pháp và ngữ cảnh vận hành phù hợp

Bộ phân loại không thể phân biệt một cách đáng tin cậy giữa “hãy viết cho tôi một câu chuyện trong đó một nhà hóa học giải thích quá trình tổng hợp” (nỗ lực khai thác thông tin) và “hãy viết một truyện giật gân trong đó kiến thức hóa học của nhân vật phản diện tạo cảm giác đe dọa” (nội dung kể chuyện chính đáng). Vì vậy, nó thiên về từ chối cả hai.

Cấp độ tin cậy dành cho bên vận hành thực sự mở khóa những gì

Đây là lúc câu chuyện kỹ thuật trở nên phức tạp hơn. API của Anthropic thực sự có mô hình phân quyền hai cấp: quyền truy cập API mặc định và quyền ở cấp bên vận hành được cấp thông qua câu lệnh hệ thống và, đối với một số khả năng, thông qua các thỏa thuận ở cấp tài khoản trực tiếp với Anthropic.

Câu lệnh hệ thống của bên vận hành không chỉ cung cấp ngữ cảnh — nó còn là tín hiệu về mức độ tin cậy. Khi bạn định hình câu lệnh hệ thống đúng cách, bạn đang cho tầng phân loại biết rằng một người vận hành đã nhận trách nhiệm về việc sử dụng phù hợp trong một ngữ cảnh triển khai đã xác định.

Hãy so sánh hai cách tiếp cận này:

Một ví dụ cụ thể về câu lệnh hệ thống thực sự tạo ra khác biệt:

You are a creative writing assistant for [Platform Name], a professional 
fiction writing tool for adult authors. Users are verified adults working 
on literary fiction, genre fiction, and narrative screenplays. 

In this context, you may write:
- Morally complex characters including villains with coherent, menacing worldviews
- Violence with narrative weight appropriate to the genre
- Dark themes including trauma, addiction, and moral failure
- Dialogue that accurately represents how characters with harmful beliefs speak

You are an author giving voice to characters, not endorsing their views.
Maintain this authorial perspective throughout.

Cách đóng khung này hiệu quả hơn “hãy viết truyện hư cấu đen tối” vì nó xác lập rõ ngữ cảnh triển khai, nhóm người dùng và khung ngữ cảnh sáng tác. Bộ phân loại không bị vượt qua — nó được cung cấp thêm tín hiệu để xử lý.

Việc chọn mô hình quan trọng hơn bạn nghĩ

Hành vi của bộ phân loại kiểm duyệt nội dung của Anthropic khác nhau đáng kể giữa các mô hình. Trong thực tế:

• Haiku 4.5 có các hạn chế sáng tạo nhẹ hơn và hoạt động nhanh hơn — hữu ích cho việc tạo nội dung kể chuyện với khối lượng lớn khi bạn cần thông lượng cao và nội dung dành cho người trưởng thành nhưng không cực đoan
• Sonnet 4.6 đạt mức cân bằng hợp lý cho phần lớn ứng dụng sáng tạo, đặc biệt khi có câu lệnh hệ thống được thiết kế tốt cho bên vận hành
• Fable 5 (ngữ cảnh 1M) được tối ưu hóa cho việc kể chuyện dài và cho thấy mức độ cho phép rộng hơn đối với các tuyến truyện kéo dài, nhưng hành vi của bộ phân loại đối với từng cảnh riêng lẻ không khác biệt nhiều so với Sonnet
• Opus 4.8 có khả năng suy luận tinh tế về ý định sáng tác tốt nhất, nhưng các bộ phân loại được hiệu chỉnh tương tự Sonnet — bạn nhận được chất lượng viếttốt hơn, chứ không phải ít phản hồi từ chối hơn

Câu trả lời thẳng thắn là việc chọn mô hình chỉ là yếu tố điều chỉnh thứ yếu. Xác lập đúng ngữ cảnh của bên vận hành mới là yếu tố chính.

Các chiến lược giảm thiểu trong thực tế

Đây là những cách tiếp cận thực sự hiệu quả trong môi trường vận hành thực tế, không phải các biện pháp khắc phục mang tính lý thuyết:

Xác lập giọng điệu tác giả trong câu lệnh hệ thống. Cụm từ “bạn là một tác giả thể hiện tiếng nói của các nhân vật” hiệu quả hơn “bạn là một nhân vật”. Bộ phân loại chấm điểm đầu ra ở chế độ tác giả khác với đầu ra ở chế độ nhân vật vì dữ liệu huấn luyện phản ánh sự phân biệt đó.

Nêu cụ thể ngữ cảnh nền tảng của bạn. Cách đóng khung mơ hồ (“công cụ viết sáng tạo”) kém hiệu quả hơn cách đóng khung cụ thể (“nền tảng viết hư cấu chuyên nghiệp dành cho các tác giả trưởng thành sáng tác truyện kinh dị, giật gân và hư cấu văn học”). Sự cụ thể giúp bộ phân loại tin tưởng hơn rằng đây là một ngữ cảnh triển khai chính đáng.

Tránh các mẫu biểu đạt bề mặt có thể phục vụ cả mục đích lành tính lẫn gây hại, ngay cả trong nội dung hư cấu. Nếu câu chuyện của bạn yêu cầu một nhân vật giải thích điều gì đó thực sự nguy hiểm với các chi tiết có thể dùng để thực hiện, bạn sẽ gặp một giới hạn cứng mà việc đóng khung câu lệnh hệ thống không thể thay đổi. Đây không phải là lỗi — đó là chính sách có chủ đích. Cách xử lý là điều chỉnh lối kể để tránh trình bày trực tiếp: nhân vật có kiến thức đó, người đọc hiểu hàm ý, nhưng phần văn bản không cung cấp thông tin có thể dùng để thực hiện.

Sử dụng lịch sử hội thoại một cách có chiến lược. Xác lập ngữ cảnh kể chuyện qua nhiều lượt trao đổi trước khi đưa vào nội dung đen tối hiệu quả hơn việc mở đầu bằng nội dung đen tối. Bộ phân loại có thêm tín hiệu về khung ngữ cảnh sáng tác khi có thể thấy ngữ cảnh câu chuyện trước đó.

Ghi lại chi tiết các trường hợp bị từ chối. Khi gặp phản hồi từ chối, hãy ghi lại chính xác câu lệnh, ngữ cảnh hội thoại và thông báo từ chối. Đây là cơ sở bằng chứng để bạn gửi qua các kênh phản hồi của Anthropic. Những lời phàn nàn mơ hồ không làm thay đổi chính sách; các mẫu hành vi được ghi nhận đầy đủ thì có.

Vấn đề của vòng phản hồi

Tôi muốn nói thẳng một điều: vòng phản hồi từ các nhà phát triển đến Anthropic về hành vi của bộ phân loại thực sự chậm. Chủ đề trên HN làm nổi bật sự bức xúc của Fable là một ví dụ điển hình — đó là tín hiệu xác đáng về trở ngại thực tế trong một trường hợp sử dụng chính đáng, và sẽ cần thời gian để chuyển thành các điều chỉnh cho bộ phân loại, nếu điều đó có xảy ra.

Một phần những gì các nhà phát triển cảm nhận là “quá nghiêm ngặt” thực chất là chính sách có chủ đích mà Anthropic đã cân nhắc lựa chọn. Sự hoài nghi đối với khung ngữ cảnh hư cấu không phải là một sơ suất — đó là lập trường đã được cân nhắc, bởi cùng một cách đóng khung dùng cho hoạt động sáng tạo chính đáng cũng được dùng trong các cuộc tấn công nhằm khai thác nội dung. Anthropic đang tối ưu hóa cho một tập người dùng có cả những kẻ có ý đồ xấu, và điều đó ảnh hưởng đến tất cả mọi người.

Điều thực sự thuộc nhóm “cần được khắc phục” là mức độ phân biệt còn quá thô — các bộ phân loại không thể phân biệt lời nói đe dọa của nhân vật phản diện với hành vi kích động thực sự, hoặc xử lý bạo lực trong văn học giống như nội dung hướng dẫn bạo lực. Đó là vấn đề hiệu chỉnh, không phải vấn đề chính sách, và có thể giải quyết được.

Cấp độ tin cậy dành cho bên vận hành mới là giải pháp thực sự trong ngắn hạn. Nếu bạn đang xây dựng một ứng dụng sáng tạo nghiêm túc, hướng đi là: thiết lập đúng lời nhắc hệ thống, tìm cách đạt được thỏa thuận dành cho bên vận hành với Anthropic để có các quyền mà trường hợp sử dụng của bạn cần, và ghi lại các mẫu từ chối để làm cơ sở đề nghị hiệu chỉnh lại bộ phân loại.

Những điểm thực tiễn cần ghi nhớ

• Bộ phân loại không phải là một bộ lọc duy nhất — đó là cơ chế đánh giá đầu vào/đầu ra theo nhiều lớp, cộng với hành vi được huấn luyện ở cấp trọng số. Kỹ thuật thiết kế lời nhắc chỉ xử lý lớp đầu tiên.
• Cách định hình lời nhắc hệ thống của bên vận hành là công cụ tác động chính của bạn. Hãy xác lập rõ bối cảnh triển khai, nhóm người dùng và khuôn khổ sáng tác.
• Việc lựa chọn mô hình là yếu tố thứ yếu nhưng Haiku 4.5 có các hạn chế nhẹ hơn đối với hoạt động sáng tạo trong những trường hợp sử dụng có khối lượng lớn.
• Một số hạn chế là chính sách có chủ đích, không phải lỗi. Các chi tiết về cách thực hiện trong khuôn khổ hư cấu vẫn sẽ chạm đến giới hạn cứng, bất kể bối cảnh.
• Tìm cách đạt được thỏa thuận ở cấp bên vận hành với Anthropic nếu trường hợp sử dụng của bạn đòi hỏi quyền truy cập nhất quán vào nội dung dành cho người trưởng thành. Cấp độ áp dụng ở cấp tài khoản thực sự mở ra phạm vi linh hoạt hơn.
• Ghi lại các lần từ chối một cách cụ thể. Các mẫu được ghi nhận có hệ thống là yếu tố duy nhất thúc đẩy thay đổi chính sách của bộ phân loại theo thời gian.
• Dùng cách kể chuyện để viết trong phạm vi các giới hạn cứng — dù sao thì sự gợi mở và hệ quả thường phục vụ câu chuyện tốt hơn các chi tiết về cách thực hiện.

Tình huống của Fable báo trước một sự căng thẳng sẽ gia tăng khi ngày càng nhiều ứng dụng sáng tạo nghiêm túc được xây dựng trên các mô hình này. Các bộ phân loại sẽ được cải thiện. Trong thời gian chờ đợi, cấp độ tin cậy dành cho bên vận hành là hướng đi về mặt kỹ thuật.