Trải nghiệm Qwen3.6 35B A3B: Điểm mạnh, cửa sổ ngữ cảnh và trường hợp sử dụng thực tế

Qwen3.6 35B A3B là gì

Qwen3.6 35B A3B thuộc dòng mô hình Qwen của Alibaba, được cung cấp qua OpenRouter với ID:

qwen/qwen3.6-35b-a3b

Tên mô hình cho chúng ta một số gợi ý hữu ích, nhưng một số chi tiết triển khai vẫn đang dần được làm rõ.

Các thông tin phục vụ triển khai đã được xác nhận gồm:

• Dòng mô hình: Qwen
• ID trên OpenRouter: qwen/qwen3.6-35b-a3b
• Độ dài ngữ cảnh: 262144 token
• Giá đầu vào: $0.00000014 cho mỗi token
• Giá đầu ra: $0.000001 cho mỗi token
• Cách tích hợp: có thể sử dụng qua các API tương thích với OpenAI trên OpenRouter

Hậu tố “35B A3B” gợi ý rõ rệt rằng đây là một mô hình có khoảng 35B tham số tổng cộng và khoảng 3B tham số hoạt động cho mỗi token, có thể thông qua kiến trúc thưa hoặc dạng hỗn hợp. Cách diễn giải đó phù hợp với cách đặt tên thường thấy của các mô hình lớn hiện đại được tối ưu hiệu quả, nhưng tôi sẽ coi cơ chế kiến trúc chính xác là thông tin chưa hoàn toàn rõ ràng, trừ khi nhà cung cấp dịch vụ suy luận hoặc thẻ thông tin mô hình xác nhận cụ thể các chi tiết.

Sự phân biệt đó rất quan trọng. Một mô hình có thể đạt quy mô “35B” về tổng năng lực, trong khi chi phí suy luận cho mỗi token lại gần với một mô hình dense nhỏ hơn nhiều nếu chỉ một tập con trọng số hoạt động. Trong thực tế, điều đó có thể tạo ra một điểm cân bằng vận hành hữu ích:

• Kiến thức và khả năng làm theo hướng dẫn tốt hơn các mô hình rất nhỏ
• Độ trễ và chi phí thấp hơn các mô hình dense có tổng số tham số tương đương
• Năng lực suy luận tối đa thấp hơn các mô hình tiên tiến hàng đầu tốt nhất
• Rất phù hợp cho tổng hợp thông tin trong ngữ cảnh dài, hỗ trợ lập trình, trích xuất và định tuyến

Vị trí so với các mô hình hiện tại

Bối cảnh các mô hình hiện nay không còn đơn thuần là một bảng xếp hạng. Trong các hệ thống vận hành thực tế, tôi thường phân nhóm mô hình theo loại công việc, chứ không theo một điểm số “tốt nhất” duy nhất.

Qwen3.6 35B A3B không cố gắng đảm nhiệm cùng vai trò trong cách lựa chọn mô hình như Claude Opus 4.8 hoặc GPT-5.5. Tôi sẽ không chọn nó làm mặc định cho bản ghi nhớ về rủi ro pháp lý, tác nhân nghiên cứu nhiều bước đưa ra các quyết định không thể đảo ngược, hoặc bài đánh giá suy luận phức tạp mà 5% độ chính xác cuối cùng chính là giá trị cốt lõi của sản phẩm.

Tôi sẽ cân nhắc dùng mô hình này để:

• Đọc các tài liệu nội bộ lớn
• Tóm tắt kho mã
• Trích xuất dữ liệu có cấu trúc từ các bản chép lời dài
• Tiền xử lý ngữ cảnh trước khi gửi một gói thông tin nhỏ hơn đến mô hình tiên tiến nhất
• Đóng vai trò xử lý ngữ cảnh dài với chi phí thấp trong một hệ thống tác nhân lớn hơn
• Tạo bản giải thích mã, bản so sánh thay đổi và ghi chú chuyển đổi sơ bộ

Cách làm cuối cùng đó thường bị đánh giá thấp: dùng một mô hình ngữ cảnh dài có năng lực và tiết kiệm để cô đọng và cấu trúc hóa thông tin lộn xộn, rồi chỉ chuyển bước suy luận khó đã được chắt lọc sang Opus, GPT-5.5 hoặc Gemini 3.

Cửa sổ ngữ cảnh 262k thay đổi cách thiết kế hệ thống

Cửa sổ 262,144 token đủ lớn để thay đổi cách bạn xây dựng các hệ thống truy xuất và tác nhân.

Nó không loại bỏ RAG. Nó thay đổi vị trí phù hợp của RAG.

Với ngữ cảnh 8k hoặc 32k, bạn buộc phải truy xuất rất có chọn lọc. Với 262k, bạn thường có thể đưa vào:

• Toàn bộ tài liệu thiết kế
• Lược đồ API
• Một số tệp mã nguồn
• Lịch sử các vấn đề gần đây
• Nhật ký trong một khoảng thời gian xảy ra sự cố
• Một phần gọn của cơ sở tri thức
• Cấu hình riêng của người dùng

Với nhiều quy trình kỹ thuật, điều này giúp tránh kiểu lỗi dễ xảy ra khi “chỉ dùng các đoạn top-k”, trong đó câu trả lời bị bỏ sót nằm ở đoạn 11.

Một vấn đề dễ gặp: ngữ cảnh lớn không đồng nghĩa với khả năng chú ý hoàn hảo. Khi bạn nhồi 200k token vào lời nhắc, điều thực sự xảy ra là mô hình có thêm cơ hội nhìn thấy các dữ kiện liên quan, nhưng vẫn có thể bỏ sót chi tiết, đặt trọng số quá lớn vào phần văn bản gần cuối hoặc trộn lẫn hai phần tương tự nhau. Bạn vẫn cần cấu trúc.

Trong thực tế, tôi sử dụng các lời nhắc ngữ cảnh dài như sau:

SYSTEM:
You are analyzing a production incident. Prefer exact evidence over speculation.
If evidence is missing, say what is missing.

USER:
You will receive four sections:
1. Incident timeline
2. Service logs
3. Recent deploy diff
4. Runbook

Return:
- root_cause_candidates
- strongest_evidence
- missing_evidence
- rollback_or_mitigation_steps

Do not summarize unrelated log lines.

<incident_timeline>
...
</incident_timeline>

<service_logs>
...
</service_logs>

<deploy_diff>
...
</deploy_diff>

<runbook>
...
</runbook>

Các thẻ không phải để trang trí. Chúng giúp mô hình giữ nguyên ranh giới giữa các nguồn. Với lời nhắc dài, tôi cũng ưu tiên yêu cầu đầu ra kèm bằng chứng:

{
  "root_cause_candidates": [
    {
      "candidate": "string",
      "confidence": "low | medium | high",
      "evidence": [
        {
          "section": "service_logs",
          "quote": "exact short quote"
        }
      ]
    }
  ],
  "missing_evidence": ["string"],
  "recommended_next_action": "string"
}

Điều này làm giảm khả năng xuất hiện một bản tóm tắt sự cố có vẻ hợp lý nhưng không có căn cứ.

Bài toán chi phí: Vì sao mô hình này đáng chú ý

Giá token được niêm yết như sau:

• Đầu vào: $0.00000014 cho mỗi token
• Đầu ra: $0.000001 cho mỗi token

Điều đó có nghĩa là:

Phần đầu ra đắt hơn đáng kể so với phần đầu vào. Điều đó ảnh hưởng đến cách thiết kế lời nhắc. Nếu bạn yêu cầu mô hình viết lại toàn bộ tài liệu dài 100k token, chi phí và độ trễ sẽ tăng nhanh. Nếu bạn yêu cầu trích xuất 60 dữ kiện có cấu trúc, bài toán chi phí sẽ rất khác.

Trong môi trường vận hành thực tế, tôi sẽ tối ưu theo các hướng sau:

• Đưa lượng lớn bằng chứng vào lời nhắc
• Yêu cầu đầu ra có cấu trúc, gọn
• Tránh các câu trả lời dài dòng theo kiểu chuỗi suy nghĩ
• Dùng lược đồ xác định khi có thể
• Chia tác vụ hàng loạt theo tài liệu, thay vì theo các đoạn token tùy ý, khi ngữ cảnh cho phép

Tích hợp qua API tương thích với OpenAI

OpenRouter cung cấp các mô hình thông qua giao diện chat completions tương thích với OpenAI. Một phiên bản tối giản curl có dạng như sau:

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen/qwen3.6-35b-a3b",
    "messages": [
      {
        "role": "system",
        "content": "You are a precise engineering assistant. Return concise JSON."
      },
      {
        "role": "user",
        "content": "Extract the API changes from this changelog: ..."
      }
    ],
    "temperature": 0.2,
    "max_tokens": 1200
  }'

Trong Python, bạn có thể sử dụng OpenAI SDK bằng cách thay đổi URL cơ sở:

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.environ["OPENROUTER_API_KEY"],
)

response = client.chat.completions.create(
    model="qwen/qwen3.6-35b-a3b",
    messages=[
        {
            "role": "system",
            "content": "You extract structured facts from long engineering documents.",
        },
        {
            "role": "user",
            "content": open("design-review.md", "r", encoding="utf-8").read(),
        },
    ],
    temperature=0.1,
    max_tokens=2000,
)

print(response.choices[0].message.content)

Để dùng trong môi trường vận hành thực tế, hãy bổ sung cơ chế thử lại và thời gian chờ cho đoạn này:

import os
import time
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.environ["OPENROUTER_API_KEY"],
    timeout=90,
)

def call_qwen(messages, max_tokens=1500, attempts=3):
    last_error = None

    for attempt in range(attempts):
        try:
            return client.chat.completions.create(
                model="qwen/qwen3.6-35b-a3b",
                messages=messages,
                temperature=0.2,
                max_tokens=max_tokens,
            )
        except Exception as error:
            last_error = error
            time.sleep(2 ** attempt)

    raise last_error

Với các ứng dụng theo kiểu Anthropic, cách tích hợp thực tế thường không phải là “coi mọi API đều giống hệt nhau”. Thay vào đó, hãy định nghĩa một định dạng thông điệp nội bộ và điều chỉnh nó cho từng nhà cung cấp:

def to_openai_messages(system_prompt, turns):
    messages = [{"role": "system", "content": system_prompt}]
    for turn in turns:
        messages.append({
            "role": turn["role"],
            "content": turn["content"],
        })
    return messages

Điều đó cho phép bạn định tuyến giữa Qwen, Claude, GPT, Gemini và các mô hình mở mà không để định dạng riêng của từng nhà cung cấp lan khắp cơ sở mã.

Các mẫu kiến trúc phù hợp

1. Bộ xử lý sàng lọc ngữ cảnh dài

Dùng Qwen3.6 35B A3B để đọc dữ liệu thô và tạo ra một sản phẩm đầu ra nhỏ hơn:

{
  "input": "full incident bundle",
  "qwen_output": "ranked timeline + evidence table",
  "frontier_model_input": "only unresolved causal questions"
}

Mẫu này hữu ích vì các mô hình tiên tiến nhất không chỉ tốn tiền mà còn tốn công xem xét. Hãy giao cho chúng phần khó, chứ không phải toàn bộ đống thông tin.

2. Công cụ giải thích kho mã

Với các kho mã cỡ vừa, bạn có thể đưa vào:

• README
• các tệp khai báo phụ thuộc
• các thư mục mã nguồn chính
• các lỗi kiểm thử
• các bản so sánh thay đổi gần đây

Sau đó yêu cầu lập kế hoạch chuyển đổi hoặc đánh giá rủi ro. Tôi vẫn sẽ tránh đưa toàn bộ các tệp được sinh tự động, tệp khóa, thư viện phụ thuộc được chép vào kho mã và sản phẩm biên dịch vào lời nhắc. Ngữ cảnh dài cho phép bạn lười hơn, nhưng không khiến điều đó trở nên khôn ngoan.

Một tập lệnh đóng gói tệp thực tế:

{
  echo "# Repository Snapshot"
  find src tests -type f \
    \( -name "*.py" -o -name "*.ts" -o -name "*.tsx" \) \
    -not -path "*/node_modules/*" \
    -print | sort | while read -r file; do
      echo "\n--- FILE: $file ---"
      sed -n '1,240p' "$file"
    done
} > repo_snapshot.md

Sau đó gửi repo_snapshot.md đến mô hình với một chỉ dẫn có phạm vi hẹp, chẳng hạn như “xác định tập hợp tệp tối thiểu cần thiết để thêm luồng cấp quyền thiết bị OAuth”.

3. Trích xuất chi phí thấp ở quy mô lớn

Vì token đầu vào ở đây có giá thấp, mô hình này có thể là lựa chọn hấp dẫn để trích xuất hàng loạt từ các tài liệu lớn. Điều quan trọng là giới hạn đầu ra:

{
  "contract_terms": [
    {
      "name": "termination_notice_period",
      "value": "30 days",
      "evidence_quote": "Either party may terminate with thirty days written notice."
    }
  ]
}

Đừng yêu cầu “phân tích chi tiết” trừ khi bạn thực sự cần. Token đầu ra chiếm phần lớn chi phí.

Những điểm mạnh tôi kỳ vọng trong thực tế

Dựa trên họ mô hình và đặc điểm triển khai, tôi kỳ vọng Qwen3.6 35B A3B sẽ mạnh nhất ở:

• Tóm tắt ngữ cảnh dài: chuyển đầu vào lớn thành các bản tóm lược có cấu trúc
• Hiểu mã: giải thích mã chưa quen thuộc và tạo các chỉnh sửa cục bộ
• Trích xuất thông tin: đầu ra JSON từ văn bản dài, bán cấu trúc
• Khối lượng công việc đa ngôn ngữ: các mô hình Qwen từ trước đến nay đã hữu ích trong cả những môi trường không chỉ dùng tiếng Anh
• Các chương trình con của tác nhân: phân loại, định tuyến, soạn tham số cho công cụ và nén ngữ cảnh

Tôi sẽ thận trọng hơn với:

• Suy luận chuyên sâu kiểu chứng minh định lý
• Đánh giá sản phẩm trong tình huống mơ hồ
• Diễn giải pháp lý hoặc y khoa có tính hệ trọng
• Các vòng lặp tác nhân tự chủ kéo dài
• Các tác vụ đòi hỏi ghi nhớ hoàn hảo trên hơn 200k token

Cách hiểu phù hợp là: mô hình xử lý ngữ cảnh dài có tính ứng dụng cao, không phải lựa chọn thay thế toàn diện cho các mô hình tiên tiến hàng đầu.

Những điểm cần lưu ý khi viết prompt

Một vài thói quen sẽ hữu ích với loại mô hình này:

• Đặt chỉ dẫn trước dữ liệu.
• Gắn nhãn cho mọi phần chính.
• Yêu cầu trích dẫn bằng chứng khi độ chính xác của thông tin là yếu tố quan trọng.
• Giữ đầu ra ngắn gọn và có kiểu dữ liệu rõ ràng.
• Tránh trộn các tác vụ không liên quan trong một prompt khổng lồ.
• Dùng temperature thấp cho các quy trình trích xuất và vận hành.

Ví dụ, cách này tốt hơn yêu cầu “tóm tắt mọi thứ”:

Return exactly five risks from the design document.

For each risk include:
- risk_name
- severity: low | medium | high
- affected_component
- evidence_quote
- mitigation

If the document does not support a risk, do not include it.

Câu cuối đó rất quan trọng. Nếu thiếu nó, nhiều mô hình sẽ “hoàn thiện mẫu” bằng những rủi ro nghe có vẻ hợp lý.

Hạn chế và những điều chưa rõ

Vẫn còn những chi tiết tôi sẽ xác minh trước khi đưa Qwen3.6 35B A3B vào một khâu then chốt:

• Kiến trúc chính xác và cách hoạt động của các tham số được kích hoạt
• Độ tin cậy khi gọi công cụ, nếu ứng dụng của bạn phụ thuộc vào việc gọi hàm tuân thủ nghiêm ngặt
• Tỷ lệ JSON hợp lệ khi chịu áp lực từ ngữ cảnh dài
• Độ trễ với các prompt có 100k, 200k và gần 262k token
• Hành vi trên bộ đánh giá dành riêng cho lĩnh vực của bạn
• Giới hạn tốc độ phía nhà cung cấp và các đặc tính về tính sẵn sàng

Độ dài ngữ cảnh được xác nhận trong thông tin niêm yết của mô hình, nhưng chất lượng xử lý ngữ cảnh dài thực tế phụ thuộc vào khối lượng công việc. Một mô hình có thể tiếp nhận 262k token nhưng vẫn hoạt động tốt nhất khi bạn cấu trúc prompt cẩn thận.

Quy trình đánh giá tiêu chuẩn của tôi sẽ bao gồm:

1. Needle retrieval from early, middle, and late prompt regions
2. Multi-document contradiction detection
3. JSON schema adherence
4. Long-log incident diagnosis
5. Codebase question answering
6. Cost and latency at p50 / p95 prompt sizes

Đừng chỉ đo hiệu năng bằng các prompt trò chuyện ngắn nếu lý do bạn chọn mô hình này là khả năng xử lý ngữ cảnh dài.

Những điểm thực tiễn cần ghi nhớ

Qwen3.6 35B A3B đáng để thử nghiệm nếu bạn cần một mô hình tiết kiệm chi phí, có thể tiếp nhận các prompt rất lớn và trả về đầu ra ngắn gọn, hữu ích.

• Dùng mô hình này để tổng hợp thông tin từ ngữ cảnh dài, trích xuất, phân tích kho mã và tiền xử lý cho tác nhân.
• Đừng mặc định rằng nó thay thế được Claude Opus 4.8, GPT-5.5 hoặc Gemini 3 trong những tác vụ suy luận khó nhất.
• Hãy xem các chi tiết kiến trúc của “35B A3B” là thông tin đang dần được làm rõ, trừ khi nhà cung cấp của bạn đưa ra một bản mô tả mô hình cụ thể.
• Thiết kế prompt với các phần được gắn nhãn, lược đồ gọn và yêu cầu về bằng chứng.
• Theo dõi độ dài đầu ra: với mức giá được niêm yết, token đầu ra đắt hơn nhiều so với token đầu vào.
• Đánh giá trên các tác vụ ngữ cảnh dài thực tế của bạn, đặc biệt là khả năng truy xuất thông tin, tính hợp lệ của JSON, độ trễ và hành vi khi thất bại.

Trường hợp sử dụng thú vị nhất không phải là yêu cầu Qwen3.6 35B A3B trở thành mô hình thông minh nhất trong hệ thống. Đó là dùng nó làm mô hình có thể đọc mọi thứ với chi phí hợp lý, sắp xếp thông tin lộn xộn và chuyển phần khó sang bước tiếp theo phù hợp.