HybridAgent: AI agent nghĩ thầm trong đầu, chỉ nói ra khi cần hành động

HybridAgent AI agent that thinks in latent space and acts through text

🇬🇧 Read in English

HybridAgent là một AI agent mới từ các nhà nghiên cứu của Stanford University, Together AI, UIUC và Meta. Phần lớn thời gian, nó suy nghĩ bên trong không gian ẩn của model, và chỉ chuyển sang văn bản khi cần gọi công cụ, đưa ra câu trả lời hoặc trình bày lại quá trình làm việc. Bài báo xuất hiện trên arXiv vào tháng 10/2026. Theo số liệu do chính nhóm tác giả công bố, HybridAgent dùng ít hơn 35,5% đến 54,7% token, chạy nhanh hơn 1,8 đến 2,6 lần và rẻ hơn 2,7 đến 3,7 lần so với các agent được đem ra so sánh, trong khi điểm số cao hơn trung bình 10,4%.

HybridAgent, AI agent suy nghĩ trong không gian ẩn và hành động bằng văn bản

Điểm chính

  • Ai làm: Jiaru Zou, James Zou và các đồng nghiệp từ Stanford, Together AI, UIUC và Meta.
  • Khi nào: Bài báo được đăng trên arXiv (2610.18861) vào tháng 10/2026.
  • Là gì: Trong cùng một lượt tạo nội dung, agent chuyển qua lại giữa “chế độ ẩn” (nghĩ thầm bằng các vector ẩn) và “chế độ văn bản” (chữ bình thường và lệnh gọi công cụ).
  • Hiệu quả: Theo bài báo, ít hơn 35,5–54,7% token, suy luận nhanh hơn 1,8–2,6 lần, chi phí thấp hơn 2,7–3,7 lần.
  • Độ chính xác: Cải thiện trung bình 10,4% trên 11 benchmark về toán, khoa học, y khoa, tìm kiếm và các tác vụ agent.
  • Cách tiếp cận: Code có trên GitHub, còn các checkpoint 4B, 8B và 14B có trên Hugging Face. Đây là bản phát hành nghiên cứu, không phải ứng dụng cho người dùng phổ thông.

Xem nhanh: video tóm tắt 30 giây.

HybridAgent là gì?

Hầu hết AI agent hiện nay nghĩ giống hệt cách chúng nói: bằng văn bản. Mỗi bước suy luận đều được viết ra từng token (token là một mẩu nhỏ của từ) trước khi agent hành động. Cách này dễ đọc, nhưng chậm và tốn kém.

Một hướng nghiên cứu khác, gọi là latent reasoning (suy luận ẩn), cho phép model nghĩ thẳng trong không gian số bên trong của nó, tức các “hidden state” mà model tính ra trước khi chọn từ. Cách này nhanh hơn, nhưng các model suy luận ẩn gặp hai vấn đề. Chúng không gọi được công cụ như công cụ tìm kiếm hay Python, và không ai đọc được chúng đang nghĩ gì.

Agent mới này muốn lấy cái hay của cả hai. Các tác giả mô tả đây là agent “nghĩ trong không gian ẩn, hành động qua văn bản”. Nó nghĩ thầm khi điều đó hiệu quả, và viết chữ ra khi cần giao tiếp với thế giới bên ngoài.

Agent được xây trên các model Qwen3-Base ở ba cỡ: 4 tỷ, 8 tỷ và 14 tỷ tham số. Trong thử nghiệm, nó dùng hai công cụ: một trình thông dịch Python chạy trong sandbox và một công cụ tìm kiếm trực tuyến.

Làm sao nó chuyển giữa nghĩ thầm và viết chữ?

Đây là phần video không đủ thời gian để nói. Chúng mình giải thích cách chuyển đổi này bằng lời đơn giản.

Chế độ văn bản

Ở chế độ văn bản, agent hoạt động như một LLM bình thường. Nó chọn từ tiếp theo trong bộ từ vựng, từng từ một. Nó có thể viết lệnh gọi công cụ, đọc kết quả công cụ trả về và viết câu trả lời cuối cùng.

Vào chế độ ẩn

Khi model sinh ra một token đặc biệt, <latent>, nó vào chế độ ẩn. Từ lúc đó nó không biến suy nghĩ thành chữ nữa. Thay vào đó, nó lấy hidden state ở lớp cuối rồi đưa thẳng lại làm đầu vào cho bước tiếp theo.

HybridLink: chiếc cầu nối

Đưa nguyên hidden state quay lại không hiệu quả, vì hidden state và word embedding nằm ở hai không gian hơi khác nhau. Vì vậy nhóm thêm HybridLink, một adapter nhỏ biến hidden state thành thứ trông giống một embedding đầu vào bình thường. Nó khá nhẹ: khoảng 10 triệu tham số cho model 4B. Nhờ dùng kết nối residual, nó chỉ cần bù phần chênh lệch giữa hai không gian, không phải học lại từ đầu.

Thoát khỏi chế độ ẩn

Model tiếp tục nghĩ thầm cho đến khi hidden state của nó khớp với dấu hiệu thoát, </latent>. Lúc đó nó quay lại chế độ văn bản. Trong các thử nghiệm, mỗi đoạn suy nghĩ ẩn kéo dài tối thiểu 16 và tối đa 256 bước.

Bộ nhớ làm việc qua nhiều lượt

Agent làm việc theo nhiều lượt: nghĩ, gọi công cụ, đọc kết quả, rồi nghĩ tiếp. Agent mang mọi thứ (văn bản, suy nghĩ ẩn và kết quả công cụ) đi tiếp qua bộ nhớ làm việc của chính nó, một bộ nhớ đệm lưu trạng thái bên trong của model. Các tác giả cho biết cách này giữ trọn ngữ cảnh giữa các lượt, không mất mát.

Có đọc được những suy nghĩ thầm không?

Phát hiện bất ngờ nhất: suy nghĩ ẩn không phải một chiếc hộp đen. Mỗi bước nghĩ ẩn có thể được ghép với từ gần nhất, tạo ra “pseudo-text” mà con người đọc được. Nhóm cho biết sau khi model được huấn luyện đầy đủ, những bản đọc này rõ ràng và liên quan đến câu hỏi. Điều này quan trọng với an toàn và gỡ lỗi, vì bạn có thể kiểm tra agent đã nghĩ gì.

Nó được huấn luyện thế nào?

Việc huấn luyện gồm hai giai đoạn:

  1. HybridSFT (supervised fine-tuning) dạy model gốc phối hợp với HybridLink, dùng 54.000 ví dụ hybrid đã được chọn lọc. Một bước gọi là self-conditioned training cho phép model học từ các suy nghĩ ẩn do chính HybridLink của nó tạo ra.
  2. HybridRL (reinforcement learning) dạy agent biết khi nào nên nghĩ thầm và khi nào nên hành động bằng văn bản, dùng 12.000 ví dụ suy luận sâu và 1.000 ví dụ tìm kiếm agent.

Trong giai đoạn reinforcement learning, model 14B dần chuyển nhiều suy nghĩ sang chế độ ẩn hơn, đồng thời dùng công cụ tốt hơn.

Số liệu benchmark và hiệu quả của HybridAgent

Agent được kiểm tra trên 11 benchmark:

Lĩnh vựcBenchmark
ToánAIME 25, AIME 26, MATH500
Kiến thức và khoa họcGPQA-Diamond, MedQA, MuSiQue
Suy luận kiểu agentGAIA, Humanity’s Last Exam, WebWalker, SealQA và DeepSearchQA

Nó được so sánh với các cách huấn luyện agent bằng văn bản (SFT, GRPO, ARPO), các phương pháp suy luận ẩn (SoftThinking, Coconut, SoftCoT), các agent hàng đầu (GPT-5.6-Luna, Kimi-K3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, QwQ-32B) và các framework agent (ReAct, Search-o1, WebThinker).

Đây là các con số nổi bật, theo số liệu do chính các tác giả công bố:

Chỉ sốKết quả được công bố
Mức cải thiện trung bình+10.4%
Mức hơn so với baseline agent mạnh nhất (14B, tác vụ agent)+17,4% trung bình
Mức hơn so với baseline văn bản/ẩn ở giai đoạn SFT+18.5%
Giảm token35,5% đến 54,7%
Tốc độ suy luậnNhanh hơn 1,8 đến 2,6 lần
Chi phí tính toánThấp hơn 2,7 đến 3,7 lần
Token văn bản so với baseline dùng văn bảnÍt hơn 2,7 lần

Nhóm cũng kiểm tra xem những suy nghĩ thầm có thật sự quan trọng không. Khi họ thay suy nghĩ ẩn bằng suy nghĩ của một bài toán khác hoặc bằng token ngẫu nhiên trên MATH500, độ chính xác giảm khoảng 45% đến 51%. Nói cách khác, agent thật sự dựa vào những gì nó nghĩ ở chế độ ẩn.

Làm sao để dùng thử HybridAgent?

Dự án là một bản phát hành nghiên cứu mở:

  • Code: kho GitHub togethercomputer/HybridAgent có engine sinh nội dung hybrid, các công cụ Python và tìm kiếm, cả hai giai đoạn huấn luyện, suy luận hàng loạt và một trình kiểm tra chế độ ẩn hiển thị suy nghĩ dưới dạng pseudo-text.
  • Model: các checkpoint nằm trong bộ sưu tập HybridAgent trên Hugging Face. Mỗi thư mục model gồm model gốc cùng trọng số HybridLink.
  • Phần cứng: kho code khuyến nghị 8 hoặc 16 GPU cho HybridSFT và 32 GPU cho HybridRL. Các thử nghiệm trong bài báo chạy trên GPU H100.

Không có ứng dụng chat hay sản phẩm được lưu trữ sẵn. Đây là dành cho nhà nghiên cứu và lập trình viên quen tự chạy model. Các công cụ phục vụ model phổ biến như vLLM không hỗ trợ kiểu sinh nội dung hybrid này ngay từ đầu, nên nhóm đã mở rộng hạ tầng của riêng mình.

Nếu bạn muốn xây agent có công cụ dùng được ngay hôm nay, hãy xem hướng dẫn của chúng mình về Gemini Agent và Claude Code subagents. Còn để chạy model mở trên máy, mẫu prompt cho Ollama là điểm khởi đầu tốt.

Suy luận ẩn có phải bước tiến lớn không?

Điểm mạnh

  • Agent rẻ hơn và nhanh hơn mà không phải bỏ việc dùng công cụ.
  • Suy nghĩ ẩn có thể đọc dưới dạng pseudo-text, giúp việc kiểm tra dễ hơn.
  • Code và model đều mở, nên người khác có thể tự kiểm chứng.

Hạn chế

  • Mọi con số đều đến từ bài báo của chính các tác giả. Vẫn cần các nhóm độc lập tái hiện lại.
  • Các model được thử là 4B đến 14B. Chúng ta chưa biết cách này mở rộng thế nào với các model lớn nhất.
  • Huấn luyện cần cụm nhiều GPU, và các công cụ phục vụ model thông thường chưa hỗ trợ.
  • Pseudo-text chỉ là phép xấp xỉ theo từ gần nhất, không phải bản ghi đầy đủ những gì model nghĩ.

Ý tưởng lớn rất đơn giản: agent không cần “nói ra” mọi suy nghĩ. Nếu điều này đứng vững, các agent tương lai có thể chạy rẻ hơn mà vẫn kiểm tra được.

Câu hỏi thường gặp về HybridAgent

HybridAgent là gì?
HybridAgent là một LLM agent suy nghĩ trong không gian ẩn của model và chuyển sang văn bản để gọi công cụ và trả lời. Nó do các nhà nghiên cứu từ Stanford, Together AI, UIUC và Meta xây dựng.

HybridAgent rẻ hơn bao nhiêu?
Theo bài báo, nó giảm chi phí tính toán 2,7 đến 3,7 lần và dùng ít hơn 35,5% đến 54,7% token so với các baseline được đem ra thử nghiệm.

Tôi có đọc được HybridAgent đang nghĩ gì không?
Có, ở mức xấp xỉ. Mỗi suy nghĩ ẩn có thể được hiển thị dưới dạng pseudo-text dễ đọc bằng cách ghép với từ gần nhất trong bộ từ vựng.

HybridAgent có phải mã nguồn mở không?
Code có trên GitHub và các checkpoint 4B, 8B, 14B có trên Hugging Face.

HybridLink là gì?
HybridLink là một adapter nhỏ, khoảng 10 triệu tham số cho model 4B, biến hidden state của model trở lại thành đầu vào để nó tiếp tục suy nghĩ.

Nguồn tham khảo

Cập nhật lần cuối: 30/10/2026

Trạm Công Nghệ AI
Logo
Compare items
  • Total (0)
Compare
0