Playwright MCP của Microsoft: bỏ agent nhìn màn hình, chuyển sang Accessibility Tree
Vì sao cách AI điều khiển trình duyệt bằng màn hình có vấn đề?
Trong một thời gian dài, cách phổ biến để cho AI agent điều khiển trình duyệt web là dựa vào các mô hình thị giác. Cách làm khá đơn giản: chụp ảnh màn hình trình duyệt, gửi ảnh đó cho một LLM đa phương thức, để AI tính tọa độ pixel của một nút bấm, rồi phát lệnh click.
Trên thực tế, cách dùng hình ảnh này gây ra ba rắc rối lớn:
- Lãng phí token cực lớn: Mỗi lượt đều tải lên ảnh chụp màn hình độ phân giải cao sẽ đốt ngân sách token rất nhanh.
- Lệch tọa độ và click trượt: Giao diện xê dịch nhẹ, bố cục responsive thay đổi hoặc render chậm đều làm AI “ảo giác” về thị giác, dẫn đến click trượt và vòng lặp thực thi bị hỏng.
- Độ trễ cao: Việc mã hóa, truyền và xử lý dữ liệu ảnh khiến mỗi bước chậm đi thấy rõ.
Playwright MCP ra đời: lợi thế của Accessibility Tree
Máy chủ playwright-mcp chính thức của Microsoft thay đổi cách tiếp cận này. Xây dựng trên nền framework tự động hóa trình duyệt Playwright đã được kiểm chứng, nó đưa các điều khiển trình duyệt trực tiếp cho AI agent thông qua Model Context Protocol (MCP).
Thay vì dựa vào ảnh chụp màn hình, Playwright MCP cho phép AI đọc trang web qua Accessibility Tree—chính là cách biểu diễn DOM có cấu trúc mà trình đọc màn hình dùng cho người khiếm thị. Thay vì đưa cho mô hình một bức ảnh căn phòng và bắt nó tìm công tắc đèn, bạn đưa cho nó một bản kê có cấu trúc, máy đọc được, của mọi vật có thể tương tác trong căn phòng đó.
Các lợi ích kỹ thuật chính gồm:
- Selector xác định: Tương tác với các phần tử giao diện có tên giúp loại bỏ hoàn toàn việc ảo giác tọa độ.
- Tiết kiệm token đáng kể: Cây DOM dạng văn bản chỉ tốn một phần nhỏ số token so với dữ liệu ảnh thô.
- Không cần mô hình thị giác: Các mô hình thiên về văn bản thông thường cũng có thể chạy tự động hóa web phức tạp mà không cần khả năng đa phương thức.
Kiến trúc: phiên có trạng thái so với tác vụ một lần
Tài liệu của Microsoft nhấn mạnh một khác biệt thiết kế quan trọng mà lập trình viên hay bỏ qua:
- Playwright MCP (vòng lặp agent có trạng thái): Phù hợp nhất cho các workflow agent tương tác, chạy lâu, cần giữ trạng thái trình duyệt, điền form nhiều bước, tự động kiểm thử có khả năng tự sửa, hoặc điều hướng các ứng dụng single-page phức tạp.
- Playwright CLI + Skills (sinh code không trạng thái): Được khuyên dùng nếu bạn chạy một coding agent chuyên dụng. Sinh script tự động hóa qua CLI tốn ít token hơn đáng kể so với việc giữ một phiên MCP mở khi bạn chỉ cần sinh script một lần.
Rủi ro bảo mật và chiếm đoạt phiên
Chạy Playwright MCP với hồ sơ người dùng có sẵn hoặc thư mục trình duyệt dùng chung (user_data_dir) rất tiện: agent của bạn thừa hưởng cookie phiên đang đăng nhập, vượt qua xác thực đa yếu tố (MFA) và các bức tường đăng nhập một cách liền mạch.
Tuy nhiên, Playwright MCP không phải là sandbox bảo mật. Đưa một hồ sơ trình duyệt đã đăng nhập tiếp xúc với nội dung web không đáng tin sẽ mở ra các hướng tấn công Indirect Prompt Injection. Một trang web độc hại có thể lừa agent thực hiện hành động nhân danh phiên đăng nhập của bạn, chẳng hạn xuất các token nhạy cảm hoặc sửa cài đặt tài khoản. Hãy luôn tách riêng hồ sơ của agent khi trỏ tự động hóa trình duyệt tới các địa chỉ không đáng tin.
Mẫu prompt thực tế cho agent điều khiển trình duyệt
Dưới đây là các prompt sẵn sàng cho production, thiết kế cho AI agent hoạt động qua Playwright MCP hoặc các framework điều khiển trình duyệt tương tự.
1. Kiểm tra DOM và nhắm đúng phần tử
Dùng prompt này để buộc agent truy vấn lớp accessibility trước khi thực hiện bất kỳ thao tác click hay tương tác form nào trên trình duyệt.
Task: Locate and interact with the primary login form button.
Instructions:
1. Query the current page's Accessibility Tree to identify all interactive nodes.
2. Find the element with the explicit role "button" or label matching "Sign In" or "Log In".
3. Verify the target element's state is enabled before issuing the click action.
4. Output the exact node ID and target action prior to execution.2. Workflow kiểm thử tự động có khả năng tự sửa
Dùng prompt này khi một bước điều hướng web tự động gặp selector bị hỏng hoặc một hộp thoại modal bất ngờ.
Task: Execute checkout flow and recover automatically if selectors fail.
Instructions:
1. Navigate to the target page and attempt to proceed through the checkout step.
2. If the expected element is missing, inspect the updated DOM tree for structural changes or active modal overlays.
3. If a cookie consent or promo popup obstructs the workflow, locate its close or accept button via the accessibility tree and dismiss it.
4. Re-evaluate the page tree and resume the main checkout sequence without resetting the browser state.Bắt đầu cùng Trạm Công Nghệ AI
Tích hợp playwright-mcp vào các công cụ như Claude Desktop, Cursor hoặc VS Code chỉ cần vài dòng cấu hình. Bằng cách rời bỏ các vòng lặp thị giác dựa trên màn hình, bạn xây dựng được những browser agent nhanh hơn, rẻ hơn rất nhiều khi chạy và bền bỉ hơn hẳn.
Muốn xem đầy đủ script cài đặt, hướng dẫn triển khai Docker và các workflow agent nâng cao, hãy khám phá kho công nghệ đầy đủ tại tramcongngheai.com.