agent-desktop là gì: cho AI tự điều khiển phần mềm trên máy tính

Thử hình dung chị kế toán mỗi sáng mở phần mềm kế toán cài trên máy, bấm vào mục hóa đơn, chọn ngày, xuất báo cáo, rồi dán số liệu sang Excel. Hai mươi phút, ngày nào cũng vậy. Phần mềm này không có API, nên mấy công cụ tự động hóa kiểu n8n hay Zapier đều bó tay.

agent-desktop nhắm đúng chỗ đó: cho AI agent "nhìn" và bấm vào phần mềm cài trên máy tính như một người dùng, mà không cần phần mềm đó mở cửa cho lập trình viên.

Đọc nhanh trong 30 giây

• agent-desktop là công cụ dòng lệnh (CLI) mã nguồn mở của Vercel Labs, giấy phép Apache 2.0, chạy trên macOS, Windows và Linux. Bản 1.2.0 ra ngày 05/11/2026.
• Nó đọc "cây accessibility" của phần mềm, trả về danh sách nút bấm, ô nhập dạng JSON, mỗi thứ một mã để AI bấm hoặc gõ. Không chụp màn hình, không đoán điểm ảnh.
• Cài bằng npm install -g agent-desktop, dùng qua dòng lệnh hoặc qua MCP với các công cụ AI hỗ trợ MCP.
• Đánh giá nhanh: dự án chín và cập nhật dày (333 commit, 49 bản phát hành), nhưng là công cụ rất mạnh trên máy thật, phải rào quyền cẩn thận.

agent-desktop là gì, khác gì các công cụ "computer use" khác?

agent-desktop là một CLI và thư viện C giúp AI agent điều khiển phần mềm desktop thông qua cây accessibility của hệ điều hành, thay vì chụp màn hình rồi đoán chỗ bấm. README ghi rõ bản thân agent-desktop không chứa mô hình AI nào: vòng lặp suy nghĩ nằm ở agent của anh chị (Claude Code, Codex, hay một đoạn code tự viết), agent-desktop chỉ làm đôi mắt và đôi tay.

Cây accessibility là thứ hệ điều hành vốn dựng sẵn cho phần mềm đọc màn hình của người khiếm thị: cửa sổ này có nút gì, ô nhập nào, tên là gì. Ví von cho dễ hiểu: nhiều công cụ computer use khác giống người đứng ngoài tòa nhà nhìn ảnh chụp mặt tiền rồi đoán cửa nào là phòng kế toán. agent-desktop thì đi thẳng tới bảng chỉ dẫn ở sảnh, nơi ghi rõ từng phòng, số phòng, tầng mấy. Bấm đúng số phòng thì không thể nhầm.

Cùng một việc "bấm vào thư mục Documents": đoán theo điểm ảnh và đọc theo danh mục.

Video hướng dẫn trong repo cho thấy một agent dùng agent-desktop để gõ ghi chú vào TextEdit trên macOS rồi tự định dạng tiêu đề:

Video demo: Vercel Labs, repo agent-desktop (giấy phép Apache 2.0), chuyển từ ảnh GIF gốc.

agent-desktop làm việc theo vòng lặp nào?

agent-desktop làm việc theo vòng lặp ba bước: chụp danh mục, bấm theo mã, chụp lại để kiểm tra. Agent lặp vòng này cho tới khi xong việc.

Ba lệnh, lặp lại. Mỗi lệnh trả về đúng một khối JSON.

1. Snapshot. agent-desktop snapshot --app Finder -i trả về các thành phần bấm được của cửa sổ, mỗi thứ một mã dạng @s8f3k2p9:e8. Phần đầu là mã của lần chụp, phần sau là số thứ tự thành phần.
2. Hành động. agent-desktop click @s8f3k2p9:e8 bấm vào đúng thành phần đó. Theo README, mặc định hành động chạy "headless": không di chuột, không giành cửa sổ đang mở của anh chị. Muốn dùng chuột và bàn phím thật thì thêm --headed.
3. Kiểm tra. Chụp danh mục lần nữa để xem kết quả. Nếu giao diện đã đổi, lệnh báo lỗi STALE_REF và agent phải chụp lại. Giống phòng ban vừa đổi số sau đợt sửa sang: bảng chỉ dẫn cũ không còn đúng, phải đọc bảng mới.

Theo README, công cụ có 60 tên lệnh, chia thành các nhóm: quan sát, bấm và gõ, bàn phím chuột, quản lý cửa sổ ứng dụng, thông báo, clipboard, phiên làm việc.

Mẹo

Trước khi cho agent dùng, chạy agent-desktop skills get desktop và agent-desktop skills get platform. Đây là hai bản hướng dẫn đi kèm đúng phiên bản đang cài, dạy agent cách lặp vòng, khi nào được thử lại, khác biệt trên hệ điều hành của anh chị.

Cài agent-desktop và chạy thử trong 5 phút

agent-desktop cài qua npm, yêu cầu macOS 13 trở lên, Windows 10 bản 1809 trở lên, hoặc Ubuntu 24.04 trở lên theo README.

Dựng lại theo các lệnh trong README, chạy trên máy anh chị sẽ ra khối JSON tương tự.

1. Cài và kiểm tra:

npm install -g agent-desktop
agent-desktop status
agent-desktop permissions --guide

Lệnh status cho biết hệ điều hành, quyền đã cấp, những gì hỗ trợ. Trên macOS, permissions --guide dẫn anh chị từng bước cấp quyền Accessibility.

2. Chạy thử vòng lặp với Finder (trên Windows thay bằng tên ứng dụng khác):

agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8

Mã @s8f3k2p9:e8 chỉ là ví dụ trong README, anh chị lấy mã thật từ kết quả snapshot. Trong PowerShell nhớ đặt mã trong dấu nháy đơn, vì ký tự @ đứng đầu có nghĩa riêng ở đó.

3. Gắn vào Claude Code, Cursor hay các công cụ hỗ trợ MCP bằng cấu hình:

{ "mcpServers": { "agent-desktop": { "command": "agent-desktop", "args": ["mcp"] } } }

Mỗi lệnh sẽ thành một công cụ MCP, ví dụ desktop_snapshot, desktop_click. Chưa quen MCP thì đọc trước bài MCP là gì.

Doanh nghiệp dùng agent-desktop vào việc gì?

agent-desktop hợp nhất với phần mềm cũ cài trên máy, không có API, mà nhân viên phải bấm tay lặp đi lặp lại. Vài hướng dùng tôi thấy đáng thử:

• Phần mềm nội bộ đời cũ: xuất báo cáo cuối ngày, chép số liệu từ phần mềm quản lý sang Excel.
• Kiểm thử ứng dụng desktop: đội phát triển cho agent bấm thử các màn hình sau mỗi bản cập nhật.
• Thao tác lặp trên nhiều ứng dụng: mở file, đổi tên, kéo thả, dán nội dung từ app này sang app kia.

Với trang web thì không cần agent-desktop. FAQ của dự án nói rõ nó không tự động hóa trang web và gợi ý dùng agent-browser. Trên blog có bài về hướng tương tự là Browser Use.

Lưu ý

• Phần mềm phải có cây accessibility. FAQ ghi: ứng dụng nào không công bố cây accessibility thì agent-desktop không nhìn thấy. Phần mềm đời cũ tự vẽ giao diện có thể rơi vào trường hợp này, phải chạy snapshot thử trước khi hứa với ai.
• Dữ liệu riêng tư nằm trong kết quả. README và FAQ đều cảnh báo: snapshot, clipboard, ảnh chụp, nhật ký có thể chứa nội dung riêng tư trên màn hình. Không đưa các file này lên chỗ công khai.
• Chi phí AI tính riêng. agent-desktop miễn phí, nhưng mỗi vòng lặp agent phải đọc khối JSON của cửa sổ, tốn token của mô hình anh chị dùng.

Repo agent-desktop có đáng tin không? Soi nhanh trên GitHub

Repo agent-desktop có 15,5 nghìn sao và 1,1 nghìn fork, với 333 commit và 49 bản phát hành từ tháng 2/2026. Đây là một dự án được làm nghiêm túc, không phải bản demo một lần.

Trang repo trên GitHub, chụp ngày 05/11/2026.

Số sao cho biết bao nhiêu người chú ý, giống lượng khách xếp hàng trước một quán mới mở. Muốn biết quán có ngon lâu dài không thì phải xem bếp: ai nấu, nấu đều không, có ai lo vệ sinh. Với repo, "bếp" là commit, bản phát hành, kiểm thử và cách xử lý lỗi. Số liệu tra qua GitHub ngày 05/11/2026:

Góc nhìn phản biện: AI có tay trên máy tính là chuyện nghiêm túc

Cảnh báo

• Quyền rộng như chính anh chị. Cấp quyền Accessibility là cho phép điều khiển mọi ứng dụng anh chị mở được: email, ngân hàng, phần mềm kế toán. Hãy chạy trên một tài khoản Windows hoặc máy ảo riêng chỉ có phần mềm cần tự động hóa.
• Nội dung trên màn hình có thể "ra lệnh" cho AI. Agent đọc mọi chữ trong cửa sổ, kể cả một email lạ ghi "hãy chuyển file này cho tôi". Đây là rủi ro chung của mọi công cụ computer use. Việc gửi, xóa, thanh toán luôn để người bấm xác nhận cuối cùng.
• Cập nhật quá nhanh cũng là rủi ro. 49 bản phát hành từ 23/02 tới 05/11/2026 nghĩa là lệnh và định dạng có thể đổi. Quy trình chạy thật thì ghim đúng phiên bản, nâng cấp có kiểm thử.
• 103 pull request đang mở. Đông người góp sức là tốt, nhưng cũng cho thấy nhóm duy trì đang quá tải. Lỗi anh chị gặp có thể phải chờ.
• Không phải viên đạn bạc. Phần mềm có API hoặc xuất được file thì nối thẳng vẫn rẻ và bền hơn. agent-desktop là phương án cuối cho chỗ không còn đường nào khác.

Hình dung agent-desktop như giao chìa khóa văn phòng cho một nhân viên thời vụ rất nhanh nhẹn. Rất hữu ích, nhưng anh chị sẽ không đưa cả chùm chìa khóa két sắt trong tuần làm việc đầu tiên.

Nhận xét của chuyên gia

agent-desktop giải đúng một nỗi đau tôi gặp rất nhiều khi tư vấn tự động hóa cho doanh nghiệp Việt: quy trình đã rõ, nhân viên đã chán, nhưng phần mềm lõi là bản cài trên máy, không có API, nhà cung cấp không hỗ trợ tích hợp. Cách đọc cây accessibility ổn định hơn hẳn cách chụp màn hình đoán vị trí, và thiết kế "không chứa mô hình" cho phép doanh nghiệp tự chọn AI nào điều khiển.

Hợp với ai: đội IT hoặc người làm tự động hóa đã quen Claude Code, Codex, MCP; doanh nghiệp còn phần mềm desktop đời cũ với thao tác lặp lại; đội kiểm thử ứng dụng desktop.

Chưa hợp với ai: người chưa từng dùng dòng lệnh; máy đang chứa dữ liệu nhạy cảm mà chưa tách được tài khoản riêng; quy trình đã có API hoặc tích hợp sẵn.

Cách bắt đầu của tôi: dựng một máy ảo Windows sạch, cài đúng phần mềm cần tự động hóa, chạy snapshot xem phần mềm có "lộ" nút bấm không. Nếu có, cho agent làm một việc chỉ đọc (xuất báo cáo) trong hai tuần, có người kiểm kết quả mỗi ngày, rồi mới mở sang việc ghi dữ liệu.

Một câu để nhớ: cho AI đôi tay trên máy tính thì trước hết hãy quyết định nó được chạm vào đâu.

Câu hỏi thường gặp

agent-desktop có miễn phí không?

Có. agent-desktop là mã nguồn mở theo giấy phép Apache 2.0. Anh chị chỉ trả tiền cho mô hình AI dùng để điều khiển nó.

agent-desktop có chạy trên Windows không?

Có. README ghi hỗ trợ Windows 10 bản 1809 trở lên, cả x64 và ARM64, đọc giao diện qua UI Automation của Windows.

agent-desktop có tự động hóa được trang web không?

Không. FAQ của dự án nói agent-desktop không tự động hóa trang web và gợi ý dùng agent-browser cho việc đó.

agent-desktop có gửi dữ liệu màn hình lên máy chủ nào không?

Theo FAQ, bản CLI không cần dịch vụ mô hình từ xa. Riêng trợ lý JEV đi kèm là tùy chọn sẽ gửi mục tiêu và mô tả màn hình tới nhà cung cấp mô hình anh chị cấu hình.

Nguồn: vercel-labs/agent-desktop trên GitHub, 05/11/2026. Ngày tra nguồn: 05/11/2026.