JevでComputer Useを高速化:LLMの記憶とJevによる操作実行
LLMが記憶とコンテキストを保持し、agent-desktopでスナップショットを取得してJevに送信、Jevが適切な要素を選んで操作を実行し、Computer Useを高速化。Cursor対応、ヘッドレス運用も可能。
著者はbrowser useとJevが実際のGUI自動化ではまだ玩具的だと述べ、2024年に公開したMidsceneの初期DOMベース実装に言及している。
browser use + Jev 在我看来也就是个玩具,大部分人无脑吹 Jev 用来做 GUI automation 的都是没有真正用它在真实场景下跑过多少 GUI automation 任务的。 24 年 gpt 4o 刚出来没多久我们就开源了 https://github.com/web-infra-dev/midscene… ,早期的版本就是基于 dom