JevでComputer Useを高速化:LLMの記憶とJevによる操作実行
LLMが記憶とコンテキストを保持し、agent-desktopでスナップショットを取得してJevに送信、Jevが適切な要素を選んで操作を実行し、Computer Useを高速化。Cursor対応、ヘッドレス運用も可能。
JevはローカルのCoreMLモデルで画面上のボタンやUI要素を分割し、オンデバイスOCRでラベルを読み取ることで、スクリーンショットやLLMなしにコンピュータ操作を実現します。
Okay so Jev can actually do computer use really well Without any screenshots, or LLMs and no Pixels leave my mac I dont even read the Dom elements A local CoreML model segments every button and UI element on screen. On-device OCR reads the labels. That text is all Jev gets.