Jev가 로봇 내비게이션의 sim2real 격차를 줄임
이 게시물은 Jev가 의미론적 로봇 내비게이션에서 시뮬레이션과 현실 간의 격차를 줄이는 데 도움을 준다고 말합니다.
THE JEV GUIDE · CURATED EDITION
TypeSafe Jev의 출시 소식, 설명, 데모, 커뮤니티 프로젝트를 주제별로 정리했습니다. 모든 항목은 X 원본 게시물로 연결됩니다.
선별 큐레이션 · 전체 수집 아님 · 수동 업데이트
Sponsors
이 제품들이 이 디렉터리를 후원합니다. 내 제품도 올리기
이 게시물은 Jev가 의미론적 로봇 내비게이션에서 시뮬레이션과 현실 간의 격차를 줄이는 데 도움을 준다고 말합니다.
Ben Kolligs는 최근 LLM 출시 3건을 추적했고, 관련 논문 75편 중 Jev 지원 분석을 통해 로봇 시스템, 실험, 데이터 생성에 실제로 모델을 사용한 60편을 식별했습니다. 이는 연구 분석에서 Jev의 실용적 가치를 보여줍니다.
생성 AI Jev와 로보틱스 결합 가능성을 탐구하는 행사로, Liquid AI d1-3B와 OpenAI Decisions API를 직접 시험해 보고 12월 선전 방문에 대해서도 공유합니다.
게시글은 Jev와 같은 의사결정 모델이 판단, 분류, 점수화를 담당하며 직접 이미지를 보지 않는다고 지적합니다. 로봇과 드론에서는 시각 시스템이 먼저 모델에게 장면에 무엇이, 몇 개, 어디에 있는지 알려줘야 한다고 설명합니다.
JEV 의사결정 모델에서 시작해 실제 세계에서 AI의 자율 판단과 적시 알림을 논하며, 구현 시나리오를 위한 스트리밍 비디오 이해 및 시각적 로컬라이제이션 모델인 VLX-Flow와 VLX-Seek를 소개한다.
One card in the feed, every sixteen, on every page of it. $50 a week, cancel any week.
게시물은 JEV가 판단을 담당하지만, 로봇과 드론이 먼저 장면을 정확히 인식하고 대상을 모두 세고 아무것도 없다고 판단한 후에야 JEV가 신뢰할 수 있는 결정을 내릴 수 있다고 주장합니다.
이 게시물은 로봇 내비게이션을 위한 Jev 하니스를 언급하며, TypeSafe Jev 모델의 실제 적용을 나타냅니다.
개발자 Ben C가 TypeSafe AI Jev와 Cloudflare Clairic을 사용해 로봇 제어 하네스를 구축하고 있으며, 예시 프롬프트는 "부엌에 가서 스토브를 찾아"입니다.
ft-lab이 로봇 Microduck의 진행 상황을 공유했습니다. Jev로 물 수 없는 대상을 제외하고, 물 수 있는 물체를 찾아 접근해 무는 일련의 과정을 완성했습니다. 판단은 카메라만 사용하며, 발밑의 물체는 보이지 않아 후진해 찾아야 하는 점도 확인했습니다.
특정 음성 시스템의 자연스러운 대화 느낌을 높이 평가하고, 이를 로봇의 음성 레이어로 사용하며 JEV가 다른 부분을 담당하는 구성을 구상하고 있습니다.
저자는 공개 데이터와 자체 레시피로 훈련한 4B Jev 스타일 판정 모델을 공유하며, RoboPulse, RoboRewardBench, 실제 로봇 롤아웃에서 최대 27B의 멀티모달 Jev 스타일 모델을 능가했다고 밝힙니다. 또한 특정 작업에서는 전문 보상 모델이 여전히 우세하다고 지적합니다.
의사 결정 모델 구축 인프라 JevAny를 오픈소스로 공개한 뒤, 로봇 조작에 특화된 JevAny-Robotics-4B를 미세 조정하여 판단 작업에 사용합니다. Link
Star the project on GitHub to support continued updates and curation.