Jev 在邮件分类基准测试中不敌 Gemini,但仍考虑投产
作者在 1,565 封德语和英语工业供应商商务邮件的 10 类分类基准上测试了 Jev,发现其准确率不及 Gemini,但更关注错误出现的模式,并仍有意将其投入生产。
TypeSafe AI 的 Jev 在 MonidHQ 上仅用九次调用就产出了 GitLab 的完整简报,涵盖 2600 名员工按部门分布、348 项技术、7 轮融资共 4.32 亿美元来自 23 位投资者,以及过去 30 天的 10 条新闻,成本仅 0.24 美元。
a full brief on GitLab in nine calls: 2,600 people by department. 348 technologies. $432M across 7 rounds from 23 investors. 10 news items from the last 30 days. $0.24. this is what @typesafeai's Jev does on @MonidHQ while you're still logging into the data tool.