フリーランス・独立
発表：2026年11月11日 ／ 情報確認：2026年11月12日
NEWS BRIEF
このニュースの要点は3つ
- 日本語の問い合わせ150件を担当部署へ振り分ける作業で比較した。
- Jevの正答率は94.0%。比較した軽量生成AI3種は91.3〜94.7%だった。
- 3回の試行で回答が変わらなかった割合はJev96.7%、比較対象73.3〜86.7%。
ニュースの要約
WEELは11月11日、判断特化AI「Jev」などを日本語の業務で検証したレポートの無料公開を発表しました。問い合わせを適切な担当部署へ送る作業を例に、正しく判断できるかだけでなく、同じ入力に対して判断が変わりにくいかも調べています。
検証には日本語の問い合わせ150件を使用しました。Jevの正答率は94.0%で、比較した軽量生成AI3種の91.3〜94.7%と近い結果でした。一方、同じ問い合わせを3回ずつ送ったときに回答が一致した割合は、Jevが96.7%、比較対象が73.3〜86.7%となりました。
「回答が一致する」と「回答が正しい」は別の指標です。一貫した回答でも誤っている可能性はあります。今回の結果を、あらゆる文章処理や判断業務でJevが優れるという意味に広げることはできません。対象は同社が設定した問い合わせの振り分け業務であり、数字もWEELによる検証結果として読む必要があります。
影響が予想される方
- 問い合わせの分類や振り分けを効率化したい事業者
- 生成AIを業務に使う際の比較基準を知りたい人
編集部の見立て
今後予想される影響
編集部の見立てでは、AIを選ぶ際に一度うまく動いた例だけでは判断しにくい点に注意が必要です。同じ内容を複数回処理した結果や、判断に迷う問い合わせの扱いを確かめると、日常業務で必要な確認量が見えてきます。実際の問い合わせを試験に使う場合は個人情報や機密情報を取り除き、データの取扱条件も確認しましょう。最終判断を人に戻す条件を先に決めることが出発点になります。
確認しておきたいこと
- 自分の業務に近い入力例で、正答率と回答の安定性を分けて比較する。
- 誤分類が起きた場合の影響と、人が再確認する対象を整理する。
- 速度や料金だけでなく、確認・修正時間も評価に含める。
確認時点・補足
特定条件と150件の問い合わせを使った企業検証であり、一般的な性能順位や誤回答ゼロを示すものではありません。
＼ 最新情報をチェック ／
