「Just Ask Jev」解説：AIの失敗を見抜く確率と、判定に使える確率は違う
Jevを44のベンチマークで評価したRLCDAlignBenchを解説。質問設計、文脈、確率の較正、ラベル監査を通じて、AUROC 0.886と約63分の1の評価コストが示す範囲を整理します。
Tag
#LLM-as-a-Judge
2件の記事
Netflixに学ぶLLM-as-a-JudgeのLifecycle：RARTと本番運用
Netflixの推薦理由文を評価するLLM judgeの研究を、課題、RART、検証結果、限界、実装手順の順に解説します。