Slice Finderで平均指標に隠れたモデルの失敗を見つける
検証データから解釈可能で問題の大きい部分集合を自動探索するSlice Finderを、統計検定、探索戦略、実験結果、実装上の注意点まで解説します。
Personal notes since 2020
考えたこと、
つくったもの。
技術や日々の試行錯誤を、あとから読み返せる形で残しています。
Latest
新着記事
低カバレッジA/Bテストの効果をどう戻すか：Trigger分析と希釈推定
低カバレッジ機能のA/Bテストで、trigger分析の効果を全体効果へ戻すときに比率指標の単純な希釈式が壊れる理由と、分散削減として統一する方法を解説します。
追加データはいくらまで買えるか：予測性能を経済価値へ変換する方法
追加データによるprecision、recall、AUCの変化を金額へ換算する方法を、広告と寄付募集の事例、数式、導入手順、限界から解説します。