LLMで取引モデルのembeddingを初期化する:merchantの意味を推論コストを増やさず取り込む
Visa Researchの論文をもとに、MCC・merchant・所在地の説明文からLLMのhidden stateを抽出し、取引系列モデルを初期化する方法と、10億件の取引での評価、改善の偏り、再現上の制約を解説します。
Personal notes since 2020
技術や日々の試行錯誤を、あとから読み返せる形で残しています。
Latest
Visa Researchの論文をもとに、MCC・merchant・所在地の説明文からLLMのhidden stateを抽出し、取引系列モデルを初期化する方法と、10億件の取引での評価、改善の偏り、再現上の制約を解説します。
中国A株企業の信用リスクを対象に、SFTとGRPO、Brier score、pairwise ranking、根拠検証を組み合わせたCreditR1の設計と評価結果、限界を解説します。
長い銀行取引履歴をLLMへ直接入力せず、統計要約から生成した文章と取引系列を対照学習でそろえるLATTEを、精度、推論速度、再現性から解説します。