HSTUとGenerative Recommenders――行動履歴から1.5兆parameterの推薦モデルへ
MetaのHSTU論文を、推薦のsequential transduction化、pointwise attention、Stochastic Length、M-FALCON、公開実験とproduction評価の限界から解説します。
Personal notes since 2020
考えたこと、
つくったもの。
技術や日々の試行錯誤を、あとから読み返せる形で残しています。
Latest
新着記事
DV365――Instagramは7万件の行動履歴をどう推薦に使ったか
MetaのDV365を、Multi-slicing、Funnel Summarization、オフライン埋め込み、15モデルへの展開、精度・鮮度・コストの検証から解説します。
NetflixのGenRec解説――LLMを生成させず推薦rankerとして使う
NetflixのLLM推薦モデルGenRecを、2段階学習、context engineering、catalog-aware ranking head、reward-weighted loss、prefill-only推論、A/B testの結果と限界から解説します。