#Transformer

xAIによりXのレコメンデーションエンジンが一新され、オープンソースとして公開されました。新型アーキテクチャ「Phoenix (xrex)」では、FlashAttention-4やCuTe DSLによる可変長アテンション、シーケンスパッキングを用いた本格的なTransformerベースのランキングモデルが導入されています。