3.llm_rec_summary

概述

大模型=大语言模型或者多模态大模型

• 引入大模型的模型结构

  • transformer结构的变种：tokenizer/位置编码/attention/ffn/moe/激活函数/norm等

  • loss：召回+排序loss

  • 生成式推荐：item粒度或sid粒度

• 引入大模型的世界知识

  • item侧：跨模态内容理解、sid生成/映射

  • user侧：行为摘要、意图推理、embedding生成

• 训练范式的创新

  • 预训练+sft+rl的流程：ExFM的蒸馏思路/搜广推的reward定义

  • 高效训练：LoRA、model merge（solar/sphinx等）等

  • 联合训练：大模型+搜广推模型联合训练

• 推理范式的创新

  • 缓存：kvcache/pd分离等

  • 解码加速：beamsearch/speculative decoding/multi-token prediction等

  • 线上链路覆盖：召/粗/精/混

• 探索性方向与未来趋势

  • 多智能体协同推荐

  • reasoning与链式思维的能力引入

  • 工具调用与RAG能力

  • 全模态的生成与沉浸式推荐

引入大模型的模型结构

transformer结构的变种

tokenizer/位置编码/attention/ffn/moe/激活函数/norm等

loss

召回+排序loss

生成式推荐

item粒度或sid粒度

引入大模型的世界知识

item侧

跨模态内容理解、sid生成/映射

user侧

行为摘要、意图推理、embedding生成

训练范式的创新

预训练+sft+rl的流程

ExFM的蒸馏思路/搜广推的reward定义

高效训练

LoRA、model merge（solar/sphinx等）等

联合训练

大模型+搜广推模型联合训练

推理范式的创新

缓存

kvcache/pd分离等

解码加速

beamsearch/speculative decoding/multi-token prediction等

线上链路覆盖

召/粗/精/混

探索性方向与未来趋势

多智能体协同推荐

reasoning与链式思维的能力引入

工具调用与RAG能力

全模态的生成与沉浸式推荐