智喜作者陈俊达、编辑云鹏智喜10月26日报道,生成式人工智能技术正在加速向搜索、推荐和广告领域渗透。昨天,快手在技术馆活动上全面解读了生成技术在快手推荐系统、电商搜索和广告竞价场景中的实践和应用。技术休息室汇聚了来自快手推荐、搜索、广告三个领域(以下简称“搜索推广”)的四位领军人物以及中国人民大学、香港城市大学的学术专家,共同探讨生成框架在搜索推广领域的潜力。快手已将生成技术全面应用到其搜索和推广系统中。在推荐系统方面,快手OneRechas实现了传统判别器的全面转型生成具有推理和思考能力的公式,已部署在各大站点、电商、快发布等场景。短视频推荐分类框架通过端到端的多目标融合和比较学习,实现用户体验的智能自进化。搜索领域的OneSearch采用大规模生成模型取代“粗排序-精排序”的架构,显着提升了CTR、CVR和订单量。在广告竞价过程中,引入生成强化学习,通过 GAVE 和 CBD 范式实现高效、低延迟和空间优化的自动竞价。圆桌会议上,徐军学术教授和赵翔宇副教授认为,生成范式面临挑战的同时,“搜索和推荐从行为预测转向意图理解”的根本性创新正在改变整个行业的技术逻辑。徐Jun指出,“伪范式”的批评是无效的,因为像快手这样的公司已经在真实的商业场景中验证了自己的价值。赵翔宇表示,得益于自回归学习能力和内置的全局知识,大型模型可以处理复杂的运动序列。他补充说,它可以被更准确地理解,并为搜索、推荐和广告建立新的理论基础。 “不能用昨天的标准来衡量今天的模型。”快手任命的大规模建模算法专家王世耀在讨论成本和收益时表示。她认为,只要计算机科学家的成本不断下降,算法利润就会呈指数级增长。重要的不是你能计算什么,而是你是否值得拥有计算能力。快手商业化算法负责人蔡庆鹏强调,虽然大规模模型的基础设施是一次性成本,但收益随着时间的推移而积累。只要投资回报是正的,投资就是值得的。快手表单电商搜索与推荐算法负责人杨一凡进一步强调,这个账其实是可以算清楚的。机器成本下降,算法回报上升。重要的是,技术团队必须有长远的眼光。 “不要简单地削减成本,而是考虑利用新的收入。” 1、快手搜索推广技术探索全面揭示,生成解决方案显现潜力。快手推荐、搜索、广告领域的四位专家分享了快手在相关领域的最新技术进展。 1. OneRec:如何重建推荐系统的智能边界和效率标准?快手大规模推荐模型算法资深专家王世尧认为,大规模模型的出现让推荐系统从传统的传统推荐系统走向了传统的推荐模型。传统识别范式向生成范式转变,突破传统推荐的智能上限。快手在推荐方面的重点探索是OneRec,其演进分为三个阶段。 OneRec V1采用独特的模型,直接生成推荐内容对应的代币,实现端到端的访问。我们首次实现了命令的推荐生成,打破了传统的多级判别结构。 OneRec V2优化了编码器和解码器端计算能力的不均匀分布,提出了Lazy Decoder Only架构,并使用强化学习,最终显着提高了计算效率和可扩展性。最新的OneRec Think将用户行为日志视为与语言模型一致的新模态,因此推荐系统具有推理和思考能力,可以解释用户偏好并生成更多信息富有洞察力的建议。目前,OneRec已在快手主站、快手版、电商等多个场景部署,业务提升显着。王世耀表示,团队将继续探索推荐生成与大规模模型的融合,推动推荐系统向更智能、更通用的方向演进。 2、下一代推荐排名:详细描述快手短视频端到端多用途融合框架快手短视频推荐算法链接机制策略技术负责人徐潇潇分享了端到端的动目标排名机制框架,这是团队大约半年打磨的成果。这是快手近两年来显着提升用户体验的推荐系统项目之一。该解决方案用建模取代了传统的手动设计融合方程,并提供了智能igent端到端优化推荐排名机制。该团队创建了一个解决方案,重点关注“四个关键挑战”:候选人之间的比较关系、用户满意度的定义、模型可解释性和离线一致性。从比较关系建模的角度来看,该解决方案按请求组织候选样本,并引入位置特征和变压器结构来捕获候选样本之间的相对关系。在定义满意度时,他提出了“相对优势满意度”和“多维满意度代理”,结合自我进化的个性化动态权重,实现目标平衡。为了提高可解释性,团队引入了反事实样本生成和比较学习,以确保模型输出和输入特征的单调性。同时,为了优化离线一致性,我们定义了“交互效率”的指标cy”,消除观看时间混乱,线上线下指标融合。实施结果表明,该模式在多个环节显着提升了用户体验,特别是快手快捷版,停留时长提升约2%,7天留存期提升3%以上。该项目标志着智能、基于规则的自动推荐机制迈入新的演进阶段。3、OneSearch让你的搜索更进一步, 快手的端到端生成搜索框架。快手货架电商搜索与推荐算法总监杨一凡介绍了业界首个电商搜索端到端生成框架OneSearch。该框架采用大规模生成模型完全替代传统的“检索、粗排序、精排序”架构,提高搜索系统的相关性和个性化体验。主要创新点 的框架体现在三个方面。首先,关键词增强分层量化编码结合RQ和OPQ的五层分层编码机制,为每个产品生成语义丰富的“智能身份证”,准确提取主要属性,区分细微细节。差异化有效解决了产品标题关键词过多、属性混乱的问题。其次,多视角建模用户行为,显式地将用户的短期搜索和点击行为注入模型,同时隐式集成长期购买参考,构建具有语义理解能力的用户身份(UID),区分用户的即时意图和即时意图。确定稳定的兴趣。最后,基于偏好的奖励系统(PARS)结合多阶段监督微调和强化学习来微调详细的在线排名分布,优化排名逻辑基于真实的用户交互数据并捕获更详细的偏好信号。实验结果表明,OneSearch 显着提升了 CTR、CVR、订单量等关键指标。订单量增长3.22%,成本下降75%。特别适用于长尾查询和冷启动场景,展示了生成式搜索在电子商务、工业电子领域的成功实施。 4、生成强化学习在自动化广告竞价场景中的技术实践快手营销算法部负责人蔡庆鹏介绍,快手的广告竞价技术经历了三次演进。从基于反馈调节的 PID 控制到具有预测功能的 MPC 模型预测控制,强化学习可实现多阶段决策优化。针对传统强化学习在序列信息利用和搜索方面的不足为了提高效率,快手提出了新一代生成强化学习提供范式,结合了生成模型和强化学习的优点。为了解决对高质量数据的依赖,快手推出了GAVE(基于价值探索的自动生成竞价)。最终,这将通过 Reture-To-Go 模块和基于价值的浏览机制带来更好的产品。 CBD(带有扩散完成器对齐器的因果自动出价)方法使用轨迹级对齐器来更新序列并在生成过程中调整优化目标。实验表明,该范式提高了广告转化和成本控制效果,推理延迟仅为毫秒,并且可以稳定在线应用。 2. 六位专家争论:生成框架是未来还是伪范式?圆桌讨论中,徐军,中国人民大学高瓴人工智能学院教授;赵副教授香港城市大学特聘教授;翔宇先生、参演的K大规模推荐模型高级算法专家王世耀先生、快手表单电商搜索与推荐算法负责人杨一帆先生、蔡先生。快手营销算法负责人庆鹏先生谈到了生成框架在搜索推广领域的潜力。快手推荐模型部排名模型技术负责人唐瑞明担任主持人。唐瑞明表示,目前业界争论的一个问题是生成式框架是否是搜索和推广系统中的伪范式,以及是否有潜力取代传统的瀑布式架构。徐军认为,对“伪范式”的批评过于严重,因为快手等公司已经在大规模商业应用中看到了实际效果。生成框架解决了传统水处理的问题所有架构,例如错误传播。此外,frameworkrativo 将历史搜索与大规模搜索结合起来。模型之间的“阶梯式”关系被转化为紧密的包,从而可以在大型模型中更好地利用尖端技术。技术迭代的步伐不断加快,技术生命周期从几十年缩短到几年,但只要技术有用,就值得采用和尝试。赵翔宇认为,生成范式的根本创新在于推荐系统的核心任务从传统的行为相关性预测转变为对用户意图的深度理解和推理。凭借其自回归学习能力和内置的全局知识,大规模模型可以更准确地解释复杂的用户行为序列,为搜索、推荐和广告建立新的强大的理论基础和实现模型广告。在行业中,现实情况更加多样化。像快手这样的先行者通过统一的模型范式取得了巨大的成果,取代了传统的瀑布式架构,虽然在解决目标错位、错误累积和资源利用率低等问题方面表现出了巨大的潜力,但由于目前情况的限制,许多公司很可能在短期内将生成的推荐作为现有成熟系统的补充或增强。毕竟,传统的级联模式在低延迟、高并发场景下优化程度较高且稳定。与此同时,生成框架仍然面临生成效率问题。幸运的是,工业界和学术界做出了许多努力来克服这个问题。王诗瑶认为,生成式推荐可以成为未来,或者只是一种带来更好技术的中间方式。如果未来出现新技术更大的好处是,他们会毫不犹豫地拥抱变化。但就目前而言,生成渲染是最有价值的技术。他说,例如,目前的推荐系统大多采用“瀑布”风格,被动地显示内容,但未来可能会出现对话式推荐场景,用户多轮表达自己的意图,而这些意图可能是相互关联的,甚至是矛盾的。当面对这类复杂信息时,依赖拼接规则的传统系统是“技术回归”,而生成模型可以更自然地理解并生成结果。他还表示,类似的技术进步也在其他领域发生,比如特斯拉用端到端模型取代了数十万行的手写代码,这是数据和模型驱动的胜利。王士尧认为,现在正是发挥发电技术优势的时候。从追求的角度来看,杨一帆认为,生成性并不是最终目标,但这绝对是一个值得兴奋的变化。他指出,搜索在意图理解、搜索空间和推理能力方面都有更高的要求,生成模型将传统的“检测和优化”逻辑转变为“智能生成”。同时,生成范式可以更自然地与当前的大规模模型开发结合起来,引入推理和知识等特征。最后,他表示技术的变化包括对话式搜索。他强调,任何产品形式的创新,例如新的交互方法,都可能导致未来搜索推荐的新周期。从广告的角度来看,蔡庆鹏认为,生成建筑最大的好处是“空间的整体优化”。传统的多阶段模型目标不一致、数据稀疏、选择有限可视化边界。端到端生成可让您找到适合您所在空间的最佳广告策略。他表示,生成技术和强化学习的结合具有巨大的潜力。更好地定义状态、行动和奖励,以推动真正的业务价值优化。此前,广告系统的碎片化使得强化学习的实施变得困难,但生成范式解决了这个问题,不再将广告优化限制在本地模块。 3.我们如何计算生成范式的经济学?什么样的工业界和学术界需要多少人?在讨论成本和收益时,王士尧提出“不能用昨天的标准来衡量今天的模式”。她认为,算法专业的学生常常被“固定计算能力”的假设所束缚,而实际上计算成本持续下降,收入增长的潜力巨大。即使毛利率要求很高s,该公司非常有能力实现更大尺寸的模型。他鼓励工程师更多地思考如何开发出更适合自己计算能力的技术,而不是过早地设定限制。杨一凡补充道,这笔账显然是可以算的。机器成本将随着时间的推移而降低,工程优化将不断改进。对于技术团队来说,重要的是不仅要考虑节省成本,还要保持长远的眼光。azo并通过算法创新撬动新的收入。蔡庆鹏认为,大型车型的基础设施建设是一次性成本,收入增长会随着时间的推移而积累。只要投资回报率为正,成本就不是障碍。他还强调,可以使用更小的模型,例如通过蒸馏,将它们上线,同时保持利润。在谈到研究方向时,赵翔宇提到了两个重要的点。一是打造一个更通用的词汇,集成了语义、交互和地理等多模态信息。其次,我们设计了新的词汇评估系统,使令牌层质量和推荐效果形成可解释的闭环。杨一凡希望探索更加集成的多模态编码,以允许在同一空间中对不同的材料(产品、视频、直播流)进行建模,同时提高模型的推理能力并创建新的交互格式。蔡庆鹏专注于广告报价和推荐的生成机制。考虑到广告决策是连续的,需要新的代际结构。他对“非自回归”生成方法非常感兴趣。人类思维不是逐字逐句地生成,而是从中心意图开始,然后填充细节。他还表示,利用推理能力可以更好地了解用户心理,预测用户的真实兴趣。卢基展望未来一到三年,徐军认为,未来,搜索、推荐和广告将被整合成一个“个人信息助手”,而不是单独的模块。届时,用户将不再需要区分搜索和促销,系统将直接向他们呈现他们真正想要的内容。他还预测,下一代系统将从“语义匹配”转向“语用理解”,真正理解用户行为背后的动机,实现从工具到智能助手的演变。蔡庆鹏认为,未来最大的机会不在于对现有模块做小改动,而在于利用生成技术重建广告系统,不仅提高投资回报率,而且重新定义广告系统。此外,通过将代理应用到广告场景中,可以实现从素材生产到预算交付。这是预期的。王诗瑶进一步设想,未来的推荐可以由“私人助理”来指导。助手了解您的偏好、经历和购买历史记录,因此我们可以主动为您生成最相关的内容。同时,他表示,视频内容是“‘实时生成’的,让用户看到‘为他们生成’的动态视频世界,而不是被动观看。”最后,关于“学生培养与人才选拔”的话题,赵翔宇认为,现在的学生需要纵向的算法深度和横向的大规模模型工程能力。您不仅将学习传统的搜索和推荐系统(协作过滤、矩阵分解、强化学习等),还将学习大型模型的完整流程技术(微调、特征工程、动态设计等)。他强调,最有价值的科学研究往往来自于源头。我们希望学生立足实际问题,在实习和合作活动中找到切实可行的研究方向。徐军补充说,基础知识的严谨性,尤其是数学和逻辑,仍然很重要。学生至少需要找到一个“脚踏实地”的起点。无论是通过理论研究还是通过能够解决实际的工业问题。他还回顾说,科学研究的重要性不应该取决于文章的数量,而应该关注其真正的价值。杨一凡指出,从企业角度来看,行业强调的是业务理解和快速学习。搜索和推送都是高度商业化的。在这个领域,技术人员必须能够抽象业务问题并将其转化为模型。他建议同学们保持好奇心和热情,因为科技进步如此之快,只有不断学习,才能避免陷入困境。工业区他还表示,学生在学习前沿技术时,希望他们了解技术发展的历史和背景,而不是仅仅关注当前的应用层面。目前,很多“AI原生”学生直接接触到最新成果,比如变形金刚、大型模型;该技术从一开始就被开发出来。模型演化过程。他建议学生需要更多地了解计算和人工智能技术的历史,了解技术中重复的逻辑及其背后的思想背景。结论:生成技术改变了搜索推广。从端到端的推荐系统到具有推理能力的搜索引擎和更智能的广告竞价系统,生成活动的技术正在改变搜索推广的底层逻辑。正如我们的许多客人所说,繁殖本身并不是目的,而是一个起点指向变得更聪明。系统。未来,快手在该领域的探索仍将值得关注。
特别提示:以上内容(包括图片、视频,如有)由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注:以上内容(包括图片和视频,如有)由网易号用户上传发布,网易号是一个仅提供信息存储服务的社交媒体平台。