开云体育[永久网址:363050.com]成立于2022年在中国，是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网，欢迎注册体验！

　　ChatGPT的对话流畅性、Gemini的多模态能力、DeepSeek的长上下文分析……

　　最伟大的成就往往源于不同思想的协作，我们相信这一原则同样适用于人工智能。

　　AB-MCTS，全称为自适应分支蒙特卡洛树搜索（Adaptive Branching Monte Carlo Tree Search），是一种使多个人工智能模型同时处理问题的算法。模型之间交换并完善建议，协同工作，就像人类团队一样。

　　Sakana AI已将该算法以TreeQuest的名称开源，链接可见文末。

　　AB-MCTS结合了两种不同的搜索策略：它可以完善现有解决方案（深度搜索），也可以尝试全新的方法（广度搜索）。

　　标准MCTS仅选择并扩展叶节点（即每个节点最多被扩展一次），且扩展会添加固定数量的子节点。然而，由于在非零温度下对LLM的每个查询都可能从相同提示中产生不同的输出，分支因子理论上无限。

　　为了充分利用MCTS的无界分支的潜在性能提升，AB-MCTS允许那些已经扩展过一次的节点再次被扩展并进一步分支，并引入GEN节点来明确表示生成新子节点的动作。

　　在AB-MCTS的搜索树中，每个节点N均附带一个GEN子节点。选中带有GEN节点的父节点时，会从N生成一个新子节点。

　　相反，在搜索树的每个节点上，AB-MCTS会自适应地决定是探索（“变宽”）通过生成新的候选响应，还是利用（“变深”）通过改进现有的响应，利用外部反馈信号。

　　在底层，AB-MCTS通过贝叶斯后验预测分布估计节点潜力，并用Thompson采样选择动作，以确保每次扩展都以原则性的方式平衡探索和利用。

　　这种设计自然地扩展了多次采样，使AB-MCTS能够在必要时利用LLMs多样化且庞大的输出空间。

　　AB-MCTS-M：更分层。使用混合效应模型共享子树间的统计信息，通过分层贝叶斯推断平衡全局与局部探索。

　　AB-MCTS-A：更轻量。通过CONT节点显式分离“生成”与“优化”动作，并基于共轭先验实现高效后验更新，简化计算。

　　对AB-MCTS进行基准测试，结果显示，AB-MCTS在各种基准测试和LLMs中始终表现出色，获得的平均排名最高并优于既定基线。

　　这种持续的成功源于AB-MCTS独特的动态调整搜索策略的能力，它通过精确平衡探索和利用来适应每个问题的不同需求，而基线方法中几乎缺乏这种适应性。

　　上图左侧和中部报告了GPT-4o在LiveCodeBench和CodeContest上的成功率与生成预算的关系，可以看到，所有方法在计算预算增加时都表现出性能提升。在这两个基准测试中，AB-MCTS算法通常优于基线方法。

　　上图右侧展示了GPT-4o在ARC-AGI这一特别具有挑战性的基准测试上的性能表现。可以看到，重复采样在该设置中证明是一种强大的基线，这表明对于这项任务，广泛的探索非常重要

　　虽然标准MCTS在预算增加时只能带来微小的改进，但AB-MCTS框架实现了与重复采样相当的性能。这表明AB-MCTS能够通过在有利时动态扩展其搜索范围来有效地探索潜在解。

　　上表展示了使用GPT-4o在MLE-Bench三个竞赛中的性能表现。由于MLE-Bench在训练和评估机器学习模型时需要大量的GPU资源，研究团队仅使用了GPT-4o，并专注于基线方法和AB-MCTS-M。

　　结果显示，最佳性能的基线方法在不同竞赛中有所不同，这再次强调了不同任务受益于不同的探索-利用权衡。

　　这种在不同竞赛中的一致成功突显了AB-MCTS-M在有效适应其搜索策略以应对不同问题结构方面的内在优势。

　　为了定量分析AB-MCTS如何平衡探索与利用，论文的研究团队还考察了生成的搜索树在每个深度的平均深度和平均宽度。

　　如上图显示，与标准MCTS相比，AB-MCTS方法倾向于生成更宽的树。这是因为AB-MCTS可以从任何现有节点自适应地决定探索更宽（选择GEN节点），而标准MCTS则不能。这种机制使得在不同树深度上能够进行更灵活的探索。

　　除了探索宽度的灵活性之外，AB-MCTS在顺序优化表现优异的基准测试中也取得了优异的性能，这表明AB-MCTS通过选择现有子节点进行优化，能够有效地识别并利用了有潜力的分支。这种自适应特性使其能够结合探索与利用的优势，在多种基准测试中表现出强大的性能。

　　为了研究AB-MCTS的扩展特性，使用DeepSeek-V3对ARC-AGI的实验进行了扩展，将生成预算增加到512。如上图所示，随着预算从200增加到500，AB-MCTS的性能继续显著提高，而重复采样的改进率开始趋于平稳。

　　标准MCTS在增加预算后也继续改进，但与AB-MCTS方法相比，其成功率显著较低。这种性能差距表明，AB-MCTS在大型计算规模下更有效地将搜索导向搜索树中更有希望的分支。

　　上图展示了由AB-MCTS-M和标准MCTS生成的搜索树示例。这些可视化展示了AB-MCTS-M相比标准MCTS具有更强的自适应分支特性。

　　这种自适应性表明，AB-MCTS-M在整个搜索过程中灵活地平衡探索与利用，能够动态分配预算以探索多样化的新候选者（“拓展宽度”）和优化有潜力的候选者（“深入挖掘”）。

　　以上结果表明，即使考虑到重复采样的固有优势，AB-MCTS仍是一种有前景的方法，能够高效利用生成预算在各种场景中取得更优结果。

　　上述关于AB-MCTS的研究并非凭空产生，它基于Sakana AI 2024年在进化模型融合方面的工作，该团队将重点从“混合以创造”转向“混合以使用”现有的强大AI。

　　在Sakana AI，我们始终致力于通过应用受自然启发的原则（如进化和集体智能）来开创新型AI系统。

　　不仅仅是2024年的进化合并模型，就在今年5月，Sakana AI还和哥伦比亚大学的科研人员共同开发了达尔文-哥德尔机（DGM）——这是一个旨在自我进化的AI框架，并非针对固定目标进行优化，而是从生物进化与科学发现中汲取灵感，通过开放式搜索和持续的自我修改来生成新的解决方案。

　　而前段时间，有两位物理学家以生物系统自我组装的过程为参考，揭示了扩散模型“创造力”的本质……