是一款模拟经营策略游戏✿◈ღ◈ღ，该版本玩家可以直接通过安卓模拟器在电脑上安装体验✿◈ღ◈ღ。该游戏采用唯美的水墨画风✿◈ღ◈ღ，将中国风元素融入游戏场景✿◈ღ◈ღ，为玩家带来极致的视觉享受✿◈ღ◈ღ，让您沉浸其中✿◈ღ◈ღ，感受P6F3X2M7T9QJ8L1B4WZR之美✿◈ღ◈ღ。在游戏中全讯网论坛✿◈ღ◈ღ，玩家将扮演一位祖师✿◈ღ◈ღ，开宗立派✿◈ღ◈ღ，培养一众有趣的弟子✿◈ღ◈ღ，帮助他们渡劫成仙✿◈ღ◈ღ。每位弟子都拥有独特的命格和属性✿◈ღ◈ღ，个性迥异✿◈ღ◈ღ，让您体验到千奇百怪的修仙生活✿◈ღ◈ღ。

　　与此同时✿◈ღ◈ღ，优博注册彩金下载官方版还拥有独特的挂机机制✿◈ღ◈ღ，您可以将游戏放置在后台✿◈ღ◈ღ，解放双手✿◈ღ◈ღ，让弟子们自动修炼✿◈ღ◈ღ、渡劫✿◈ღ◈ღ，贴心呵护您的修仙门派✿◈ღ◈ღ。宗门地产建设也是游戏的重要内容✿◈ღ◈ღ，您可以自由摆放✿◈ღ◈ღ，打造属于自己的修仙宗门✿◈ღ◈ღ，创造仙门人的理想家园✿◈ღ◈ღ。从山海异兽到一石一木✿◈ღ◈ღ，处处充满着古韵仙风✿◈ღ◈ღ，让您仿佛置身于修仙小说般的仙境之中✿◈ღ◈ღ。

　　【新智元导读】强化学习可以提升LLM推理吗？英伟达ProRL用超2000步训练配方给出了响亮的答案✿◈ღ◈ღ。仅15亿参数模型✿◈ღ◈ღ，媲美Deepseek-R1-7B✿◈ღ◈ღ，数学✿◈ღ◈ღ、代码等全面泛化✿◈ღ◈ღ。

　　后训练拓展（Post-training scaling）利用微调（fine-tuning）✿◈ღ◈ღ、剪枝（pruning）✿◈ღ◈ღ、蒸馏（distillation）和强化学习等技术✿◈ღ◈ღ，优化预训练模型✿◈ღ◈ღ，从而提升模型的效率和任务适应性✿◈ღ◈ღ。

　　性能显著提升✿◈ღ◈ღ：在数学✿◈ღ◈ღ、编程✿◈ღ◈ღ、逻辑谜题✿◈ღ◈ღ、STEM推理和指令跟随等任务中✿◈ღ◈ღ，ProRL训练的模型在pass@1指标上分别提升了14.7%✿◈ღ◈ღ、13.9%✿◈ღ◈ღ、54.8%✿◈ღ◈ღ、25.1%和18.1%✿◈ღ◈ღ。

　　发现新颖解法✿◈ღ◈ღ：ProRL训练的模型在某些任务中表现出前所未有的推理路径✿◈ღ◈ღ，甚至在基准模型完全失败的情况下也能成功解决问题✿◈ღ◈ღ，显示出其探索新解法的能力✿◈ღ◈ღ。

　　持续训练带来持续收益✿◈ღ◈ღ：即使经过2000多步的训练✿◈ღ◈ღ，模型性能仍在提升✿◈ღ◈ღ，表明长时间的RL训练可以不断扩展模型的推理边界✿◈ღ◈ღ。

　　近来✿◈ღ◈ღ，许多人质疑RL是否真正提升模型的推理能力✿◈ღ◈ღ。甚至✿◈ღ◈ღ，有研究声称RL无法为基础模型带来新的推理技能✿◈ღ◈ღ。

　　ProRL便成为了突破2000步的强化学习新配方✿◈ღ◈ღ，通过KL惩罚和定期参考策略重置✿◈ღ◈ღ，解决了长期以来存在的两大难题——熵崩溃和训练不稳定性✿◈ღ◈ღ。

　　结果显示✿◈ღ◈ღ，在数学✿◈ღ◈ღ、代码✿◈ღ◈ღ、STEM✿◈ღ◈ღ、谜题和指令遵循方面✿◈ღ◈ღ，1.5B模型实现了超强泛化能力✿◈ღ◈ღ，完全不输Deepseek-R1-7B✿◈ღ◈ღ。

　　另外✿◈ღ◈ღ，在许多测试中✿◈ღ◈ღ，基础模型即使经过大量采样也完全失败✿◈ღ◈ღ，而ProRL训练的模型却能实现100%通过率✿◈ღ◈ღ。

　　尤其是全讯网论坛✿◈ღ◈ღ，在高难度任务和域外任务上✿◈ღ◈ღ，ProRL训练的模型表现出色✿◈ღ◈ღ。这表明了推理能力真正Scaling✿◈ღ◈ღ，并内化了超越训练数据的抽象推理模式✿◈ღ◈ღ。

　　而对于全新的family_relationships任务✿◈ღ◈ღ，模型从几乎全0通过率✿◈ღ◈ღ，跃升至完美准确率✿◈ღ◈ღ，成功发现了全新的解法路径✿◈ღ◈ღ。

　　对于GRPO（Group Relative Policy Optimization✿◈ღ◈ღ，组相对策略优化）这样的RL算法来说✿◈ღ◈ღ，多样化的输出样本是估算相对优势的基础✿◈ღ◈ღ，因此探索受限会使学习信号偏差✿◈ღ◈ღ，训练难以继续有效推进✿◈ღ◈ღ。

　　GRPO中的优势函数（advantage）不依赖于PPO的价值网络（critic）✿◈ღ◈ღ，而是用同一组样本{Ri}的得分来估算基线✿◈ღ◈ღ：

　　首先✿◈ღ◈ღ，DAPO引入了「解耦剪辑」机制✿◈ღ◈ღ，在PPO的目标函数中将上下剪辑边界视为两个独立的超参数✿◈ღ◈ღ：

　　通过将ϵ_high设置为较高值✿◈ღ◈ღ，算法鼓励「向上剪辑」（clip-higher）✿◈ღ◈ღ，即提升原本概率较低的token的生成概率尊龙凯时人生就是搏z6com✿◈ღ◈ღ，从而扩大模型的探索范围✿◈ღ◈ღ。

　　此外✿◈ღ◈ღ，DAPO还采用了「动态采样」策略✿◈ღ◈ღ，即过滤掉那些模型总是成功（准确率为1）或总是失败（准确率为0）的提示语✿◈ღ◈ღ。这些示例无法提供有效的学习信号✿◈ღ◈ღ。

　　尽管DAPO机制和调整采样温度可以在一定程度上减缓熵坍缩✿◈ღ◈ღ，但引入显式正则化方法KL散度惩罚项✿◈ღ◈ღ，能够提供更强✿◈ღ◈ღ、更稳定的解决方案✿◈ღ◈ღ。

　　这个惩罚项不仅有助于维持策略的熵✿◈ღ◈ღ，还起到了正则化的作用✿◈ღ◈ღ，防止当前策略过度偏离一个稳定的参考策略✿◈ღ◈ღ，从而提升训练稳定性✿◈ღ◈ღ，避免模型过拟合于某些虚假的奖励信号尊龙凯时人生就是搏z6com✿◈ღ◈ღ。

　　为了解决这个问题✿◈ღ◈ღ，研究团队引入了一种简单但有效的方法✿◈ღ◈ღ：参考策略重置（Reference Policy Reset）✿◈ღ◈ღ。

　　具体做法是✿◈ღ◈ღ：定期将参考策略πref硬性重置为当前策略πθ的最近快照✿◈ღ◈ღ，并重新初始化优化器的状态✿◈ღ◈ღ。

　　这种机制既能让模型继续改进✿◈ღ◈ღ，又能保留KL正则化带来的稳定性✿◈ღ◈ღ。在整个训练过程中反复应用这种重置策略✿◈ღ◈ღ，以防模型过早收敛✿◈ღ◈ღ，同时鼓励更长时间的有效训练✿◈ღ◈ღ。

　　借助稳定的奖励计算机制✿◈ღ◈ღ、改进版GRPO算法以及延长的训练过程✿◈ღ◈ღ，在不同任务上✿◈ღ◈ღ，新模型Nemotron-Research-Reasoning-Qwen-1.5B都展现出强大的泛化能力✿◈ღ◈ღ。

　　此外✿◈ღ◈ღ，在数学（+4.6%）和编程（+6.5%）两个领域✿◈ღ◈ღ，新模型也超越了专门针对特定任务训练的领域专用基线模型✿◈ღ◈ღ，充分体现了通用型强化学习（Prolonged RL）训练方法的有效性✿◈ღ◈ღ。

　　为了验证假设✿◈ღ◈ღ，研究团队构建了多样化且可验证的训练数据集✿◈ღ◈ღ，共包含约13.6万个样本✿◈ღ◈ღ，涵盖五个任务领域✿◈ღ◈ღ：数学（math）✿◈ღ◈ღ、编程（code）✿◈ღ◈ღ、理工类（STEM）全讯网论坛✿◈ღ◈ღ、逻辑谜题（logical puzzles）和指令遵循（instruction following）✿◈ღ◈ღ。

　　为了实现有效的长周期强化学习训练✿◈ღ◈ღ，他们在融合的验证集（从评估基准集中抽样）实时监控训练进展✿◈ღ◈ღ。

　　当验证集表现停滞或下降时✿◈ღ◈ღ，他们会对参考模型和优化器进行硬性重置✿◈ღ◈ღ，以恢复训练稳定性✿◈ღ◈ღ，并允许策略进一步偏离初始基础模型✿◈ღ◈ღ。

　　尽管观察到平均响应长度与验证集得分之间存在一定的正相关关系✿◈ღ◈ღ，但这一因素并非决定性✿◈ღ◈ღ，因为在某些训练阶段✿◈ღ◈ღ，即使响应长度没有明显增加✿◈ღ◈ღ，性能依然有所提升✿◈ღ◈ღ。

　　与此同时全讯网论坛✿◈ღ◈ღ，验证性能（通过pass@1和pass@16指标衡量）持续改善✿◈ღ◈ღ，并随着训练计算量的增加而稳步提升✿◈ღ◈ღ。

　　在竞技编程任务（pass@1准确率）中提升14.4%✿◈ღ◈ღ，尤其擅长处理算法优化与边界条件判断（见表2）✿◈ღ◈ღ。

　　在逻辑谜题（Reasoning Gym）测试中✿◈ღ◈ღ，在基础模型普遍受困于格式解析与复杂子任务的场景下✿◈ღ◈ღ，奖励分数提升54.8%✿◈ღ◈ღ。

　　即便与参数量更大的DeepSeek-R1-Distill-Qwen-7B相比✿◈ღ◈ღ，1.5B新模型在多数领域表现相当甚至更优✿◈ღ◈ღ，验证了ProRL方法的高效性✿◈ღ◈ღ。

　　关键发现✿◈ღ◈ღ：强化学习训练不仅全面提升模型在各专业领域的表现✿◈ღ◈ღ，更在基础模型原本失效的任务上实现突破性进展✿◈ღ◈ღ，证实了该方法对模型本质推理能力的拓展作用✿◈ღ◈ღ。

　　模型在三项OOD任务中均取得显著提升✿◈ღ◈ღ，展现出强大的泛化能力✿◈ღ◈ღ。这表明新的训练方法有助于模型应对未知挑战✿◈ღ◈ღ。

　　此外✿◈ღ◈ღ，ProRL使模型能在较短响应长度内完成更深入的推理与优化✿◈ღ◈ღ，相比之下尊龙凯时人生就是搏z6com✿◈ღ◈ღ，现有方法往往过早增加响应长度✿◈ღ◈ღ，导致「过度思考」（overthinking）并生成冗长啰嗦的推理内容✿◈ღ◈ღ。

　　（1）强化学习在扩展模型推理边界（以pass@128衡量）方面的效果✿◈ღ◈ღ，与 基础模型的初始能力 密切相关✿◈ღ◈ღ。

　　（2）强化学习确实能够显著扩展模型的推理能力✿◈ღ◈ღ，尤其是在那些超出基础模型原有能力范围的高难度任务上✿◈ღ◈ღ。

　　（4）新方法ProRL不仅提高了平均pass@1✿◈ღ◈ღ，还足以弥补训练中可能带来的输出方差增加✿◈ღ◈ღ，从而整体提升pass@k上限✿◈ღ◈ღ，推动推理能力的实质跃升✿◈ღ◈ღ。

　　这次研究的一个关键发现是✿◈ღ◈ღ：强化学习在扩展模型推理边界（以pass@128衡量）方面的效果✿◈ღ◈ღ，与基础模型的初始能力密切相关✿◈ღ◈ღ。

　　如图3所示✿◈ღ◈ღ，研究团队观察到基础模型的推理边界越弱✿◈ღ◈ღ，其在经过RL训练后的推理提升越显著✿◈ღ◈ღ，二者呈现出明显的负相关关系✿◈ღ◈ღ。

　　对于基础模型原本表现较好的任务（即初始pass@128较高）✿◈ღ◈ღ，RL训练后的推理广度提升有限✿◈ღ◈ღ，甚至可能出现负增长✿◈ღ◈ღ。这表明模型更倾向于在已掌握的解法中增强信心✿◈ღ◈ღ，而非探索新的推理路径✿◈ღ◈ღ，导致推理边界变得更「窄」✿◈ღ◈ღ。

　　相反✿◈ღ◈ღ，在基础模型本身较弱✿◈ღ◈ღ、初始pass@128较低的领域中✿◈ღ◈ღ，ProRL的效果最为显著✿◈ღ◈ღ。此时✿◈ღ◈ღ，RL不仅提高了pass@1准确率✿◈ღ◈ღ，还显著增强了模型在更广泛推理路径上的探索和成功能力✿◈ღ◈ღ。

　　为进一步验证这种现象✿◈ღ◈ღ，他们引入了「创造力指数」（creativity index）✿◈ღ◈ღ，衡量基础模型在每个任务中的响应与最大规模开源预训练语料库DOLMA之间的重合度✿◈ღ◈ღ。

　　这表明基础模型在预训练期间已经接触过大量相似内容✿◈ღ◈ღ，因而对这些任务「熟悉」✿◈ღ◈ღ，也更难通过RL获得进一步提升✿◈ღ◈ღ。

　　图3✿◈ღ◈ღ：左✿◈ღ◈ღ：在基础模型最初难以应对的任务上✿◈ღ◈ღ，ProRL最能有效地扩展模型的推理边界✿◈ღ◈ღ。右✿◈ღ◈ღ：圆圈中标出的那些经过强化学习（RL）后收益最小的任务通常具有较低的创造力指数

　　他们逐一分析了各个评估基准任务的训练表现✿◈ღ◈ღ，并根据训练过程中pass@k的变化趋势✿◈ღ◈ღ，把它们分类✿◈ღ◈ღ。

　　结果表明全讯网论坛✿◈ღ◈ღ，强化学习确实能够显著扩展模型的推理能力✿◈ღ◈ღ，尤其是在那些超出基础模型原有能力范围的高难度任务上✿◈ღ◈ღ。

　　但也有不少任务展现出随着训练持续而不断提升的趋势✿◈ღ◈ღ，说明ProRL能帮助模型不断探索并掌握更复杂的推理策略✿◈ღ◈ღ。

　　最显著的例子是代码生成任务✿◈ღ◈ღ，在这一领域✿◈ღ◈ღ，ProRL能够带来持续性的性能提升✿◈ღ◈ღ。这表明✿◈ღ◈ღ，延长训练时间使模型有机会深入探索✿◈ღ◈ღ，并逐步内化更复杂的推理模式✿◈ღ◈ღ。

　　整体来看✿◈ღ◈ღ，这些结果说明✿◈ღ◈ღ：在合适的训练条件下✿◈ღ◈ღ，ProRL不仅能优化模型当前的表现✿◈ღ◈ღ，还能突破基础模型的推理上限✿◈ღ◈ღ，推动模型在推理能力上的持续进步✿◈ღ◈ღ。

　　在部分任务中（尤其是数学领域）✿◈ღ◈ღ，Nemotron-Research-Reasoning-Qwen-1.5B的推理能力相比基础模型有所下降或保持不变✿◈ღ◈ღ，这一现象也与先前研究中的观察结果一致尊龙凯时人生就是搏z6com✿◈ღ◈ღ。

　　对于这一类任务✿◈ღ◈ღ，RL训练确实提升了pass@1和pass@128✿◈ღ◈ღ，说明推理能力有所增强✿◈ღ◈ღ。但这种提升大多出现在训练初期✿◈ღ◈ღ。

　　比较中间训练检查点与最终模型可以看出✿◈ღ◈ღ，ProRL在训练后期几乎不再带来额外收益✿◈ღ◈ღ，表明模型对这类任务的学习潜力已很快达到饱和✿◈ღ◈ღ。

　　与上述情况相反✿◈ღ◈ღ，部分任务——尤其是更复杂的任务✿◈ღ◈ღ，如代码生成——在经过长时间ProRL训练后✿◈ღ◈ღ，推理能力持续提升✿◈ღ◈ღ。

　　这些任务通常需要模型在训练过程中对多样化问题进行充分探索✿◈ღ◈ღ，才能有效泛化到测试集✿◈ღ◈ღ。在此类任务上✿◈ღ◈ღ，ProRL显著拓展了模型的推理边界✿◈ღ◈ღ，展现出延长训练在复杂任务上的巨大潜力✿◈ღ◈ღ。

　　延长强化学习训练是否能够显著扩展模型的推理边界✿◈ღ◈ღ，尤其是在面对结构上新颖或语义上具有挑战性✿◈ღ◈ღ、且在初始训练阶段未曾接触过的任务时?

　　这次研究试图单独评估长期RL更新的作用✿◈ღ◈ღ，观察其是否能促使模型学习到更抽象✿◈ღ◈ღ、通用的推理策略✿◈ღ◈ღ，从而在陌生任务中也能表现出色尊龙凯时人生就是搏z6com✿◈ღ◈ღ。这是验证ProRL是否具备「超出经验学习」能力的重要指标✿◈ღ◈ღ。

　　在Reasoning Gym中选取了boxnet任务进行评估尊龙凯时人生就是搏z6com✿◈ღ◈ღ，该任务在训练阶段从未出现过✿◈ღ◈ღ，用于测试模型在完全陌生任务上的泛化能力✿◈ღ◈ღ。

　　相比之下✿◈ღ◈ღ，经过ProRL训练的模型展现出明显的解题能力✿◈ღ◈ღ，说明其推理边界得到了实质性的扩展✿◈ღ◈ღ，能够推广到训练中未见的分布外任务✿◈ღ◈ღ。

　　进一步对比中期RL检查点和最终延长训练后的模型✿◈ღ◈ღ，研究者发现随着训练持续✿◈ღ◈ღ，模型在boxnet上的表现稳步增强✿◈ღ◈ღ，且在所有pass@k值上均有提升✿◈ღ◈ღ。

　　这一结果强有力地支持了以下结论✿◈ღ◈ღ：ProRL不仅提升模型在已知任务上的表现✿◈ღ◈ღ，更促使模型内化抽象的推理模式✿◈ღ◈ღ，具备超越具体训练数据与任务复杂度的泛化能力✿◈ღ◈ღ。

　　但延长ProRL训练的模型在所有图规模上始终显著优于基础模型与中间检查点模型✿◈ღ◈ღ，无论是pass@1还是pass@128✿◈ღ◈ღ。

　　更增强了模型对更复杂✿◈ღ◈ღ、未见任务的稳健性与泛化能力✿◈ღ◈ღ，即便任务的结构复杂度大大超出原始训练范围✿◈ღ◈ღ，模型依然能保持较强表现✿◈ღ◈ღ。

　　与已有研究中观察到的「训练过程中pass@k随时间下降」的现象不同尊龙凯时人生就是搏z6com✿◈ღ◈ღ，这次的实验结果（图1）显示✿◈ღ◈ღ：

　　family_relationships任务✿◈ღ◈ღ：作为一个新颖的推理任务✿◈ღ◈ღ，该任务最初几乎全部为零准确率✿◈ღ◈ღ，但训练后出现集中于满分（100%）的显著峰值✿◈ღ◈ღ，表明模型成功学会了解题思路✿◈ღ◈ღ，能够在大多数提示下正确作答

　　ProRL不仅提高了平均pass@1✿◈ღ◈ღ，还足以弥补训练中可能带来的输出方差增加✿◈ღ◈ღ，从而整体提升pass@k上限✿◈ღ◈ღ，推动推理能力的实质跃升✿◈ღ◈ღ。

　　Mingjie Liu✿◈ღ◈ღ，现任英伟达研究科学家✿◈ღ◈ღ，专注于电子设计自动化（EDA）领域的前沿研究✿◈ღ◈ღ。

　　除了培养弟子和建设仙门外✿◈ღ◈ღ，游戏还包含了炼丹✿◈ღ◈ღ、炼器✿◈ღ◈ღ、仙田等多种修仙玩法✿◈ღ◈ღ，让玩家体验到修仙的方方面面✿◈ღ◈ღ。

　　游戏内置丰富的社交系统✿◈ღ◈ღ，玩家可以与其他玩家组成联盟✿◈ღ◈ღ，共同对抗强敌✿◈ღ◈ღ，体验多人合作的乐趣✿◈ღ◈ღ，增加了游戏的可玩性和趣味性✿◈ღ◈ღ。

　　1.3优化新增仙法问道投资活动的购买提示✿◈ღ◈ღ，现在休赛期购买投资时✿◈ღ◈ღ，如果无法拿满奖励则会有二次确认提示尊龙凯时登录✿◈ღ◈ღ，尊龙凯时 - 人生就是搏!✿◈ღ◈ღ！尊龙网站首页✿◈ღ◈ღ，人生就是博官网✿◈ღ◈ღ。尊龙✿◈ღ◈ღ，尊龙凯时✿◈ღ◈ღ！

人生就是博(中国区)集团官方网站| http://www.xmwybxg.com