分布式神经策略梯度算法在机器人路径规划中的数据集:该数据集建立于2024年11月,利用Python仿真平台构建生成,主要面向分布式神经策略梯度算法在机器人路径规划任务中的性能分析与验证。数据集包含集中式算法与分布式算法在两类不同路径规划场景中的数值仿真结果,用于验证所提出算法在复杂路径规划环境下的收敛性能、协同决策能力以及计算效率。该数据集基于多机器人路径规划环境构建,通过对机器人状态转移、动作选择以及环境交互过程进行数值仿真,生成不同算法在训练过程中的动态演化数据。其中,目标函数性能指标由到达目标点的奖励、机器人间或与障碍物之间产生的碰撞惩罚以及路径规划过程中的时间惩罚共同构成,用于评估算法在任务完成质量与安全性方面的综合性能;同时,数据集还记录了目标函数梯度关于策略参数的范数变化情况,用于分析神经策略梯度算法的优化稳定性与收敛特性;此外,还统计了不同算法在训练与决策过程中的运行时间,用于比较集中式与分布式方法在计算复杂度和实时性方面的差异。数据集文件均为NPY格式,共12个文件,按算法类型与场景编号组织,命名规则为"CTP_路径结构_算法类型数据类型.npy",其中路径结构以数字编号标识不同规划场景(11、321),算法类型分为集中式(cen)与分布式(dis)两类,数据类型包括目标函数值(obj)、策略梯度范数(gra)及运行时间(runningtime)三类,具体文件包括CTP_11_cenobj.npy、CTP_11_cengra.npy、CTP_11_cenrunningtime.npy、CTP_11_disobj.npy、CTP_11_disgra.npy、CTP_11_disrunningtime.npy、CTP_321_cenobj.npy、CTP_321_cengra.npy、CTP_321_cenrunningtime.npy、CTP_321_disobj.npy、CTP_321_disgra.npy及CTP_321_disrunningtime.npy。数据实体主要参数共3类:目标函数值(无量纲,反映任务奖励与惩罚的综合得分)、策略梯度范数(无量纲,反映策略参数更新幅度,用于衡量算法收敛稳定性)及运行时间(单位为秒,反映算法在训练与决策过程中的计算耗时),数据按算法类型(集中式/分布式)与路径场景(场景11/场景321)两个维度进行分类划分。在课题研究过程中,该数据集用于支撑分布式神经策略梯度算法的性能验证与效能评估工作,验证所提出分布式策略更新机制在多机器人协同路径规划中的有效性,并用于分析不同通信与协同结构下算法在路径优化、碰撞规避以及训练效率等方面的性能表现,从而满足复杂动态环境下机器人集群路径规划与协同控制的仿真验证需求。
| 采集时间 | 2024/01/01 - |
|---|---|
| 采集地点 | 东南大学 |
| 数据量 | 435.1 KiB |
| 数据格式 | *npy |
本数据集为实验仿真数据,非文献获取、镜像或购买数据。具体说明如下:
数据来源于课题组基于Python仿真平台自主构建的多机器人路径规划仿真环境(开源代码见https://github.com/Pengcheng-Dai/DACA),通过对集中式算法与分布式神经策略梯度算法进行数值仿真训练与测试生成。
仪器设备:联网计算机,Python仿真环境(NumPy用于数值计算、策略更新与梯度计算,Matplotlib用于绘图与结果可视化)。
方法与过程:在两类不同的多机器人路径规划场景下,对机器人状态转移、动作选择及环境交互过程进行数值仿真,分别运行集中式与分布式神经策略梯度算法,记录训练过程中的目标函数性能指标(到达目标奖励、碰撞惩罚、时间惩罚)、策略梯度范数变化及算法运行时间,自动生成相应仿真数据。
数据采集时间与地点:2024年11月,于实验室计算平台完成。
本数据集为基于强化学习算法模型仿真运算生成的数值型数据,具体加工方法如下:
仿真环境构建:基于Python平台搭建多机器人路径规划仿真环境,对机器人状态空间、动作空间、奖励函数及障碍物分布进行建模。
算法模型:采用集中式策略梯度算法与分布式神经策略梯度算法对机器人路径规划策略进行训练。其中,策略网络以神经网络形式表示,通过策略梯度法对策略参数进行迭代更新,分布式算法在此基础上引入多智能体间的局部信息交换与协同更新机制。具体模拟环境结构详见课题组开源项目https://github.com/Pengcheng-Dai/DACA。
数学运算与指标计算:目标函数性能指标由到达目标点奖励、碰撞惩罚(机器人间或与障碍物碰撞)以及时间惩罚三部分加权求和计算得到,用于反映每一回合(episode)的综合性能;
策略梯度范数数据通过对目标函数关于策略参数求梯度,并计算该梯度向量的欧几里得范数(L2范数)得到,用于衡量优化过程的收敛趋势;
运行时间数据通过对算法每次迭代(或每个回合)的训练与决策计算过程进行计时统计获得。
数据记录与处理:利用NumPy对仿真过程中产生的各项指标进行数值计算与统计汇总,并按算法类型(集中式/分布式)与场景类型分类存储为数值数组,最终利用Matplotlib绘制收敛曲线、性能对比曲线及运行时间统计图。
本数据集中各项数值指标(目标函数性能值、策略梯度范数、运行时间等)均以双精度浮点数(float64)形式存储,由Python及NumPy数值计算环境直接输出,保留小数点后多位有效数字,未经人为截断或舍入处理,能够真实反映仿真过程中的数值变化情况。
| # | 编号 | 名称 | 类型 |
| 1 | 2022ZD0120000 | 博弈智能场景应用 |
本作品采用
CC BY 4.0 (知识共享 署名 4.0 国际许可协议)进行许可。
| # | 标题 | 文件大小 |
|---|---|---|
| 1 | DNAC_files |
| # | 类别 | 标题 | 作者 | 年份 |
|---|---|---|---|---|
| 1 | Distributed neural policy gradient algorithm for global convergence of networked multiagent reinforcement learning | Pengcheng Dai, Yuanqiu Mo, Wenwu Yu, Wei Ren |
© 中国科学院西北生态环境资源研究院 2005- 备案号:陇ICP备2021001824号-21
兰州市东岗西路320号, 730000, 电话: 0931-4967592,0931-4967596

