城乡住房和城乡建设厅网站亦庄专业网站开发公司

城乡住房和城乡建设厅网站,亦庄专业网站开发公司,如何用ps做网站首页的图片,自己申请一个网站怎么做Ray 分布式训练的多智能体路径规划强化学习项目本文基于本仓库代码#xff08;train.py / worker.py / environment.py / model.py 等#xff09;#xff0c;介绍如何用 Ray 分布式 Actor–Learner 训练一个带可学习通信模块的去中心化多智能体路径规划#xff08;MAPFtrain.py / worker.py / environment.py / model.py等介绍如何用Ray 分布式 Actor–Learner训练一个带可学习通信模块的去中心化多智能体路径规划MAPF策略并总结工程实现中的关键点与常见问题。关键词建议保留MAPF、多智能体、强化学习、DQN、Ray、Actor-Learner、分布式训练、通信注意力、PyTorch、dtype/AMP。1. 背景去中心化 MAPF 与分布式强化学习**MAPFMulti-Agent Path Finding**的典型目标是在带障碍的网格地图中多个智能体从各自起点出发到达各自目标点要求尽量少碰撞/冲突、尽快完成。本仓库采用去中心化执行每个 agent 根据局部观测决策训练阶段使用分布式 off-policy 强化学习DQN 风格通过多 Actor 并行采样 单 Learner 更新参数的方式提升数据吞吐。2. 工程总览核心文件与职责train.py训练入口启动 Ray创建并启动GlobalBuffer、Learner、多个Actor。启动时打印torch.cuda.is_available()与 GPU 信息并优先选择默认设备可用则 GPU。worker.pyray.remote远程组件GlobalBuffer全局优先级经验回放池Prioritized Replay 后台 batch 预取。Learner执行训练更新、维护 target network、对外提供最新权重。Actor与环境交互采样产生 episode 经验并写入回放池。environment.py网格环境实现地图生成、观测构造、冲突检测、奖励计算、可视化辅助。model.py网络结构CNN 编码器 GRU时序记忆 通信模块多头注意力 Dueling Q 头。buffer.pySumTree优先级采样结构。LocalBuffer单个 episode 的暂存与 TD-error 计算。configs.py环境参数、训练参数、通信参数、课程学习参数、测试参数统一配置。3. 算法与训练架构Ray Actor–LearnerDQN 风格整体流程可以理解为一个“高吞吐数据生成 稳定参数更新”的流水线Actors 并行采样每个Actor持有一个Environment与一份Network推理用。循环执行env.reset()获取初始观测model.step(obs, pos)选择动作epsilon-greedyenv.step(actions)与环境交互将 transition 写入LocalBufferepisode 结束时LocalBuffer.finish()打包整段轨迹并GlobalBuffer.add.remote(data)发送到全局回放池。GlobalBuffer 统一存储与优先级采样GlobalBuffer用大数组存放多 episode 数据obs/action/reward/hidden/mask 等。维护SumTree实现Prioritized Experience Replay。后台线程prepare_data()会提前准备训练 batch减小 Learner 等待。Learner 单点训练与参数广播Learner在初始化时选择设备torch.device(cuda if torch.cuda.is_available() else cpu)。持有model与tar_modeltarget network周期性同步。从GlobalBuffer拉取 batch计算 TD loss反向传播更新。Actor定期调用learner.get_weights()拉取最新参数并更新本地推理网络。这种结构的优势在于多 Actor 并行采样提高数据吞吐Learner 单点更新便于控制优化器与 target network 同步回放池解耦采样与训练提升稳定性4. 环境设计网格世界、冲突规则与奖励在environment.py中动作空间5 维停留 / 上 / 下 / 左 / 右地图生成按障碍密度随机生成 0/1 网格并确保至少存在可用连通区域用于采样起点/终点。冲突处理越界/撞墙回退并给 collision 惩罚交换位置冲突swap双方回退并惩罚其他同格冲突处理文件后半段奖励函数由configs.reward_fn控制例如move小负值collision更大负值finish正奖励环境还构造了启发式相关特征如到目标的距离梯度用于增强观测信息。5. 模型设计CNN GRU 通信注意力 Dueling Qmodel.py的Network主要由四部分组成局部观测编码CNN将局部栅格观测编码为 latent 向量。使用残差块与CPCA通道/空间注意力模块提升表征能力。时序记忆GRUCell在 step 推理时维护 hidden state使 agent 具备一定记忆能力。在训练 forward 时按序列展开并取指定 step 的 hidden 用于 Q 估计。通信模块CommBlock Multi-Head Attention根据 agent 之间相对距离与视野构造通信 mask。对通信邻居做多头注意力聚合并用 GRUCell 更新隐藏表征。Dueling Q 头V(s)A(s,a)组合得到Q(s,a)提升稳定性。6. 如何运行与复现实验6.1 训练在已安装依赖的环境中运行python train.py启动时会打印torch.cuda.is_available()GPU 数量与名称如可用default device selected: cuda|cpu6.2 配置项直接修改configs.py训练规模num_actors,batch_size,learning_starts,training_times环境规模init_env_settings,max_num_agents,max_map_lenght通信配置max_comm_agents,num_comm_layers,num_comm_heads6.3 生成测试集/评测python test.py测试集位于./test_set评测时会从./models读取权重详见test.py内的test_model。7. 工程踩坑CPU/GPU 与 dtypeFP16/FP32一致性分布式训练中最常见的问题之一是dtype 或 device 不一致导致的运行时报错典型表现例如Input type (Half) and bias type (float) should be the samemat1 and mat2 must have the same dtype, but got Half and float这类问题的根因通常是回放池/采样数据是 FP16模型参数是 FP32AMP/autocast 使部分中间结果变成 FP16CPU 上对 FP16 的算子支持不完整解决思路建议择一策略贯彻到底策略 A全链路 FP32最稳CPU/GPU 都可采样 batch 用 float32模型参数 float32禁用 AMP或仅在 GPU 上谨慎启用策略 B全链路 AMP/GPU性能更好但约束更多Learner 必须在 GPU输入/中间状态/损失计算路径遵守 AMP 规则关键张量与参数 dtype 要统一本仓库已在模型训练前向中做了 dtype 对齐处理以降低 dtype 混用导致的报错概率。8. 下一步可以改进什么增加requirements.txt或environment.yml让依赖版本可复现。将 checkpoint 保存/加载流程与评测流程在 README/博客中进一步标准化。为训练与评测增加更清晰的日志与可视化例如 TensorBoard。参考与致谢原始 DHC 项目与示意图来源https://github.com/ZiyuanMa/DHC.yml让依赖版本可复现。将 checkpoint 保存/加载流程与评测流程在 README/博客中进一步标准化。为训练与评测增加更清晰的日志与可视化例如 TensorBoard。参考与致谢原始 DHC 项目与示意图来源https://github.com/ZiyuanMa/DHC