网站数据建设涉及哪些内容买房

网站数据建设涉及哪些内容,买房,绍兴网站制作方案定制,构建网站空间来源#xff1a;Green生态智能机器人 「3D视觉从入门到精通」知识星球(点开有惊喜) #xff01;星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研#xff0c;欢迎扫码加入Green生态智能机器人「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎扫码加入前言在机器人操作任务中高效地感知和重建场景是至关重要的。3D高斯泼溅3DGS作为一种新兴的显式3D场景表示方法因其逼真的渲染效果和高效的几何表达能力而备受关注。然而传统的3DGS训练通常需要数十张甚至上百张图片以及完美的人工监督这在机器人在线操作的场景中是不切实际的。在机器人领域获取大量视角的图像非常低效且随机选择的视角往往包含大量冗余信息。此外仅靠视觉往往难以处理反射、透明或缺乏纹理的物体表面这时候触觉Touch就能发挥关键作用。今天我们解读的这篇论文《Next Best Sense》提出了一套完整的机器人主动感知框架。该框架不仅优化了少样本下的3DGS训练引入SAM2进行语义深度对齐更重要的是提出了一种扩展的FisherRF方法能够基于深度不确定性来主动选择“下一个最佳视点Next Best View”和“下一个最佳触点Next Best Touch”。这使得机器人能够自主地决定“看哪里”和“摸哪里”以最少的操作获得最大的信息增益。图1我们的方法在少样本3DGS场景中优于随机视点选择左图展示了机器人自主探索环境的场景。右图对比了本文方法Next Best Sense与随机策略在选择下一个视点时的效果。可以看出Next Best Sense 能够选择覆盖盲区、更能提升重建质量的视点而随机策略则较为盲目导致重建结果模糊。核心方法论Next Best Sense 的核心在于解决两个问题一是在只有少量图像时如何训练好3DGS二是如何主动选择最有价值的观测视觉或触觉来进一步提升模型。基于SAM2的少样本高斯泼溅初始化在机器人操作中视点数量非常有限。为了防止过拟合作者提出了一系列改进措施其中最关键的是SAM2 语义深度对齐。传统的单目深度估计虽然能恢复几何细节但存在尺度模糊问题。作者利用Segment Anything Model 2 (SAM2)将图像分割成不同的语义对象并结合真实深度传感器数据虽然可能有噪声对每个语义对象的单目深度进行分别对齐和矫正。图3SAM2 对齐流程如图3所示给定RGB图像和深度图像首先利用单目深度模型获取相对深度运行SAM2自动掩膜生成器获取物体和场景掩膜。然后将单目深度中的每个物体与对应的传感器深度进行对齐。这种基于对象的对齐策略显著提升了初始几何的质量。图2结合提升深度左与提升SAM2深度右的网格对比图2直观地展示了效果左图直接提升原始深度生成的网格充满噪点几何结构混乱而右图经过SAM2语义对齐后的深度生成的网格几何结构更加平滑、准确为3DGS提供了稳健的初始化。此外作者还引入了Pearson 相对深度损失来温和地引导深度优化并结合表面法线约束和各向同性正则化进一步防止高斯球在少视角下出现“针状”伪影。下一个最佳视点为了决定机器人下一步看哪里作者扩展了FisherRF方法。FisherRF 原本用于量化辐射场的信息增益主要关注颜色信息。作者指出在机器人场景中深度不确定性往往比颜色更重要。因此作者推导了基于深度的 Fisher 信息增益公式其中是颜色信息增益是深度信息增益。通过最大化这个信息增益机器人倾向于观测那些深度不连续、几何模糊或未被覆盖的区域从而快速完善场景几何。下一个最佳触点当视觉无法确定的区域如镜面、透明物体触觉是最好的补充。触觉数据监督利用DenseTact触觉传感器获取接触面的局部几何。作者将触觉图像反投影为点云并转换为三角网格以此作为“绝对真值”来监督3DGS的训练。主动触觉选择同样利用 FisherRF 框架计算在物体表面不同位置进行“触摸”所能带来的深度信息增益从而指导机器人去触摸那些视觉上最不确定的地方。图4触觉数据监督图4展示了触觉数据处理流程从鱼眼触觉图像反投影到3D点云再光栅化为深度图。这个高精度的局部深度图被用来监督3DGS修正视觉难以处理的表面几何。实验结果与分析作者在合成数据集Blender和真实机器人实验中进行了验证。少样本重建质量提升在Blender仿真实验中作者模拟了极端少样本仅6个视图的情况。实验数据显示相比于仅仅使用密集深度监督引入Lifted SAM2 Depth和Pearson Loss后重建质量显著提升。具体的误差分析表明SAM2对齐后的深度误差大幅降低尤其是物体区域的深度精度提升最为明显。这证明了在数据匮乏时语义先验对几何初始化的巨大帮助。真实物体与挑战性场景在真实世界实验中作者测试了具有挑战性的物体如镜子Mirror和棱镜Prism。这些物体对于纯视觉方法来说是噩梦。实验结果表明Next Best Sense 方法在这些物体上依然取得了最优的重建质量PSNR和SSIM指标均领先。这得益于深度先验的引导以及触觉数据的补充。主动视点选择的效果作者对比了不同的视点选择策略随机选择Random、基于颜色的FisherRF、以及本文提出的基于深度的FisherRF。图5FisherRF 消融实验定性结果图5展示了消融实验的定性结果。最右侧的FisherRF Depth基于深度的选择重建出的细节最为锐利。图6下一个最佳视点选择的定性结果图6进一步展示了不同策略的效果。可以看到FisherRF Depth第三列能够引导机器人关注几何复杂的区域如兔子的耳朵、椅子的腿从而重建出更锐利的细节。而随机策略第一列往往导致几何模糊未能覆盖关键区域。定量数据也显示基于深度的视点选择在大多数情况下优于随机选择和纯颜色引导。主动触觉感知的效果最后作者在镜子物体上验证了主动触觉选择的有效性。图7FisherRF 引导的触觉选择图7展示了触点的分布情况。Random Touch触点随机分布效率低很多触点落在已经重建较好的区域。FisherRF Touch触点集中在视觉上难以判断的区域如镜面上的孔洞区域因为这些地方的深度不确定性Hessian矩阵值最高。这有力地证明了算法具有“好奇心”能自动发现“看不清”的地方并去“摸一摸”从而修正几何错误。总结Next Best Sense 提出了一套完整的机器人主动感知方案少样本增强利用 SAM2 和深度先验解决了 3DGS 在稀疏视角下训练崩溃的问题实现了“少样本、高精度”。深度驱动的主动视觉扩展了 FisherRF证明了利用深度不确定性进行视点规划比利用颜色不确定性更有效能更快地完善场景几何。视觉-触觉融合首次实现了基于不确定性引导的主动触觉数据采集通过“摸”来修正“看”不清的几何细节如镜面、透明物体。这项工作为机器人不仅能“看”懂世界还能通过“互动”移动和触摸来主动理解世界提供了新的范式。文章地址https://arxiv.org/pdf/2410.04680本文仅做学术分享如有侵权请联系删文。3D视觉1V1论文辅导3D视觉硬件官网www.3dcver.com3D视觉学习圈子「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎扫码加入3D视觉全栈学习课程www.3dcver.com3D视觉交流群成立啦扫码添加微信备注姓名方向公司或高校名称邀你入3D视觉交流群