杠杆炒股，股票融资！
|
在不久之前的 2024 TED 演讲中，李飞飞详备解读了 空间智能（Spatial Intelligence）主意。她对计较机视觉范畴在数年间的快速发展感到欢腾并抱有极大热忱，并为此正在创建初创公司 在此演讲中，曾提到斯坦福团队的一个筹商恶果 BEHAVIOR，这是他们「创建」的一个用来查验计较机和机器东谈主如安在三维宇宙中活动的活动和行动数据集。 如今，吴佳俊指示团队发表了后续筹商——「BEHAVIOR Vision Suite（BVS）」。论文也赢得 CVPR 2024 Highlight。
在计较机视觉范畴，系统评估和王人集模子在不同条款下的发达需要⼤量数据和全⾯、定制的标签。然⽽，履行宇宙中的视觉数据集往往难以满⾜这些需求。尽管⽬前的合成数据⽣成器为具⾝ AI 任务提供了有远景的替代⽅案，但在财富和渲染质地、数据种种性及物理属性的真确性⽅⾯，仍存在诸多不⾜。 为了处理这些问题，筹商团队推出了 「BEHAVIOR Vision Suite（BVS）」。 BVS 是⼀套专为系统评算计较机视觉模子⽽考虑的⼯具和资源集。基于新设立的具⾝ AI 基准BEHAVIOR-1K，BVS ⽀捏⼤量可调参数，涵盖场景级别（如光照、物体摆放）、物体级别（如要津配置、属性）和相机级别（如视线、焦距）。筹商⼈员不错在数据⽣成经由中⾃由调整这些参数，以进⾏精准的戒指实验。 此⼯作还展⽰了 BVS 在不同模子评估和查验应⽤中的上风，包括参数可控地评估视觉模子在环境参数连气儿变化时的鲁棒性，系统评估场景王人集模子（丰富的视觉标注），以及对新视觉任务的模子查验。
款式贯串：https://behavior-vision-suite.github.io/ 论文贯串：https://arxiv.org/pdf/2405.09546 代码贯串：https://github.com/behavior-vision-suite/behavior-vision-suite.github.io 开放新闻客户端 栽种3倍教养度BEHAVIOR Vision Suite BVS 包括两⼤部分：数据部分和基于此的可定制数据⽣成器。 数据部分 BVS 的数据部分基于 BEHAVIOR-1K 的财富拓展⽽成，共包括 8841个 3D 物体模子和由 51 位艺术家考虑的室内场景，延迟为 1000 个场景实例。这些模子和场景均具备传神的外不雅，并涵盖了丰富的语义类别。筹商团队同期提供了一个剧本，让用户不错自动生成更多的增强场景实例。 开放新闻客户端 栽种3倍教养度BEHAVIOR-1K的财富拓展 可定制数据⽣成器 可定制数据⽣成器不错让⽤户⽅便地利⽤ BVS 的数据部分来⽣成满⾜他们需求的图⽚数据集，举例暗光下的室内场景。 BVS 不错保证⽣成的数据集在满⾜需求的同期，具备较⾼的语义种种性，同期确保其传神性和物理合感性。具体来说，⽤户不错戒指以下五个⽅⾯：相机位置、光照、物体属性（如⼤⼩）、物体景况（如开、关）和物体之间的空间联系。 应⽤场景 筹商者展⽰了在三个应⽤场景下 BVS 所⽣成数据的作⽤，包括： 参数可控地评估视觉模子在环境参数连气儿变化时的鲁棒性：接头模子在不同环境参数（袒护进度，环境亮度，拍摄角度，物体要津出动，视线）连气儿变化情况下的发达，举例评估物体检测模子在雪柜门从王人备关闭到王人备开放经由中，配资网模子能正确检测出存在雪柜的准确率，确保模子在骨子应⽤中好像应酬种种环境变化。还不错接头模子在不同极限参数条款的才气规模。 评估场景王人集模子：使⽤领有全⾯标注的图像，系统评估种种场景王人集模子的性能。 查验新视觉任务模子：在合成数据上查验对象景况和联系瞻望的新视觉任务模子，并评估其从模拟到真确应⽤的漂浮能⼒，确保模子在真确环境中的有用性。 参数可控地评估视觉模子在环境参数连气儿变化时的鲁棒性 通过⽣成在某⼀维度上连气儿变化的数据，筹商⼈员系统评估视觉模子在此变化下的鲁棒性。举例，⽣成同⼀场景中物体袒护进度逐渐增多的数据，以评估视觉模子在部分袒护物件下的发达。 通过评估不同 SOTA 模子，筹商者发现，现存模子在常见漫衍以外的数据上的发达仍有不⾜。由于这些数据在履行宇宙中难以赢得或标注，这些论断很难平直从真确图⽚数据聚拢得出。因此，BVS 不错匡助筹商者评估模子在他们感兴味的条款下的鲁棒性，从⽽更好地设立和栽种模子。
现存SOTA模子在条款变化下（举例相机仰⾓）仍有鲁棒性上的栽种空间 开放新闻客户端 栽种3倍教养度不同检测模子在五种环境参数连气儿变化时的发达 评估场景王人集模子 BVS 所⽣成的数据集的另⼀⼤特征是其包含多模态的真确标签，如深度、语义分割、⽬标规模框等。这使得筹商者不错利⽤ BVS ⽣成的数据在同⼀图像上评估不同任务的瞻望模子。 筹商团队评估了开放词汇检测和分割、深度算计和点云重建四个任务的 SOTA 模子，并发现模子在 BVS 数据集上的发达王法与在对应任务真确数据基准上的发达⼀致。这标明 BVS 生成的高质地数据真确地反馈和代表了履行数据，筹商者但愿这么的数据集不错促进多任务瞻望模子的发展。 在开源的代码中，筹商团队也提供了一个剧本，粗浅用户在场景中采样轨迹。
筹商者汇集了好多场景浏览视频⽤于评估场景王人集模子 开放新闻客户端 栽种3倍教养度举座场景王人集数据集。筹商者在具有代表性的场景中生成了大批遍历视频，每个场景包含10多个录像机轨迹。关于每个图像，BVS生成了种种标签（举例，场景图、分割掩码、深度图）
SOTA模子在BVS数据上的相对发达王法与真确任务基准相符 查验新视觉任务模子 BVS 的数据⽣成不仅限于模子评估，关于难以在履行场景中汇集或标注数据的任务， BVS 数据也可⽤于模子查验。 作家利⽤ BVS ⽣成了 12.5k 张图⽚，仅⽤其查验了⼀个物体空间联系和景况瞻望模子。该模子在未使⽤真确数据查验的情况下，仍在真确场景下达到了 0.839 的 F1 得分，体现了优秀的仿真到履行的漂浮能⼒（sim-to-real transfer）。
仿真⽣成查验数据集与真确测试数据集例图 开放新闻客户端 栽种3倍教养度使用BVS生成的数据查验的物体空间联系和景况瞻望模子 回归 BVS 提供了⼀套强⼤的⼯具和资源集，为计较机视觉筹商者⽣成定制的合成数据集提供了新的⽅法。 通过系统地戒指和调整数据⽣成经由中的各项参数，筹商⼈员不错更全⾯地评估和校正计较机视觉模子的性能，为改日的筹商和应⽤奠定坚实基础。 |
