人人都可“钢铁侠”，XR五大核心技术拉近未来

说起钢铁侠，让人想起漫威迷们总结的“漫威宇宙规律”——“土豪靠装备，穷人靠变异”，盘点钢铁侠斯塔克的装备：从“48 套钢铁战衣”，到铁打的AI助手“贾维斯”，“星期五”——懂技术懂装备懂老板，还有他研发装备时在空中随心勾勒，将设计原型旋转、修改、定稿、抛入制造系统的一系列骚操作，一顿玩儿就把活儿干了钱挣了，这无一不是大多数理工男的终极梦想。

这个终极梦想，真的就那么遥不可及吗？

我们今天就来聊聊，土豪背后的技术——XR（VR，AR，MR）技术，看完后，你就知道，未来已被拉近。

简单科普一下什么是XR，XR 就是VR、AR、MR 的统称。虚拟现实（Virtual Reality）、增强现实（Augmented Reality）和混合现实（Mixed Reality），正在给我们的生活方式带来一系列的变化。不远的未来，你还可以坐在虚拟的会议室跟你虚拟的小伙伴们开一场云上会议，在虚拟的智慧教室上一堂多人互动课程、做一场模拟实验，甚至进入虚拟世界进行真实的设计、制造，虚拟和真实之间，边界不再那么明显。这一切，都得益于XR（VR，AR，MR）技术的应用。

XR 技术，究竟依赖哪些核心能力呢？华为云最新发布的XR 云服务，给了我们答案。它提供了五大核心技术和能力，打开未来新视界。

1、 大规模3D地图构建能力

3D地图是数字孪生世界的基础。传统制作3D地图的成本，是非常高昂的。图商需要采购价格高昂的测绘车队，常年雇佣规模在千人左右的采集团队，并组织人力对采集来的数据进行标注、补缺。随着AI算法、传感器的发展，技术上已能实现自动化程度更高的制图流程。

华为云XR提供手机拍摄视频的众包建图方案，只要是通过手机拍摄慢速转动的视频，或者有重叠区域的图片，覆盖建图的区域，传至云端即可通过算法还原出3D模型。如果将3D模型中的3个点与数字世界的坐标对齐即可将局部的3D模型补充到数字世界中，大大降低了制图成本。

华为云同时支持卫星制图，具备大面积快速覆盖能力，配合地图自动生成流水线，大规模构建3D地图。

2、 厘米级全场景适应的空间计算

高精度定位技术大体上可以分为三类：基于信号的定位、基于航迹推算的定位、基于环境特征匹配的定位。

基于信号的定位：普通的多星(GPS、北斗、伽利略)定位精度大约能做到1-2米。新的RTK（Real – time kinematic，实时动态）载波相位差分技术，是能够在野外实时得到厘米级定位精度的测量方法。

但它同时存在一些问题，比如基站布设成本高，易受电磁环境干扰、易受环境遮挡、信号多径效应、4G/5G/WIFI网络环境差的影响等等，从而影响定位精度和定位系统的可用性。

基于航迹推算 的定位： IMU 是常用的航迹推算系统，优势在于没有外部依赖，可以提供短时高精度的定位结果，缺点在于在连续的位置和方向的测量中误差会不断累积，导致位置和姿态的测量结果偏离实际位置，因而无法做长时间的高精度定位。

基于环境特征匹配的定位技术 ，华为云XR能力平台提供根据视觉的定位技术，通过定期上传照片，在云端进行特征点提取、匹配，能够做到厘米级定位与一度以内定姿（6DOF）。针对光照条件差，弱纹理的夜晚和室内场景，通过AI方式进行增强，实现夜晚也能找到图像匹配点，室内也能定位的全场景适应的空间定位算法。基于VPS和SLAM的紧耦合算法架构，可逐步实现长时间的室内外导航。

3、 提升效果同时提升数倍效率的AI渲染算法

3D 渲染管线也称为渲染流水线，可以将其理解为一个流程，就是我们准备一些数据，让GPU 对这些数据做一些处理，最后得出一张二维图像，渲染流程主要分为几个大的阶段：数据准备阶段，顶点处理阶段，光栅操作阶段，像素着色阶段。当前渲染优化有两个方向，一个是渲染画质好，一个是游戏实时性高。华为通过对渲染管线中算法的深入研究和调试，并通过端云结合的AI 算法，对渲染管线进行拆分，达到画质和实时性的均衡，实现数倍效率，画质相对于传统渲染方式有大幅的提升。

4、 十万发丝级数字人渲染

不久的将来，现实世界中的每一个地方和事物 —— 每一条街道、每一个灯柱、每一栋建筑物和每一个房间 —— 都会在镜像世界中拥有它的全尺寸“数字孪生兄弟”。——凯文·凯利

华为在数字人的生成、建模、渲染阶段均有所涉猎，如全自动化90% 相似度高精细人体模型生成。传统的建模通过离线工具制作，费时费力，华为考虑改造建模过程，实现快速复制、自动化生成、快速建模。

渲染过程的开发，主要是从皮肤、牙齿、眼睛、毛发等等方面入手。数字人的表情肢体动作自然驱动和表达，唇音同步延时<100ms，使用者时延无感知 。皮肤是半透的，比较薄的地方有散射的效果，光散射过来会产生折射，加入后会多一些细节；眼睛是晶状体，有透射效果；头发有很多层，每层有不同效果。 华为实时高真实度数字人绘制，实现逼真的发丝、皮肤、眼睛渲染呈现，10 万级发丝，fps>30 帧，整体主观打分8 分以上。

5、 360度VR视频TWS FOV技术（Tile-Wise-Streaming Field of View）

360 度VR 视频领域，华为提出了TWS FOV 传输技术，可以解决4K 硬件解码能力终端，基于4K 码率观看8K 片源的问题。通过TWS 映射方式，从像素点上就可以相对ERP 映射，直降40% 码率。通过增加低资源消耗的背景流，解决黑边问题，加入单帧切换技术，提升转头高清体验。

                                                                                          ↓↓↓

XR 技术的研究和应用，未来将有无限可能。虚拟和真实将相辅相成，实现真实世界与虚拟世界之间的无界沟通和协作。在不久的将来，人人都可像钢铁侠一样，通过XR 技术释放无穷的创造力和想象力，突破极限，共筑未来。 文章来源：华为云 https://www.huaweicloud.com/cloudplus/eighthphase/detail06.html