数字孪生的关键技术

数字孪生技术已在各行各业大放异彩。Wistron利用Omniverse SDK定制软件,将NVIDIA DGX和HGX工厂实现数字孪生,大幅缩短调试周期。NVIDIA还运用生成式AI预测天气。CoreDev可通过超高分辨率AI预测严重风暴,如台风灿都。这项服务作为NVIDIA Earth 2的一部分,将惠及全球气象机构。NVIDIA在医疗领域也硕果累累,涵盖医学成像、基因测序和计算化学等。NVIDIA推出BioNeMo NIMS、NVIDIA推理微服务(NIMS)等新品,可在几分钟内生成候选分子。微服务包含三大支柱:AI模型、运行AI的工具;AI技术;基础设施用于AI微调和部署,可在DGX云等平台上实现。这类似于台积电代工芯片的模式,因此被称为AI代工厂。用户可利用这些服务处理各类结构化和非结构化数据,编码存储于向量数据库中,成为企业专属智慧。通过与智能数据库交互,可轻松获取所需信息。NVIDIA AI Foundry正携手SAP、ServiceNow等巨头,帮助他们开发自有数据和工具,在聊天机器人中打造企业级Copilot。要让AI理解物理世界,需要AI计算机、监测分析计算机和执行任务的机器人三位一体。这就像语言模型,只不过我们要构建的是端到端的机器人系统。通过强化学习,机器人可适应物理定律。Omniverse提供模拟环境,教会机器人如何成为机器人。OVX托管于Azure。未来的仓储、工厂都将由软件定义,机器人自主协同工作。数字孪生是机器人系统CICD的关键。西门子正构建工业元宇宙,日产已将Omniverse整合到工作流。所有移动设备都将是机器人,包括自动驾驶汽车。从计算机视觉到AI控制,还有很多工作要做。

有了数字人躯壳，我们就需要构建数字人的灵魂，让数字人具备各种智能，比如记得你的个人信息，充当你的个人助手；在某个领域具备更专业的知识；能处理复杂的任务等等。这些能力实现有以下几个需要注意的工程关键点：1.AI Agent：我们要想数字人像人一样思考就需要写一个像人一样的Agent，工程实现所需的记忆模块，工作流模块、各种工具调用模块的构建都是挑战；2.驱动躯壳的实现：灵魂部分怎样去驱动躯壳部分，我们可以将灵魂部分的所有接口定义出来，然后躯壳部分通过API调用，调用方式可以是HTTP、webSocket等等，视躯壳部分的实现而定。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对来说成熟一些，但都是闭源的，效果可以参考Nvidia的Audio2Face(https://www.nvidia.cn/omniverse/apps/audio2face/)或则Live Link Face(Iphone APP)+Face AR Sample(UE)；3.实时性：由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。4.多元跨模态：仅仅是语音交互的数字人是远远不够的，人有五感(听觉、视觉、嗅觉、触觉、味觉)，听觉只是其中一种，其他的感官可以根据实际需求来做，比如视觉我们可以通过添加摄像头数据来获取数据，再通过系列CV算法做图像解析等；5.拟人化场景：我们正常和人交流的时候不是线性对话，会有插话、转移话题等情况，这些情景如何通过工程丝滑处理。

我们将讨论这个新行业的很多事情，包括接下来如何进行计算，您因这个新行业而构建的软件类型，新软件，您会如何看待这个新软件，以及这个新兴行业的应用情况。然后，我们也许会探讨接下来会发生什么，我们今天如何开始为接下来的事情做准备。在我开始之前，我想向您展示NVIDIA的灵魂。我们公司的灵魂位于计算机图形学、物理和人工智能的交叉点。所有这些都在计算机内部交叉，在Omniverse虚拟世界模拟中。我们今天要向您展示的所有内容，都是模拟，而非动画。它之所以美丽，是因为它是物理学。世界是美丽的。这太神奇了，因为它是用机器人制作的动画，是用人工智能制作的动画。您一整天都会看到的东西，都是在Omniverse中完全模拟生成的。您将要享受的是世界上第一场音乐会，一切都是自制的。您将要观看一些家庭视频，所以请坐下来尽情享受。我爱英伟达。加速计算已达到临界点。通用计算已经失去动力。我们需要另一种计算方式，这样我们就可以继续扩展，这样我们就可以继续降低计算成本，这样我们就可以继续消耗越来越多的计算。我们正在追求的是可持续性。加速计算已经在与通用计算的比较中展现出显著的优势。在我所参与的每一个行业中，我都有大量的案例可以向您展示。其影响力巨大，而且在任何行业中，它的重要性都超过了我们自己的行业。这些行业都在使用模拟工具来创建产品。这并不是为了降低计算成本，而是为了扩大计算规模。我们希望能够进行模拟，我们所做的整个产品都是完全高保真、完全数字化的，这就是我们所说的数字孪生。我们希望设计它、构建它、模拟它、操作它，完全数字化。为了实现这一目标，我们需要加速整个行业的发展。今天，我想宣布，我们有一些合作伙伴正在加入我们的旅程，他们将加速他们的整个生态系统，以便我们可以将世界带入加速计算的时代。