關(guān)于數(shù)字孿生十問：

數(shù)字經(jīng)濟大潮下，數(shù)字孿生技術(shù)作為數(shù)字化轉(zhuǎn)型的重要工具，已被納入國家關(guān)鍵技術(shù)戰(zhàn)略，進入產(chǎn)業(yè)應用深水區(qū)。在交通、汽車、工業(yè)、文旅、建筑等眾多行業(yè)，數(shù)字孿生的應用，正在從“可看”，向“可算”、“好用”發(fā)展，通過數(shù)字世界的計算推演，為物理世界的優(yōu)化提供更多的決策指導，實現(xiàn)數(shù)字世界與物理世界的雙向銜接。

騰訊研究院與騰訊數(shù)字孿生產(chǎn)品部聯(lián)合發(fā)起《數(shù)字孿生十問》系列，每期聚焦一個應用領(lǐng)域，探討技術(shù)創(chuàng)新，挖掘應用價值。

智能網(wǎng)聯(lián)汽車是軟硬結(jié)合、云邊端協(xié)同、多元融合的載體，是數(shù)實融合落地的典型產(chǎn)業(yè)，同時也是典型的數(shù)字孿生應用場景。中國汽車產(chǎn)業(yè)已經(jīng)在電動化方面領(lǐng)跑全球，下一步智能化將成為產(chǎn)業(yè)競爭焦點，也是決勝未來的關(guān)鍵所在。

本期十個問題，將展開剖析數(shù)字孿生技術(shù)與仿真測試在自動駕駛走向量產(chǎn)的過程中所發(fā)揮的重要作用。

【一】近日，四部委聯(lián)合發(fā)布了《關(guān)于開展智能網(wǎng)聯(lián)汽車準入和上路通行試點工作的通知》，是否標志自動駕駛量產(chǎn)上路時代已來?

汽車是改變世界的工具，隨著電動化和網(wǎng)聯(lián)化的深入，以自動駕駛為核心的智能化進程也在加速。11月，四部委聯(lián)合下發(fā)《關(guān)于開展智能網(wǎng)聯(lián)汽車準入和上路通行試點工作的通知》，被普遍認為是量產(chǎn)上路時代來臨的信號。

該通知鼓勵各地區(qū)積極探索智能網(wǎng)聯(lián)汽車的準入和上路通行試點工作，實際上為量產(chǎn)應用提供了寬松的環(huán)境，促進技術(shù)的不斷創(chuàng)新和實踐。其中提到了推動法律法規(guī)、技術(shù)標準的制定和完善，為自動駕駛技術(shù)的商業(yè)化落地提供依據(jù)和規(guī)范。

當然，智能交通系統(tǒng)、高精度地圖、車聯(lián)網(wǎng)等基礎(chǔ)設(shè)施仍要加速配套，為規(guī)�；�推廣應用奠定基礎(chǔ)。

城市交通數(shù)字孿生

【二】自動駕駛規(guī)�；瘧�用，卡點在哪里?

自動駕駛規(guī)�；瘧�用面臨很多技術(shù)挑戰(zhàn)，要解決長尾問題提升系統(tǒng)安全性，需要配套法規(guī)、政策和金融保險制度、用戶接受度等問題。只有在這些問題得到有效解決的情況下，自動駕駛技術(shù)才能大規(guī)模應用。

例如自動駕駛測試體系搭建問題，汽車作為復雜的工程產(chǎn)品，包括了機械、電子、軟件等技術(shù)，設(shè)計階段無法完成預測并解決所有問題，只有完善的測試體系才能驗證功能可用性和安全性，尤其是安全性，關(guān)乎駕駛員和乘客人身安全。

當然，研發(fā)與測試并非完全對立關(guān)系，在研發(fā)過程中，可以利用階段性測試的有效手段來發(fā)現(xiàn)設(shè)計上的缺陷和制造上的問題，提升汽車的質(zhì)量。此外，用戶體驗舒適性、燃油經(jīng)濟性、汽車動力性能等方面，也需要依賴完善測試來驗證和迭代提升。

【三】數(shù)字孿生技術(shù)對自動駕駛落地有什么推動作用?

我國在探索智能網(wǎng)聯(lián)汽車的過程中，提出了“人-車-路-云”一體化的方案。在這樣的架構(gòu)體系下，汽車、交通、通信需要充分融合。

作為信息物理系統(tǒng)的典型應用，智能網(wǎng)聯(lián)汽車正在推動產(chǎn)業(yè)的新一輪歷史性轉(zhuǎn)型升級，其規(guī)�；�落地，呈現(xiàn)出復雜大系統(tǒng)的的典型特點，需要形成全鏈路數(shù)字化閉環(huán)的車路云協(xié)同方法和框架，構(gòu)建完備的技術(shù)閉環(huán)體系，自動駕駛的商業(yè)閉環(huán)一定要建立在技術(shù)閉環(huán)的基礎(chǔ)之上。

隨著數(shù)字孿生走向產(chǎn)業(yè)應用深水區(qū)，技術(shù)應用正在從可視化，向可計算、可預測和可控制的方向升級。在智能網(wǎng)聯(lián)汽車特別是自動駕駛領(lǐng)域，數(shù)字孿生技術(shù)可以用于生成訓練數(shù)據(jù)，構(gòu)建安全、高效的測試場景，形成研發(fā)和測試的閉環(huán)迭代。在自動駕駛仿真測試領(lǐng)域，數(shù)字孿生技術(shù)可以將真實數(shù)據(jù)在仿真平臺上進行場景的生成和重組，為自動駕駛算法提供可供測試的 corner case 。例如騰訊自動駕駛數(shù)字孿生仿真平臺TAD Sim還打造了面向地圖更新回歸測試的應用能力，幫助車企以更低成本進行地圖更新數(shù)據(jù)的回歸測試驗證，保證智駕算法在新的地圖更新數(shù)據(jù)之上不會出現(xiàn)運行問題或者功能降級。

TAD Sim自動駕駛虛實融合測試

【四】數(shù)字孿生仿真測試對自動駕駛量產(chǎn)的作用是什么?

為保證自動駕駛安全，模擬仿真、封閉場地和實際道路測試三種測試方法缺一不可。通常情況下按照先模擬仿真、再封閉場地、最后實際道路測試的順序，在自動駕駛系統(tǒng)開發(fā)和應用的不同階段，采用不同的測試方式。

行業(yè)普遍認為，采用路測方式來測試自動駕駛算法所耗費的時間和成本太高，極端交通條件和危險場景復現(xiàn)困難，且存在很大危險性，關(guān)鍵是測試的邊際效應非常明顯，也很難滿足完備性需求。所以仿真測試是解決自動駕駛路測數(shù)據(jù)匱乏和成本高的核心路徑，具有安全性高、低成本、高效率等特性，是自動駕駛應用落地的關(guān)鍵環(huán)節(jié)。自動駕駛仿真可以幫助開發(fā)者在虛擬環(huán)境中模擬和測試自動駕駛系統(tǒng)的各個方面，從感知、決策到控制以及交互等，高效的驗證和優(yōu)化系統(tǒng)的性能。

高效的測試才會有高效的開發(fā)，最高效的測試是具備完整場景覆蓋的仿真測試。從測試場景數(shù)量看，模擬仿真測試遠遠大于封閉場地和實際道路測試和封閉場地測試。使用仿真軟件提供的工具和功能，構(gòu)建虛擬場景，包括道路、交通標志、交通流等。這些場景能模擬真實世界中的各種情況和挑戰(zhàn)，以便進行全面的測試和驗證，據(jù)此可以評估自動駕駛系統(tǒng)的可靠性和性能，并發(fā)現(xiàn)潛在的問題和改進點，也能夠更好滿足全生命周期的OTA回歸測試需求。

同時，確保自動駕駛仿真的真實性是一個重要的問題。涉及到場景模擬的準確性、傳感器模擬的準確性、車輛模型的真實性、算法模型的準確性、交互模擬的真實性等，還有諸多不穩(wěn)定性的因素。通過不斷改進仿真軟件的準確性和真實性，可以提高仿真結(jié)果與真實世界的一致性，從而更好地支持自動駕駛技術(shù)的發(fā)展和應用。

【五】BEV、端到端等新技術(shù)路線對自動駕駛仿真提出了什么新的要求?

當前BEV+OCC已經(jīng)成為業(yè)內(nèi)相對共識的自動駕駛框架，豐富的模型表達能力，也使得自動駕駛技術(shù)研發(fā)重點也由面向模型轉(zhuǎn)向面向數(shù)據(jù)。恰是這種方式的轉(zhuǎn)變，對4D數(shù)據(jù)和空間計算需求也提出了更高的要求，如何低成本獲取獲取高質(zhì)量的訓練數(shù)據(jù)和驗證場景尤為重要，對自動駕駛仿真也提出了新的需求和挑戰(zhàn)。在新的算法框架和評測體系下，需要多視圖、多傳感器融合的4D數(shù)據(jù)，必須在時間和空間保持一致的基礎(chǔ)上，能夠滿足真實性、完備性和多樣性的需求。

如果說BEV+Transformer 路線，是感知端的神經(jīng)網(wǎng)絡(luò)運算，端到端則是全程使用神經(jīng)網(wǎng)絡(luò)算法，無人工規(guī)則介入。這讓原本的模塊化流程變的“黑盒化”。過去的仿真測試，包括單元測試、模塊測試、集成測試等，是一個從小到大的過程。被測物的環(huán)節(jié)越小越集中，測試的針對性越強，發(fā)現(xiàn)了問題，指向性也非常明顯。針對端到端的自動駕駛算法，仿真測試的策略也在隨之變化，需要支持全閉環(huán)驗證策略，需要有高逼真的場景、可行決策的生成能力以及配套的真實和評價體系。騰訊自動駕駛數(shù)字孿生仿真平臺TAD Sim，采用AIGC+PCG+高逼真渲染引擎構(gòu)建和生成4D場景，可用于進行端到端算法的仿真測試，也可以生成配套的真值標注數(shù)據(jù)，用于感知算法的訓練。

雪天高速公路自動駕駛數(shù)字孿生仿真測試

【六】AIGC及大模型的爆發(fā)為自動駕駛仿真帶來什么變化?

生成式AI大模型承載著巨量參數(shù)，利用多模態(tài)數(shù)據(jù)，可提升研發(fā)效能，節(jié)省數(shù)據(jù)標注成本，通過更強的泛化能力，加速仿真場景構(gòu)建。若AIGC成為自動駕駛算法訓練和測試的主要數(shù)據(jù)來源，那原本的采集車隊、大規(guī)模數(shù)據(jù)平臺等模式將會發(fā)聲改變，影響到未來自動駕駛產(chǎn)業(yè)格局的變化。

采用AIGC技術(shù)可以創(chuàng)造出更多的合成數(shù)據(jù)，尤其是一些敏感或高安全領(lǐng)域的數(shù)據(jù)和長尾數(shù)據(jù)，從而填補真實數(shù)據(jù)中的缺口，提升訓練和測試樣本的樣本的多樣性、完備性和均衡性。

2022 年以來， Nerf、Diffusion Model、World Model 等新技術(shù)，提升了仿真平臺的保真度，可用于算法的訓練，并大幅提升訓練效率。通過生成模型來輸入已知環(huán)境特征，同時預測未來場景很可能就是構(gòu)建計算機視覺領(lǐng)域自監(jiān)督基礎(chǔ)模型(Foundation Model)的關(guān)鍵性任務。自動駕駛領(lǐng)域world model 世界模型正式這種理念的產(chǎn)物�；�于車輛采集的大量多源數(shù)據(jù)，結(jié)合語義信息和世界演化的規(guī)律生成未來場景，用于模型訓練、行為預測和測試驗證。因為世界模型具有更高的還原度，能夠生成高逼真的4D場景數(shù)據(jù)，更有效的支持端到端的自動駕駛算法訓練和測試，尤其是corner case的生成效率更高，進而提高算法訓練和仿真測試效率。

在游戲領(lǐng)域廣泛應用的場景自動生成、實時渲染、行為模擬等算法，與自動駕駛的三維融合感知等能力相結(jié)合，會對自動駕駛視覺大模型能力提供技術(shù)支持，同時云端工具鏈體系也為大規(guī)模三維數(shù)據(jù)合成提供很好的工程支持。利用大模型和AIGC，可以生成和編輯出更豐富多元的測試場景，包括光照、天氣及更加極端的交通環(huán)境。

騰訊基于數(shù)字孿生仿真技術(shù)實現(xiàn)場景風格轉(zhuǎn)換

(左上、左下-仿真場景，右上-真實圖像，右下-風格轉(zhuǎn)換后圖像)

【七】商業(yè)化目標下，自動駕駛領(lǐng)域使用大模型如何平衡技術(shù)效率和相應的成本問題?

新技術(shù)路線下，自動駕駛競爭關(guān)鍵由算法和模型，轉(zhuǎn)向為數(shù)據(jù)與算力，其開發(fā)模式也由面向模型轉(zhuǎn)向了面向數(shù)據(jù)。在數(shù)據(jù)方面，基于仿真技術(shù)，尤其是AIGC+PCG+三維引擎融合技術(shù)的合成數(shù)據(jù)，可以自動生成大量帶有真值的數(shù)據(jù)。目前，騰訊自動駕駛實驗室利用SAM大模型做數(shù)據(jù)預標注取得了很好效果，也正在將相關(guān)的自動駕駛算法、模擬仿真以及游戲引擎和PCG(程式化生成)技術(shù)結(jié)合，實現(xiàn)高逼真場景的生成和編輯，在保證數(shù)據(jù)滿足真實性的同時，具備可編輯操控能力。

在算力方面，訓練大模型所需的數(shù)據(jù)非常巨量，需要TB級吞吐和千萬級IOPS支持，來完全滿足數(shù)據(jù)存儲和檢索需求�，F(xiàn)如今大模型參數(shù)量已達萬億級規(guī)模，需要龐大計算集群來完成感知預測一體化模型訓練和仿真測試，但行業(yè)內(nèi)計算資源匱乏已是不爭事實。一方面車企在大量投入，建設(shè)高性能計算集群，升級計算網(wǎng)絡(luò)架構(gòu)。以更適合AI運算的向量數(shù)據(jù)庫，高效處理智駕非結(jié)構(gòu)化數(shù)據(jù)。

目前，蔚來等車企正在與騰訊合作，打造一體化的混合云基礎(chǔ)設(shè)施，支撐快速發(fā)展的智能駕駛研發(fā)和運營服務。今年7月騰訊發(fā)布國內(nèi)首個AI原生的向量數(shù)據(jù)庫，專為向量數(shù)據(jù)存儲、檢索和分析而量身定制。智駕場景下，向量數(shù)據(jù)庫可以很好的處理海量的視頻、點云等非結(jié)構(gòu)化數(shù)據(jù)。假設(shè)在10億張圖片里找1張卡車運輸共享單車的圖片，騰訊云向量數(shù)據(jù)庫可并發(fā)支持100萬個請求，在10億規(guī)模圖片里進行搜索，只需要百毫秒就能輕松地找到這條記錄。

在仿真測試方面，今年起，騰訊也與車企開展了自動駕駛云仿真的合作，在云仿真平臺，可以支持一萬個以上的場景并行計算，將10000個場景的運行時間從14天大幅縮減至4分鐘。借助真實交通數(shù)據(jù)，構(gòu)建虛實一體的仿真城市，支持數(shù)千輛自動駕駛車輛和數(shù)十萬輛交通流車輛同時運行，車輛之間實時同步，在高效性的同時保證測試的有效性。

騰訊自動駕駛 虛擬仿真平臺TAD Sim虛擬城市型云仿真

【八】未來自動駕駛行業(yè)的生態(tài)會是怎么樣?

未來的汽車，就是一個個數(shù)據(jù)的載體，而海量的數(shù)據(jù)如何能夠更好的反哺自動駕駛和智能網(wǎng)聯(lián)汽車相關(guān)功能的研發(fā)，需要一套閉環(huán)的數(shù)據(jù)體系，覆蓋眾多的采集、處理、分析、訓練、部署等等模塊。在目前的行業(yè)運行中，各個模塊由不同的供應商承擔，會提高單一模塊效率，但也容易造成模塊之前的割裂，形成一個個煙囪，影響全局整合效率。

目前行業(yè)現(xiàn)狀是能在自身數(shù)據(jù)池里閉環(huán)，充分挖掘數(shù)據(jù)價值的車企，才能快速在競爭中突圍。在數(shù)據(jù)驅(qū)動下的自動駕駛研發(fā)，更加依賴海量的數(shù)據(jù)喂養(yǎng)，去訓練成熟的算法。數(shù)據(jù)既是企業(yè)的核心競爭力，但單一企業(yè)很難滿足數(shù)據(jù)多樣性和完備性的需求，為了加速自動駕駛產(chǎn)業(yè)發(fā)展，早日實現(xiàn)完全自動駕駛，需要建立一套數(shù)據(jù)共享機制和相關(guān)的回饋激勵機制，勢必行業(yè)發(fā)展的必經(jīng)之路，是共享自動駕駛紅利的基礎(chǔ)。

對于自動駕駛工具鏈來說，需要的是從架構(gòu)設(shè)計、功能定義的階段開始共建，跳脫出甲乙方的供需關(guān)系，成為一條心的利益共同體。同時，從更長遠的角度考慮，未來通過第三方平臺，沉淀通用數(shù)據(jù)，訓練基礎(chǔ)模型，為廣泛的車企服務，更符合車路協(xié)同的技術(shù)路線，以數(shù)字化的基礎(chǔ)設(shè)施，推動數(shù)字化的應用發(fā)展。

【九】數(shù)字孿生未來在演進的方向有哪些?

隨著數(shù)字孿生技術(shù)在各個行業(yè)的落地應用，仿真模擬仍舊是其核心的價值體現(xiàn)，為了保證仿真結(jié)果的準確性和可用性，逐漸出現(xiàn)基于第一性原理(機理)的仿真方法和基于數(shù)據(jù)的仿真方法共同融合的趨勢，兩者的融合一方面能夠通過準確的機理模型為仿真提供合理的約束，另一方面能夠利用大數(shù)據(jù)分析挖掘?qū)Ψ抡娼Y(jié)果進行分析，提煉更多有價值的結(jié)果，并且在機理不明確的場景或者環(huán)節(jié)，能夠通過大數(shù)據(jù)的擬合來實現(xiàn)場景演算和分析。此外伴隨著AIGC技術(shù)的不斷發(fā)展和成熟，未來數(shù)字孿生和AIGC的融合將會是重要的趨勢，一方面AIGC能夠?qū)崿F(xiàn)數(shù)據(jù)的標定和一些關(guān)鍵場景的生成，能夠豐富數(shù)字孿生的數(shù)據(jù)源，另一方面，伴隨著各類行業(yè)大模型的出現(xiàn)，大模型也有望通過模型蒸餾等方式幫助數(shù)字孿生的仿真推演模型實現(xiàn)更優(yōu)性能。

【十】未來還會有哪些技術(shù)可能會對自動駕駛仿真帶來非常大的提升?

對自動駕駛仿真技術(shù)的提升，未來更多還是會發(fā)生在仿真算法這個層面，仿真算法的演進和迭代會大幅提升仿真效率。傳統(tǒng)仿真測試環(huán)境，大部分內(nèi)容都是基于真實路測數(shù)據(jù)生成，然后進行仿真推演，但是在真實路測的過程中，由于無法覆蓋復雜的長尾場景，這就導致仿真路測里程中，有效場景比例不高，實際效果和實車路測差別不大，這種情況給自動駕駛的仿真帶來很多挑戰(zhàn)，如何找到高價值的訓練場景成為非常共性的問題。例如來自密歇根大學的劉向宏教授的實驗室提出基于密集強化學習的深度學習網(wǎng)絡(luò)D2RL，可以將目前基于NDE(自然駕駛環(huán)境)的仿真模擬效率提升2000倍，在雙車道400m場景中，D2RL生成的場景直接跳過(刪除)傳統(tǒng)仿真過程中95.7%的事件和99.78%步驟，最大可能給出系統(tǒng)高價值訓練場景。

(新媒體責編：wa12)