為應(yīng)對挑戰(zhàn)，上汽集團(tuán)重新解構(gòu)數(shù)據(jù)閉環(huán)業(yè)務(wù)，將服務(wù)劃分為同場景模態(tài)轉(zhuǎn)換與新場景生成兩類，并基于統(tǒng)一標(biāo)簽語言與強(qiáng)類型數(shù)據(jù)規(guī)范重構(gòu)體系。通過解耦原有平臺服務(wù)為獨(dú)立微服務(wù)單元，采用分布式架構(gòu)壓縮業(yè)務(wù)平臺數(shù)據(jù)規(guī)模，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化管理與高效調(diào)用。此舉提升了數(shù)據(jù)復(fù)用率與服務(wù)穩(wěn)定性，降低了底層基礎(chǔ)設(shè)施變動對上層業(yè)務(wù)的影響。最后展示了新體系下一些數(shù)據(jù)閉環(huán)服務(wù)的特點(diǎn)和運(yùn)行情況。

周鵬｜上汽集團(tuán)創(chuàng)新研究開發(fā)總院，智駕部仿真與數(shù)據(jù)開發(fā)專家

以下為演講內(nèi)容整理:

算法、算力、數(shù)據(jù)是人工智能發(fā)展的三大核心要素，數(shù)據(jù)閉環(huán)能力是智能輔助駕駛團(tuán)隊(duì)的核心能力，所以上汽智駕部門在成立之初便組建了一支專注于仿真數(shù)據(jù)相關(guān)工具鏈開發(fā)的團(tuán)隊(duì)。

圖源:演講嘉賓素材

盡管數(shù)據(jù)采集車、量產(chǎn)車及功能測試車的數(shù)據(jù)閉環(huán)鏈路在具體細(xì)節(jié)上存在差異，但整體流程大致相同。數(shù)據(jù)在車端生成后，需經(jīng)過脫敏、清洗、質(zhì)檢、標(biāo)注及場景標(biāo)簽標(biāo)注等一系列預(yù)處理流程，隨后被劃分為兩部分，一部分用于新算法的訓(xùn)練與迭代，另一部分則用于新算法的測評。

圖源:演講嘉賓素材

最初，基于數(shù)據(jù)閉環(huán)的需求，我們對云端數(shù)據(jù)工廠規(guī)劃并定義了四個核心數(shù)據(jù)閉環(huán)平臺，即數(shù)據(jù)管理平臺、標(biāo)注平臺、訓(xùn)練平臺及仿真平臺。每個平臺內(nèi)部均配置了若干算子或子服務(wù)，以確保車端回傳的數(shù)據(jù)能夠在這四個平臺之間及其內(nèi)部高效流轉(zhuǎn)。

圖源:演講嘉賓素材

圖源:演講嘉賓素材

因此，我們對原有認(rèn)知進(jìn)行了重新解構(gòu)。我們發(fā)現(xiàn)，所有數(shù)據(jù)服務(wù)大致可劃分為兩類。第一類服務(wù)主要實(shí)現(xiàn)同場景下不同模態(tài)數(shù)據(jù)的轉(zhuǎn)換。例如，人工標(biāo)注、自動標(biāo)注及仿真回灌等過程，均是通過原始數(shù)據(jù)生成結(jié)構(gòu)化數(shù)據(jù)，其核心在于保持場景不變的前提下改變數(shù)據(jù)表達(dá)方式或模態(tài)。類似地，3D高斯重建技術(shù)將原始數(shù)據(jù)轉(zhuǎn)換為高斯點(diǎn)云表征形式；算法評測服務(wù)本質(zhì)上也是對場景數(shù)據(jù)的評價(jià)，均屬于此類模態(tài)轉(zhuǎn)換范疇。第二類服務(wù)聚焦于新場景的生成。當(dāng)前主流的場景生成方法，如世界模型等，均基于基礎(chǔ)場景構(gòu)建新場景。例如，閉環(huán)仿真中因車輛行為變化導(dǎo)致整體場景改變，或通過修改標(biāo)簽參數(shù)生成新場景，均屬于新場景生成的應(yīng)用實(shí)例。

圖源:演講嘉賓素材

基于上述理解，我們對整個數(shù)據(jù)閉環(huán)業(yè)務(wù)進(jìn)行了系統(tǒng)性重構(gòu)。首先對數(shù)據(jù)進(jìn)行了明確定義，數(shù)據(jù)是同一場景在不同模態(tài)下的表達(dá)形式，且采用統(tǒng)一的標(biāo)簽語言體系。服務(wù)則被定義為實(shí)現(xiàn)數(shù)據(jù)模態(tài)間相互轉(zhuǎn)換，或生成新數(shù)據(jù)片段的功能模塊。圍繞這一定義，我們將原有四大核心平臺中的服務(wù)進(jìn)行解耦，拆分為獨(dú)立的微服務(wù)單元。這些服務(wù)所產(chǎn)生的數(shù)據(jù)，不再局限于臨時數(shù)據(jù)或中間數(shù)據(jù)形態(tài)，而是作為場景數(shù)據(jù)的完整組成部分，與原始數(shù)據(jù)處于同等層級。每個服務(wù)在完成計(jì)算后，僅是在現(xiàn)有數(shù)據(jù)表達(dá)體系中新增一種模態(tài)或生成全新數(shù)據(jù)。例如，云端自動化標(biāo)注服務(wù)通過原始點(diǎn)云和圖像生成結(jié)構(gòu)化數(shù)據(jù)；仿真算法回灌服務(wù)則通過感知模塊生成推理結(jié)果，這些結(jié)構(gòu)化數(shù)據(jù)均可進(jìn)一步用于自動化評測。所有服務(wù)均以場景或CLIP為核心，實(shí)現(xiàn)模態(tài)間的轉(zhuǎn)換與交互。

重構(gòu)完成后，新數(shù)據(jù)工廠2.0采用了更獨(dú)立的純云原生體系。原有業(yè)務(wù)平臺仍為用戶保留訪問入口，但其底層服務(wù)已全面解耦為獨(dú)立模塊。通過解耦，業(yè)務(wù)平臺自身數(shù)據(jù)規(guī)模被顯著壓縮，大部分原業(yè)務(wù)平臺數(shù)據(jù)下沉至場景數(shù)據(jù)層進(jìn)行統(tǒng)一管理。這一調(diào)整使得其他服務(wù)在調(diào)用相關(guān)數(shù)據(jù)及其運(yùn)算結(jié)果時更為便捷高效。

圖源:演講嘉賓素材

下面介紹一些新體系下的服務(wù)平臺。標(biāo)注平臺方面，我們同時支持人工標(biāo)注與自動化標(biāo)注兩種模式。其中自動化標(biāo)注涵蓋多類型標(biāo)注任務(wù)，包括BEV標(biāo)注、車道線標(biāo)注及OCC標(biāo)注等。通過將SLAM點(diǎn)云拼接等微服務(wù)模塊進(jìn)行解耦重構(gòu)，顯著提升了各功能組件的復(fù)用性，為標(biāo)注效率與質(zhì)量的提升奠定了技術(shù)基礎(chǔ)。

圖源:演講嘉賓素材

仿真平臺方面，得益于新體系的整合能力，仿真平臺很快與我們問題管理平臺、集成發(fā)布平臺等其他業(yè)務(wù)平臺進(jìn)行了互通。這些外部平臺的操作均可能觸發(fā)仿真工作流的執(zhí)行。例如問題管理平臺可直接跳轉(zhuǎn)至可視化界面查看相關(guān)數(shù)據(jù)，同時可視化平臺提供一鍵生成仿真場景的功能按鈕，用戶可將指定數(shù)據(jù)轉(zhuǎn)化為仿真場景并納入場景庫進(jìn)行后續(xù)仿真驗(yàn)證。

圖源:演講嘉賓素材

此外是場景挖掘平臺，該平臺當(dāng)前采用視覺語言模型對視頻或圖像進(jìn)行向量化處理。針對測試數(shù)據(jù)中暴露的問題，系統(tǒng)會在全局場景庫中開展相似場景挖掘，挖掘結(jié)果按比例分配至訓(xùn)練集與測試集。當(dāng)相似場景數(shù)量不足時，平臺將自動觸發(fā)數(shù)據(jù)采集流程。該平臺支持基于圖像或文本的檢索功能，包括以圖搜圖、以文搜圖等多樣化查詢模式。

圖源:演講嘉賓素材

我們的仿真數(shù)據(jù)合成服務(wù)采用多種方法生成數(shù)據(jù)以滿足不同需求。例如，針對地面標(biāo)線生成、泊車魚眼數(shù)據(jù)生成以及天氣轉(zhuǎn)換等場景，我們較早便開展了相關(guān)研究，并應(yīng)用了包括Diffusion方法和純仿真渲染在內(nèi)的多種技術(shù)手段。

圖源:演講嘉賓素材

我們還提供了基于3D高斯場景重建的新視角生成和閉環(huán)仿真服務(wù)。視頻中原場景下自車沿道路中間車道行駛，周圍存在障礙物。我們對場景進(jìn)行了高斯點(diǎn)云重建，移除了原有障礙物并插入一輛靜止車輛，隨后接入智能輔助駕駛算法開展閉環(huán)仿真測試。測試過程中，系統(tǒng)成功實(shí)現(xiàn)了對靜止車輛的繞行操作。過程中，我們也引入了一些特別的優(yōu)化技巧以保障仿真畫面的可用性?；咀龅搅俗攒囋谲嚨兰壍能壽E和姿態(tài)改變下，仍能維持仿真畫面的清晰度與可用性。

圖源:演講嘉賓素材