[首發(fā)于智駕最前沿微信公眾號(hào)]隨著自動(dòng)駕駛技術(shù)的發(fā)展，該技術(shù)已經(jīng)可以在很多高速路況和部分城市路況展現(xiàn)很好的組合輔助駕駛能力。即便如此，自動(dòng)駕駛技術(shù)依舊未能大范圍使用，之所以會(huì)這樣，因?yàn)闆Q定自動(dòng)駕駛是否安全的，不是那99%的正常情況，而是那1%的極少數(shù)會(huì)發(fā)送，但危險(xiǎn)性極高的瞬間。

想想一下，如果在高速上駕駛車輛時(shí)，忽然有一頭野豬忽然從路側(cè)闖入或者前方車輛出現(xiàn)了物體掉落的情況，這些場(chǎng)景雖然發(fā)生的可能性很小，但一旦發(fā)生，自動(dòng)駕駛系統(tǒng)就必須做出安全且合理的決策。

就在最近，Waymo把這類“長(zhǎng)尾”片段挑出來(lái)，整理成WOD-E2E（Waymo Open Dataset for End-to-End Driving），目的就是給端到端駕駛研究提供一個(gè)專門的、高真實(shí)度的測(cè)試工具。

數(shù)據(jù)集鏈接：https://github.com/waymo-research/waymo-open-dataset

WOD-E2E的核心價(jià)值在于稀缺性和針對(duì)性。它不是簡(jiǎn)單將常規(guī)片段湊在一起再發(fā)布，而是從海量行駛數(shù)據(jù)里精挑細(xì)選出那些罕見(jiàn)但具有代表性的危險(xiǎn)瞬間，從而方便研究者可以把注意力放在系統(tǒng)最脆弱的環(huán)節(jié)上。

與其依賴常規(guī)數(shù)據(jù)評(píng)估模型，不如用那些能真正暴露問(wèn)題的關(guān)鍵片段來(lái)檢驗(yàn)其安全性。在駕駛的臨界時(shí)刻，模型能否做出如合理剎車、及時(shí)避讓或穩(wěn)定維持車道等安全決策，才是檢驗(yàn)其安全底線的核心測(cè)試。將這類數(shù)據(jù)公開(kāi)，我們就能在同一套更貼近現(xiàn)實(shí)的標(biāo)準(zhǔn)下，比較不同方法的優(yōu)劣、對(duì)齊訓(xùn)練目標(biāo)，從而推動(dòng)端到端系統(tǒng)從“能夠運(yùn)行”向“能夠安全落地”邁進(jìn)。

WOD-E2E包含什么？

WOD-E2E數(shù)據(jù)集由4021個(gè)20秒長(zhǎng)的真實(shí)駕駛片段組成，總時(shí)長(zhǎng)約十二小時(shí)，聚焦在需要即時(shí)決策的長(zhǎng)尾場(chǎng)景的關(guān)鍵瞬間。每個(gè)片段配有八個(gè)環(huán)繞攝像頭的圖像（前、前左、前右、側(cè)左、側(cè)右、后、后左、后右），覆蓋360度視野，視頻采樣率是10Hz，同時(shí)包含自車的歷史軌跡、速度和加速度，以及高層路由指令（如直行、左轉(zhuǎn)、右轉(zhuǎn)）。

訓(xùn)練/驗(yàn)證集里還公開(kāi)了未來(lái)五秒的真實(shí)軌跡，便于監(jiān)督學(xué)習(xí)和評(píng)估。Waymo把這些片段按場(chǎng)景類型做了劃分，涵蓋施工區(qū)域、復(fù)雜路口、行人或騎行者的異常交互、多車道競(jìng)爭(zhēng)、路面異物、特殊車輛交互等多類長(zhǎng)尾情形，每類都對(duì)應(yīng)不同的決策挑戰(zhàn)。

WOD-E2E中提出了與人類偏好對(duì)齊的Rater Feedback Score（RFS）。傳統(tǒng)的軌跡誤差指標(biāo)往往只看模型預(yù)測(cè)與日志軌跡的距離，但在緊急避險(xiǎn)情況下，偏離日志軌跡反而可能更安全。

RFS的思路是先讓模型生成多條候選軌跡，再由人工評(píng)估員為幾條代表軌跡在安全性、合法性、反應(yīng)時(shí)機(jī)、剎車必要性、效率等維度打分，形成參考軌跡集合。模型的預(yù)測(cè)如果落在某條參考軌跡的“信任區(qū)域”內(nèi)，就獲得對(duì)應(yīng)分值；若偏離則按指數(shù)衰減扣分，并設(shè)有最低保底分。

這種評(píng)價(jià)允許存在多種合理動(dòng)作，強(qiáng)調(diào)與人類判斷的一致性，比單純的距離誤差更能反映安全性和可接受性。

圖片源自：參考報(bào)告

其實(shí)現(xiàn)階段端到端研究有幾類主流范式，在長(zhǎng)尾場(chǎng)景上處理各有優(yōu)勢(shì)。把多傳感器信息投影到鳥(niǎo)瞰圖（BEV）后直接在BEV上完成感知與規(guī)劃的方法，在空間一致性和全局決策上表現(xiàn)較好，適合復(fù)雜路口和多車道規(guī)劃。

因?yàn)長(zhǎng)LM自帶世界知識(shí)和推理能力，把多模態(tài)輸入映射到語(yǔ)言或語(yǔ)義空間，利用大語(yǔ)言模型（MLLM）進(jìn)行推理的做法，更擅長(zhǎng)處理語(yǔ)義復(fù)雜或前所未見(jiàn)的情形。

基于生成式或擴(kuò)散模型的軌跡器則擅長(zhǎng)表達(dá)多樣性，能給出多個(gè)可行解，利于后端做風(fēng)險(xiǎn)比較與選擇。

如果在WOD-E2E上做有針對(duì)性的微調(diào)、增加完整環(huán)繞輸入或在推理時(shí)進(jìn)行多樣本采樣，就會(huì)明顯提升RFS得分；此外，把RFS作為強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)也能推動(dòng)模型朝更符合人類偏好的方向優(yōu)化。

WOD-E2E對(duì)自動(dòng)駕駛的影響

WOD-E2E為自動(dòng)駕駛研究提供了一個(gè)更貼近現(xiàn)實(shí)痛點(diǎn)的基準(zhǔn)，可以對(duì)長(zhǎng)尾問(wèn)題生成更有針對(duì)性的算法。它會(huì)促使大家不單純追求與日志軌跡的貼合，而是在訓(xùn)練目標(biāo)、損失設(shè)計(jì)和不確定性表達(dá)上做出調(diào)整。

對(duì)設(shè)計(jì)團(tuán)隊(duì)而言，這個(gè)數(shù)據(jù)集是補(bǔ)強(qiáng)產(chǎn)品安全性的工具。WOD-E2E可以作為一個(gè)“加固集”，可以先用大規(guī)模常規(guī)數(shù)據(jù)訓(xùn)練模型的基礎(chǔ)能力，再用WOD-E2E做微調(diào)和壓力測(cè)試，評(píng)估時(shí)并行使用傳統(tǒng)誤差指標(biāo)和RFS這類人類對(duì)齊指標(biāo)，這樣不僅可以保證日常表現(xiàn)，也能提升關(guān)鍵時(shí)刻的安全決策。

當(dāng)然，在把WOD-E2E融入訓(xùn)練/驗(yàn)證流水線時(shí)，一定不能把它當(dāng)成唯一數(shù)據(jù)源；合理的數(shù)據(jù)增強(qiáng)和情境合成可以擴(kuò)大小樣本的效用，但必須保持動(dòng)力學(xué)和視覺(jué)上的真實(shí)性。

若希望提升語(yǔ)義推理能力，可以嘗試把視覺(jué)與狀態(tài)信息轉(zhuǎn)成結(jié)構(gòu)化語(yǔ)義或指令，再交給MLLM做高層推理；若更看重實(shí)時(shí)性和空間一致性，BEV-based的端到端管線仍是穩(wěn)妥選擇；若目標(biāo)是給出多種可行解以便后端做風(fēng)險(xiǎn)比選，生成式/擴(kuò)散模型更值得嘗試。把RFS納入訓(xùn)練目標(biāo)（例如作為RL獎(jiǎng)勵(lì)或輔助監(jiān)督）會(huì)比單純優(yōu)化ADE更能提升在長(zhǎng)尾場(chǎng)景下的表現(xiàn)。

圖片源自：參考報(bào)告

最后的話

WOD-E2E的意義不只是那幾小時(shí)的數(shù)據(jù)，而是把“長(zhǎng)尾問(wèn)題”和“人類偏好對(duì)齊”的評(píng)測(cè)思路帶進(jìn)了端到端駕駛的主流議程。它能讓研究成果在更真實(shí)、更危險(xiǎn)的場(chǎng)景下經(jīng)受檢驗(yàn)，也能幫助工程團(tuán)隊(duì)把實(shí)驗(yàn)室里的模型在部署前做更徹底的加固。把這類問(wèn)題解決好，自動(dòng)駕駛才有希望真正從能跑的原型，進(jìn)化為能在復(fù)雜、不確定的真實(shí)道路上持續(xù)、安全運(yùn)行的產(chǎn)品。