麻省理工學院(MIT)的研究人員公佈首個開源模擬引擎，它能為可部署的自動駕駛汽車的培訓和測試構建現實環境。由於被證明是安全嘗試危險駕駛場景的富有成效的試驗臺，超現實的虛擬世界已被譽為自動駕駛汽車(AV)的最佳駕駛學校。
特斯拉、Waymo和其他自動駕駛公司都在很大程度上依靠數據來啟用昂貴的專有逼真的模擬器，這是因為測試和收集細微的數據通常不是最容易或最理想的再現。考慮到這一點，來自MIT計算機科學和人工智能實驗室(CSAIL)的科學傢創建“VISTA 2.0”--這是一個數據驅動的模擬引擎，車輛可以在現實世界中學習駕駛並從幾乎崩潰的情況下恢復。更重要的是，所有的代碼正在向公眾開放源代碼。
“今天，隻有公司擁有像VISTA 2.0這種類型的模擬環境和能力的軟件，而且這種軟件是專有的。隨著這個版本的發佈，研究界將有機會獲得一個強大的新工具從而以加速自動駕駛的自適應穩健控制的研究和開發，”關於這項研究的論文的資深作者、MIT教授和CSAIL主任Daniela Rus說道。
VISTA 2.0建立在該團隊以往開發的模型VISTA的基礎上，跟現有AV模擬器有根本的不同，因為它是數據驅動的。這意味著它是根據真實世界的數據建立和逼真地渲染的--從而能直接轉移到現實中。雖然最初的迭代隻支持單車跟車和一個攝像頭傳感器，但要實現高保真數據驅動的模擬需要重新思考如何合成不同的傳感器和行為互動的基礎。
進入VISTA 2.0：一個數據驅動的系統，可以大規模地模擬復雜的傳感器類型和大規模的互動場景和交叉口。通過使用比以前的模型少得多的數據，該團隊能訓練自主車輛，而這些車輛可能比那些在大量真實世界數據上訓練的車輛要強大得多。
CSAIL博士生Alexander Amini說道：“這是數據驅動的自主車輛模擬能力的巨大飛躍，也是處理更大駕駛復雜性的規模和能力的增加。VISTA 2.0展示模擬傳感器數據的能力，遠遠超過二維RGB相機，還包括具有數百萬點的極高維度三維激光雷達、不規則時間的基於事件的相機，甚至還包括跟其他車輛的互動和動態場景。”
科學傢團隊能擴展諸如超車、跟車和談判等互動駕駛任務的復雜性，包括在高度逼真的環境中的多代理場景。
因為大部分數據隻是日常駕駛，所以這為自動駕駛汽車訓練人工智能模型涉及難以保障的不同種類的邊緣案例和奇怪、危險的場景。從邏輯上講，我們不能隻是為教一個神經網絡如何不撞上其他汽車而撞上其他汽車。
最近，有一個轉變是，從更經典的、由人類設計的模擬環境轉向由真實世界的數據建立的模擬環境。後者具有巨大的逼真度，但前者可以很容易地對虛擬攝像機和激光雷達進行建模。隨著這種模式的轉變，出現一個關鍵問題：自動駕駛汽車所需要的所有傳感器的豐富性和復雜性如激光雷達和基於事件的攝像機都是比較稀疏的並能否準確地被合成？
在一個數據驅動的世界裡，激光雷達傳感器數據更難解釋--你實際上是在試圖生成具有數百萬個點的全新的三維點雲，而這一切隻是從世界的稀疏視圖中提取。為合成三維激光雷達點雲，研究人員使用汽車收集的數據並將其投射到來自激光雷達數據的三維空間，然後讓一個新的虛擬車輛從原來的車輛所在的地方開過去。最後，他們在神經網絡的幫助下，將所有的感官信息投射回這個新的虛擬車輛的視野中。
再加上基於事件的攝像機的模擬，其運行速度超過每秒數千次事件，該模擬器不僅能模擬這種多模態信息而且還能夠實時進行模擬。這使得離線訓練神經網絡成為可能，但也可以在增強現實設置中對汽車進行在線測試以進行安全評估。Amini說道：“在數據驅動的模擬領域，這種規模的復雜性和逼真度的多傳感器模擬是否可能，則是一個非常開放的問題。”
就這樣，駕校變成一個聚會。在模擬中，你可以四處走動，有不同類型的控制器，模擬不同類型的事件，創建互動場景並直接丟進甚至不在原始數據中的全新車輛。他們測試車道跟蹤、車道轉彎、汽車跟蹤及更多棘手的場景如靜態和動態超車。有多機構，真實的和模擬的代理人都可以互動，新的代理人可以被丟進場景並以任何方式控制。
但現在人類依賴的一個護欄還不能被模擬，那就是人類的情感。這是友好的揮手、點頭或確認的眨眼開關，這是團隊希望在未來工作中實現的細微差別類型。
“這項研究的核心算法是我們如何能夠采取一個數據集並建立一個完全合成的學習和自主的世界。這是一個平臺，我相信有一天可以在整個機器人技術的許多不同軸線上擴展。不僅僅是自動駕駛，還有許多依賴視覺和復雜行為的領域。我們很高興發佈VISTA 2.0，以此來幫助社區收集他們自己的數據集並將其轉換為虛擬世界，他們可以直接模擬自己的虛擬自主車輛，在這些虛擬地形上行駛，在這些世界中訓練自主車輛，然後可以直接轉移到全尺寸的真正的自動駕駛汽車，”Amini說道。