自動(dòng)駕駛超全的公開課合集?|?從感知到定位建圖，再到規(guī)控與就業(yè)！

時(shí)間：2021-11-01 14:28:12

關(guān)鍵字：自動(dòng)駕駛

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]無(wú)人駕駛近幾年在人們的視野中出現(xiàn)地越來(lái)越頻繁，并且隨著計(jì)算機(jī)科學(xué)、智能控制技術(shù)的發(fā)展，研究者和企業(yè)對(duì)無(wú)人駕駛的探索更加深刻。特斯拉、Waymo、蔚來(lái)、百度，國(guó)內(nèi)外企業(yè)大筆投入資金，推動(dòng)了自動(dòng)駕駛的發(fā)展進(jìn)程。自動(dòng)駕駛是智能交通的必然趨勢(shì)，行業(yè)求職者也越來(lái)越多，深藍(lán)學(xué)院整理了20節(jié)自...

無(wú)人駕駛近幾年在人們的視野中出現(xiàn)地越來(lái)越頻繁，并且隨著計(jì)算機(jī)科學(xué)、智能控制技術(shù)的發(fā)展，研究者和企業(yè)對(duì)無(wú)人駕駛的探索更加深刻。特斯拉、Waymo、蔚來(lái)、百度，國(guó)內(nèi)外企業(yè)大筆投入資金，推動(dòng)了自動(dòng)駕駛的發(fā)展進(jìn)程。

自動(dòng)駕駛是智能交通的必然趨勢(shì)，行業(yè)求職者也越來(lái)越多，深藍(lán)學(xué)院整理了20節(jié)自動(dòng)駕駛公開課合集，包括感知、定位建圖、規(guī)控以及就業(yè)等四個(gè)部分。

1

感知

1.無(wú)人駕駛中感知的挑戰(zhàn)與嘗試

講師：鄒曉藝元戎啟行點(diǎn)云感知方向技術(shù)負(fù)責(zé)人

畢業(yè)于華南理工大學(xué)，曾就職于百度自動(dòng)駕駛事業(yè)部，目前負(fù)責(zé)自動(dòng)駕駛感知模塊的算法研發(fā)。

在自動(dòng)駕駛中，感知系統(tǒng)相當(dāng)于自動(dòng)駕駛汽車的眼睛，需要理解整個(gè)場(chǎng)景，包括檢測(cè)自動(dòng)駕駛汽車周圍環(huán)境中的障礙物，同時(shí)需要對(duì)這些障礙物進(jìn)行跟蹤獲得速度和預(yù)測(cè)其在未來(lái)一定時(shí)間內(nèi)的軌跡。

由于無(wú)人駕駛場(chǎng)景的復(fù)雜性和多樣性，對(duì)感知系統(tǒng)提出了非常高的挑戰(zhàn)。本次公開課重點(diǎn)介紹下感知基本的模塊和典型方法，同時(shí)分享一些實(shí)際路測(cè)場(chǎng)景中遇到的問(wèn)題和一些思考。

2.自動(dòng)駕駛感知算法簡(jiǎn)介

講師：王弢小鵬汽車自動(dòng)駕駛北美視覺感知負(fù)責(zé)人，原Drive.ai聯(lián)合創(chuàng)始人。

畢業(yè)于斯坦福大學(xué)，目前主攻深度學(xué)習(xí)在自動(dòng)駕駛領(lǐng)域的應(yīng)用。

環(huán)境感知是自動(dòng)駕駛的核心技術(shù)之一，由于環(huán)境的復(fù)雜多變，自動(dòng)駕駛的感知面臨諸多挑戰(zhàn)。通常來(lái)說(shuō)，量產(chǎn)的環(huán)境感知方案需要滿足準(zhǔn)確、完備、實(shí)時(shí)、經(jīng)濟(jì)等特性。? ??

本次公開課將重點(diǎn)講解視覺感知算法的發(fā)展歷程以及發(fā)展趨勢(shì)，同時(shí)介紹量產(chǎn)的感知算法開發(fā)流程。

3.自動(dòng)駕駛感知前沿技術(shù)介紹

講師：周寅Waymo研發(fā)經(jīng)理、特拉華大學(xué)博士

為了讓無(wú)人車自己思考，我們要先教會(huì)它如何理解周圍的世界。伴隨著深度學(xué)習(xí)的崛起和算力的提升，這些年環(huán)境感知性能得到了長(zhǎng)足的進(jìn)步。

本次公開課將圍繞scalability，重點(diǎn)介紹環(huán)境感知中的熱點(diǎn)研究方向和前沿技術(shù)動(dòng)態(tài)。

通過(guò)這節(jié)課，學(xué)員將對(duì)自動(dòng)駕駛系統(tǒng)架構(gòu)有一個(gè)整體的理解，并且對(duì)感知系統(tǒng)的核心問(wèn)題以及前沿動(dòng)態(tài)有比較深入的認(rèn)識(shí)。

4.自動(dòng)駕駛純視覺3D物體檢測(cè)算法

講師：王巖康奈爾大學(xué)博士

本次課程將針對(duì)自動(dòng)駕駛場(chǎng)景，詳細(xì)介紹以相機(jī)為主的純視覺3D物體檢測(cè)算法，剖析以特斯拉為代表的使用純視覺的物體檢測(cè)方案的優(yōu)勢(shì)和劣勢(shì)。

通過(guò)本次課程，你將學(xué)習(xí)如何用深度學(xué)習(xí)進(jìn)行深度估計(jì)、3D物體檢測(cè)，同時(shí)了解純視覺3D物體檢測(cè)存在的挑戰(zhàn)。

5.3D物體檢測(cè)的發(fā)展與未來(lái)

講師：祁芮中臺(tái)Waymo高級(jí)研究科學(xué)家、斯坦福大學(xué)博士、清華大學(xué)本科

3D物體檢測(cè)在增強(qiáng)現(xiàn)實(shí)、機(jī)器人與自動(dòng)駕駛中都有著普遍的應(yīng)用。隨著業(yè)界需求的增加與深度學(xué)習(xí)的出現(xiàn)，相關(guān)的算法在近幾年有了長(zhǎng)足的進(jìn)步。

本次公開課將從技術(shù)發(fā)展的角度，介紹幾種經(jīng)典的3D物體檢測(cè)算法以及它們之間的聯(lián)系，并延伸討論目前方法的局限性和未來(lái)的研究方向。

通過(guò)這節(jié)課，學(xué)員將能對(duì)3D物體檢測(cè)算法有一個(gè)全局的認(rèn)識(shí)，并且能了解潛在的研究機(jī)會(huì)。

6.移動(dòng)機(jī)器人視覺三維感知的現(xiàn)在與將來(lái)

講師：王凱旋香港科技大學(xué)UAV group博士

相比于其他傳感器，相機(jī)能提供豐富的場(chǎng)景信息，同時(shí)在尺寸、重量、功耗及成本上有著巨大的優(yōu)勢(shì)，因此被廣泛應(yīng)用于移動(dòng)機(jī)器人領(lǐng)域。

在這個(gè)技術(shù)分享會(huì)上，我將介紹基于視覺的三維環(huán)境感知方案，即通過(guò)圖像序列對(duì)環(huán)境的三維結(jié)構(gòu)進(jìn)行估計(jì)和重建；將介紹基于多視角幾何的方案以及當(dāng)前基于深度學(xué)習(xí)的方案。這些方案被成功地應(yīng)用于無(wú)人機(jī)的自主飛行中。隨著技術(shù)的發(fā)展，我們也發(fā)現(xiàn)一些其他的場(chǎng)景表示方案，我們將探討這些方案將會(huì)如何影響未來(lái)的實(shí)時(shí)三維場(chǎng)景重建技術(shù)。

7.基于點(diǎn)云場(chǎng)景的三維物體檢測(cè)算法及應(yīng)用

講師：史少帥香港中文大學(xué)多媒體實(shí)驗(yàn)室博士生，研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)，專注于深度學(xué)習(xí)在三維場(chǎng)景理解上的應(yīng)用。

3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection.??

8.基于三維點(diǎn)云場(chǎng)景的語(yǔ)義及實(shí)例分割

講師：楊波牛津大學(xué)計(jì)算機(jī)系在讀博士，研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)。

講師：胡慶擁牛津大學(xué)計(jì)算機(jī)系在讀博士，國(guó)防科技大學(xué)碩士，研究方向?yàn)?D視覺、機(jī)器人、機(jī)器學(xué)習(xí)。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.

9.深度學(xué)習(xí)在點(diǎn)云識(shí)別中的應(yīng)用

講師：劉永成中科院自動(dòng)化所在讀博士，研究興趣包括3D點(diǎn)云處理、圖像分割、多標(biāo)簽圖像分類等。

講師：李瑞輝
香港中文大學(xué)計(jì)算機(jī)系在讀博士，主要研究方向?yàn)槿S點(diǎn)云處理，三維重建等。

Part I

1. 背景簡(jiǎn)介：3D表示及分析方法；點(diǎn)云識(shí)別面臨的挑戰(zhàn)

2. 相關(guān)工作：規(guī)則化處理；PointNet系列；圖卷積方法；卷積核設(shè)計(jì)

3. 一些探索：Relation-Shape CNN （CVPR 2019）；DensePoint （ICCV 2019）

4. 總結(jié)展望

Part II

1. 背景介紹: 數(shù)據(jù)增廣 (Data Augment)，以及2D圖像中的AutoAugment的工作；

2. 初次探索: AutoAugment 在3D點(diǎn)云分類中的應(yīng)用：PointAugment（CVPR 2020 Oral)

10.點(diǎn)云上的卷積神經(jīng)網(wǎng)絡(luò)及其部分應(yīng)用

講師：李伏欣

美國(guó)俄勒岡州立大學(xué)助理教授，2009年獲中科院自動(dòng)化研究所工學(xué)博士學(xué)位。

Convolutional Neural Networks (CNNs) have led to a revolution in the recognition of raster images. However, many data, especially 3D data, come naturally in the form of point clouds where raster-based convolution operations are not readily available to be used. In this tutorial we will discuss several recent work that make it possible to build a convolutional network or similar operations on point clouds.

2

定位建圖

1.視覺SLAM基礎(chǔ)

講師：高翔慕尼黑工業(yè)大學(xué)博士后、清華大學(xué)自動(dòng)化系博士

Lecture 1.三維幾何基礎(chǔ)知識(shí)介紹

1).SLAM的定義、基礎(chǔ)框架與數(shù)學(xué)表達(dá)形式

2).三維幾何學(xué)基礎(chǔ)知識(shí)

3).狀態(tài)估計(jì)、非線性優(yōu)化與最小二乘的原理

4).李群與李代數(shù)Lecture 2.SLAM前端與后端原理介紹

1).特征點(diǎn)法的視覺里程計(jì)

2).光流法的視覺里程計(jì)

3).增量式優(yōu)化、批量式優(yōu)化與位姿圖

2.語(yǔ)義信息增強(qiáng)的激光雷達(dá)SLAM

講師：陳謝沅澧德國(guó)波恩大學(xué)博士生，師從Cyrill Stachniss教授，RoboCup機(jī)器人世界杯救援機(jī)器人組技術(shù)委員會(huì)成員。

準(zhǔn)確可靠的定位與建圖是大多數(shù)移動(dòng)機(jī)器人以及無(wú)人車系統(tǒng)的關(guān)鍵組成部分。激光雷達(dá)傳感器憑借其高精度以及對(duì)光照變化十分魯棒等優(yōu)點(diǎn)，目前被廣泛應(yīng)用于SLAM問(wèn)題中。

近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，語(yǔ)義信息在機(jī)器人定位與建圖中的起到了越來(lái)越重要的作用。語(yǔ)義信息包含對(duì)環(huán)境更高層級(jí)的理解，可以為SLAM提供更可靠的數(shù)據(jù)關(guān)聯(lián)，幫助SLAM在現(xiàn)實(shí)復(fù)雜地動(dòng)態(tài)環(huán)境中更加魯棒地進(jìn)行運(yùn)動(dòng)估計(jì)，從而實(shí)現(xiàn)更高精度地定位與建圖。同時(shí)，語(yǔ)義信息還可以幫助SLAM進(jìn)行更可靠的地點(diǎn)識(shí)別以及閉環(huán)檢測(cè)。

3.深度學(xué)習(xí)與視覺SLAM

講師：楊楠慕尼黑工業(yè)大學(xué)博士生，師從Daniel Cremers教授，主要研究方向?yàn)橐曈XSLAM及其與深度學(xué)習(xí)的融合。

在視覺SLAM領(lǐng)域，近年來(lái)以深度學(xué)習(xí)技術(shù)為代表的層次化圖像特征提取方法，并成功應(yīng)用于SLAM幀間估計(jì)和閉環(huán)檢測(cè)。

深度學(xué)習(xí)算法是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域主流的識(shí)別算法，其依賴多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的層次化特征表示，與傳統(tǒng)識(shí)別方法相比，可以實(shí)現(xiàn)更高的識(shí)別準(zhǔn)確率。同時(shí)，深度學(xué)習(xí)還可以將圖像與語(yǔ)義進(jìn)行關(guān)聯(lián)，與SLAM技術(shù)結(jié)合生成環(huán)境的語(yǔ)義地圖，構(gòu)建環(huán)境的語(yǔ)義知識(shí)庫(kù)，供機(jī)器人進(jìn)行認(rèn)知與任務(wù)推理，提高機(jī)器人服務(wù)能力和人機(jī)交互的智能性。

4.視覺SLAM開源代碼論文帶讀（ORB_SLAM2）

講師：劉國(guó)慶

ORB_SLAM2：

視覺SLAM領(lǐng)域中特征點(diǎn)法的代表作，也是首個(gè)同時(shí)適用于單目、雙目和RGB-D相機(jī)的開源SLAM方案。代碼主要分為三個(gè)線程：前端實(shí)時(shí)定位跟蹤、后端優(yōu)化建圖與回環(huán)檢測(cè)。整套代碼幾乎涉及到了視覺SLAM系統(tǒng)的方方面面：從單目系統(tǒng)初始化、特征提取匹配，到LocalBA、GlobalBA的優(yōu)化設(shè)計(jì)，到關(guān)鍵幀的選取、地圖的復(fù)用，以及諸多巧妙設(shè)計(jì)的工程技巧等等。代碼結(jié)構(gòu)較為清晰，稱得上是最適合新手學(xué)習(xí)的第一套VSLAM代碼。

5.因子圖的理論基礎(chǔ)與在機(jī)器人中的應(yīng)用

講師：董靖

佐治亞理工學(xué)院計(jì)算機(jī)博士，主要研究方向包括機(jī)器人學(xué)、機(jī)器人領(lǐng)域相關(guān)的感知問(wèn)題。

近十幾年來(lái)，作為一種概率圖模型，因子圖在機(jī)器人領(lǐng)域（特別是SLAM問(wèn)題）中得到廣泛的應(yīng)用。在大規(guī)模SLAM問(wèn)題上，因子圖與傳統(tǒng)卡爾曼濾波相比，具有速度快、精度高等優(yōu)點(diǎn)。

在本次講座中，我們將初步了解因子圖模型以及因子圖在機(jī)器人學(xué)中的應(yīng)用。

3

規(guī)控

1.量產(chǎn)自動(dòng)駕駛中的規(guī)劃控制現(xiàn)狀

講師：肖志光小鵬汽車創(chuàng)始團(tuán)隊(duì)成員
小鵬汽車自動(dòng)駕駛產(chǎn)品開發(fā)高級(jí)總監(jiān)小鵬XPILOT2.0輔助駕駛系統(tǒng)量產(chǎn)主導(dǎo)者

規(guī)劃控制是自動(dòng)駕駛核心技術(shù)之一，主要解決車在路上如何行駛的問(wèn)題，需要綜合考慮行駛過(guò)程中的碰撞安全、交通規(guī)則、駕乘舒適性、節(jié)能高效等特性。

本次公開課重點(diǎn)介紹自動(dòng)駕駛中規(guī)劃控制的主要功能，并分享量產(chǎn)自動(dòng)駕駛研發(fā)中的實(shí)際難點(diǎn)及解決思路。

2.視覺導(dǎo)航：從狀態(tài)估計(jì)到運(yùn)動(dòng)規(guī)劃

講師：張子潮