个人技术笔记

自动驾驶之行为决策

发布时间：2020-05-04  栏目：决策控制, 强化学习, 软件算法  评论：0 Comments

在确定全局路径之后，自动驾驶车辆需要根据具体的道路状况、交通规则、其他车辆与行人等情况作出合适的行为决策。

这一过程面临三个主要问题：

首先，真实的驾驶场景千变万化，如何覆盖？

其次，真实的驾驶场景是一个多智能体决策环境，包括主车在内的每一个参与者所做出的行为，都会对环境中的其他参与者带来影响，因此我们需要对环境中其他参与者的行为进行预测；

最后，自动驾驶车辆对于环境信息不可能做到100%的感知，例如存在许多被障碍物遮挡的可能危险情形。

综合以上几点，在自动驾驶行为决策层，我们需要解决的是在多智能体决策的复杂环境中，存在感知不确定性情况的规划问题。可以说这一难题是真正实现L4、L5级别自动驾驶技术的核心瓶颈之一，近年来随着深度强化学习等领域的快速发展，为解决这一问题带来了新的思路和曙光。

以下将行为决策层的模型分为四类分别介绍[5]：

1. 有限状态机模型

自动驾驶车辆最开始的决策模型为有限状态机模型[6]，车辆根据当前环境选择合适的驾驶行为，如停车、换道、超车、避让、缓慢行驶等模式，状态机模型通过构建有限的有向连通图来描述不同的驾驶状态以及状态之间的转移关系，从而根据驾驶状态的迁移反应式地生成驾驶动作。

有限状态机模型因为简单、易行，是无人驾驶领域目前最广泛的行为决策模型，但该类模型忽略了环境的动态性和不确定性，此外，当驾驶场景特征较多时，状态的划分和管理比较繁琐，多适用于简单场景下，很难胜任具有丰富结构化特征的城区道路环境下的行为决策任务。

2. 决策树模型

决策/行为树模型[7]和状态机模型类似，也是通过当前驾驶状态的属性值反应式地选择不同的驾驶动作，但不同的是该类模型将驾驶状态和控制逻辑固化到了树形结构中，通过自顶向下的“轮询”机制进行驾驶策略搜索。这类决策模型具备可视化的控制逻辑，并且控制节点可复用，但需要针对每个驾驶场景离线定义决策网路，当状态空间、行为空间较大时，控制逻辑将比较复杂。另外，该类模型同样无法考虑交通环境中存在的不确定性因素。

3. 基于知识的推理决策模型

基于知识的推理决策模型由“场景特征－驾驶动作”的映射关系来模仿人类驾驶员的行为决策过程，该类模型将驾驶知识存储在知识库或者神经网络中，这里的驾驶知识主要表现为规则、案例或场景特征到驾驶动作的映射关系。进而，通过“查询”机制从知识库或者训练过的网络结构中推理出驾驶动作。

该类模型主要包括：基于规则的推理系统[8]、基于案例的推理系统[9]和基于神经网络的映射模型[10]。

该类模型对先验驾驶知识、训练数据的依赖性较大，需要对驾驶知识进行精心整理、管理和更新，虽然基于神经网络的映射模型可以省去数据标注和知识整合的过程，但是仍然存在以下缺点：

其“数据”驱动机制使得其对训练数据的依赖性较大，训练数据需要足够充分[11]；

将映射关系固化到网络结构中，其解释性较差；

存在“黑箱”问题，透明性差，对于实际系统中出现的问题可追溯性较差，很难发现问题的根本原因。

4. 基于价值的决策模型

根据最大效用理论，基于效用／价值的决策模型的基本思想是依据选择准则在多个备选方案中选择出最优的驾驶策略／动作[12]。

为了评估每个驾驶动作的好坏程度，该类模型定义了效用（utility）或价值（value）函数，根据某些准则属性定量地评估驾驶策略符合驾驶任务目标的程度，对于无人驾驶任务而言，这些准则属性可以是安全性、舒适度、行车效率等，效用和价值可以是由其中单个属性决定也可以是由多个属性决定。

澳大利亚格里菲斯大学的Furda和Vlacic提出了多准则决策方法从候选动作集中选择最优的驾驶动作[13]；新加坡国立大学的Bandyopadhyay等人提出了基于POMDP的行为决策模型[14]，用以解决存在感知不确定性的情况；卡内基梅隆大学的Wei J等人提出基于PCB（Prediction and-Cost-function Based）的行为决策模型[15]，其侧重点在于如何构建恰当的代价函数来指导对环境的预测；为了解决在多智能体参与的复杂环境中的决策问题，许多基于博弈论的模型也被研究者用来推理车辆之间的交互行为[16]，[17]；此外，因为在特征提取方面的优势，深度强化学习技术也开始被广泛应用，以完成最优驾驶动作的生成[18]。

 

参考链接：http://www.elecfans.com/d/994026.html

Comments are closed.