传感器融合级别和架构

2021-08-10

传感器融合级别和架构

传感器融合是组合来自两个或多(duō)个传感器的输入以生成更完整、准确和可(kě)靠的环境图像的过程，尤其是在动态设置中。传感器融合的目标是以最低的成本以最少的传感器数量和最低的系统复杂性提供这些改进的结果。在以前的常见问题在这个系列回顾传感器融合的基础。本常见问题解答(dá)深入探讨了传感器融合的各个级别，并着眼于用(yòng)于传感器融合系统的不同架构。

在最基本的层面上，传感器融合根据所使用(yòng)的数据类型、来自传感器的原始数据、从传感器数据中提取的特征以及使用(yòng)提取的特征和其他(tā)信息做出的决策来分(fēn)类為(wèi)集中式或分(fēn)散式。根据实施的不同，传感器融合可(kě)以提供多(duō)种好处：

提高数据质量

提高数据可(kě)靠性

未测量状态的估计

增加覆盖區(qū)域

传感器融合是数据融合的一种形式，使用(yòng)类似的统计、概率、基于知识和推理(lǐ)/推理(lǐ)方法。可(kě)以使用(yòng)协方差、交叉方差和其他(tā)统计方法。概率方法包括卡尔曼滤波、最大似然估计、贝叶斯网络等。人工神经网络、模糊逻辑和机器學(xué)习算法是基于知识的推理(lǐ)和推理(lǐ)方法。传感器融合通常包括三个抽象层次：

传感器级抽象处理(lǐ)原始传感器数据。如果使用(yòng)多(duō)个传感器来测量相同的物(wù)理(lǐ)属性，则可(kě)以在此级别组合数据。对于测量不同属性的传感器，数据在更高的层次上进行组合。

特征级抽象从各种独立的传感器中提取特征以产生单独的特征向量表示。

决策级抽象对各种特征进行分(fēn)类，并使用(yòng)结果数据做出有(yǒu)关环境的决策并确定需要执行的任何必要操作。

每个数据/传感器融合范式（统计的、概率的和基于知识的）都可(kě)以用(yòng)于不同的处理(lǐ)抽象级别。除了这三个基本级别之外，还可(kě)以实施混合模型。例如，可(kě)以组合来自两个不同传感器的数据以生成单个特征集以及用(yòng)于决策级别的分(fēn)类模型。或者，多(duō)模态的特征提取和决策级分(fēn)类的结果可(kě)用(yòng)于训练以细化其他(tā)模态的决策级分(fēn)类算法。

传感器源分(fēn)类

传感器关系和传感器融合架构可(kě)以根据系统中多(duō)个传感器之间的关系进行分(fēn)类：

互补传感器提供代表环境不同方面的信息，并且可(kě)以组合以产生更完整的全局信息。在互补实施中，传感器独立运行，不直接相互依赖，但可(kě)以组合在一起以提供更完整的观察现象图像。例如，结合来自转速传感器和振动传感器的信息可(kě)以提供有(yǒu)关電(diàn)机和齿轮箱状况的增强信息。或者，在视觉系统的情况下，可(kě)以将来自两个不同摄像头或摄像头和 LIDAR 传感器的同一物(wù)體(tǐ)的图像结合起来，以提供更完整的环境“图片”。

冗余或竞争传感器用(yòng)于提供关于同一目标的信息，它们的输出与增加输出的可(kě)靠性或置信度相结合。例如，如果两个摄像头的视野重叠，则重叠區(qū)域被归类為(wèi)冗余感知。在竞争传感的情况下，每个传感器测量相同的属性；如果有(yǒu)两个摄像头，则两者将具有(yǒu)相同的视野。竞争配置有(yǒu)两种情况：来自不同传感器的数据融合；或融合来自单个传感器在不同时间点测量的数据。在监控关键参数时可(kě)以使用(yòng)竞争传感器融合的特殊情况，称為(wèi)容错融合。容错设计通常基于模块化设计，例如 N+1 冗余架构。

协同传感器融合结合了来自多(duō)种传感器模式（例如音频和视觉）的输入，以产生比单个输入更复杂的信息。结合具有(yǒu)不同视点的两个摄像头可(kě)用(yòng)于合成环境的 3D 表示。协同传感器融合很(hěn)复杂，结果对所有(yǒu)包含的传感器的累积精度很(hěn)敏感。虽然竞争传感器融合可(kě)以提高准确性和可(kě)靠性，但合作传感器融合会降低准确性和可(kě)靠性。

竞争性、互补性和协作性传感器融合。

传感器融合的六个层次

除了各种传感器源分(fēn)类外，还有(yǒu)六个公认的传感器融合“级别”。数十年来，数据和传感器融合一直是军事系统的一部分(fēn)。美國(guó)國(guó)防部联合实验室主任 (JDL) 数据融合小(xiǎo)组开发了最重要的数据融合模型之一。JDL 模型包含融合方法的五个级别，包括：

级别 0 — 源预处理(lǐ)是数据融合的最低级别。它包括信号级的信号调节和融合。在光學(xué)传感器的情况下，它可(kě)以包括单个像素级别的融合。预处理(lǐ)的目标是减少数据量，同时保留更高级别所需的所有(yǒu)有(yǒu)用(yòng)信息。

级别 1 — 对象细化使用(yòng)来自前一级别的预处理(lǐ)数据来执行时空对齐、相关性、关联、聚类或分(fēn)组技术、状态估计、假阳性去除、身份融合以及从中提取的特征的组合图片。对象细化导致对象分(fēn)类和识别（也称為(wèi)对象辨别）。输出以一致的数据格式生成，可(kě)用(yòng)于情况评估。

级别 2 — 情况评估建立分(fēn)类对象和已识别对象之间的关系。关系包括接近度、轨迹和通信活动，用(yòng)于确定对象相对于环境的重要性。此级别的活动包括重要活动、事件和任何整體(tǐ)模式的优先级。输出是一组可(kě)用(yòng)于影响评估的高级推论。

级别 3 — 影响评估评估级别 2 中检测到的活动的相对影响，以支持情况分(fēn)析。此外，还进行了未来预测，以确定可(kě)能(néng)的近期脆弱性、风险和运营机会。未来预测包括对威胁或风险的评估以及对预期结果的预测。

级别 4 — 流程细化用(yòng)于改进级别 0 到 3，并支持传感器和一般资源管理(lǐ)。最初，这是一项手动任務(wù)，可(kě)在考虑任務(wù)优先级、调度和控制可(kě)用(yòng)资源的同时实现高效的资源管理(lǐ)。虽然目标没有(yǒu)改变，但现代系统越来越多(duō)地使用(yòng) AI 和 ML 工具补充手动分(fēn)析。

JDL 传感器数据融合模型的级别。

物(wù)联网传感器融合架构

如上所述，传感器融合发生在多(duō)个级别，包括传感器、特征和决策级别。在物(wù)联网的情况下，传感器融合也可(kě)以根据它如何通过无線(xiàn)传感器网络进行分(fēn)类。在单跳架构中，每个传感器都直接将数据传输到数据融合中心。星型网络架构是单跳实现的一个例子。在多(duō)跳架构中，来自一个传感器的数据在到达数据融合中心的途中通过相邻的传感器节点。网状网络是多(duō)跳结构的一种形式。

多(duō)跳架构有(yǒu)几个优点。它可(kě)以支持可(kě)扩展性，因為(wèi)放置在网络外边缘的额外传感器仍然可(kě)以将数据传输到数据融合中心，而不会产生長(cháng)传输距离的能(néng)量损失。在每一跳采用(yòng)渐进式数据融合可(kě)最大限度地减少能(néng)源需求并将能(néng)源需求分(fēn)散到整个网络。它通过使用(yòng)信道状态信息和其他(tā)输入预先确定和最小(xiǎo)化所需的传输能(néng)量来降低能(néng)耗。

无線(xiàn)物(wù)联网网络的单集線(xiàn)器与多(duō)集線(xiàn)器传感器融合。

概括

传感器融合是数据融合的一种形式，使用(yòng)类似的方法。有(yǒu)多(duō)种方法可(kě)以对传感器融合的级别进行分(fēn)类。有(yǒu)几种方法可(kě)以对给定系统中的传感器交互进行分(fēn)类，包括互补、竞争（或冗余）和合作。多(duō)模态融合方法可(kě)以解决单个传感器的弱点，并提高结果信息的质量和准确性。无線(xiàn)物(wù)联网网络带来了独特的挑战和机遇，可(kě)以最大限度地利用(yòng)传感器融合实施的架构，从而最大限度地提高能(néng)源效率。