据估计,到2025年,联网设备的数量将增加两倍。相应地,物联网正在增加重要的流量传感器来源。这让数据从业者将目光转向了物联网流量传感器。
物联网流量传感器的属性
IoT流量传感器与其他流量传感器类型明显不同。为了形成清晰的画面,想象一个不断产生数据的传感器网络。比如在制造中,可以是特定机械零件的温度值,也可以是振动、润滑、湿度、压力等。所以物联网流量传感器是机器生成的,不是人类创造的。它主要表示数字的流动,而不是文本块。
现在,假设每个传感器每秒产生5次测量。总共安装了1000个传感器。而这种大容量的数据是不断流动的(顺带一提,这种数据有一个特殊的名字——流数据)。当然,纯粹的数据收集不是你的最终目标——你需要有价值的见解,其中一些要尽可能接近实时。如果压力突然下降到临界水平,你不会高兴知道这些,只有几个小时。到那时,您的维护团队可能已经在尝试修复损坏的机械单元。
此外,物联网数据是特定的位置和时间。虽然可能有很多例子,但这里我们仅举几个例子:位置数据对于了解哪些传感器传达可能指示即将发生故障的读数非常重要,时间戳对于识别可能导致机械故障的特定模式非常重要。例如,温度值每十秒钟增加5F,但仍未超过阈值,这导致压力增加000Pa达一分钟。
物联网流量传感器的存储、预处理和分析
当然,您的业务目标总是为解决方案的架构奠定基础。尽管如此,物联网流量传感器的本质已经在数据存储、预处理和分析方面留下了印记。因此,让我们仔细看看每个流程的具体功能。
物联网流量传感器存储
因为你要处理大量不同格式的结构化和非结构化数据,传统的数据仓库无法满足你的需求——你需要一个数据湖和一个流量传感器仓库。湖泊数据可分为几个区域,如着陆区(原始格式的原始数据)、过渡区(用于基本的清洁和过滤数据以及来自其他数据源的原始数据)和分析沙箱(用于数据科学和勘探活动)。需要一个流量传感器仓库来从数据湖中提取数据,对其进行转换,并以更有组织的方式进行存储。
物联网流量传感器预处理
决定是存储原始数据还是预处理数据非常重要。其实正确回答这个问题是物联网流量传感器相关的挑战之一。让我们回到我们的例子。传感器每秒传递五个温度值。一个选项是存储所有五个读数,而另一个选项是只存储一个值,例如,每个聚合周期的平均值/中值/模式是一秒。为了清楚地看到这种方法在所需存储容量方面的不同,您应该将传感器的总数乘以预期运行时间,然后再乘以其读取频率。
如果您属于70%重视实时数据管理的组织,并且您的部分计划是获得实时见解,您仍然可以给出实时警报,而无需将所有读数发送到数据存储。例如,您的系统可以吸收整个数据流,并设置触发即时警报的关键阈值或偏差。但是,只有一些过滤或压缩的数据被发送到数据存储。
避免数据丢失的方法
还需要提前考虑,如果读取流程因某种原因停止,则假设传感器暂时出现故障或失去与网关的连接。
这里有两种可能的方法:
使用可靠的算法来省略数据。
例如,使用冗余传感器,有几个传感器来测量相同的参数。一方面,这增加了可靠性:如果一个传感器出现故障,其他传感器将继续发送读数。另一方面,这种方法需要更复杂的分析,因为传感器可能会产生略有不同的值,这应该由分析算法来处理。
物联网流量传感器分析
物联网流量传感器需要两种类型的分析:批量和流媒体。批量分析是所有流量传感器类型所固有的,物联网流量传感器也不例外。它被广泛用于捕获数据的复杂分析,以确定趋势、相关性、模式和依赖性。批量分析涉及应用于历史数据的复杂算法和统计模型。
流分析完美覆盖物联网流量传感器的所有细节。它旨在处理在小时间间隔内生成的高速数据流,并提供近乎实时的洞察力。这个“实时”参数对于不同的系统是不同的。在某些情况下,它可以以毫秒为单位进行测量,而在其他情况下,它可以以几分钟为单位进行测量。为了尽快获得洞察力,捕获的数据可以在系统边缘进行分析,甚至可以在数据流处理器中进行分析。
总结
本质上,物联网流量传感器是机器生成的、大容量的、流媒体的、位置和时间特定的。流量传感器咨询实践证明,在设计和开发物联网解决方案之前,考虑这些功能是多么重要。我们确信,您不想在短短几个月内耗尽存储空间,或者仅仅因为您的解决方案不支持流分析,或者因为您面临任何其他问题而错过实时洞察,这将破坏您的物联网解决方案的健壮性。要避免这种情况,需要明确自己的短期和长期业务需求,从多个选项中仔细选择最佳的流量传感器架构和技术栈。