大数据时代监控存储问题

　　在大数据时代来临之际，我们必须直面监控存储问题。大数据中的大容量通常可达到PB级的数据规模，那么对于海量数据存储系统扩展能力的要求也会很高。如果是国内城市建设的摄像头以亿为单位计算，这样的视频监控将是数据的大生成器。从摄像前端的海量数据和到有效数据之间的也存在矛盾，摄像头不停歇的工作，如实记录镜头覆盖范围发生的一切，但对于客户来讲大部分信息是无效，有效信息可能只分布在一个较短的时间段内，大量的数据存储给数据库带来不小的压力，而无效的数据更是对于资源的浪费。因此，大数据时代监控存储要面临一些挑战：

　　传统存储方式难以胜任大数据信息

　　在我们传统监控系统的构架中，基本上都是采用前端设备搭配DVR的结构模式完成。在系统中，视频监控的图像信息分散的存储在DVR，或者通过DVS离散于监控控制端的电脑硬盘中。不过，这种搭配模式不要说应对高清的监控，恐怕就是面对当前的全天候标清监控，也会在一段时间之后略感吃力，则更不要说大数据时代高清监控来临时堪称巨大的信息量了。此外，对于传统的集中式硬盘管理来说，往往会把所有的录像数据集中的放在一个存储硬盘当中，虽然这样的管理模式可能会给我们数据的调取，或者是管理带来一定的便利。但是在数据的安全性上，则恐怕会面临着不小的危机。由于当前的硬盘保护能力总体还没达到一个很高的水平，因此当一旦硬盘出现损坏，或者操作系统发生故障时，所管理的数据恐怕都会面临流失的可能。

　　空间压力与管理难度

　　此前，许多用户的安防管理部门对于视频监控的储存信息时间都有着明确的规定，基本在1-3个月不等的时间。而对于一些更加重要的时刻或者视频数据来说，它的保存时间可能会达到半年之久。当大量高清视频开始越来越多的涌现之时，对于后端的存储要求也出现了一个极速上升的局面，在这样的情况下，数据量实现二到三倍的增长注定会使传统的PC硬盘管理，或者本地DVRNVR模式带来意料之外的压力。这样的局面下，要么就是扩充系统的存储容量，要么就是降低存储的分辨率，不过在这样的情况下，其结果就是将成本或者存储的视频质量作为自己的最终代价。

　　存储数据的集中管理有待加强

　　当我们从大数据时代监控整个系统的整体构建来分析时，会暴露出存储设备难以兼容等因素出现。由于大型的监控系统往往是分期建设，建设过程中采用的设备并不一致，因此在最后的应用中，这种多种品牌、型号的设备给监控的存储集中管理带来很大难度。同时，传统的DVR或者DVS设备，由于网传能力有限，很难形成统一存储、统一监控的中心体系架构，使企业的治安监控出现存储数据查找麻烦，调度不及时，录像存储分散等多种问题产生。

　　大数据激发存储云潜能

　　由此看来，大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代，而EB级时代即将到来。过去，许多企业通常以五年作为IT系统规划的一个周期。在这五年中，企业的存储容量可能会增加一倍。同时，当数据全面实现联网、共享，得到有效存储，并予以充分分析和挖掘，安防领域的大数据时代将真正深化。那时警察可以轻松地搜索某一时段某一颜色或某一品牌汽车的所有视频并快速识别违章行为;在没有人为干扰的情况下，视频监控设备通过自动分析对动态场景中的目标进行定位、识别和跟踪，在异常情况发生时做出反应，进行自动报警;现在每年社会走失的老人、小孩成千上万，开发人员走失查询系统，联网共享这些视频资源，将为更多的老百姓服务。大数据究竟可以带给安防一个怎样的未来，我们可以拭目以待，但大数据带来了很多现实中的难题，关于监控存储方面，大数据时代的监控储存模式有哪些变化呢?

　　目前安防行业监控存储方式有四种，DVR存储、编码器外挂存储设备直连存储、集中管理存储(IP-SAN)、NVR存储、，而大数据并不是一种特定类型的数据。每一种非结构化数据均可被视为大数据。这包括在社交网站上的数据、在线金融交易数据、公司记录、气象监测数据、卫星数据和其他监控、研究和开发数据。大数据的量是巨大的而且是非结构化的。针对安防视频存储的流式非结构化特点，以流式文件系统创新地将视频存储、安防应用拓展与云存储优势结合，灵活运用集群化、虚拟化、分布式存储等技术，改造和有话云存储结构以满足在大数据时代大规模监控系统对存储服务的要求。云存储在大数据时代将会大有可为，因为其优势明显：

　　智能化管理

　　云存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间;提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能。

　　实现规模效应和弹性扩展

　　受限于安防视频监控自身业务的特点，监控云存储和现有互联网云计算模型会有区别，如安防用户倾向于视频信息存储在本地、政府视频监控应用比较敏感、视频信息的隐私问题、视频监控对网络带宽消耗较大等问题。监控云存储应用更多的会利用视频监控托管服务(VSaas)的发展契机，为客户提供私有云服务，用于较小规模的部署，例如家庭、商店。提供安防云服务：由企业自主定制、云服务商或云端提供需要的基础架构、服务、软硬件资源等。数据中心模式会被引入并逐渐成为安防产业的主流形态，但安防的数据中心和互联网的数据中心是不同的，可能是集中分布相结合，可能是物理分散、逻辑集中的模式。未来的视频监控存储模式，会有两个趋势：一个是小规模的视频监控系统，以NVR存储为主;另一个大规模的视频监控系统，会以云存储为主。

　　量身定制的解决方案

　　云存储产品在提供其存储空间时，其实提供的并不光光是空间本身，而且还会根据企业的需求给出一个量身定制的解决方案。企业有不同的信息化信用。不同的信息化应用其对存储设备的要求都是不同的。只有分别对待，才能够在节省成本的同时，在性能与安全上得到最大的满足。最简单的一个例子，就是视频监控数据与数据，其对于存储设备的要求是不同的。视频监控数据的特点是容量大、重复利用率低(通常情况下只是数据的存入而不会被读取)、能够被覆盖(一般数据只需要保存半个月即可)。而ERP数据的特点是永久保存、容量不大、重复利用率高、对于性能的要求高、并发访问高等等。这些不同的数据不同的特征，就决定着要采用不同的存储设备。如对于视频监控数据，只要求容量要大。而性能则可以低一点。而对于ERP数据，要求存储设备有比较高的IO、完善的数据容错机制等等。企业自己由于缺乏这方面的专业人才，为此很难根据企业自己的实际情况设计一套合理的解决方案。

　　不过，安防视频大数据与云存储结合需要解决几个方面的问题,首先是流式数据的存储，因为视频大数据属性受到结构化文件系统制约，存储性能会下降，需要流式文件系统予以支持;其次，要考虑到方案的效率与成本问题。通过云存储与监控业务结合无法拜托对流媒体或存储服务器的依赖，无法解决因此带来的业务受阻，这一现象就需要考虑方案的实行效率，与此同时还的考虑其费用，不能太过于带来高昂的成本;最后，视频大数据的挖掘。安防视频的大数据需要云存储的特定支撑，需要关键信息的处理和分析，如何去合理有效挖掘，值得研究。

　　由于市场需求的多样性，在大数据时代为各种存储方案提供了市场空间。因此，在今后相当长的一段时间内，DVR、NVR、SDI-DVR和FCSAN、IP-SAN等多种存储方案将共生共存。云存储有可能在未来几年内，在大数据时代对视频监控市场格局形成巨大冲击，其潜能将完全激发，并将视频监控产业推至一个全新高度和更高发展阶段。