2014-09-15 11:02:00
来源:
近年来,随着海量视频信息的快速增长,传统的安防技术越来越难以满足部分行业在传输、存储及大数据计算分析上的需要,或者说很难以更低的成本、更灵活的扩展性、更健壮更可靠更安全的系统架构来满足这些需要。因此,云计算的概念这两年开始越来越多的渗透到安防领域。其中,云存储取得的突破性应用尤为引人注目。本文将主要就云存储在安防领域的应用展开分析。
网络化技术的普及,使得视频资源的联网共享成为很多行业日益迫切的需求,现有分散的视频资源正在朝着大集中的方向推进;平安城市、智能交通等大行业市场通过点、线、面的密集覆盖,每时每刻都在增加新的视频源;720P,1080P,4K,更高的视频分辨率意味更大的视频信息量……
这些不断增长的视频数据在带来海量视频存储需求的同时,也对当前的视频存储技术提出了一系列新的挑战:如何实现存储容量的平滑扩展?如何有效的降低由此带来的存储成本?如何更可靠地保存、更安全地使用和更便捷地分享这些数据?如何解决越来越庞大的系统给维护管理带来的困扰?
云存储的定义
云存储是在云计算概念上衍生和发展出来的一种技术或服务。将网络中各类存储设备汇集在云计算系统当中,通过云计算的概念组织起来协同工作,对外提供数据存储和业务访问的功能以及与存储相关的增值应用,即称为云存储。
云存储和云计算都是云架构的技术实现,任何应用都需要一个计算模型、一个存储模型和一个通信模型。云计算中,为了实现资源的弹性利用以及给用户造成资源无限的假象,必须实现资源的复用。云存储也是一样,它通过虚拟化和精简配置技术,让资源的效益最大化。
与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。
云存储对外提供的是与存储相关的服务。云存储可以提供类似于磁盘阵列的裸空间服务,也可以提供基于存储的特定服务。
云存储的系统架构
要了解云存储的系统架构,需要先了解其应用架构。我们以平安城市为例来看云存储的应用架构。在平安城市中,云存储可为多个系统提供存储服务,包括视频监控、卡口电警、图像资源库、图侦分析研判等。其可完成日常视频录像资源、各个案件中所涉及的视频和图片等资源、卡口电警所产生的车辆抓拍图片等资源的统一存储。
从应用架构上看,云存储系统与传统分布式存储系统差异并不明显,其更本质的区别其实体现在内部软件架构上。
云存储系统采用大规模分布式并行文件系统,以大量的服务器和存储设备为基础,构建一个大规模存储集群,提供上百PB的存储容量,并能够在线进行容量的扩充,由此搭建的大容量存储系统整体成本远低于传统存储架构,并且具有良好的可扩充性和灵活性。
云存储系统通过元数据和存储数据分离的非对称式架构,通过负载均衡和数据并发访问策略,在普通硬件条件下获得高达数十Gbps的传输速率以及上百PB级的存储容量,并可根据用户应用发展的趋势,适时按需进行在线动态扩展。与单机的文件系统不同,分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理,而是存放在一个服务器集群上,由集群中的服务器,各尽其责,通力合作,提供整个文件系统的服务。
云存储系统内置了基于对象数据管理策略,能够保证在系统局部发生故障时数据的安全性和可靠性,彻底消除存储系统中的单点故障,结合自动故障探测和快速故障恢复技术,确保用户的应用持续稳定地运行,同时减少部署和管理的难度。
更直观的理解,云存储系统本身也是构建在通用磁盘阵列之上的,它通过通过操作系统的API管理磁盘上的数据,只不过这样一个系统在逻辑上可以分为元数据节点(控制节点)、数据节点(存储节点)、管理节点以及客户端四个部分,这四个部分分别对应了上面提到的云存储的4层结构模型:
1)元数据节点(控制节点)
元数据节点即控制节点,用于记录所存储的文件的各种属性,相当于整个文件系统的大脑,管理各个数据节点,收集数据节点信息,了解所有数据节点的现状,然后给它们分配任务,协调指示各数据节点为系统服务;
2)数据节点(存储节点)
数据节点即存储节点,用于管理磁盘和卷和存储用户的文件数据,是整个存储系统的存储资源提供者,它同时还负责集群构建,包括节点管理和数据分片,并承担数据冗余保护和对数据访问的负载均衡;
3)管理节点
管理节点统一管理云存储系统中的集群节点、文件、日志、告警、网关等,同时提供日志管理、性能监控、配置管理、故障管理等能力,方便系统管理维护人员管理云存储系统;
4)客户端
客户端在一个独立的进程中提供服务,为用户提供文件读写、目录操作等APIs,当用户需要使用分布式文件系统进行文件读写的时候,将客户端安装至需使用系统的服务器,即可使用系统提供的服务。
在ZGKD云存储系统中采用三台元数据节点,起到对元数据的重要保护(冗余)和负载均衡的作用(提升系统性能)。数据节点定期向元数据节点汇报其状况,等待并处理命令,实现数据高效、安全读写。在系统中,数据切片的大小可以调整,以满足不同客户对数据文件存储策略的设定要求,同时采用完全镜像副本保护数据文件。