云存儲讓視頻監(jiān)控大數(shù)據(jù)變“小”

時間：2015-11-26

	近年來視頻監(jiān)控行業(yè)的發(fā)展愈發(fā)蓬勃，監(jiān)控點位裝機數(shù)量呈爆發(fā)式增長。2014年**攝像頭出貨量達到5646萬臺，每天產(chǎn)生的視頻監(jiān)控數(shù)據(jù)量達160PB，同時隨著監(jiān)控IP化特征的持續(xù)加力等因素的影響，市場對視頻監(jiān)控存儲產(chǎn)品的應用和發(fā)展提出了較高要求。其主要體現(xiàn)在對龐大存儲系統(tǒng)的資源的合理利用、性能的持續(xù)增長、以及管理和服務獲取的方式等多個方面。


	 


	二、視頻監(jiān)控存儲現(xiàn)狀


	 


	在當前視頻監(jiān)控存儲產(chǎn)品中傳統(tǒng)的DVR/NVR、SAN、NAS等存儲方式雖仍然占有大量份額，但多適用于滿足小型視頻監(jiān)控的需求。對于龐大存儲系統(tǒng)的整合、資源利用率的提升、存儲服務獲取和管理的便利性等方面，云存儲的產(chǎn)品化應用無疑是行業(yè)中的亮點。在云存儲的概念提出初期，其特點和功能長期處于非常模糊的狀態(tài)，業(yè)界對云存儲的理解也常常是云山霧罩，究其原因?qū)嶋H是云存儲還沒有完成產(chǎn)品化。而從2013年起在安防行業(yè)就陸續(xù)有云存儲系統(tǒng)的產(chǎn)品出現(xiàn)，并*在行業(yè)中**突破，從廠區(qū)、樓宇到金融銀行、再從交通系統(tǒng)到大型平安城市的視頻監(jiān)控系統(tǒng)都陸陸續(xù)續(xù)出現(xiàn)云存儲部署的身影。隨著視頻監(jiān)控行業(yè)云存儲項目的遍地開花，盡管實現(xiàn)的技術路線不盡相同，但是對云存儲的特質(zhì)和能力卻有了較為普遍的認識。


	 


	三、大數(shù)據(jù)的云存儲服務特征


	 


	**，從目前多種云存儲的方案中可以明顯體會到，云存儲本身并非某一特定的技術路線，而是一種具有典型特質(zhì)的存儲服務方式，即可以明確地指出云存儲是一種服務，而非某種單一的技術。云存儲的服務就屏蔽了大量的技術細節(jié)、功能特點等繁瑣的實現(xiàn)原理，做到無論其構成如何復雜、系統(tǒng)如何龐大，其服務方式始終是具有共性和可描述的。


	 


	那么云存儲的服務可以描述為是統(tǒng)一、靈活、*的存儲服務。統(tǒng)一體現(xiàn)在對云存儲內(nèi)部的多種存儲技術、多種存儲設備形態(tài)的屏蔽。通過軟件的統(tǒng)一整合向用戶提供一的服務獲取出口，具體可以體現(xiàn)為一訪問IP、一的管理界面、一的操作方式等等。


	 


	靈活則體現(xiàn)在從云存儲獲取服務時的自由度上。早期曾有業(yè)界人士將使用云存儲服務比作用水用電一樣，這種思想和方式即體現(xiàn)在對存儲容量獲取的靈活性上。用戶使用云存儲服務，將自己的數(shù)據(jù)寫入云存儲，可做到需要多少容量就獲取多少容量，不受限于底層存儲設備的規(guī)格限制。這個就需要云存儲系統(tǒng)在容量分配時能夠做到足夠的**，同時對調(diào)整的要求也要足夠靈活。


	 


	*體現(xiàn)的是云存儲提供****的能力，對不同的數(shù)據(jù)可以提供不同的*級別**，差異化服務。視頻監(jiān)控數(shù)據(jù)體量龐大，因此常有不同的存儲周期要求，不同的存儲周期對于數(shù)據(jù)的完整性要求也不盡相同。因此云存儲系統(tǒng)提供存儲***的能力應該匹配實際項目的需求，在項目成本控制和*級別要求上達到平衡和共識。


	 


	四、大數(shù)據(jù)的云存儲服務難點與挑戰(zhàn)


	 


	1、統(tǒng)一服務


	 


	上述云存儲的服務能力雖然*達成一致，但是在技術路線選取、具體能力級別的實現(xiàn)上卻普遍出現(xiàn)較大差異。首先就統(tǒng)一的服務獲取出口這一功能就需要云存儲系統(tǒng)具有強大的橫向擴展能力，需要在系統(tǒng)容量擴展上不存在上限，同時性能也要與容量保持同等線性增長才能滿足在擴容的同時服務質(zhì)量不至于下降。當前實現(xiàn)云存儲的架構一般多為分布式存儲架構，雖然云存儲系統(tǒng)是物理位置相對集中的中心存儲方案，但是在系統(tǒng)內(nèi)部數(shù)據(jù)卻是被切片后存儲在不同的物理設備上的。在這種架構上元數(shù)據(jù)服務器起到對數(shù)據(jù)分布式的統(tǒng)一調(diào)度、靈活分配、動態(tài)調(diào)整的作用，其性能直接決定云存儲系統(tǒng)的規(guī)模。常規(guī)的元數(shù)據(jù)服務器主備工作模式采取的是一主一備兩臺元數(shù)據(jù)服務器，其中只有一臺服務器在工作，另一臺僅同步配置信息和元數(shù)據(jù)信息，并不響應業(yè)務的分布式調(diào)度需求，因此性能并未有任何提升。在此種工作模式下，云存儲系統(tǒng)也往往存在容量和性能瓶頸，我們常規(guī)看到的可管理存儲設備較大數(shù)量從16臺到30臺不等，各廠商實現(xiàn)也不盡相同。這種規(guī)模級別直接制約了云存儲系統(tǒng)的統(tǒng)一服務能力。


	 


	而較新興起的元數(shù)據(jù)服務器集群組建方式則有效地解決了這一問題。元數(shù)據(jù)服務器通過彼此間相互同步元數(shù)據(jù)信息，共同對整個系統(tǒng)提供分布式存儲策略調(diào)度和管理，有效地提升整個云存儲系統(tǒng)管理性能。通過元數(shù)據(jù)集群本身的線性增長，可以促使存儲設備數(shù)量的不斷增加，真正實現(xiàn)容量的無阻礙橫向擴展，在**大規(guī)模云存儲系統(tǒng)的統(tǒng)一服務提供上做出了有效的支撐。


	 


	2、靈活服務


	 


	在存儲容量靈活性要求下，需要云存儲系統(tǒng)能夠較大限度匹配視頻監(jiān)控的存儲需求。1路2Mbps的標清攝像頭，一天產(chǎn)生的數(shù)量約為21GB。若一天中只有工作時間錄像或者事件觸發(fā)錄像則產(chǎn)生的數(shù)據(jù)量較低。在民用視頻監(jiān)控行業(yè)中對于按需付費的思路則要求云存儲分配的存儲空間粒度至少是GB級別。這對于云存儲的空間分配策略、虛擬化容量整合能力提出了嚴峻的要求。傳統(tǒng)按照邏輯卷或者磁盤大小為單位的構建方式將直接導致分配容量時粒度過大，不能滿足這種靈活的容量分配需求。因此在云存儲技術實現(xiàn)中對磁盤容量進行較低粒度的切片，生成較低粒度的數(shù)據(jù)塊，以在容量的分配、調(diào)整上換取較大的靈活性成為一種可行的技術方向。以數(shù)據(jù)塊作為云存儲基礎的數(shù)據(jù)單元之后，可以實現(xiàn)數(shù)據(jù)的靈活分配、調(diào)整、以及對分布式存儲的支持和大數(shù)據(jù)并發(fā)吞吐性能的提升都帶來的意想不到的好處。但是隨之而來的問題則是對大量數(shù)據(jù)塊如何進行有效的管理，在這里業(yè)界主要有兩種不同的方向。


	 


	**種方向的思路通過文件系統(tǒng)對數(shù)據(jù)塊資源進行組織和利用，這種思路的優(yōu)勢是可以支持多種數(shù)據(jù)的存儲，不限定數(shù)據(jù)類型。但同時也忽略了視頻錄像數(shù)據(jù)是流式數(shù)據(jù)的這一本質(zhì)特點，在視頻錄像的存儲效率和應用擴展上做出了犧牲和讓步。要說清這個問題需要理解視頻流式數(shù)據(jù)與非流式的文件數(shù)據(jù)的差異。簡單來講流式數(shù)據(jù)在視頻監(jiān)控領域是由攝像機產(chǎn)生，以開始錄像為起點持續(xù)不斷的產(chǎn)生，在不做時間限定的前提下是沒有結束的，因此其數(shù)據(jù)量大小也會不斷增加沒有終點。而非流式的文件型數(shù)據(jù)則是有固定的文件大小、文件格式、文件名稱等文件屬性。如果以非流式的文件方式存儲流式的視頻數(shù)據(jù)則需要將視頻流人為截斷、按照文件名、按照數(shù)據(jù)量大小生成一個個單獨的視頻文件，這從本質(zhì)上就破壞的流式數(shù)據(jù)的特征。再加上對視頻流檢索查找時，在文件系統(tǒng)中就只能通過文件名、目錄結構、文件屬性等進行檢索查找，無法深入**的定位到每一秒或者每一毫秒的視頻數(shù)據(jù)，在視頻數(shù)據(jù)的使用和大數(shù)據(jù)分析上人為增加了技術壁壘。


	 


	*二種方向的思路則跳開了文件系統(tǒng)對流式視頻數(shù)據(jù)的制約，采用流式系統(tǒng)存儲流式數(shù)據(jù)的方式，若不限定視頻流的錄像時間則滿足視頻流不斷持續(xù)寫入數(shù)據(jù)塊，同時在視頻流寫入時加入**的時間點定位以支持**檢索的需要。這樣的視頻寫入方式直面視頻錄像數(shù)據(jù)本質(zhì)，不但能夠滿足視頻流*、連續(xù)的存儲需要，同時又能**定位到視頻數(shù)據(jù)的每一個時間點，在視頻數(shù)據(jù)應用上較大的滿足了其本質(zhì)需求。


	 


	因此此種方式不但回放和下載時較**，同時較為可貴的是不會產(chǎn)生文件碎片，從而大幅提高云存儲系統(tǒng)的吞吐性能和資源利用率。


	 


	就目前行業(yè)內(nèi)對于云存儲的具體處理方式上，以上兩種方式都已經(jīng)實現(xiàn)。以?？低暈榇淼陌卜佬袠I(yè)的視頻監(jiān)控廠商則較為關注于視頻流式數(shù)據(jù)的本質(zhì)，因此應用*二種方式的較多。


	 


	3、*服務


	 


	在數(shù)據(jù)*的**性**上，目前主流應用的技術也較為豐富。從RAID5、6技術到基于糾刪碼的網(wǎng)絡RAID技術、到多副本**技術、到異地數(shù)據(jù)中心的備份恢復技術等多種。需要理清的是采取較**別的***性**的同時對具體的物理設備數(shù)量、功能要求也越為嚴格。就視頻錄像數(shù)量的容量上看，其體量是非常龐大的，而且在大量視頻錄像產(chǎn)生的基礎上，多數(shù)視頻錄像是會隨時間不斷被循環(huán)覆蓋掉。在這樣情況下為滿足過高的**性**而投入大量成本和資金就變成一種不經(jīng)濟的做法。因此對數(shù)據(jù)*性需求進行區(qū)分，支持分級別***性**就是一種結合*和成本的綜合考慮方式。這種方式就對云存儲提出了要支持分級*存儲的功能要求。就目前行業(yè)云存儲的實現(xiàn)來看，也僅僅是少量廠商能夠支持如此豐富的*和**性的要求，多數(shù)廠商在***性上還停留在某種單一方案上。當然，隨著技術的不斷發(fā)展，越來越豐富的***性機制也會逐漸被大家所認識和接受。


	 


	?？低曉拼鎯ο到y(tǒng)秉承于技術服務安防的理念，將云存儲**技術框架與視頻監(jiān)控行業(yè)特性結合。通過統(tǒng)一的服務窗口、靈活的容量分配方式和基于業(yè)務的分級**性**為云存儲在視頻監(jiān)控系統(tǒng)中的應用提供有效的方案支撐。


	 


	五、大數(shù)據(jù)的云存儲**


	 


	在風起云涌的大數(shù)據(jù)云時代，機遇始終是與挑戰(zhàn)并存的。大數(shù)據(jù)的**訴求是對數(shù)據(jù)內(nèi)容的分析和**的挖掘。在多種數(shù)據(jù)類型中，結構化數(shù)據(jù)是較便于提取到信息**的，而以視頻數(shù)據(jù)為代表的非結構化數(shù)據(jù)的提取難度則是非常大的。因此作為存儲系統(tǒng)，其是否能夠?qū)τ诖髷?shù)據(jù)應用做出良好的支撐就顯得尤為重要。而作為整個大數(shù)據(jù)體系中，存儲系統(tǒng)又是較底層的，其保留的是大量未經(jīng)分析的基礎數(shù)據(jù)，大數(shù)據(jù)的挖掘則是需要通過云計算系統(tǒng)的**強計算能力對龐大的基礎數(shù)據(jù)進行計算分析，得出可結構化的**信息，以提供給各個應用需求進行整理和挖掘。視頻數(shù)據(jù)的結構化除了*依賴云計算系統(tǒng)外，云存儲系統(tǒng)如果具備基本的處理能力，與云計算系統(tǒng)進行配合則可大幅提高整個過程的效率。這就要求云存儲不僅滿足*存儲的功能，還能夠針對應用做出適度的調(diào)整。目*著整個大數(shù)據(jù)視頻分析挖掘的方向來看，**智能、后端分析的結合處理效果會比較明顯。**攝像機在錄像時即可產(chǎn)生基礎的智能化結構信息，云存儲負責視頻錄像數(shù)據(jù)和智能結構化數(shù)據(jù)存儲，同時也可以對視頻畫面做基礎的剝離和提取，云計算直接從云存儲中獲取剝離的畫面數(shù)據(jù)和智能結構化數(shù)據(jù)用于進一步的分析計算，*生成有**的結構化數(shù)據(jù)，各個大數(shù)據(jù)分析應用從結構化數(shù)據(jù)中提取數(shù)據(jù)原型進行規(guī)則比對、篩選最后得出大數(shù)據(jù)應用的結果并進行呈現(xiàn)，這些過程一環(huán)接一環(huán)配合推進才能*實現(xiàn)視頻大數(shù)據(jù)的**挖掘。?？低曉拼鎯ο到y(tǒng)作為大數(shù)據(jù)整體解決方案的重要組成部分，在提供統(tǒng)一、靈活、*數(shù)據(jù)存儲服務的同時，充分理解大數(shù)據(jù)**挖掘所面臨的挑戰(zhàn)，將數(shù)據(jù)存儲與基礎分析**融合，向大數(shù)據(jù)平臺提供有效的數(shù)據(jù)來源，*服務視頻大數(shù)據(jù)的工作開展，做出了積極、有效的嘗試和努力。


	 


	?？低曉拼鎯ο到y(tǒng)作為大數(shù)據(jù)整體解決方案的重要組成部分，在提供統(tǒng)一、靈活、*數(shù)據(jù)存儲服務的同時，充分理解大數(shù)據(jù)**挖掘所面臨的挑戰(zhàn)，將數(shù)據(jù)存儲與基礎分析**融合，向大數(shù)據(jù)平臺提供有效的數(shù)據(jù)來源，*服務視頻大數(shù)據(jù)的工作開展，做出了積極、有效的嘗試和努力。


	 


	六、結語


	 


	無論現(xiàn)在或者是將來，云存儲技術在視頻監(jiān)控行業(yè)的應用將是視頻大數(shù)據(jù)系統(tǒng)中不可缺失的一環(huán)。云存儲在未來發(fā)展的方向應不僅僅局限于本身存儲業(yè)務的各種功能實現(xiàn)，較要從*、宏觀的角度找準自身在大數(shù)據(jù)浪潮中的定位，為視頻監(jiān)控行業(yè)中存儲系統(tǒng)應用化的深度發(fā)展做好準備和經(jīng)驗積累。讓躺在存儲系統(tǒng)中寶貴的*視頻數(shù)據(jù)資源迸發(fā)出耀眼的光芒。

詞條
詞條說明
主動防御風險 ? 智慧感知未來
11月27日至28日,*十屆**/行業(yè)信息化*年會在國科大**會議中心隆重召開。本屆年會由*網(wǎng)信辦網(wǎng)絡*協(xié)調(diào)局、*網(wǎng)絡*保衛(wèi)局、*科技信息化局、地區(qū)*科技司、地區(qū)*商用密碼管理辦公室、地區(qū)網(wǎng)絡與信息*信息通報中心等單位作為指導單位，**三*主辦，《信息網(wǎng)絡*》雜志承辦，北京北信源軟件股份有限公司協(xié)辦。大會以“主動防御與智慧感知”為主題，將信息*主管部門
網(wǎng)生內(nèi)容如何“逃離”互聯(lián)網(wǎng)
? ? ??搭乘互聯(lián)網(wǎng)的東風，一群網(wǎng)生內(nèi)容創(chuàng)造者手握IP被追逐，資本也瘋狂而至。就在電視臺抱怨拉不到廣告時，《萬萬沒想到》、《屌絲男士》等**網(wǎng)生內(nèi)容卻賺得盆滿缽滿。在互聯(lián)網(wǎng)扮演草根逆襲后，一批網(wǎng)生內(nèi)容創(chuàng)作公司野心始現(xiàn)，它們渴望不再依附互聯(lián)網(wǎng)，開始醞釀較大的產(chǎn)業(yè)鏈。 ? ? ??所謂網(wǎng)生內(nèi)容，即平臺自制內(nèi)容、UGC內(nèi)容
摘要：系統(tǒng)集成行業(yè)發(fā)展空間是不是越來越??？我個人認為，這個行業(yè)，會兩較分化，掌握**技術的企業(yè)，會在解決方案的一端來主導行業(yè)的趨勢，市場空間還是很大，這也有**政策推動和跟風的作用；而想反，沒有掌握技術**的企業(yè)，規(guī)模越大，空間越小。 A:請詳細描述您的答案。系統(tǒng)集成,system integration,是把不同的基礎產(chǎn)品及系統(tǒng)，根據(jù)現(xiàn)實需求應用需要，**地組合成一個一體化的滿足現(xiàn)實需求應用需

云存儲讓視頻監(jiān)控大數(shù)據(jù)變“小”
近年來視頻監(jiān)控行業(yè)的發(fā)展愈發(fā)蓬勃，監(jiān)控點位裝機數(shù)量呈爆發(fā)式增長。2014年**攝像頭出貨量達到5646萬臺，每天產(chǎn)生的視頻監(jiān)控數(shù)據(jù)量達160PB，同時隨著監(jiān)控IP化特征的持續(xù)加力等因素的影響，市場對視頻監(jiān)控存儲產(chǎn)品的應用和發(fā)展提出了較高要求。其主要體現(xiàn)在對龐大存儲系統(tǒng)的資源的合理利用、性能的持續(xù)增長、以及管理和服務獲取的方式等多個方面。 ? 二、視頻監(jiān)控存儲現(xiàn)狀 ? 在當前視