數位轉型得翻新資料流程，善用大數據新考驗是儲存

2018-01-23T05:06:52Z

數位轉型得翻新資料流程，善用大數據新考驗是儲存

資料被企業視為能帶來更多價值的資產，但是面對多元類型且龐大的數據，加上數據分析的應用場景多變，企業如何從中挖掘隱藏的訊息創造價值？因應不同的應用場景，資料處理的流程又該如何設計？

文/何維涓 | 2018-01-06發表

警察胸前配戴著攝影機裝置值勤，在路邊開罰單的同時，後方若有一名通緝犯經過，攝影機偵測到拍攝的畫面中，出現與通緝犯照片資料庫相同的人，攝影裝置就能馬上發送一個提示訊息，到警察的手機，警察接收到訊息便能夠追捕該名嫌犯，這將不再是電影中想像的情節，而是即將可以實現的場景。

「人沒有注意到的事，數據分析更能幫上忙！」NetApp大數據解決方案技術長Walter Schroeder表示，人類的認知有限，無法同一時間顧及到所有層面，透過IoT裝置收集資料，加以分析，創造出數位系統的環境，而對企業而言，數據分析更是可以協助企業找到隱藏問題的方法。

數據對企業的重要性已經是眾所皆知，尤其，Walter Schroeder認為，許多企業所關注的數位轉型，都與大數據分析密不可分，企業已經意識到可以藉助分析結果，來找出企業得面對的問題。

不過，現在企業面臨新的挑戰是，隨著IoT裝置日益普及，企業所收集到的資料也越來越多元，而手上的資料量也越來越龐大，更需要一套有效率的資料分析流程，來處理和分析這些資料，才能從海量的數據中，挖掘出對企業有意義的資訊。

再者，企業現今的業務也變得越來越多元化，應用場景更是時常在改變，Walter Schroeder認為，企業開始需要兼顧即時和非即時的大數據分析方法，來因應多元且多變業務。

以警用攝影裝置為例，Walter Schroeder指出，警局不但需要即時分析的技術，才能即時辨識出通緝犯，還需要將每天巡邏的影像歸檔，妥善保存資料，作為日後更長期分析和保存之用。

即時和非即時的分析都得兼顧，如何儲存數據成為關鍵

因此，Walter Schroeder認為，企業所需的大數據分析能力，不是在即時或是非即時中二選一，而是兩者都要兼顧。即時的數據分析的需求，也讓大數據分析從雲端或總部機房，開始走入現場，延伸到在地網路環境中的邊緣運算裝置，以利就近運算。

而長期性的整體分析，則牽涉到資料保存的方式，不同於即時分析可善用雲端計算能力，「長期性分析，得思考如何儲存資料。」他說。

Walter Schroeder表示，近期有項研究指出，企業只要取得比現有資料量多10%，就能讓財星1000大的企業增加6500萬美元收入，「但是企業不可能會用增加的收入，來儲存多收集的資料，」他說。

他指出，現在企業IT面臨的環境越來越複雜，不再只是管理自家的平臺，必須從社交平臺、行動裝置收集使用者的資料，再經過分析得到結果，來改善業務，其中，在處理資料的過程中，還得管理混合雲的環境，也因此，Walter Schroeder提醒，企業資料處理和內部的工作流程，都必須重新設計，來因應多變的應用場景。

首先，Walter Schroeder認為，企業應該要思考，資料如何變成企業開發產品的助力，接著，資料在企業的每個工作流程中，都應該經過重新設計，除了資料和工作流程要配合得宜，他提醒，資料分析還得有效率，大數據分析才能真正創造價值。

舉例來說，一開始，企業從不同的裝置和管道，收集到各種不同種類資料，像是攝影機、手機、網站等，這些資料類型可能是即時串流、結構或是非結構，甚至是半結構化的資料。

這些資料一進入企業的資料分析平臺後，企業就必須因應需求，分成即時和非即時分析兩層資料處理架構，舉例來說，與安全管控有關的資料，就需要即時分析，像是攝影機若拍到通緝犯，就得馬上辨識出是否有權進出，才能做到即時的門禁管控。

而資料經過第一層的即時分析後，企業還會需要將這些資料，進行較長期的分析，例如，購物中心可以分析所有的客人購買行為、年齡、性別等，這些資料就要集中在資料湖，企業就能透過分析結果來模擬未來決策的影響。

Walter Schroeder舉例，購物中心若透過大數據分析的結果，發現商場50%的客人，都會穿越美食街來到提款機的位置，提款後就直接離開商場，在未來購物中心要更換提款機的位置，就能模擬將提款機放置不同的位置，分析提款機的擺放位置，對店家營收會產生什麼樣的影響。

「若企業沒有經過模擬來制定決策，可能造成成本增加，」他認為，大數據分析結果能提供企業更明確的決策依據，進而減少不必要的成本浪費。

最後，企業完成長期的資料分析後，還需要將資料保存在資料湖大約5～10年，以免在未來萬一需要這些資料，企業還要可以相當快速地從歸檔儲存處，將資料調出來，回復到資料平臺，重新利用資料。

因此，Walter Schroeder認為，企業資料分析流程，除了在資料一進入分析平臺時，要分為即時和非即時2種架構來分析處理，甚至，最後還要延伸至歸檔儲存，將資料的儲存，也納入到企業大數據分析處理的流程當中。

一般企業在設計資料處理的流程上，較容易忽略歸檔儲存的部分，而他提醒，未來企業面臨越來越龐大的資料量，除了短期和即時分析之外，還會需要較長遠、整體的分析，因此，企業更要設計能夠長期儲存資料的流程，作為日後較長遠的分析資料來源。

企業目前在大數據分析上面臨的5大問題

依照Walter Schroeder觀察，資料分析場景的多元化，更讓企業在資料分析上面臨新的難題，他指出，企業大數據分析目前面臨的5大問題是人才、相關基礎設施、資料來源、沒有使用正確的工具，以及企業文化，首先企業需要找到適合的人才來處理資料，還要搭配合適的平臺和設備。

除此之外，許多企業可能一開始不知道該收集哪些資料，有些有用的資料企業並沒有收集或是刪除了，而全部收集的話，對企業來講，資料不好管理，成本也會增加，因此，他提醒，企業要從想解決的問題，來思考需要收集什麼樣類型資料。

有了資料和基礎設施，還需要使用適合企業分析場景的平臺和工具，最後，Walter Schroeder提醒，企業文化也是資料分析一大成敗的關鍵之一，他指出，資料分析需要時間來摸索出正確的分析流程，通常需要經過一兩次計畫過後，才會找出對的方法和工具來分析資料。

但是，許多企業可能只完成一次計畫，還沒找到合適的方法和工具，就中斷資料分析的相關計畫，或是分析資料的計畫需要較長的時間，企業在得到成果之前，就提前終止了計畫，最終也沒有得到資料分析的結果。

NetApp 大數據解決方案技術長Walter Schroeder表示，企業面對多元且大量的資料，要選對分析平臺和工具，重新設計資料處理流程，才能真正創造價值

根據企業資料分析需求，選擇適合的工具與作法

企業到底要如何選對工具和方法？Walter Schroeder指出，資料分析的工作流程所需要的工具，包含IT基礎設施、資料分析平臺和資料庫，企業應該要根據自己的業務需求，選擇合適的作法。

依照他的觀察，若是企業以使用者體驗為主的應用，需要分析客戶情感資料來增進使用者體驗，可以選擇具有高效能即時分析能力的平臺。

醫療和健康照護產業則需要有叢集的機制，透過分散式運算架構來處理和分析大量的病患就醫記錄。而許多軟體企業在加速創新的開發上，則需要非關聯式的資料庫，來處理非結構化和半結構化的資料，因此，企業要根據自家的分析需求，找到合適的平臺和工具。

Walter Schroeder認為，大部分的企業未來將會需要更快速、更廣的資料分析結果，來協助業務運行，因此，選擇適合自家的資料分析平臺，再透過單一的架構來管理是必要的。

他舉例，澳洲銀行從不同管道中，收集並記錄了每個客戶每次與銀行的互動，一天可以收集到超過1TB的資料量，透過每小時產生一次情感分析結果報告，在客戶離開銀行前辨識出客戶身分，提供更多貼近客戶需求的服務，進而增加了高端客戶的回客率。

此外，Walter Schroeder指出，透過單一架構來處理各種不同資料層的儲存和分析，能夠加速儲存的速度，分析時需要搜尋資料的速度，也會提升許多。

他指出，對企業來說，透過單一的架構來儲存和分析資料，不但可以減少人力，還能降低問題的複雜度，Walter Schroeder解釋，若企業需要透過多個平臺，來處理資料，就需要訓練多個不同的技術人員，從事管理不同平臺的工作，資料或是分析結果出現問題時，企業也不容易找出是哪個平臺出問題，造成管理不易，因此降低了效率。

NetApp 未來的大數據產品要將資料和運算距離拉近

隨著企業收集的資料量越龐大、對資料分析的速度要求也會越來越快，Walter Schroeder認為，未來資料分析的趨勢應該會走向各家的平臺速度會提升、延遲度會降低，資料搜尋的速度也會加快。

因此，各家將會使用更多快閃記憶體，也會出現更大容量的快閃磁碟機，儲存更多的資料量，實現能夠在較小的空間中，儲存64TB或100TB大小資料。

Walter Schroeder指出，這也意味著資料密度會增加，儲存設備的價格將會更加昂貴，此外，Walter Schroeder也預測，微控制器的功能會越來越強，未來微控制器可能能夠在儲存裝置上執行應用，如此一來，所需的頻寬和每秒讀寫數（IOPS）也將會減少。

現在執行應用都需要從儲存裝置將資料送到伺服器來做處理，還是會延遲性的問題，Walter Schroeder表示，如果未來儲存裝置端就做能直接執行應用，不但延遲度能夠降低，頻寬也會變得更大，如此一來，「能夠在更接近資料的地方執行應用，」他說。

CTO 小檔案 Walter Schroeder指出，NetApp未來的目標，即是要將「資料和運算的距離拉近」，NetApp預計要將運算，移到儲存端裝置來運行，舉例來說，像是儲存級記憶體（Storage-class memory，SCM），就是結合了傳統儲存裝置，以及記憶體特性的複合型儲存技術，他認為，未來不管是哪一個企業，都需要這樣的架構，來處理越來越多的資料。

Walter Schroeder

NetApp 大數據解決方案技術長

學歷：澳洲Macquarie大學MBA 學位

經歷：在加入NetApp之前，Walter曾於HDS擔任企業工程師，進入NetApp之後任職大數據解決方案顧問工程師，2015年開始，正式擔任大數據解決方案技術長，主導推動NetApp在大數據上的相關產品，並協助企業管理數據

公司檔案

NetApp

● 總部：美國加州桑尼維爾

● 成立時間：1992年

● 員工人數：超過1萬人

● 主要業務：提供企業混合雲資料服務，包含資料管理與儲存解決方案

● 創辦人：David Hitz

● 執行長：George Kurian

● 年營收：約55億美元

公司大事記

● 2013年：推出首款全Flash陣列產品EF540

● 2014年：發布軟體定義式的物件儲存系統StorageGRID Webscale

● 2015年：正式提出針對混合雲的架構NetApp Data Fabric架構

● 2016年：推出新一代儲存系統平臺ONTAP 9