<menuitem id="r3jhr"></menuitem><noscript id="r3jhr"><progress id="r3jhr"><code id="r3jhr"></code></progress></noscript>

      分析論文:云計算環(huán)境下大數(shù)據(jù)

      時間:2021-06-11 13:05:15 論文 我要投稿

      分析論文:云計算環(huán)境下大數(shù)據(jù)

        1大數(shù)據(jù)處理流程

      分析論文:云計算環(huán)境下大數(shù)據(jù)

        基本的大數(shù)據(jù)的處理流程可以分成數(shù)據(jù)采集、數(shù)據(jù)處理與集成、數(shù)據(jù)分析和數(shù)據(jù)解釋4個階段。首先獲取數(shù)據(jù)源的數(shù)據(jù),因為在數(shù)據(jù)源端的數(shù)據(jù)包含各種各樣的結構,需要使用某種方法將其進行預處理,使數(shù)據(jù)成為某種可以用一種算法分析的統(tǒng)一數(shù)據(jù)格式,接著需要找到這種數(shù)據(jù)分析的算法,將預處理過的數(shù)據(jù)進行算法特定的分析,并將分析的結果用可視化等手段呈現(xiàn)至用戶端。

        1.1數(shù)據(jù)采集

        大數(shù)據(jù)的采集是整個流程的基礎,隨著互聯(lián)網(wǎng)技術和應用的發(fā)展以及各種終端設備的普及,使得數(shù)據(jù)的生產(chǎn)者范圍越來越大,數(shù)據(jù)的產(chǎn)量也越來越多,數(shù)據(jù)之間的關聯(lián)也越來越復雜,這也是大數(shù)據(jù)中“大”的體現(xiàn),所以需要提高數(shù)據(jù)采集速度和精度要求。

        1.2數(shù)據(jù)處理與集成

        數(shù)據(jù)的處理與集成主要是對前一步采集到的大量數(shù)據(jù)進行適當?shù)念A處理,包括格式化、去噪以及進一步集成存儲。因為數(shù)據(jù)采集步驟采集到的數(shù)據(jù)各種各樣,其數(shù)據(jù)結構也并不統(tǒng)一,不利于之后的數(shù)據(jù)分析,而且,一些數(shù)據(jù)屬于無效數(shù)據(jù),需要去除,否則會影響數(shù)據(jù)分析的精度和可靠性,所以,需要將數(shù)據(jù)統(tǒng)一格式并且去除無效數(shù)據(jù)。通常會設計一些過濾器來完成這一任務。

        1.3數(shù)據(jù)分析

        在完成了數(shù)據(jù)的采集和處理后,需要對數(shù)據(jù)進行分析,因為在進行數(shù)據(jù)分析后才能體現(xiàn)所有大數(shù)據(jù)的重要價值。數(shù)據(jù)分析的對象是上一步數(shù)據(jù)的處理與集成后的統(tǒng)一格式數(shù)據(jù),需要根據(jù)所需數(shù)據(jù)的應用需求和價值體現(xiàn)方向對這些原始樣本數(shù)據(jù)進一步地處理和分析。現(xiàn)有的數(shù)據(jù)分析通常指采用數(shù)據(jù)倉庫和數(shù)據(jù)挖掘工具對集中存儲的數(shù)據(jù)進行分析,數(shù)據(jù)分析服務與傳統(tǒng)數(shù)據(jù)分析的差別在于其面向的對象不是數(shù)據(jù),而是數(shù)據(jù)服務。

        1.4數(shù)據(jù)解釋

        數(shù)據(jù)解釋是對大數(shù)據(jù)分析結果的解釋與展現(xiàn),在數(shù)據(jù)處理流程中,數(shù)據(jù)結果的解釋步驟是大數(shù)據(jù)分析的`用戶直接面對成果的步驟,傳統(tǒng)的數(shù)據(jù)顯示方式是用文本形式體現(xiàn)的,但是,隨著數(shù)據(jù)量的加大,其分析結果也更復雜,傳統(tǒng)的數(shù)據(jù)顯示方法已經(jīng)不足以滿足數(shù)據(jù)分析結果輸出的需求,因此,數(shù)據(jù)分析企業(yè)會引入“數(shù)據(jù)可視化技術”作為數(shù)據(jù)解釋方式。通過可視化結果分析,可以形象地向用戶展示數(shù)據(jù)分析結果。

        2云計算與大數(shù)據(jù)分析的關系

        云計算是基于互聯(lián)網(wǎng)的相關服務的增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源,是一種按使用量付費的模式。這種模式提供可用的、便捷的、按需的網(wǎng)絡訪問,進入可配置的計算資源共享池(資源包括網(wǎng)絡、服務器、存儲、應用軟件、服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。目前,國內(nèi)外已經(jīng)有不少成熟的云計算的應用服務。數(shù)據(jù)分析是整個大數(shù)據(jù)處理流程里最核心的部分。數(shù)據(jù)分析是以數(shù)據(jù)的價值分析為目的的活動,而基于大數(shù)據(jù)的數(shù)據(jù)分析通常表現(xiàn)為對已獲取的海量數(shù)據(jù)的分析,其數(shù)據(jù)來源可能是企業(yè)數(shù)據(jù)也可能是企業(yè)數(shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)的融合。從目前的趨勢來看,云計算是大數(shù)據(jù)的IT基礎,是大數(shù)據(jù)分析的支撐平臺,不斷增長的數(shù)據(jù)量需要性能更高的數(shù)據(jù)分析平臺承載。所以,云計算技術的不斷發(fā)展可以為大數(shù)據(jù)分析提供更為靈活、迅速的部署方案,使得大數(shù)據(jù)分析的結果更加精確。另一方面,云計算的出現(xiàn)為大數(shù)據(jù)分析提供了擴展性更強,使用成本更低的存儲資源和計算資源,使得中小企業(yè)也可以通過云計算來實現(xiàn)屬于自己的大數(shù)據(jù)分析產(chǎn)品。大數(shù)據(jù)技術本身也是云計算技術的一種延伸。大數(shù)據(jù)技術涵蓋了從數(shù)據(jù)的海量存儲、處理到應用多方面的技術,包括海量分布式文件系統(tǒng)、并行計算框架、數(shù)據(jù)庫、實時流數(shù)據(jù)處理以及智能分析技術,如模式識別、自然語言理解、應用知識庫等等。但是,大數(shù)據(jù)分析要走向云計算還要賴于數(shù)據(jù)通信帶寬的提高和云資源的建設,需要確保原始數(shù)據(jù)能遷移到云環(huán)境以及資源池可以隨需彈性擴展。

        3基于云計算環(huán)境的Hadoop

        為了給大數(shù)據(jù)處理分析提供一個性能更高、可靠性更好的平臺,研究者基于MapReduce開發(fā)了一個基于云計算環(huán)境的開源平臺Hadoop。Hadoop是一個以MapReduce算法為分布式計算框架,包括分布式文件系統(tǒng)(HDFS)、分布式數(shù)據(jù)庫(Hbase、Cassandra)等功能模塊在內(nèi)的完整生態(tài)系統(tǒng),已經(jīng)成為當前最流行的大數(shù)據(jù)處理平臺,并被廣泛認可和開發(fā)應用。基于Hadoop,用戶可編寫處理海量數(shù)據(jù)的分布式并行程序,并將其運行于由成百上千個節(jié)點組成的大規(guī)模計算機集群上。

        4實例分析

        本節(jié)以電信運營商為例,說明在云計算環(huán)境中基于Hadoop的大數(shù)據(jù)分析給大數(shù)據(jù)用戶帶來的價值。當前傳統(tǒng)語音和短信業(yè)務量下滑,智能終端快速增長,移動互聯(lián)網(wǎng)業(yè)務發(fā)展迅速,大數(shù)據(jù)分析可以為運營商帶來新的機會,幫助運營商更好地轉型。本文數(shù)據(jù)分析樣本來自于某運營商的個人語音和數(shù)據(jù)業(yè)務清單,通過Hadoop2.6.0在Ubuntu12.04系統(tǒng)中模擬了一個大數(shù)據(jù)分析平臺來處理獲得的樣本。希望通過對樣本數(shù)據(jù)的分析與挖掘,掌握樣本本身的一些信息。以上分析只是一些很基本的簡單分析,實際上樣本數(shù)據(jù)中所蘊含的價值要遠遠大于本文體現(xiàn)的。以上舉例意在說明基于云計算的大數(shù)據(jù)分析可以在數(shù)據(jù)分析上體現(xiàn)出良好的性能,為企業(yè)帶來更豐富更有效率的信息提取、分類,并從中獲益。

        5結束語

        基于云計算的大數(shù)據(jù)分析已經(jīng)成為解決大數(shù)據(jù)問題的主要手段,云計算環(huán)境中的大數(shù)據(jù)分析平臺部署需要綜合考慮硬件、網(wǎng)絡、軟件等各方面的集成,使大數(shù)據(jù)的海量信息積累體現(xiàn)價值,顯示云計算的性能優(yōu)勢,而沒有云計算技術的支撐也不能進行高效和準確的大數(shù)據(jù)處理分析。最后本文通過一個例子來分析了基于云計算的大數(shù)據(jù)分析給企業(yè)帶來的價值,由此可見,大數(shù)據(jù)需要云計算技術的深入挖掘,同時也促進了云計算技術的不斷發(fā)展。

      【分析論文:云計算環(huán)境下大數(shù)據(jù)】相關文章:

      云計算環(huán)境下的數(shù)據(jù)挖掘研究論文04-14

      大數(shù)據(jù)環(huán)境下云會計的論文06-10

      云計算環(huán)境數(shù)據(jù)安全研究論文04-16

      云計算環(huán)境下大規(guī)模數(shù)據(jù)處理技術研究論文04-17

      研究基于云計算角度下的數(shù)據(jù)存儲安全技術論文04-17

      大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究論文04-14

      云計算環(huán)境下的網(wǎng)絡技術及其發(fā)展論文02-13

      云計算環(huán)境下的分布存儲技術研究論文04-16

      大數(shù)據(jù)時代基于云計算的數(shù)據(jù)監(jiān)護研究論文04-15

      久久亚洲中文字幕精品一区四_久久亚洲精品无码av大香_天天爽夜夜爽性能视频_国产精品福利自产拍在线观看
      <menuitem id="r3jhr"></menuitem><noscript id="r3jhr"><progress id="r3jhr"><code id="r3jhr"></code></progress></noscript>
        最新欧美国产91麻豆免费观看 | 久久久综合精品视频 | 日韩精品一区在线 | 午夜激情视频久久 | 日韩动漫精品一区 | 日韩女同在线二区三区 |