成都海擎科技有限公司
電話：028-65065822
郵箱：cdhaiqing@163.com
聯系人：袁女士
地址：成都市高新區天府三街69號
大數據和分布式系統如何解決擴展性問題
難得看到一個企業，單純依賴完全集中式計算。但是仍然有很多組織，嚴密控制他們的內部數據中心并且避開所有其它的分布，是絕對必要的。有些時候，這是由于現有的基礎設施投資原因。而在其他時候，它是由于安全問題，起因于企業的風險規避文化。然而，由于一些不可避免的因素，集中化變得越來越不可行： 客戶端設備的數量和種類逐年增加，形成越來越復雜的大量終端服務
隨著社交、移動和嵌入式技術的使用，數據收集器的數量和種類不斷地以指數形式擴大
在市場競爭中，這個數據挖掘的需要，對于業務洞察力來說變得很迫切
不斷的開發和部署的需求給系統創建了要求，該系統為也更好的敏捷性的靈活性高度組件化 (SOA)
內部擴展的成本來提供計算資源以跟上需求，從而不管從管理還是基礎設施的角度來看，維持一個可以接受的性能水平變得太難
在實時決策的時代，有一個潛在的單點故障是不可接受的，不能訪問業務數據簡直就是一個災難，并且最終用戶不會容忍“停機” 那么可不可以引進一個更多的分布式架構來解決上述問題呢？使用不同方面的分布式計算模式來解決不同類型的性能問題。
這里正好有幾個例子： 同伴壓力是一件好事
點對點的分布式計算模型可以確保不間斷正常運行時間，甚至在即使出現部分系統故障的時候，也能夠訪問應用程序和數據。一些供應商服務水平協議（SLA）提供的高可用性，保證99%或者更高的正常運行時間，這一壯舉沒有幾個企業可以通過使用集中式計算來達到。自動故障轉移機制意味著終端用戶通常不知道發生了問題，因為與服務器的通訊是不受影響的。關于延遲問題，SLA也可以結合商業目標，為響應時間和其他因素定制特定的性能指標。 沒有限制 云計算“幾乎”無限的可擴展性，提供了能夠增加或減少基礎設施資源的使用需求的能力。即時，自動配置和解除配置服務器和其他資源，使企業更好地執行，確保終端用戶訪問應用程序保持同步、資源密集的需求——甚至當出現出乎意料的流量峰值。 數據是一個大問題 分布式系統的使用也對“大數據”有影響。NoSQL選項的出現為企業提供了一個機會，讓他們數據流分別接受和充分利用通過SQL的關系數據數據庫和具有數據庫選項的非關系型數據，例如MarkLogic和MongoDB。Nice Systems公司的架構總監Arnon Rotem-Gal-Oz指出，就功能性，安全性和可管理性而論，SQL仍然有它的優勢。另一方面，他承認，“如果你有擴展問題,使用傳統的技術解決起來很難或者很昂貴時,那么NoSQL將是你前所未有的，填充這些需求的方式。” 實現在密集客戶端上的應用程序本地化運行，可以減輕一些服務器的工作量，并且能夠提供更快和更友好的用戶體驗(假設沒有經常在客戶端和服務器之間頻繁的更新數據的需要)。使用分層結構，在web、應用程序和數據服務器之間劃分責任，能夠允許組織將這些流程或層外包給最有效的第三方供應商。這種多層類型的分布式計算也可以用來減少內部服務器的負擔，甚至當為瘦客戶端如移動設備，部署應用程序時。
廉價商品定價 大規模分布式虛擬化技術已經到了臨界點,第三方數據中心和云提供商可以擠壓每一滴的CPU處理能力，比以往任何時候都進一步壓低成本。如果是恰如其分好實現它，甚至企業級的私有云都有可能降低整體成本。供應商的數量在云領域仍在增長，從而導致更多的有競爭力的定價安排。 技術選擇的多功能性 一個分布式架構能夠為許多不同的系統充當一把傘。Hadoop是一個框架的例子，可以把廣泛的工具集合起來使用，比如(根據Apache.org): －Hadoop分布式文件系統（HDFS），它提供了訪問應用程序數據的高吞吐量 －Hadoop YARN作為作業調度和集群資源管理 －Hadoop MapReduce對于并行處理大數據 －Pig 作為并行計算的高級數據流語言 －ZooKeeper為大型分布式應用程序提供高性能協調服務 企業對該框架可能特別感興趣,因為一些非常好的想法正在耶魯大學與Hadapt公司協調的商業化項目中。Daniel Abadi博士認為，“Hadoop將使它達到下一個級別。我們看到在2012年有很多采用它。現在它將試圖找出‘完美’的Hadoop用例。所以,建設一些縱向的特定應用程序將是2013相當大的一個趨勢。”那些增加分布式計算和業務性能的用例將成為此條道路的開拓者。