Smartbi支持多種數(shù)據(jù)源輕松接入,基本涵蓋了市面上所有主流的數(shù)據(jù)庫。無可否認(rèn)多元的數(shù)據(jù)連接能力使Smartbi能快速連接現(xiàn)有數(shù)據(jù)源,構(gòu)建統(tǒng)一的數(shù)據(jù)分析平臺。但在項(xiàng)目實(shí)施過程中,往往會遇到以下的問題:
我們企業(yè)數(shù)據(jù)存儲在不同甚至不同類型的數(shù)據(jù)庫里面,當(dāng)用戶查詢數(shù)據(jù)的范圍比較廣,并不限于一個(gè)數(shù)據(jù)庫時(shí),需要跨多個(gè)數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)查詢分析,如果按照傳統(tǒng)的方式:先抽取到要通過ETL把數(shù)據(jù)都抽取到統(tǒng)一的庫中,就會十分費(fèi)力。或是對現(xiàn)有業(yè)務(wù)代碼進(jìn)行重構(gòu),分別從兩個(gè)數(shù)據(jù)庫查詢數(shù)據(jù),然后在業(yè)務(wù)代碼中進(jìn)行join關(guān)聯(lián)。數(shù)據(jù)庫可能是分布在不同實(shí)例和不同的主機(jī)上,join關(guān)聯(lián)將變得非常麻煩。
針對這種問題,smartbi提供跨庫聯(lián)合數(shù)據(jù)源(smartbiUnionDB):是系統(tǒng)內(nèi)置數(shù)據(jù)源,用于實(shí)現(xiàn)跨庫查詢的需要。應(yīng)對不同接口數(shù)據(jù)統(tǒng)一訪問問題,無需再進(jìn)行數(shù)據(jù)抽取。比如將Oracle和SQLServer兩種數(shù)據(jù)源關(guān)聯(lián),讓不同接口數(shù)據(jù)統(tǒng)一訪問,無需再進(jìn)行數(shù)據(jù)抽取。
圖:數(shù)據(jù)跨庫整合架構(gòu)圖
跨庫聯(lián)合數(shù)據(jù)源(smartbiUnionDB):是系統(tǒng)內(nèi)置數(shù)據(jù)源,用于實(shí)現(xiàn)跨庫查詢的需要。系統(tǒng)自動將新建的關(guān)系數(shù)據(jù)源信息添加到該跨庫聯(lián)合數(shù)據(jù)源中,或通過數(shù)據(jù)庫關(guān)聯(lián)界面將需要的數(shù)據(jù)源手動添加,進(jìn)行跨庫查詢時(shí)使用。
目前支持做跨庫的數(shù)據(jù)源類型包括:高速緩存庫、Hadoop_Hive、星環(huán)、Vertica、CH、Greenplum、Infobright、Oracle、DB2 V9、MySQL、MS SQL Server、Spark SQL、Teradata_v12、Informix、IMPALA、PostgreSQL。
圖:跨庫示意圖
1. 無需落地
Smartbi提供直接的跨庫查詢,并且內(nèi)置了數(shù)據(jù)跨庫查詢引擎,在內(nèi)存中進(jìn)行關(guān)聯(lián),數(shù)據(jù)無需落地。省去了中間抽取環(huán)節(jié),保證查詢數(shù)據(jù)的實(shí)時(shí)性。
2. 快速部署,開箱即用
系統(tǒng)內(nèi)置跨庫引擎,不需額外安裝部署。
3. 快速處理、良好擴(kuò)展
對于海量大數(shù)據(jù)跨庫查詢,內(nèi)置的跨庫引擎能通過線性擴(kuò)充,并行處理的方案,滿足企業(yè)成長需要。
4. 高性能的應(yīng)用
跨庫數(shù)據(jù)源支持應(yīng)用在數(shù)據(jù)集定義中,通常在可視化數(shù)據(jù)集和自助數(shù)據(jù)集中應(yīng)用比較廣泛。我們常規(guī)的這個(gè)數(shù)據(jù)分析底層結(jié)構(gòu)是基于數(shù)據(jù)源直接連我們的數(shù)據(jù)連接進(jìn)行數(shù)據(jù)的分析展現(xiàn),那這種情況如果我們的數(shù)據(jù)量比較少的情況下一般是沒有什么問題,但是我們的數(shù)據(jù)一旦達(dá)到某個(gè)級別之后我們的報(bào)表性能就會出現(xiàn)很大的一個(gè)瓶頸,甚至說導(dǎo)致我們的這個(gè)報(bào)表長時(shí)間刷不出來,以至于我們的系統(tǒng)崩潰,那這個(gè)時(shí)候就可以直接使用高速緩存庫機(jī)制,以保證系統(tǒng)具有較長的生命力和擴(kuò)展能力最重要保障。
將數(shù)據(jù)抽取到高速緩存庫后,之后的查詢直接從高速緩存庫取數(shù),來提高查詢性能。如在體驗(yàn)中心的“體驗(yàn)式場景5”在分析某公司的emplyees數(shù)據(jù)情況時(shí),其中的雇員表(300,024條記錄)與薪資表(2,844,047條記錄)進(jìn)行跨庫關(guān)聯(lián),使用前高速緩存之前刷新數(shù)據(jù)至少要20秒;當(dāng)數(shù)據(jù)抽取到高速緩存庫后,切換年份刷新僅需2秒,甚至更快。
體驗(yàn)
聯(lián)系方式
關(guān)注我們