隨著數(shù)字中國建設(shè)進程推進以及國家有關(guān)大數(shù)據(jù)戰(zhàn)略文件的頒布,數(shù)據(jù)上升到前所未有的戰(zhàn)略高度,越來越受到全社會的關(guān)注和重視。近年來,大數(shù)據(jù)在民生服務(wù)、經(jīng)濟決策、風(fēng)險控制、績效考核等多方面深入應(yīng)用,通過將累積的數(shù)據(jù)轉(zhuǎn)換為有用的信息知識,以此作為重要參考對生產(chǎn)制造、市場分析、科學(xué)探索等進行決策,現(xiàn)已取得了諸多成果。
利用數(shù)據(jù)挖掘工具實現(xiàn)數(shù)據(jù)到有用信息和知識的轉(zhuǎn)化是大數(shù)據(jù)應(yīng)用中重要的一步,對此,明朝萬達研制了一套便捷高效的數(shù)據(jù)挖掘工具通用模型,可幫助金融、公安、政府、等行業(yè)實現(xiàn)對數(shù)據(jù)的加工、處理、分析、建模,利用數(shù)據(jù)引導(dǎo)業(yè)務(wù)決策,實現(xiàn)價值閉環(huán),讓數(shù)據(jù)驅(qū)動生產(chǎn)力,全面釋放數(shù)據(jù)價值。
該模型頁面設(shè)計以用戶體驗和用戶目標(biāo)為導(dǎo)向,采用極簡風(fēng)格的流式建模,可快速實現(xiàn)各種類型的數(shù)據(jù)挖掘應(yīng)用,為個人、團隊和企業(yè)所做的決策提供支撐依據(jù)。
· 提供了豐富的數(shù)據(jù)預(yù)處理操作,支持圖形化建模,支持多種高效的算子組件。
· 提供關(guān)于日常數(shù)據(jù)挖掘處理的通用算子包括:輸入輸出、數(shù)據(jù)處理、集合操作、關(guān)聯(lián)分析、統(tǒng)計分析5大類;
· 提供數(shù)據(jù)挖掘算子20多種,如:輸入源、輸出源、過濾、排序、字段顯示、去重、別名、類型轉(zhuǎn)換、列運算、字符串函數(shù)、數(shù)據(jù)量、字符串替換、字段拆分、字段映射、日期格式化、交集、并集、差集、左關(guān)聯(lián)、右關(guān)聯(lián)、內(nèi)關(guān)聯(lián)、單列統(tǒng)計、排名統(tǒng)計、分組統(tǒng)計、窗口函數(shù)等;
· 支持根據(jù)需要進行靈活擴展,如:數(shù)據(jù)分析圖表函數(shù)、數(shù)據(jù)治理分析手段等。
△ 數(shù)據(jù)挖掘建模流程示意圖
該工具主要用于數(shù)據(jù)挖掘建模,用戶可以在沒有任何編程基礎(chǔ)的情況下,通過頁面拖拽的方式進行操作,將各種數(shù)據(jù)通過輸入、數(shù)據(jù)處理、輸出等環(huán)節(jié)通過流程化的方式進行連接,使用戶可以理解數(shù)據(jù),并設(shè)計具有特色的業(yè)務(wù)數(shù)據(jù)挖掘模型和可重用組件,以達到數(shù)據(jù)分析的目的。
產(chǎn)品亮點
1、支持豐富的數(shù)據(jù)源,可以對多種數(shù)據(jù)庫來源數(shù)據(jù)進行數(shù)據(jù)挖掘分析,包括但不限于Mysql、Oracle、GreenPlum、PostgreSQL等關(guān)系型數(shù)據(jù)庫。
2、具有豐富的通用數(shù)據(jù)處理算子,目前已有算子如:過濾、排序、去重、交集、并集等20多種,后續(xù)根據(jù)業(yè)務(wù)需要可進行動態(tài)擴展和自定義。
3、支持靈活的數(shù)據(jù)輸出入庫策略,可直接將挖掘的數(shù)據(jù)集導(dǎo)入到指定庫表,并且支持多種入庫策略,如:增量寫入、覆蓋寫入、忽略寫入等,可根據(jù)需要進行靈活擴展。
4、數(shù)據(jù)挖掘計算速度快,底層采用Spark計算引擎,并結(jié)合Spark-SQL模塊對數(shù)據(jù)進行挖掘分析。
5、支持超大量數(shù)據(jù)挖掘分析,結(jié)合Spark分布式集群,充分發(fā)揮機器性能,提高數(shù)據(jù)挖掘處理效率。
6、用戶界面操作簡單,易學(xué)易用,通過頁面拖拽就可以進行數(shù)據(jù)挖掘和分析。
7、應(yīng)用場景廣,該工具可用于在銀行、金融、證券、教育、公安等行業(yè)的數(shù)據(jù)挖掘分析工作。
應(yīng)用場景示例
01信用貸款分析評估
需求分析
目前我國信用貸款品類多樣,其中個人信用貸款與傳統(tǒng)抵押貸款相比風(fēng)險較大,對借款人的經(jīng)濟效益水平,如個人發(fā)展情況、社會地位、經(jīng)濟收入等有較高的要求。因此,如何針對借款人進行有效的信用貸款分析評估就成為各商業(yè)銀行開展業(yè)務(wù)的重點。數(shù)據(jù)挖掘工具的出現(xiàn)為風(fēng)險評估提供了一種良好的定量分析方法。
挖掘過程
通過數(shù)據(jù)挖掘模型挖掘信用貸款用戶的風(fēng)險評估過程示例如下圖(僅供參考)。
△ 信用貸風(fēng)險用戶評估
適用場景/行業(yè)
適用于保險、銀行、政府企業(yè),需要對用戶群體進行風(fēng)險評估的企業(yè)等。
02客戶營銷精準(zhǔn)定位
需求分析
隨著經(jīng)濟的發(fā)展,國民理財意識的增強,銀行理財新產(chǎn)品層出不窮,各銀行業(yè)務(wù)逐漸向以客戶、數(shù)據(jù)、信息為中心的經(jīng)營和服務(wù)模式轉(zhuǎn)變。當(dāng)前背景下,銀行關(guān)注如何利用數(shù)據(jù)挖掘技術(shù)從海量銀行用戶數(shù)據(jù)中挖掘出潛在客戶,實現(xiàn)針對性的理財產(chǎn)品推薦。
挖掘過程
通過數(shù)據(jù)挖掘模型挖掘銀行不同年齡段的潛在客戶示例如下圖(僅供參考)。
△ 潛力客戶分析
適用場景/行業(yè)
銀行、證券公司等針對特定的產(chǎn)品營銷,需要快速尋找潛在的客戶群體的企業(yè)。