大數(shù)據(jù)分析與數(shù)據(jù)挖掘綜合能力提升實戰(zhàn)

1.掌握數(shù)據(jù)建模的標準過程和步驟

2.掌握數(shù)據(jù)建模的特征選擇常用方法，學會尋找影響業(yè)務的關鍵要素

3.掌握回歸預測模型基本原理，學會解讀回歸方程的含義

4.理解并掌握定量預測模型的評估指標的含義

一、數(shù)據(jù)建模過程——建模步驟篇

1.預測建模六步法

1)選擇模型：基于業(yè)務選擇恰當?shù)臄?shù)據(jù)模型

2)特征工程：選擇對目標變量有顯著影響的屬性來建模

3)訓練模型：采用合適的算法對模型進行訓練，尋找到最優(yōu)參數(shù)

4)評估模型：進行評估模型的質量，判斷模型是否可用

5)優(yōu)化模型：如果評估結果不理想，則需要對模型進行優(yōu)化

6)應用模型：如果評估結果滿足要求，則可應用模型于業(yè)務場景

2.數(shù)據(jù)挖掘常用的模型

1)定量預測模型：回歸預測、時序預測等

2)定性預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等

3)市場細分：聚類、RFM、PCA等

4)產品推薦：關聯(lián)分析、協(xié)同過濾等

5)產品優(yōu)化：回歸、隨機效用等

6)產品定價：定價策略/最優(yōu)定價等

3.特征工程/特征選擇/變量降維

1)基于變量本身特征

2)基于相關性判斷

3)因子合并（PCA等）

4)IV值篩選（評分卡使用）

5)基于信息增益判斷（決策樹使用）

4.模型評估

1)模型質量評估指標：R^2、正確率/查全率/查準率/特異性等

2)預測值評估指標：MAD、MSE/RMSE、MAPE、概率等

3)模型評估方法：留出法、K拆交叉驗證、自助法等

4)其它評估：過擬合評估、殘差檢驗

5.模型優(yōu)化

1)優(yōu)化模型：選擇新模型/修改模型

2)優(yōu)化數(shù)據(jù)：新增顯著自變量

3)優(yōu)化公式：采用新的計算公式

4)集成思想：Bagging/Boosting/Stacking

6.常用預測模型介紹

1)時序預測模型

2)回歸預測模型

3)分類預測模型

二、影響因素分析——特征工程篇

1.數(shù)據(jù)預處理VS特征工程

2.特征選擇常用方法

1)相關分析、方差分析、卡方檢驗

3.相關分析（衡量兩數(shù)據(jù)型變量的線性相關性）

1)相關分析簡介

2)相關分析的應用場景

3)相關分析的種類

①　簡單相關分析

②　偏相關分析

③　距離相關分析

4)相關系數(shù)的三種計算公式

①　Pearson相關系數(shù)

②　Spearman相關系數(shù)

③　Kendall相關系數(shù)

5)相關分析的假設檢驗

6)相關分析的四個基本步驟

①　演練：營銷費用會影響銷售額嗎？影響程度如何量化

②　演練：哪些因素與汽車銷量有相關性

③　演練：影響用戶消費水平的因素會有哪些

7)偏相關分析

①　偏相關原理：排除不可控因素后的兩變量的相關性

②　偏相關系數(shù)的計算公式

③　偏相關分析的適用場景

4.方差分析（衡量類別變量與數(shù)值變量間的相關性）

1)方差分析的應用場景

2)方差分析的三個種類

①　單因素方差分析

②　多因素方差分析

③　協(xié)方差分析

3)單因素方差分析的原理

4)方差分析的四個步驟

5)解讀方差分析結果的兩個要點

①　演練：擺放位置與銷量有關嗎

②　演練：客戶學歷對消費水平的影響分析

③　演練：廣告和價格是影響終端銷量的關鍵因素嗎

④　演練：營業(yè)員的性別、技能級別對產品銷量有影響嗎

⑤　演練：尋找影響產品銷量的關鍵因素

6)多因素方差分析原理

7)多因素方差分析的作用

8)多因素方差結果的解讀

①　演練：廣告形式、地區(qū)對銷量的影響因素分析

9)協(xié)方差分析原理

10)協(xié)方差分析的適用場景

①　演練：排除產品價格，收入對銷量有影響嗎

5.列聯(lián)分析/卡方檢驗（兩類別變量的相關性分析）

1)交叉表與列聯(lián)表：計數(shù)值與期望值

2)卡方檢驗的原理

3)卡方檢驗的幾個計算公式

4)列聯(lián)表分析的適用場景

①　案例：套餐類型對客戶流失的影響分析

②　案例：學歷對業(yè)務套餐偏好的影響分析

③　案例：行業(yè)/規(guī)模對風控的影響分析

三、定量預測模型—回歸模型篇

1.回歸分析簡介和原理

2.回歸分析的種類

1)一元回歸/多元回歸

2)線性回歸/非線性回歸

3.常用回歸分析方法

1)散點圖+趨勢線（一元）

2)線性回歸工具（多元線性）

3)規(guī)劃求解工具（非線性回歸）

4)演練：散點圖找營銷費用與銷售額的關系

4.線性回歸分析的五個步驟

1)演練：營銷費用、辦公費用與銷售額的關系（線性回歸）

5.線性回歸方程的解讀技巧

1)定性描述：正相關/負相關

2)定量描述：自變量變化導致因變量的變化程度

6.回歸預測模型評估

1)質量評估指標：判定系數(shù)R^2

2)如何選擇最佳回歸模型

3)演練：如何選擇最佳的回歸預測模型（一元曲線回歸）

7.帶分類自變量的回歸預測

1)演練：汽車季度銷量預測

2)演練：工齡、性別與終端銷量的關系

3)演練：如何評估銷售目標與資源最佳配置

8.自動篩選不顯著因素（自變量）

四、定量預測模型—回歸優(yōu)化篇

1.回歸分析的基本原理

1)三個基本概念：總變差、回歸變差、剩余變差

2)方程的顯著性檢驗：方程可用性

3)因素的顯著性檢驗：因素可用性

4)方程擬合優(yōu)度檢驗：質量好壞程度

5)理解標準誤差含義：預測準確性

2.回歸模型優(yōu)化措施：尋找最佳回歸擬合線

1)如何處理預測離群值（剔除離群值）

2)如何剔除不顯著因素（剔除不顯著因素）

3)如何進行非線性關系檢驗（增加非線性自變量）

4)如何進行相互作用檢驗（增加相互作用自變量）

5)如何進行多重共線性檢驗（剔除共線性自變量）

6)演練：模型優(yōu)化演示

3.好模型都是優(yōu)化出來的

五、定量預測模型—自定義回歸篇

1.回歸建模的本質

2.規(guī)劃求解工具簡介

3.自定義回歸模型

1)案例：如何對客流量進行建模預測及模型優(yōu)化

4.回歸季節(jié)預測模型模型

1)回歸季節(jié)模型的原理及應用場景

2)加法季節(jié)模型

3)乘法季節(jié)模型

4)模型解讀

5.新產品累計銷量的S曲線

1)S曲線模型的應用場景（最大累計銷量及銷量增長的拐點）

2)珀爾曲線

3)龔鉑茲曲線

4)案例：如何預測產品的銷售增長拐點，以及銷量上限

5)演練：預測IPad產品的銷量

六、定量預測模型—模型評估篇

1.定量預測模型的評估

1)方程顯著性評估

2)因素顯著性評估

3)擬合優(yōu)度的評估

4)估計標準誤差評估

5)預測值準確度評估

2.模型擬合度評估

1)判定系數(shù)：

2)調整判定系數(shù)：

3.預測值準確度評估

1)平均絕對誤差：MAE

2)根均方差：RMSE

3)平均誤差率：MAPE

4.其它評估：殘差檢驗、過擬合檢驗

我要點評>>

首頁 末頁 共0頁/共0條

相關內訓課程

相關資訊

近期公開課