平衡兩分類資料之續貫（垂直）堆疊整合學習演算法

指導教授：李名鏞 教授

專題成員：羅蔚妮

0筆樣本
0種基礎模型
0種堆疊策略
0最佳 MCC

首頁

研究核心概念與整體方向

研究內容

本研究提出一種新型態的垂直堆疊整合學習框架，針對平衡二分類資料，透過雙門檻機制（θ₁, θ₂）將樣本劃分為確定區與難分類區（Λ），並結合多層順序堆疊策略，有效提升分類準確率與模型穩定性。

核心貢獻

  • 提出雙門檻決策機制
  • 整合 16 種基礎模型
  • 發展 4 種堆疊策略
  • 在多項指標上超越傳統方法

研究動機

傳統堆疊方法的三大限制

機率加權的模糊性

水平堆疊忽略模型在不同樣本上的確定性差異

缺乏順序性

未考慮基礎模型的強弱順序與互補關係

難分類樣本處理不足

對邊界樣本缺乏針對性策略

本研究旨在發展一套能動態識別難分類樣本，並依序調用不同模型專精處理的整合框架。

數據與流程

UCI White Wine Quality Dataset

資料概況

  • 樣本數：4,898 筆
  • 特徵數：11 項理化指標
  • 類別分布：
    • Class 0（普通）：1,640 筆 (33.48%)
    • Class 1（優質）：3,258 筆 (66.52%)

特徵欄位

固定酸度揮發性酸度檸檬酸殘糖量氯化物游離二氧化硫總二氧化硫密度酸鹼值硝酸鹽酒精濃度

核心方法論

基礎模型與堆疊策略

16 種基礎模型

  • 樹模型：Random Forest, Extra Trees, Decision Tree, Pruned Tree
  • Boosting：XGBoost, LightGBM, CatBoost, AdaBoost, Gradient Boosting
  • 線性模型：Logistic Regression (L1/L2), ElasticNet, Linear SVM
  • 其他：KNN, Naive Bayes

4 種堆疊策略

  1. 完全自動搜索（80% 純度門檻）
  2. 個別模型設定純度
  3. 手動指定門檻
  4. 邏輯斯堆疊整合法

研究流程

完整研究流程六步驟

STEP 01

資料前處理

清洗、標準化、特徵選取

STEP 02

特徵工程

衍生新特徵、交互項

STEP 03

16 模型訓練

訓練所有基礎學習器

STEP 04

AUC 篩選

依 ROC-AUC 挑選表現佳的模型

STEP 05

門檻設定

設定 θ₁, θ₂ 與純度門檻

STEP 06

順序堆疊

垂直串接、難分類樣本依序處理

雙門檻機制

核心創新：將樣本分為三區

Class 0 f(x) ≤ θ₁ Λ (難分類) θ₁ < f(x) < θ₂ Class 1 f(x) ≥ θ₂ θ₁ θ₂ 預測機率 f(x)

透過雙門檻將預測空間分為三區，針對難分類樣本（Λ）調用專精模型處理。

16 種基礎模型

ROC-AUC 表現比較

Top 3 模型

  • XGBoost: ROC-AUC 0.8157
  • LightGBM: ROC-AUC 0.8154
  • KNN: ROC-AUC 0.8134

其他表現佳：Random Forest (0.8129)、CatBoost (0.8117)、Gradient Boosting (0.8081)

16 模型完整排名

堆疊方法比較

四種堆疊策略效能對比

方法堆疊架構覆蓋率Test AccBalanced AccRecallF1ROC-AUCPR-AUCMCC

觀察重點

關鍵發現

四大核心貢獻

1. 雙門檻機制有效性

能成功識別 9.71%–54.22% 的難分類樣本，並針對性處理。

2. 順序堆疊優勢

方式二 MCC 達 0.4870，較最佳單模型（LightGBM 0.4806）提升 1.33%。

3. 覆蓋率與效能權衡

方式二覆蓋率僅 45.78%，但準確率最高，顯示「少而精」策略有效。

4. 邏輯斯回歸穩定性

雖 MCC 略低，但 100% 覆蓋率確保所有樣本皆被分類，適合實務應用。

總結

研究貢獻與延伸方向

🎓 研究貢獻

  • 提出垂直堆疊框架，突破傳統水平堆疊限制
  • 發展雙門檻機制，有效處理邊界樣本
  • 整合 16 模型，系統性比較堆疊策略
  • 在多項指標上超越單一最佳模型

未來方向

  • 多類別分類擴展
  • 高度不平衡資料處理（SMOTE 整合）
  • 深度學習模型納入堆疊
  • 動態門檻調整機制
  • 多資料集驗證泛化能力
  • 統計模擬比較理論性質

文獻脈絡

平衡二分類、續貫堆疊整合學習與葡萄酒品質預測相關研究

一、堆疊整合與不平衡二分類

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259. doi: 10.1016/S0893-6080(05)80023-1.
  2. He, H. & Garcia, E. A. (2009). Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, 21(9), 1263-1284. doi: 10.1109/TKDE.2008.239.
  3. Chawla, N. V., Bowyer, K. W., Hall, L. O. & Kegelmeyer, W. P. (2002). SMOTE: Synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 16, 321-357. doi: 10.1613/jair.953.
  4. Powers, D. M. W. (2011). Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. Journal of Machine Learning Technologies, 2(1), 37-63. 2026年11月9日，取自：https://bioinfopublication.org/files/articles/2_1_1_JMLT.pdf.

二、葡萄酒品質與資料集

  1. Cortez, P., Cerdeira, A., Almeida, F., Matos, T. & Reis, J. (2009). Modeling wine preferences by data mining from physicochemical properties. Decision Support Systems, 47(4), 547-553. doi: 10.1016/j.dss.2009.05.016.
  2. UCI Machine Learning Repository (無日期). Wine Quality [資料集]. University of California, Irvine. 2026年11月9日，取自：https://archive.ics.uci.edu/dataset/186/wine+quality.
  3. Hu, G., Xi, T. & Miao, H. (2016). Classification of wine quality with imbalanced data. International Conference on Machine Learning and Cybernetics. 2026年11月9日，取自：https://www.semanticscholar.org/paper/Classification-of-wine-quality-with-imbalanced-data-Hu-Xi/eac93851a921c77526d3d3bf6cfbcc078a742cdd.

專題成員

指導教授：李名鏞 教授

羅蔚妮