บทที่ 6 การจำแนกข้อมูลและต้นไม้ตัดสินใจ

6.1 วัตถุประสงค์การเรียนรู้

บทนี้เน้นการเรียนรู้การจำแนกข้อมูลในงานเหมืองข้อมูล โดยใช้ ต้นไม้ตัดสินใจ (Decision Tree) เป็นอัลกอริทึมหลัก เพราะเป็นโมเดลที่อธิบายง่าย เห็นกฎการตัดสินใจชัดเจน และเหมาะสำหรับผู้เริ่มต้นเรียน Classification

6.2 แนวคิดพื้นฐานของ Supervised Learning

Supervised Learning หรือการเรียนรู้แบบมีผู้สอน คือวิธีการเรียนรู้ของเครื่องที่ใช้ข้อมูลตัวอย่างซึ่งมีคำตอบกำกับไว้แล้ว โมเดลจะเรียนรู้ความสัมพันธ์ระหว่างข้อมูลนำเข้าและคำตอบจริง เพื่อนำไปทำนายข้อมูลใหม่ที่ยังไม่เคยเห็นมาก่อน

คำศัพท์สำคัญ

6.3 Classification และ Regression

Prediction คือกระบวนการทำนายผลลัพธ์ของข้อมูลใหม่ โดยแบ่งเป็น 2 ประเภทหลัก คือ Classification และ Regression

งาน Classification มีการประยุกต์ใช้กว้างขวาง เช่น การจำแนกภาพ การจำแนกข้อความ การวิเคราะห์ความรู้สึก การจำแนกโรค และการตรวจจับการบุกรุกระบบคอมพิวเตอร์

6.4 กระบวนการของการจำแนกข้อมูล

การทำ Classification ควรดำเนินงานเป็นระบบ ตั้งแต่เข้าใจเป้าหมายจนถึงนำผลลัพธ์ไปใช้สนับสนุนการตัดสินใจ

6.5 เทคนิคที่ใช้ในการ Classification

Classification มีหลายเทคนิค แต่ละเทคนิคมีจุดเด่นแตกต่างกัน ผู้สอนสามารถเลือกให้เหมาะกับวัตถุประสงค์ของบทเรียนและลักษณะข้อมูล

6.6 Decision Tree หรือต้นไม้ตัดสินใจ

Decision Tree คืออัลกอริทึมการเรียนรู้แบบมีผู้สอนที่ใช้โครงสร้างแบบต้นไม้ในการตัดสินใจ โดยเริ่มจาก Root Node แล้วแบ่งข้อมูลออกเป็นกลุ่มย่อยตามเงื่อนไขของ Feature จนได้ผลลัพธ์สุดท้ายที่ Leaf Node

ส่วนประกอบของ Decision Tree

Entropy, Information Gain และ Gini Index

การสร้าง Decision Tree ต้องเลือก Feature ที่แบ่งข้อมูลได้ดีที่สุด โดยนิยมใช้ตัววัด เช่น Entropy, Information Gain และ Gini Index

Entropy ใช้วัดความไม่แน่นอนของข้อมูลในโหนด หาก Entropy ต่ำ แปลว่าข้อมูลในโหนดนั้นมีความบริสุทธิ์สูงหรือแบ่งคลาสได้ดี

Information Gain ใช้วัดว่าเมื่อแบ่งข้อมูลด้วย Feature หนึ่งแล้ว ความไม่แน่นอนลดลงมากเพียงใด Feature ที่ให้ Information Gain สูงมักถูกเลือกใช้ก่อน

Gini Index ใช้วัดความปะปนของคลาสในโหนด ค่า Gini ต่ำแปลว่าโหนดมีความบริสุทธิ์สูง ใน scikit-learn ค่าเริ่มต้นของ DecisionTreeClassifier มักใช้ Gini เป็นเกณฑ์แบ่งข้อมูล

ข้อดีและข้อจำกัด

6.7 การเตรียมข้อมูลสำหรับ Decision Tree

การเตรียมข้อมูลเป็นขั้นตอนสำคัญก่อนสร้างโมเดล เพราะ Decision Tree จะเรียนรู้จากข้อมูลที่เตรียมไว้ หากข้อมูลผิดพลาด โมเดลก็อาจเรียนรู้ผิดและทำนายผิดตามไปด้วย

6.8 การสร้างโมเดล Decision Tree ด้วย Python

ตัวอย่างต่อไปนี้เป็นแนวทางสร้างโมเดล Decision Tree สำหรับทำนาย Churn ของลูกค้า โดยใช้ Python, Pandas และ scikit-learn

ตัวอย่างที่ 1: สร้างชุดข้อมูลตัวอย่าง 1,000 รายการ

import pandas as pd
import numpy as np

np.random.seed(42)

data = {
    'อายุ': np.random.randint(18, 65, size=1000),
    'เพศ': np.random.choice(['ชาย', 'หญิง'], size=1000),
    'รายได้': np.random.choice(['น้อย', 'มาก'], size=1000),
    'การศึกษา': np.random.choice(['ปริญญาตรี', 'มัธยม', 'ปริญญาโท'], size=1000),
    'การทำงาน': np.random.choice(['ทำงาน', 'ไม่ทำงาน'], size=1000),
    'Churn': np.random.choice(['ใช่', 'ไม่'], p=[0.2, 0.8], size=1000)
}

df = pd.DataFrame(data)
df.to_excel('decision_tree_dataset_01.xlsx', index=False)

ตัวอย่างที่ 2: สร้าง Pipeline ด้วย OneHotEncoder และ DecisionTreeClassifier

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix

# Load dataset
df = pd.read_excel('decision_tree_dataset_01.xlsx')

# กำหนด Feature และ Target
X = df.drop('Churn', axis=1)
y = df['Churn']

cat_cols = ['เพศ', 'รายได้', 'การศึกษา', 'การทำงาน']
num_cols = ['อายุ']

preprocess = ColumnTransformer(
    transformers=[
        ('cat', OneHotEncoder(handle_unknown='ignore'), cat_cols),
        ('num', 'passthrough', num_cols)
    ]
)

model = DecisionTreeClassifier(
    max_depth=5,
    random_state=42,
    class_weight='balanced'
)

pipe = Pipeline(steps=[
    ('preprocess', preprocess),
    ('model', model)
])

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

pipe.fit(X_train, y_train)
y_pred = pipe.predict(X_test)

print('Accuracy:', accuracy_score(y_test, y_pred))
print('Confusion Matrix:')
print(confusion_matrix(y_test, y_pred))
print('Classification Report:')
print(classification_report(y_test, y_pred))

ตัวอย่างที่ 3: ทำนายข้อมูลใหม่ที่โมเดลยังไม่เคยเห็น

unseen_data = pd.DataFrame([
    {'อายุ': 30, 'เพศ': 'ชาย', 'รายได้': 'มาก', 'การศึกษา': 'มัธยม', 'การทำงาน': 'ไม่ทำงาน'},
    {'อายุ': 50, 'เพศ': 'หญิง', 'รายได้': 'น้อย', 'การศึกษา': 'มัธยม', 'การทำงาน': 'ไม่ทำงาน'},
    {'อายุ': 22, 'เพศ': 'หญิง', 'รายได้': 'มาก', 'การศึกษา': 'ปริญญาโท', 'การทำงาน': 'ไม่ทำงาน'}
])

pred = pipe.predict(unseen_data)
unseen_data['ผลการทำนาย Churn'] = pred
print(unseen_data)

ตัวอย่าง Decision Tree กับข้อมูล Iris

ชุดข้อมูล Iris เป็นชุดข้อมูลยอดนิยมสำหรับทดลอง Classification เพราะมีข้อมูลดอก Iris 3 ชนิด และมี Feature เช่น sepal length, sepal width, petal length และ petal width โมเดล Decision Tree สามารถสร้างกฎ เช่น ถ้า petal width น้อยกว่าค่าหนึ่ง ให้จัดเป็น Iris setosa เป็นต้น

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_text

iris = load_iris()
X = iris.data
y = iris.target

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

clf = DecisionTreeClassifier(random_state=42)
clf.fit(X_train, y_train)

accuracy = clf.score(X_test, y_test)
print(f"Accuracy: {accuracy:.2f}")

rules = export_text(clf, feature_names=iris.feature_names)
print(rules)

6.9 การประเมินผลโมเดล Classification

หลังสร้างโมเดลแล้ว ต้องประเมินผลว่าโมเดลทำนายได้ดีเพียงใด โดยเฉพาะเมื่อข้อมูลไม่สมดุล เช่น คลาส Churn มีน้อยกว่า Non-Churn การดู Accuracy เพียงอย่างเดียวอาจทำให้เข้าใจผิดได้

Confusion Matrix

Precision เหมาะเมื่อสนใจว่าคำทำนายที่โมเดลบอกว่าเป็นคลาสบวกนั้นถูกมากแค่ไหน ส่วน Recall เหมาะเมื่อสนใจว่าระบบจับคลาสบวกจริงได้ครบมากแค่ไหน เช่น งานคัดกรองโรคหรือจับลูกค้า Churn มักต้องให้ความสำคัญกับ Recall

6.10 Validation และ Cross-validation

Validation คือการตรวจสอบว่าโมเดลสามารถทำนายข้อมูลใหม่ได้ดีจริง ไม่ใช่เพียงจำข้อมูลฝึกเท่านั้น

ตัวอย่าง 5-fold Cross-validation

from sklearn.model_selection import cross_val_score, KFold
from sklearn.tree import DecisionTreeClassifier
import numpy as np

X = [[1, 2], [3, 4], [5, 6], [7, 8], [9, 10], [11, 12], [13, 14], [15, 16]]
y = [0, 0, 0, 0, 1, 1, 1, 1]

model = DecisionTreeClassifier(random_state=42, max_depth=3)
kfold = KFold(n_splits=5, shuffle=True, random_state=42)

scores = cross_val_score(model, X, y, cv=kfold)
print("Cross-Validation Scores:", scores)
print("Average Cross-Validation Score:", np.mean(scores))

6.11 แบบฝึกหัดท้ายบท

1. อธิบายความแตกต่างระหว่าง Classification และ Regression พร้อมยกตัวอย่างอย่างละ 2 ตัวอย่าง
2. จากข้อมูลนักศึกษา ให้ระบุว่า Feature, Target และ Label คืออะไร
3. จงอธิบายส่วนประกอบของ Decision Tree ได้แก่ Root Node, Branch และ Leaf Node
4. ทำไม Decision Tree จึงเข้าใจง่ายกว่าโมเดลบางประเภท เช่น Neural Network?
5. จงสร้างข้อมูลตัวอย่างอย่างน้อย 1,000 รายการ สำหรับทำนาย Churn ของลูกค้า
6. ใช้ Python สร้าง DecisionTreeClassifier และรายงาน Accuracy, Confusion Matrix และ Classification Report
7. ถ้าโมเดลได้ Accuracy 100% ควรตรวจสอบอะไรบ้าง?
8. เปรียบเทียบ Hold-out Method กับ Cross-validation