Kernel trick là gì?

Trong trường hợp không khả tách tuyến tính (non-linearly separable), máy hỗ trợ véctơ (support vector machine) sẽ tìm một decision boundary phi tuyến tính để phân tách các điểm dữ liệu, đây được gọi là kernel trick hoặc sử dụng soft margin.

Những gì kernel trick làm là nó sử dụng các đặc trưng (feature) hiện có, áp dụng một số biến đổi và tạo ra các đặc trưng mới. Những đặc trưng mới đó là chìa khóa để SVM tìm ra decision boundary phi tuyến tính.

Chúng ta sẽ lấy ví dụ về việc sử dụng polynomial kernel.

Đặc trưng hiện có: X = np.array ([- 2, -1,0, 1,2]). Nhãn: Y = np.array ([1,1,0,1,1]). Chúng ta không thể tìm thấy đường kẻ để phân tách các chấm màu vàng và màu tím (hình bên trái).

Nhưng, nếu chúng ta áp dụng phép biến đổi X² để nhận được đặc trưng mới: X = np.array ([4,1,0, 1,4]). Bằng cách kết hợp đặc trưng hiện có và đặc trưng mới, chúng ta chắc chắn có thể vẽ một đường để phân cách các chấm màu tím và vàng (hình bên phải).

Máy vectơ hỗ trợ với một polynomial kernel có thể tạo ra một decision boundary phi tuyến tính bằng cách sử dụng các đặc trưng đa thức (polynomial feature) đó.