Over stemming là gì?

Over stemming trong xử lý ngôn ngữ tự nhiên (NLP) là quá trình mà một phần lớn hơn của từ bị cắt nhỏ hơn nhiều so với những gì được yêu cầu, do đó dẫn đến việc hai hoặc nhiều từ bị rút gọn thành cùng một từ gốc (root word) không chính xác khi đáng lẽ chúng phải được giảm xuống còn hai hoặc nhiều hơn từ gốc (stem word). Ví dụ university và universe. Một số thuật toán stemming (stemming algorithm) có thể giảm cả hai từ thành từ gốc univers, điều này có nghĩa là cả hai từ đều có nghĩa giống nhau và điều đó rõ ràng là sai. Vì vậy, chúng ta phải cẩn thận khi chúng ta chọn một thuật toán stemming và khi chúng ta cố gắng tối ưu hóa (optimize) mô hình (model).