Vocabulary là gì?

2023-07-30 01:23:46 1073 Lượt xem 15 Lượt thích

Noun AI NLP

Từ vựng

Tập hợp các từ (word) duy nhất được sử dụng trong ngữ liệu văn bản (text corpus) được gọi là từ vựng (vocabulary). Khi xử lý văn bản thô (raw text) cho NLP, mọi thứ được thực hiện xung quanh từ vựng (vocabulary).


print(text_corpus) # a list of different texts (sentences)
print(vocabulary)  # a list of the words that make up those texts

Output:


['bob ate apples', 'fred ate apples', 'bob ate pears']
['bob', 'fred', 'ate', 'apples', 'pears']