文本特征提取的方法有哪些

一种常用的文本特征提取算法

TF-IDF的主要思想是，一个单词在一篇文章中出现的频率越高，且在其他文章中出现的频率越低，则该单词对当前文本的重要程度就越高，TF-IDF值就越大。

inverse document frequency 用于信息检索和文本分析的技术，可以用以评估单词对于文档的重要性程度。

TF-IDF由两部分组成，分别是TF和IDF。 其中TF描述的是一个单词在某个文档中出现的频率。 一般来讲，一个单词在一个文档中出现的频率越高，则该单词对于当前文档越重要。 比如，对一篇以“汽车”为主题的文章进行词汇统计，发现“汽车”是一个高频词，可以被定义为文章的关键词。 但我们同时发现，一些通用词汇的出现频率同样很高，比如“是”、“的”、“如果”，这类词汇虽然属于高频词，但几乎在所有文章中都会出现，因此并不具备文档区分能力，因此不能作为关键词使用。

为了尽量减少通用词的干扰，这里引入“逆文档频率”概念。 逆文档频率（IDF）代表了单词对于文档的区分度，如果一个单词在一篇文章中出现，并且在其他文章中很少出现，则认为该单词对于当前文档的区分能力较强，即IDF值较大，否则认为该单词对文档的区分能力较差。 对于“的”、“是”、“如果”等通用词汇，由于它们几乎会出现在任何一篇文档中，因此这些单词的IDF值很小。

...