停用词

停用词是任何语言的单词，不会给句子增加太多含义。在不牺牲句子含义的情况下，可以安全地忽略它们。对于某些搜索引擎，这些是一些最常见的简短功能词，例如the，is，at，the和on。在这种情况下，停用词在搜索包含它们的短语时可能会引起问题，尤其是在诸如“ The Who”或“ Take That”之类的名称中。

何时删除停用词？

如果我们有文本分类或情感分析的任务，则应删除停用词，因为它们不会为模型提供任何信息，即将不需要的词排除在语料库之外，但是如果我们有语言翻译的任务，则停用词是有用，因为它们必须与其他单词一起翻译。

对于何时删除停用词没有严格的规定。但是，如果我们要执行的任务是“语言分类”，“垃圾邮件过滤”，“字幕生成”，“自动标签生成”，“情感分析”或与文本分类相关的操作之一，则建议删除停用词。
另一方面，如果我们的任务是机器翻译，问题解答问题，文本摘要，语言建模之一，则最好不要删除停用词，因为停用词是这些应用程序的关键部分。

优点和缺点：

我们要求自己做的第一件事是，我们执行任何任务的利弊是什么。让我们看一下NLP中停用词删除的一些利弊。

优点：

停用词经常在训练深度学习和机器学习模型之前从文本中删除，因为停用词大量出现，因此很少或根本没有可用于分类或聚类的唯一信息。
在删除停用词时，数据集的大小会减少，并且训练模型的时间也会减少，而不会对模型的准确性产生巨大影响。
停用词的删除可能会有助于提高性能，因为剩下的令牌数量很少而且只有很少。因此，可以提高分类精度

缺点：

选择和删除停用词不当可能会更改文本的含义。因此，我们在选择停用词时必须谨慎。
例如：“这部电影不好。”
如果在预处理步骤中删除（不删除），则该句子（这部电影很好）表示该片是肯定的，但被误解了。

可用语言

阿拉伯
保加利亚语
加泰罗尼亚语
捷克文
丹麦文
荷兰语
英语
芬兰
法文
德语
古吉拉特语
印地语
希伯来语
匈牙利
印度尼西亚
马来西亚人
义大利文
挪威
抛光
葡萄牙语
罗马尼亚语
俄语
斯洛伐克文
西班牙文
瑞典
土耳其
乌克兰
越南文