用Python实现自然语言处理_NLTK与spaCy核心应用

NLTK适合教学研究，功能全、控制细；spaCy面向工业，速度快、API简、预训练强；实际常结合使用：NLTK调规则与分析语料，spaCy做高效NER和依存解析。

Python中实现自然语言处理（NLP），NLTK和spaCy是两个最常用且互补的工具库。NLTK偏重教学与研究，功能全面、模块清晰；spaCy则面向工业应用，速度快、API简洁、预训练模型强。选哪个不绝对，实际项目中常结合使用：用NLTK做词形还原规则调试或语料分析，用spaCy做实体识别、依存句法解析等高效流水线任务。

文本预处理：分词、词性标注与停用词过滤

NLTK提供细粒度控制，适合理解底层流程。例如用word_tokenize分词、pos_tag标注词性、stopwords.words('english')加载停用词表：

• 注意NLTK需提前下载数据包：nltk.download('punkt')、nltk.download('averaged_perceptron_tagger')、nltk.download('stopwords')
• 停用词过滤建议小写化后比对，避免大小写不一致漏删
• spaCy一步到位：nlp("Hello world!")返回Doc对象，token.text、token.pos_、token.is_stop可直接访问

词干提取 vs 词形还原：别混淆这两个概念

词干提取（Stemming）粗暴截断，如"running"→"runn"；词形还原（Lemmatization）依赖词性，结果是真实词汇，如"better"（adj）→"good"。NLTK中PorterStemmer轻量快，WordNetLemmatizer更准但需词性标签；spaCy默认在token.lemma_中完成高质量词形还原，自动推断词性，无需手动指定。

• NLTK词形还原时传入POS参数（如pos='v'）能显著提升动词还原准确率
• spaCy的lemma_对大小写敏感，首字母大写的专有名词（如"Apple"）可能被误还原为"apple"，必要时用token.ent_type_判断是否为命名实体再跳过

命名实体识别（NER）与依存句法分析

spaCy在此类结构化任务上优势明显。加载en_core_web_sm模型后，doc.ents直接返回实体列表（含类型和位置），token.dep_和token.head支持完整依存树遍历。NLTK本身不内置NER，需配合ne_chunk（基于正则+模式）或接入外部模型（如StanfordNERTagger），准确率和速度均不如spaCy。

• spaCy支持自定义实体规则：matcher.add()匹配关键词，再用EntityRuler注入到pipeline
• NLTK的ne_chunk输出树结构，需递归遍历提取实体，代码较冗长
• 对中文NER，spaCy需换用zh_core_web_sm，而NLTK中文支持弱，通常转向jieba+flair等方案

实战建议：何时用NLTK，何时用spaCy？

教学或需要逐层剖析NLP步骤（如对比不同分词器效果、调试正则分块规则）时，NLTK更透明；构建API服务、处理百万级文本、需高精度实体/关系抽取时，优先选spaCy。两者可共存：用spaCy快速获取句子结构，再把特定token送入NLTK的synsets()查同义词网络。

• 避免重复加载模型：spaCy的nlp对象应复用，不要每次调用都spacy.load()
• NLTK管道易手动拼接，但要注意编码统一（推荐全程UTF-8）、标点处理策略一致
• 二者都支持自定义词典扩展，spaCy通过nlp.vocab.set_vector，NLTK可通过修改WordNetCorpusReader路径实现