当我们需要分析某个机构、行业或公共领域的公开文本时经常会被一个问题困扰这些文本到底是在“讲事实”还是在“讲感觉”尤其是近年来不少公开声明和演讲给人留下了一种“情绪多于依据、结论先于论证”的印象这种风格变化能否用数据量化本文就用 Python 文本分析技术搭建一套可复现的“直觉化修辞检测”流程帮你从词频、人称、情态和情绪词等维度判断话语风格有没有发生转向。本文不是一篇新闻评论或政治分析而是一篇完整的数据分析工程实战教程。我们会从环境准备、语料构建、特征设计到可视化输出全流程走一遍并给出可直接运行的代码版本。无论你是做舆情分析、传播学研究还是想掌握 NLP 文本特征工程这篇文章都值得收藏备用。1. 背景与核心概念什么是“直觉化修辞”以及为什么要量化分析在阅读公开演说、机构通告或行业报告时我们往往会产生一种直观感受某些文本越来越依赖“信念感”和“口号式表达”而不再依赖数据、逻辑和引用。这种表达方式在传播学中常被称为“直觉化修辞”或“情绪化话语”它的典型特征包括大量使用第一人称复数“我们”“咱们”试图制造共同身份频繁出现高确定性情态词例如“必须”“一定”“毫无疑问”使用模糊限定语代替精确数据例如“很多”“显然”“普遍认为”情绪词密度较高文本更强调态度而不是证据因果逻辑被口号替代缺少可证实的数据支撑。这里需要区分两个概念直觉化表达和简单直白。前者是“我不需要给你看数据你只需要相信我”后者是“为了让更多人听懂我选择简化表达”。两者在文本层面并不一样。直白表达只是降低理解门槛但仍然保留推理过程直觉化表达则绕开推理直接诉诸受众的情绪和认同。既然如此为什么连“直觉化修辞”也要用代码来分析原因在于人工阅读存在主观偏差不同的读者对同一篇文本的感觉可能完全不同语料数量一旦增大到几百篇、几千篇靠人来读完全不可能我们需要在不同时间维度上观察趋势比如“近三个月的话语风格是否发生了变化”用统一指标分析不同对象才能做横向对比和纵向追踪。因此文本分析在这里不是用来替代人的理解而是给人一个可量化、可追踪的观察维度。你仍然需要结合具体语境去解读结果但在大样本和时间趋势面前指标化的分析方法明显更可靠。本文的核心任务就是用 Python 读取一批带有时间戳的公开文本计算一系列“直觉化修辞指标”最后绘制出趋势图。有了这套流程你可以把它应用到公开演讲、企业公告、媒体评论、行业报告等各类文本数据上快速判断话语风格是否发生了偏移。2. 环境准备与版本说明在开始写代码之前我们先统一实验环境。本文使用 Python 3推荐使用 3.9 及以上版本因为新版 pandas、scikit-learn 对 Python 3.8 以下的支持已经不是很好。操作系统可以是 Windows、macOS 或 Linux以下命令在三种平台上基本通用。建议使用虚拟环境隔离依赖避免污染全局 Python 环境。创建虚拟环境并安装依赖的命令如下mkdir rhetoric-analysis cd rhetoric-analysis python -m venv venv # Windows 激活虚拟环境 venv\Scripts\activate # macOS / Linux 激活虚拟环境 source venv/bin/activate激活虚拟环境后创建一个requirements.txt文件内容如下pandas2.0.0 numpy1.24.0 jieba0.42.1 matplotlib3.7.0 scikit-learn1.2.0 openpyxl3.1.0然后执行安装命令pip install -r requirements.txt这里说明一下每个库的作用pandas负责读取和清洗结构化数据numpy提供数组和数值计算能力jieba中文分词库负责把句子切分成词语matplotlib负责绘制趋势图scikit-learn用于后续的文本向量化和可选分类模型openpyxl如果数据是 Excel 格式需要这个库来读取。如果你的文本是英文或其他西语可以不用jieba改用spaCy或nltk。本文以中文语料为例逻辑同样适用于其他语言只是分词与停用词表需要更换。项目目录结构建议如下rhetoric-analysis/ ├── data/ │ └── sample_speeches.csv ├── output/ │ └── rhetoric_trend.png ├── main.py └── requirements.txt其中data目录存放原始语料output目录存放分析结果和图表main.py是分析主脚本。如果你习惯于 Jupyter Notebook也可以把下面的代码按 Cell 拆分运行效果一样。3. 核心概念与方法拆解如何量化“直觉化修辞”3.1 从文本到指标特征工程思路我们要判断一篇文本是否偏向直觉化表达本质上需要把文本转换成一组数字指标。指标设计是整个分析流程的灵魂指标选得好结果才有解释力指标选得粗糙后续模型再漂亮也没用。本文设计五类核心指标第一人称复数密度统计“我们”“咱们”出现的次数除以文本总词数并乘以 1000得到每千词出现频率。这类词代表身份认同和集体叙事频率过高往往意味着文本在构建“我们 vs 他们”的框架。高确定性情态词密度统计“必须”“一定”“绝对”“毫无疑问”“坚决”等词。这类词传递的是不容置疑的态度而不是审慎论证。模糊限制语密度统计“大概”“可能”“也许”“好像”“似乎”“差不多”等词。有意思的是直觉化修辞既会使用高确定性情态词也会使用模糊词来规避精确责任。两者同时偏高时往往说明文本在逻辑上不愿承担明确责任。情绪词密度使用一个情绪词表统计积极和消极情绪词的频率。情绪词过高说明文本在调动情感而非理性分析。数据符号密度统计数字、百分号、引用来源等符号的出现次数。真实的数据引用会让文本更有依据感这个指标通常与直觉化程度成反比。需要注意的是单看某一个指标并不能下结论。比如“可能”“也许”出现很多也可能是谨慎表达“我们”出现很多也可能是团队叙事。因此我们应该综合五类指标并观察它们在不同时间窗口内的变化趋势而不是针对单一文本做绝对判断。3.2 时间滑窗从一篇文本到一组趋势只是计算单篇文本的指标意义不大因为判断“转向”必须依赖时间维度。假设我们有若干年、若干季度的文本要怎么计算趋势最常用的方法是按时间窗口聚合。例如按年聚合把每一年的文本合并成一个语料池计算该年份的指标值按季度聚合按季度分组每组计算指标值滑动窗口固定窗口长度为 3 个月或 6 个月逐步滑动观察连续变化。聚合后我们会得到一张时间-指标表格例如时间第一人称密度情态词密度模糊词密度情绪词密度数据符号密度201912.53.24.18.815.2202015.14.04.69.513.1202118.45.35.212.310.4这张表格就是趋势分析的基础。之后用matplotlib画出折线图视觉上非常直观。3.3 可选进阶训练分类器判断“直觉风格”如果语料量足够大并且你有人工标注好的“直觉型/证据型”样本则可以使用scikit-learn训练一个分类器。做法是把文本用 TF-IDF 向量化用逻辑回归或支持向量机训练二分类模型输出每个文本属于“直觉型表达”的概率对时间窗口内的概率求均值得到“直觉化指数”。这种方法的优点是结果更综合但缺点是需要大量人工标注数据。对于大多数场景规则指标已经够用分类器可以作为进阶方向。4. 完整实战案例分析历年公开文本中的直觉化指标变化下面我们从零到一实现整套分析流程。为了便于复现我们构造一份模拟语料假设它是某机构从 2018 年到 2023 年公开讲话文本的抽样。数据格式为 CSV包含三个字段date讲话日期speaker讲话人编号content讲话内容。请注意这里的模拟数据只是为了演示流程不代表任何真实机构或真实人物。你完全可以把这个代码套用到自己收集的语料上。4.1 生成模拟语料为了不让示例过于抽象先写一个小脚本生成模拟数据。实际项目中你应该直接读取真实数据文件。# 文件路径data/generate_sample.py import csv import random random.seed(42) def generate_sentence(styleneutral): if style neutral: return ( 根据年度统计数据显示完成率同比提升百分之十二点五。 各项目小组按照计划推进大部分指标达到预期。 下一阶段需要进一步优化流程提升执行效率。 ) elif style intuition: return ( 我们坚信努力一定会有回报。 毫无疑问这是一条正确的道路。 大家必须团结一致坚决完成目标。 我觉得所有问题都会迎刃而解。 ) else: return ( 从观察来看情况似乎有所好转各方面表现大概符合预期。 我们也许应该采取更多行动可能需要投入更多资源。 总之形势看起来越来越好。 ) with open(sample_speeches.csv, w, encodingutf-8-sig, newline) as f: writer csv.writer(f) writer.writerow([date, speaker, content]) for year in range(2018, 2024): for month in range(1, 7): date f{year}-{month:02d}-15 speaker fspeaker_{random.randint(1, 3)} # 2021 年后直觉化样本比例慢慢提高 if year 2021: style_prob {intuition: 0.5, neutral: 0.3, mixed: 0.2} else: style_prob {intuition: 0.2, neutral: 0.5, mixed: 0.3} content for _ in range(random.randint(3, 5)): style random.choices( populationlist(style_prob.keys()), weightslist(style_prob.values()), k1 )[0] content generate_sentence(style) writer.writerow([date, speaker, content])运行这段脚本后data/sample_speeches.csv就生成了。数据是模拟的所以我们不需要担心隐私和版权问题。4.2 读取与清洗文本接下来编写main.py。第一步是读取 CSV并做基础清洗。清洗内容包括去掉空白字符和换行符统一日期格式将date转换为datetime类型便于后续分组按时间排序。# 文件路径main.py import pandas as pd df pd.read_csv(data/sample_speeches.csv, encodingutf-8-sig) df[date] pd.to_datetime(df[date]) df[content] df[content].astype(str).str.replace(\n, ).str.strip() df df.sort_values(date).reset_index(dropTrue) df[year] df[date].dt.year df[quarter] df[date].dt.to_period(Q).astype(str) print(df.head())输出结果类似于date speaker ... year quarter 0 2018-01-15 speaker_1 ... 2018 2018Q1 1 2018-02-15 speaker_2 ... 2018 2018Q2 2 2018-03-15 speaker_3 ... 2018 2018Q3 ...4.3 中文分词与自定义词典中文文本分析的难点在于分词。jieba默认词典在通用领域表现不错但如果你的语料包含特定名词建议维护一个自定义词典。比如机构名称、人名、专有名词等。import jieba # 把整个文本列分词 def tokenize(text): return [word for word in jieba.lcut(text) if word.strip()] df[tokens] df[content].apply(tokenize) print(df[tokens].head())这里需要注意jieba.lcut返回的是列表里面可能包含空格和单字。我们在列表推导式中用if word.strip()过滤掉空字符串。分词之后建议先看几行结果确认分词是否合理。如果发现专有名词被切碎可以导入自定义词典# 自定义词典每行一个词UTF-8 编码 # 示例data/user_dict.txt # 统一推进 # 完成率 jieba.load_userdict(data/user_dict.txt)这个步骤能明显提升指标计算的准确性。4.4 构建关键词词典与指标计算函数现在定义五个关键词列表first_person_plural [我们, 咱们, 大家] modal_strong [必须, 一定, 绝对, 毫无疑问, 坚决, 务必, 确保, 誓必] hedges [大概, 可能, 也许, 好像, 似乎, 差不多, 某种程度, 一般来说, 据说] emotion_words [好, 坏, 相信, 担心, 希望, 失望, 高兴, 痛苦, 责任, 使命] data_markers [%, , 百分之, 统计, 数据, 调查, 比例, 数量, 增长, 下降]这里不追求词典的绝对完整性实际项目中建议基于历史文本做词频统计后人工复核。接下来写一个函数计算单篇文本的指标值import re import numpy as np def compute_metrics(tokens, content): total_words len(tokens) if total_words 0: return 0, 0, 0, 0, 0 first_person_count sum(1 for word in tokens if word in first_person_plural) modal_count sum(1 for word in tokens if word in modal_strong) hedge_count sum(1 for word in tokens if word in hedges) emotion_count sum(1 for word in tokens if word in emotion_words) # 数据符号密度直接统计正则匹配次数 data_count 0 data_count len(re.findall(r\d, content)) data_count sum(content.count(mark) for mark in data_markers) # 每千词频率 per_thousand lambda count: round(count / total_words * 1000, 2) return ( per_thousand(first_person_count), per_thousand(modal_count), per_thousand(hedge_count), per_thousand(emotion_count), per_thousand(data_count), ) df[first_person_rate] 0.0 df[modal_rate] 0.0 df[hedge_rate] 0.0 df[emotion_rate] 0.0 df[data_rate] 0.0 for idx, row in df.iterrows(): fp, modal, hedge, emotion, data compute_metrics(row[tokens], row[content]) df.at[idx, first_person_rate] fp df.at[idx, modal_rate] modal df.at[idx, hedge_rate] hedge df.at[idx, emotion_rate] emotion df.at[idx, data_rate] data print(df[[date, first_person_rate, modal_rate, hedge_rate, emotion_rate, data_rate]].head())这个函数的核心思路很直观统计关键词出现次数除以总词数再乘以 1000。转换成“每千词频率”后不同长度的文本之间就具有可比性。4.5 按季度聚合指标单篇文本的指标波动通常比较大直接画折线图会很乱。我们需要按季度聚合计算每个季度所有文本的均值。grouped df.groupby(quarter).agg({ first_person_rate: mean, modal_rate: mean, hedge_rate: mean, emotion_rate: mean, data_rate: mean, }).reset_index() grouped grouped.sort_values(quarter) print(grouped)输出表格如下quarter first_person_rate modal_rate hedge_rate emotion_rate data_rate 0 2018Q1 8.23 2.11 3.25 9.12 22.30 1 2018Q2 7.98 2.45 3.41 9.45 20.88 ...这一步骤把语料从“每一篇文本一条记录”压缩成了“每个季度一行指标”方便后续绘图和观察趋势。4.6 可视化趋势图使用matplotlib绘制指标折线图。为了清晰展示“直觉化”与“数据化”的对比我们把五类指标画在同一张图里并适当平滑。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False fig, ax plt.subplots(figsize(12, 6)) ax.plot(grouped[quarter], grouped[first_person_rate], markero, label第一人称密度) ax.plot(grouped[quarter], grouped[modal_rate], markero, label高确定性情态词密度) ax.plot(grouped[quarter], grouped[hedge_rate], markero, label模糊限制语密度) ax.plot(grouped[quarter], grouped[emotion_rate], markero, label情绪词密度) ax.plot(grouped[quarter], grouped[data_rate], markero, label数据符号密度) ax.set_xlabel(时间季度) ax.set_ylabel(每千词出现次数) ax.set_title(历年公开文本直觉化修辞指标变化趋势) ax.legend() ax.grid(True, linestyle--, alpha0.5) plt.tight_layout() plt.savefig(output/rhetoric_trend.png, dpi150) plt.show()绘图时要注意中文字体问题。Linux 服务器上如果没有中文字体比如没有SimHei或Microsoft YaHei图表里的中文会显示成方块。解决方案是安装中文字体或者通过matplotlib指定其他可用字体。例如from matplotlib import font_manager # 查看系统支持的字体 for font in font_manager.fontManager.ttflist: if Hei in font.name or Song in font.name: print(font.name)如果实在没有中文字体可以把图表标签改成英文。4.7 结果解读怎样判断“发生了转向”图出来之后最重要的环节是解读。我们以模拟数据的趋势为例如果第一人称密度、情态词密度和情绪词密度在某个时间节点后持续走高同时数据符号密度整体下降那么我们可以初步判断该文本集合的“直觉化修辞”程度确实在上升。这里必须提醒一点趋势相关不等于因果。文本风格变化可能受到语料来源变化、主题变化、时代事件、编辑团队调整等多种因素影响。你只能说“从文本指标上看话语风格发生了明确偏移”而不能直接说“是因为某个特定原因导致的”。为了减少误判实际分析中建议加入对照组。比如同时分析其他同类机构的同期文本观察是不是全行业都出现了同样趋势。如果对照组文本没有明显变化而你关注的目标文本变化显著那么结论的可靠性会高很多。5. 常见问题与排查思路实战过程中读者经常会遇到一些重复性问题。这里整理成表格方便你在出问题时快速定位。问题现象常见原因解决思路运行jieba.lcut报警告或报错词典文件编码不是 UTF-8用 UTF-8 编码保存自定义词典文件图表中文显示为方块系统缺少中文字体安装中文字体或修改matplotlib字体配置指标全部为 0词表没有真正命中文本或分词粒度不一致打印前几条分词结果检查关键词是否被切碎读取 CSV 乱码文件编码是 GBK 或其他读取时指定encodingutf-8或encodinggbk不同年份文本数量差距大样本不平衡均值受年份样本量影响增加样本量或使用加权平均、按文本去重抽样时间趋势出现突变语料来源、主题、发言人变化检查元数据必要时拆分维度分析数据符号密度异常高年份、日期数字被统计进去统计数字时排除日期、编号等无意义数字另外还有一个容易被忽略的问题词表覆盖不足。直觉化表达不一定只包含我们列出的那些词它可能以“说白了”“归根结底”“事实上”“我相信”等形式出现。建议做一轮词频统计把语料中出现次数高、且带有态度色彩的词人工补充进词典。一个小技巧是使用 TF-IDF 抽取所有文本的高权重词再人工筛选哪些属于情绪化、模糊化或确定化表达。这样可以弥补手工列词表的盲区。6. 最佳实践与工程建议这类文本分析项目看起来简单但要做到可靠、可复现、可向别人解释还需要遵循一些工程规范。6.1 数据合规与最小化原则文本数据的获取必须合法合规。如果你抓取的是公开网页、公开讲话稿要注意版权和平台使用条款。不要使用未授权的数据接口不要爬取需要登录才能访问的内容。在处理分析结果时如果涉及具体个人或机构建议对可识别信息进行脱敏处理比如把讲话人姓名替换为 ID。6.2 保留原始数据与中间产物不要只保存最终图表原始语料、清洗后的表格、分词结果、每篇文本的指标值都应分别保存。推荐在output目录下保存以下文件output/ ├── cleaned_texts.csv ├── text_metrics.csv ├── quarterly_metrics.csv └── rhetoric_trend.png这样即使后续发现问题也不用重新跑整个流程可以直接从中间步骤排查。6.3 指标解释边界要写清楚任何量化分析都有解释边界。我们的五类指标只能反映“文本中某些特征词的使用频率”不能直接等同于“作者的意图”。如果一篇文本是转述他人的话指标也会被污染。如果一篇文本是幽默讽刺风格情绪词的含义可能正好相反。因此指标结果必须结合上下文人工验证不能只凭数字下结论。6.4 避免过度解读趋势在汇报分析结果时建议使用“从指标值来看表达风格更倾向于……”这类表述而不是“该机构已经全面转向情绪化宣传”。更合适的做法是列出多个相关指标展示数据而不是代替读者下判断。6.5 使用可配置的词表文件不要把所有关键词硬编码在脚本里。推荐把词表放到独立的文本文件中例如# 文件路径data/rhetoric_dict.py FIRST_PERSON_PLURAL [我们, 咱们, 大家] MODAL_STRONG [必须, 一定, 绝对]如果使用 YAML 或 JSON 配置则更方便非技术人员维护词表。在代码中读取配置可以让分析过程更加灵活。6.6 定期重新校准词表语言是流动的不同时期的流行表达、热词、网络流行语都会变化。假设你每月跑一次趋势分析那么建议每季度对词表做一次回顾把新出现的表达方式加入词表同时删除失去区分度的旧词。词表更新后历史指标是否需要重算也需要评估。如果变化很大建议统一重算否则会导致趋势图出现不连续的跳变。6.7 使用简单的可解释模型对于这种分析任务不需要一开始就引入大语言模型或者说深度学习。先使用规则指标、TF-IDF 和简单的逻辑回归往往已经能回答大部分问题。大模型可以做更深度的语义判断但成本高、可解释性差而且存在隐私风险。如果要把大模型用于文本分类一定要强调不能上传未脱敏的真实数据到外部 API必须对模型输出做人工抽检不把模型输出直接作为结论。7. 总结与进一步学习方向本文围绕“如何量化公开文本中的直觉化修辞倾向”这个场景完整实现了一套中文文本分析流程。我们从特征设计出发定义了第一人称密度、高确定性情态词密度、模糊限制语密度、情绪词密度和数据符号密度五个指标然后通过 Python 代码完成了数据读取、分词、指标计算、季度聚合和趋势可视化。同时我们也反复强调文本指标只是观察维度不等同于事实判断。如果你在真实项目中使用这套流程一定要保留原始数据、维护好词表、加入对照组、人工抽检结果并把结论限定在数据支持的范围之内。如果你希望继续深入可以考虑以下几个方向语义级分析方法使用预训练语言模型判断每句话是属于“事实陈述”还是“主观判断”再按时间聚合。主题建模用 LDA 或 BERTopic 发现不同时期的主题分布观察直觉化表达集中出现在哪些主题上。讲话人维度分析把指标拆到个人维度观察不同讲话人的风格差异。多语言语料迁移把中文词典替换成英文词典用同样思路分析英文文本。自动化报表把图表和指标表集成到定时任务中定期输出一份“话语风格监测周报”。整套代码的核心逻辑并不复杂难点在于词表维护和对结果的合理解读。建议你先用模拟数据跑通流程再逐步替换成自己的语料。只有在你自己的数据和业务场景中反复验证过的指标才是真正有价值的指标。
