Data Pipeline
从微博评论到可解释舆情指标
本页把论文中的数据采集、清洗、文本挖掘与可视化过程转化为前端流程图和表格，展示数据如何一步步进入分析页面。
Modules
分析模块拆解
| 模块 | 输入数据 | 核心处理 | 页面输出 |
|---|---|---|---|
| 情感分析 | 清洗后的评论文本 | 按分值区间归类为正向、中性、负面或反讽 | 环形图、比例卡片、城市对比 |
| 词频统计 | 分词结果与停用词过滤结果 | 统计高频词并按语义倾向分组 | 关键词条、横向柱状图 |
| 语义网络 | 关键词共现关系 | 将词语联系映射为节点和边 | SVG 网络图，突出核心话题 |
| LDA 主题 | 评论词袋与主题数量 | 计算主题词权重并提炼代表主题 | 主题卡片、解释文本、对比表 |
Data Dictionary
前端演示数据字段
为了让页面可维护，项目把论文结论整理到 data.js 中。后续如果接入真实接口，只需要替换同结构数据即可。
| 字段 | 含义 | 示例 | 用途 |
|---|---|---|---|
| cityStats.comments | 清洗后有效评论数量 | 成都 3361，淄博 2060 | 总览指标、规模柱状图 |
| sentiment | 情感倾向归纳比例 | 负面与反讽、正向认可 | 环形图和城市对比 |
| keywords | 代表关键词及展示权重 | 市场监管、缺斤少两、实在、好客 | 关键词柱状图和提示说明 |
| topics | LDA 主题词与解释文本 | 监管诉求、场景扩散、诚信口碑 | 主题卡片与对比结论 |
| cases | 可筛选舆情案例 | 城市、情绪、主题、风险提示 | 治理建议页筛选器 |
Rules
清洗与标注规则
删除无效文本
过滤空评论、重复评论、HTML 标签、表情残留和明显无分析价值的噪声字符。
保留核心词
结合停用词表和自定义词典，保留市场监管、缺斤少两、实在等关键表达。
映射情感倾向
根据论文分析结论，把评论归纳为正向、负面、中性、反讽等更适合展示的标签。
输出治理语言
把模型主题转译为监管诉求、场景扩散、口碑转化等普通用户能理解的表达。
Quality
数据质量与局限
反讽识别难点
论文指出 SnowNLP 对部分反讽文本识别不够准确，例如“好评”可能实际表达不满，因此页面会把情感指标标注为演示归纳。
样本代表性
样本来自两个具体测评微博，适合做城市案例对比，但不能直接代表所有城市或所有市场消费场景。
可视化解释
词云、语义网络和主题模型更适合辅助理解舆论方向，最终治理建议仍需要结合监管数据和线下调查。