【2026智数先锋AI创新大赛】从微信群催办+人工筛选 到 AI评分+规则自动沉淀:基于...

楼主
社区管理员

从"微信群催办+人工筛选"到"AI评分+规则自动沉淀"

——基于简道云的市场商情智能分析闭环平台(模型认可率从20%提升至74%)

【核心成果速览】

本方案通过简道云零代码平台,将中国石油天然气市场商情分析从"经验驱动"升级为"数据驱动",核心量化成果如下:

模型认可率 20% → 38% → 74%(提升270%)

语料标注规模 4,400+条模型评分 + 669条专家标注

规则采纳 297条可量化建议 → 50+优化点

模型迭代 14个版本 / 2个月 / 每周2个版本

信源建设 400%增长(150+ → 700+网页信源 + 19,000+采集知识)

高中价值占比 87%(高价值+中价值资讯)

发布时间准确率 50% → 100%

单日重复数据 20+ → 2条

一、企业背景与业务目标

中国石油天然气集团有限公司(简称"中国石油")作为全球主要的油气生产商和供应商之一,在国际天然气市场中承担着价格发现、供需研判和战略决策的关键职能。天然气与LNG市场的价格波动、政策变化、地缘政治影响直接关系到企业的进口策略、库存管理和销售定价。

市场商情分析团队现有分析师8人,承担着"每周动态监测全球天然气市场"的核心职责。团队每日需巡检150+个信源站点,年均处理资讯超过50,000条,产出52期周报,为管理层提供决策支撑。

业务目标:

流程目标:构建"在线化、自动化、协同化、闭环化"的市场商情智能分析平台,实现从"人工筛选+Excel汇总+微信群反馈"到"AI初筛+专家在线标注+规则自动沉淀+数据穿透管理"的模式升级。

效率目标:将分析师日均筛选耗时从4小时降至30分钟,年节约分析师工时约7,000小时,折算人力成本约¥35万。

质量目标:将模型认可率从20%提升至74%,多专家一致性达48%,管理层决策响应时效提升50%。

沉淀目标:将散落在微信群和会议中的专家经验,转化为50+条可复用、可追溯的筛选规则,形成企业级知识资产。

二、业务痛点(Before:从"真金白银的损失"说起)

在系统上线前,市场商情分析工作存在以下典型痛点,且每个痛点都有明确的工时和财务损失换算:

2.1 信源碎片化:信息采集效率极低

资讯分散在网页、微信公众号、行业群聊、邮件等8+个渠道,每日需人工巡检150+个站点。按8名分析师、每人日均巡检耗时1.5小时计算,年消耗信息采集工时约3,120小时,折算人力成本约¥15.6万。更关键的是,人工巡检存在遗漏风险。

真实案例:2024年3月,因信源碎片化遗漏卡塔尔能源部关于LNG长协出口政策调整的官方公告,导致当周周报未及时预警东北亚LNG市场供给收紧信号。管理层在次周外部会议中才获知该信息,事后复盘发现该资讯发布于一个此前未纳入巡检清单的行业媒体。

2.2 筛选依赖人工:价值判断标准不统一

每篇资讯的价值判断完全依赖分析师个人经验,缺乏统一标准。不同分析师对同一篇资讯的判定差异大,导致周报素材质量参差不齐。按每人日均筛选100条资讯、平均耗时2.5小时计算,年消耗筛选工时约5,200小时,折算人力成本约¥26万。

2.3 反馈无沉淀:专家经验散落在聊天记录中

专家通过微信群发送"这篇不错""这篇没用"等定性反馈,建议散落在聊天记录中,无法结构化沉淀为可复用的筛选规则。据统计,2024年上半年累计产生800+条专家反馈,但可量化、可追溯的不足10%。

2.4 周报靠手工:复制粘贴耗时且易遗漏

每周从数百条资讯中手动复制粘贴、排版整理,形成周报。按每期周报整理耗时6小时计算,年消耗周报整理工时约312小时,折算人力成本约¥1.6万。且手工操作容易遗漏高价值资讯,2024年Q1因遗漏导致周报补发3次。

2.5 规则迭代慢:口口相传导致版本混乱

模型筛选规则的调整靠"口口相传",每次迭代需要召集会议讨论,规则版本管理混乱。2024年上半年仅完成3次规则迭代,每次迭代间隔约2个月,远跟不上市场变化速度。

2.6 数据不可追溯:无法回答基础业务问题

无法回答"为什么这篇进了周报""为什么这篇被排除了""专家A和专家B对这篇的判断为什么不一致"等基础问题。数据散落在Excel、微信群、邮件中,无法形成可追溯的审计链路。

三、核心方案(After:简道云零代码业务系统)

3.1 场景在线化:从Excel到结构化表单体系

原有模式下,情报数据存储在Excel中,专家反馈散落在微信群聊天记录中,规则优化靠人工整理Word文档。现在,所有数据被拆解为5个结构化表单,并通过"关联数据"字段实现跨表穿透:

业务环节

简道云表单

简道云功能模块

使用深度

信源采集

情报资讯库

表单设计、关联数据、移动端填报

结构化字段12个,日均可承载500+条入库

AI初筛

AI评分结果表

关联数据、智能助手(触发写入)

5维评分体系,自动联动情报资讯库

专家协同

专家标注反馈表

关联数据、流程表单、数据联动

多专家在线标注,分歧自动标记

规则沉淀

规则优化沉淀表

关联数据、智能助手(规则自动沉淀)

50+条优化点,可追溯至具体资讯和专家

周报产出

周报候选池

关联数据、智能助手(高价值自动入选)

高价值资讯自动进入候选,一键审阅

数据看板

仪表盘

数据工厂、聚合表、图表组件

6大核心指标实时刷新

核心设计:通过"关联数据"字段实现表单间联动。AI评分结果表关联情报资讯库,专家标注反馈表关联情报资讯库,周报候选池关联AI评分结果表,形成"情报→评分→标注→周报"的数据穿透链路。

3.2 流程自动化机制:让业务规则自动跑起来

业务主管不需要盯着每个环节催办,系统通过3个智能助手自动推进"该谁做、何时做、怎么做":

智能助手1——高价值资讯自动入选:当AI评分结果表中新增一条"推荐等级=高价值"的数据时,智能助手自动在周报候选池新增一条记录,带入资讯编号、标题、推荐等级,AI摘要和推荐理由自动填充,采用状态设为"待确认"。业务确认人只需在待办中审阅,无需手动筛选。

智能助手2——专家分歧自动标记:当同一条资讯出现多位专家标注且价值等级不一致时,系统将该条反馈的"反馈类型"自动标记为"需复核",触发项目组复核流程。

智能助手3——规则优化自动沉淀:当专家标注反馈的流程完成时,如果专家备注中包含"建议"关键词,系统自动在规则优化沉淀表新增一条记录,带入优化类型、优化详情、来源专家和资讯编号,规则状态设为"待处理"。

流程替代人治的核心价值:从"微信@所有人催进度"到"系统自动提醒该谁做";从"人工筛选几百条资讯"到"AI评分后高价值自动入选";从"专家反馈散在群里"到"分歧自动标记、规则自动沉淀"。

3.3 多维协同与数据穿透:消除"部门墙"

发现问题后,如何跨表关联定位责任方?

数据穿透设计:

资讯→评分→标注穿透:在情报资讯库中点击一条资讯,可通过关联数据字段直接查看该资讯的AI评分结果和所有专家标注反馈,无需切换多个Excel文件。

标注→规则穿透:在专家标注反馈表中,点击一条"需复核"的记录,可直接追溯到该资讯的AI评分详情、其他专家的判定差异,以及相关的规则优化建议。

规则→版本穿透:在规则优化沉淀表中,每条规则都关联"对应模型版本"和"来源资讯编号",可追溯该规则是因为哪篇资讯、哪位专家的反馈、在哪个版本中被采纳。

消除部门墙的关键:所有数据在同一平台,通过关联数据字段实现"点一下就穿透",而不是"打开5个Excel找半天"。

3.4 执行闭环与移动化:业务"跑在手机上"

基于此系统如何落地到一线日常操作?

移动端场景设计:

一线情报采集:外勤人员或信息专员在手机上打开简道云,直接录入新发现的资讯标题、URL和信源,系统自动带入当前时间,无需回办公室开电脑。

专家移动标注:业务专家出差或不在工位时,通过手机收到"待复核"提醒,直接在手机上查看资讯内容、AI评分详情,进行价值判定和备注反馈。

业务移动确认:周报候选池的"待确认"项自动推送到业务确认人手机,确认人可查看AI摘要和推荐理由,一键选择"已采用"或"未采用"。

仪表盘移动查看:管理层通过手机查看模型认可率趋势、信源质量排行、本周高价值资讯数量等核心指标,实时掌握业务状态。

执行闭环的核心:从"发现资讯→AI评分→专家标注→规则沉淀→周报生成→效果评估"形成完整闭环。每一环的数据都在系统中留痕,可追踪、可复盘、可优化。

四、AI评分引擎:五类提示词规则体系

AI评分引擎的核心是将"专家经验"转化为"可量化、可配置、可迭代"的评分规则。当前模型主要拆分为5类能力进行评分,总分由5个维度加权汇总。

4.1 初筛判断标准

判断文章是否与天然气、LNG、能源政策、清洁能源、市场事件等相关。这是"大池子过滤"环节,用于快速排除明显不相关的资讯。

如果文章核心内容与天然气、LNG、液化天然气、管道气、城市燃气、能源政策、清洁能源转型、碳中和相关,判定为"相关"。

如果文章涉及煤炭、石油(非天然气相关)、纯技术论文、非能源类社会新闻,判定为"不相关"。

边缘案例(如可再生能源与天然气竞争关系、电力市场间接影响天然气需求)判定为"待复核"。

4.2 信源判断

不同信源的权威性和时效性差异巨大,需要对信源进行加权评分。

加分信源(权威性高):IEA(国际能源署)、EIA(美国能源信息署)、IHS(埃信华迈)、BP能源统计、Shell能源展望、国家能源局、国家发改委、国家统计局、新华社、央视新闻、中国石油报、中国能源报、国际石油经济。

减分信源(权威性低或时效性差):地方小站点、非能源类自媒体、宣传稿性质文章、转发多次无法追溯原始来源的二手资讯、企业官网纯宣传性质新闻稿(除非涉及重大战略调整)。

4.3 主题理解

判断文章是否包含对市场分析有直接价值的核心主题。

高价值主题(高分):价格类(国际LNG现货价格、TTF价格、JKM价格、布伦特原油联动、国内门站价格、终端销售价格)、供需类(进口量、需求量、库存水平、产能利用率、同比环比变化)、政策类(国家能源战略、天然气价格改革、管道开放政策、储气设施建设政策)、项目类(大型LNG接收站投产、跨国管道建设、重大基础设施投资)。

低价值主题(低分或零分):纯科普类文章(天然气基础知识介绍)、重复性行业动态(例行会议、常规检查)、与天然气无直接关联的能源新闻(如纯煤炭、纯电力)。

4.4 关键词匹配

通过关键词密度和重要性进行加分。核心关键词(每个+1分,最高+10分):天然气、LNG、液化天然气、管道气、城市燃气、TTF、JKM、Henry Hub、布伦特、WTI、门站价、终端价、进口量、需求量、库存、产能、利用率、同比、环比、俄罗斯、乌克兰、卡塔尔、澳大利亚、美国LNG出口、碳中和、能源转型、双碳目标、天然气改革。

特殊加权:如果文章涉及"俄罗斯天然气供应中断""地缘政治冲突影响欧洲LNG市场"等重点事件,额外加权;如果文章同时涉及多个核心关键词(如价格+供需+政策),额外加权。

4.5 公司关联

判断文章是否涉及中国石油重点关注的下游燃气公司或竞争对手。重点公司(+10分):华润燃气、新奥能源、中国燃气、港华燃气、中华煤气、北京燃气、深圳燃气、上海燃气、广州燃气、国际LNG贸易商(壳牌、道达尔、嘉能可、托克)。一般公司(+5分):地方中小燃气公司、新进入者。

4.6 评分汇总与推荐等级

总分 = 信源判断得分 + 主题理解得分 + 关键词匹配得分 + 公司关联得分。

推荐等级划分:高价值(总分≥150,直接进入周报候选池)、中价值(100≤总分<150,作为周报补充素材)、低价值(60≤总分<100,仅作情报存档)、无价值(总分<60,自动剔除)。

4.7 AI评分效果实际案例对照

以下是一篇真实资讯的AI五维评分详情与专家最终判定的对照,展示AI"评得准"的能力:

【案例】资讯标题:《IEA:2025年全球天然气需求将增长2.3%,亚洲LNG进口量创纪录》

信源:IEA(国际能源署)官方发布 | 发布时间:2025年1月

AI五维评分结果:

初筛判断:相关(与天然气需求、LNG进口直接相关)

信源判断得分:+10分(IEA为国际权威机构)

主题理解得分:+20分(涉及需求量、进口量、同比变化等市场数据指标)

关键词匹配得分:+8分(天然气、LNG、进口量、需求、亚洲等核心关键词密集出现)

公司关联得分:+0分(未提及具体公司)

总分:138分 | 推荐等级:中价值(接近高价值阈值)

专家最终判定:专家A(高价值)、专家B(中价值)、专家C(高价值)。多数专家认为该资讯对年度需求预判有重要参考价值,建议纳入周报。AI评分与专家判定高度一致。

【案例】资讯标题:《某地方燃气公司开展冬季安全检查工作》

信源:地方燃气公司官网 | 发布时间:2025年2月

AI五维评分结果:

初筛判断:相关(与天然气、城市燃气相关)

信源判断得分:-5分(企业官网宣传稿,权威性低)

主题理解得分:+2分(安全检查为重复性行业动态,非市场分析核心主题)

关键词匹配得分:+2分(天然气、安全检查)

公司关联得分:+5分(提及地方燃气公司)

总分:4分 | 推荐等级:无价值

专家最终判定:专家A(无价值)、专家B(无价值)、专家C(无价值)。一致认为该资讯为常规宣传稿,无市场分析价值。AI评分与专家判定完全一致。

五、价值量化(已验证 vs 预期)

以下指标明确标注了"已验证"(系统上线后实测数据)和"预期"(基于方案设计的预测值),便于评委区分实际成果与未来规划。

5.1 模型效果指标(已验证)

数据来源:基于2025年1月至6月的669条专家标注数据统计。

模型认可率:从初始20% → 迭代后38% → 当前74%(已验证)。计算公式:专家认可模型判断的资讯数 / 总标注数 × 100%。

多专家一致性:48%(已验证)。计算公式:所有专家价值等级完全一致的资讯数 / 总标注数 × 100%。

多数专家认可准确率:74%(已验证)。计算公式:≥2位专家认可模型判断的资讯数 / 总标注数 × 100%。

有一人认可即为可用:92%(已验证)。计算公式:至少1位专家认为有价值的资讯数 / 总标注数 × 100%。

高中价值占比:87%(已验证)。计算公式:(高价值资讯数 + 中价值资讯数)/ 总标注数 × 100%。

5.2 规则迭代指标(已验证)

数据来源:基于2025年1月至6月的规则优化沉淀表数据统计。

语料标注规模:4,400+条新闻模型标注分数(已验证),业务专家已标注669条(已验证)。

规则采纳:已采纳可量化建议297条(已验证),形成优化点50+(已验证)。

模型迭代速度:2个月完成14个版本迭代(已验证),平均每周2个版本(已验证)。

日推TOP50:累计推送25,000+条(已验证),推荐50+次(已验证)。

5.3 信源建设指标(已验证)

数据来源:基于2025年1月至6月的信源配置数据统计。

信源数量增长:初始信源150+ → 新增网页信源700+ → 新增采集信源知识19,000+,信源数量增加400%(已验证)。

信源覆盖率:90%+(已验证)。计算公式:已纳入系统的活跃信源数 / 目标信源总数 × 100%。

发布时间准确率:从50%提升至100%(已验证)。计算公式:发布时间准确的资讯数 / 总资讯数 × 100%。

单日重复数据:从20+条降低至2条(已验证)。

历史周报分析:300篇周报、4,026篇资讯、近300条高频信源被纳入分析(已验证)。

5.4 效率提升指标(已验证 + 预期)

数据来源:基于2025年1月至6月的实际运行数据测算。

分析师日均筛选耗时:从4小时降至30分钟(已验证),降幅87.5%。

年节约分析师工时:约7,000小时(已验证)。计算方式:(原日均4小时 - 现日均0.5小时)× 8人 × 250工作日 = 7,000小时。

折算人力成本:约¥35万/年(预期)。计算方式:7,000小时 × ¥50/小时(分析师平均时薪)= ¥35万。

周报整理耗时:从每期6小时降至1小时(预期),年节约工时约260小时。

管理层决策响应时效:从"次日获知"提升至"实时掌握"(预期),响应时效提升50%。

5.5 行业对标(参考基准)

为增强数据可信度,补充以下行业对标基准:

同类NLP文本分类任务的行业基准认可率:约60%-70%(公开文献参考)。本方案模型认可率74%,已超过行业基准上限。

传统人工筛选的专家一致性:约30%-40%(基于本项目历史数据统计)。本方案多专家一致性48%,较传统模式提升20%-60%。

传统情报分析系统的信源覆盖率:约60%-75%(行业调研参考)。本方案信源覆盖率90%+,显著高于行业平均水平。

六、PRDC闭环法:可视化业务流程图

本方案提炼出一套可命名、可复制、可传播的方法论框架——"PRDC闭环法"(Process-Rule-Data-Closed Loop),对应"流程替代人治、规则替代经验、数据替代感觉、闭环替代断裂"四组核心价值。

【PRDC闭环流程图】(文字版,建议配图展示)

阶段1:情报采集(Process流程化)→ 150+信源统一入库 → 结构化表单承载 → 移动端随时录入

↓ 自动触发

阶段2:AI初筛(Rule规则化)→ 五维评分引擎 → 初筛/信源/主题/关键词/公司关联 → 总分计算 → 推荐等级划分

↓ 高价值自动入选

阶段3:专家协同(Data数据化)→ 多专家在线标注 → 分歧自动标记 → 反馈结构化 → 规则自动沉淀

↓ 规则库更新

阶段4:规则迭代(Closed Loop闭环化)→ 规则优化表沉淀 → 模型版本迭代 → 效果验证 → 返回阶段2优化评分规则

↓ 高价值确认

阶段5:周报生成(Process流程化)→ 周报候选池 → AI摘要生成 → 业务确认人审阅 → 已采用进入周报 → 未采用记录原因

↓ 效果评估

阶段6:效果评估(Data数据化)→ 仪表盘实时展示 → 模型认可率/专家一致性/信源质量 → 异常数据穿透定位 → 驱动下一轮优化

PRDC闭环法的可复制性:任何需要"人工筛选+专家判断+规则沉淀"的业务场景(如金融舆情监测、政策跟踪分析、竞品情报搜集)均可套用此方法论,仅需替换评分维度和信源清单即可快速落地。

七、后续优化方向与阶段性验证指标

当前规则体系存在的问题:规则越来越复杂,模型打分不稳定;不同类型新闻使用同一套加减分规则,精度受限。

优化方向与验证节点:

降低对模型直接打分的依赖,增加客观因素抽取。验证节点:2025年Q3,客观因素抽取覆盖率提升至80%。

增加文章主题分类(价格类、政策类、项目类、市场类),不同主题设置不同评分权重。验证节点:2025年Q3,主题分类准确率达85%;2025年Q4,价格类新闻识别准确率达90%。

增加关键信息抽取(价格数值、供需数据、时间线),用结构化数据替代纯文本评分。验证节点:2025年Q4,关键信息抽取完整率达75%。

信源、关键词、公司可配置加减分规则,业务专家可在简道云规则优化沉淀表中直接调整权重,无需修改代码。验证节点:2025年Q3,专家自助调整规则占比达30%。

不同新闻类型设置不同分数上下限,避免"价格类新闻因为缺少公司关联而被误判为低价值"。验证节点:2025年Q4,主题适配后模型认可率提升至80%。

八、总结

本方案通过简道云零代码平台,将市场商情分析的碎片化线下流程升级为在线化、自动化、协同化、闭环化的业务系统。核心价值在于:

流程替代人治:从"微信群催办+人工筛选"到"系统自动推进+AI辅助评分",分析师日均筛选耗时从4小时降至30分钟。

规则替代经验:从"专家个人判断"到"五类规则量化评分+专家在线标注+规则自动沉淀",模型认可率从20%提升至74%。

数据替代感觉:从"这篇好像不错"到"信源得分+主题得分+关键词得分+公司关联得分=总分138,推荐等级中价值(接近高价值)",评分过程完全可追溯。

闭环替代断裂:从"反馈散在群里、规则口口相传"到"标注→分歧识别→规则沉淀→模型迭代→效果验证"完整闭环,14个版本迭代、297条采纳建议、50+优化点全部留痕。

PRDC闭环法的行业价值:不仅适用于天然气市场商情分析,更可推广至金融舆情监测、政策跟踪分析、竞品情报搜集等任何需要"人工筛选+专家判断+规则沉淀"的业务场景。

应用分享链接:https://www.jiandaoyun.com/a/6a45200d5bcb41eac6db8fb1

简道云应用:132 | 市场商情智能分析闭环平台 | 6个表单 | 135条演示数据 | 3处数据联动 | 3个智能助手 | 5类AI评分规则 | 14个模型迭代版本

分享扩散:

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

返回顶部 返回列表