AI 从4.5万封Enron邮件自动生成带引用知识库

项目背景
Enron(安然)是2001年因财务造假而倒闭的美国能源巨头,其内部邮件后来被公开,成为研究企业决策过程的重要语料。本项目将其中45,047封邮件输入AI系统,让AI自主阅读、提取信息并撰写了一份关于Enron所涉及的公司、监管机构、银行的知识库,共214页、49,401条事实。
最引人注目的设计是:每条事实都标注了来源邮件,且当邮件显示某条事实不再成立时,该页面会在对应日期自动"过期"这条信息。全程无人工编辑任何页面或事实。
核心流程:从邮件到知识页面
整个流水线分为四个阶段:
- 读取邮件:AI逐封解析邮件内容
- 识别实体:从邮件中提取公司名称、监管机构、银行等实体
- 构建页面:为每个实体生成独立的知识页面,包含描述性事实
- 交叉验证:将生成的事实与原始邮件进行比对,确认支持度
最终审计结果显示:93%的抽样事实被邮件完全支持,500条抽样中0条存在核心错误。审计由另一个独立AI完成。
页面结构:事实是句子,不是字段
与传统CRM或数据库不同,这里的"事实"是带日期和来源的完整句子,而非"员工人数""营收"这类结构化字段。
例如关于Dynegy(迪尼吉)的页面会写:"Dynegy是Enron的交易对手方,2001年11月同意收购Enron,随后终止了合并协议并主张其对Northern Natural Gas管道的权利。"
这种设计适用于那些变化频繁或难以归入固定字段的知识。作者将其定位为"企业知识的中间层"——介于结构化数据库和自由文本之间。
实体分类体系
流水线最初提议了57个细分类型,人工审核后保留了54个。按大类划分:
- 组织类(公司、监管机构、律所、银行、报社):209页,覆盖929个实体
- Enron内部(业务单元、交易台、平台、系统、代号项目):5页,覆盖551个实体
每个实体页面还配有时间滑块,拖动即可查看该日期时已知的事实,已过期的事实会实时消失。
对开发者的启示
这个项目展示了AI处理大规模非结构化文本的实用范式:
- 引用溯源:每条输出都关联原始数据,便于验证和审计
- 时间感知:事实有生命周期,不是一成不变的
- 零人工干预:从输入到输出全程自动化
- 可验证性:通过独立AI审计确认质量
对于需要从海量文档(合同、邮件、工单、日志)中提取结构化知识的团队,这种"AI读文档→生成带引用的知识页面"的架构值得借鉴。核心思路是:让AI做提取和撰写,让人做类型审核,让审计AI做质量把关。
本文目录(5 节)
本文基于 Hacker News (AI) 的公开内容,由 AI 辅助整理改写后发布。
原标题:Show HN: We had AI write a wiki from 45k Enron emails, every fact cited
阅读原文