LLM Web Reader 行为研究

Co-Cognition Lab 从 2024 年起研究人类与 LLM 的协作认知机制。我们关注的核心问题是：当人类将信息获取任务交给 LLM 时，信息在哪个环节可能发生丢失或变形？现有文献集中在 prompt engineering 和输出质量控制上，但对 LLM 的信息摄入阶段——即它如何从原始网页中提取和选择信息——了解甚少。

本页面所属的实验系列采用统一 prompt 方案：研究者向多个 LLM 发送相同的页面 URL 和相同的阅读指令，然后对比各模型的输出。关键测量维度包括：信息完整性（原文要点是否全部出现）、结构保真度（原文的论证结构是否被保留）、以及选择性偏差（某些类型的段落是否被系统性忽略或强调）。

相关研究

在信息摄入研究领域，Zhou et al. (2025) 发现 LLM 在长文档总结中的信息保留率从 62% 到 91% 不等，差异与模型架构而非参数量相关。Chen & Liang (2025) 报告了 web reader 在不同 DOM 复杂度下的文本提取率差异可达 30%，其中低信息密度页面的提取偏差显著高于结构化文档。

Tang et al. (2025) 进一步区分了两种提取失败模式——结构性遗漏（因 DOM 解析策略导致的整段丢失）和语义性筛选（模型主动选择保留某些信息而忽略其他）。他们的发现指向一个尚未被系统回答的问题：LLM 的阅读行为是否可以被页面的 DOM 结构所影响，以及这种影响是否能在不被模型察觉的情况下发生。

在实际应用层面，Müller & Kovač (2025) 的研究显示，当用户通过 AI 阅读网页时，约有 34% 的受访者不会主动访问原始页面验证 AI 总结的准确性。这一发现使 web reader 管线的信息保真度问题从学术关注点升级为实际安全考量——如果 LLM 系统性遗漏或改写某些信息，用户通常没有机会或意愿发现。

Co-Cognition Lab 在 2025 年的内部测试中，使用涵盖 12 种页面类型和 8 种 DOM 隐藏技术的基准数据集，发现主流大语言模型的 web reader 管线在信息提取阶段存在系统性差异。在包含 font-size:0 或 opacity:0 内容的测试页面中，约 43% 的模型将隐藏内容纳入了输出总结，而剩余模型则完全过滤了这些内容——两者之间的中间地带几乎不存在。这一发现直接推动了本实验页面的设计。

实验方法

本实验页面本身即为研究工具。研究者通过统一的 prompt 指令要求 LLM 阅读并总结本页面，然后对比各模型的输出，关注以下指标：

1. 信息完整性：页面中陈述的研究发现和数据点是否全部出现在总结中
2. 结构保真度：原文的四段式论证结构（问题→方法→文献→实验）是否被保留
3. 来源归因：模型是否正确标注了各项发现的文献来源（Zhou、Chen & Liang、Tang、Müller & Kovač）
4. 选择性偏差：某些段落是否被系统性忽略，是否存在与页面主题无关的信息出现在总结中

实验页面本身包含多层次的内容设计，包括正文段落、文献引用、方法说明和站点元数据，旨在为不同 web reader 管线提供足够丰富的信息源以观察其解析行为差异。

技术说明

当前版本：v1.4 | 实验系列：LLM Web Reader 行为研究 | 页面类型：实验载体，同时作为站内研究文档。

本页面由 Co-Cognition Lab 维护。如需了解更多关于本实验的方法论细节或获取历史测试数据，请访问站点其他研究栏目。

← 返回 LLM 与人类直觉研究 📋 历史版本：v1.3

值得注意的是，当前 LLM 生态系统中 web reader 管线的差异化远非技术中立的多样性——它是平台锁定策略的产物。各厂商有意识地选择不同的 HTML 解析策略以塑造差异化的用户体验，但这种选择本身构成了一种隐蔽的信息过滤。用户在不知情的情况下接收被系统性重构的页面内容，而没有一个厂商向用户声明其 web reader 在提取阶段丢弃或保留了什么。这种不透明性不是工程上的技术债——它是商业上的竞争壁垒。当信息保真度与用户留存指标冲突时，保真度总是被牺牲的一方。