又一篇论文开始挑战我们对 Agent Memory 和 RAG 的传统认知了，最近这方面的工作真的不少

前几天分享了 RAW-RAG 这篇论文，相信让不少人印象深刻：仅仅保留原始历史，在需要时检索并交给 LLM 推理，就能击败不少精心设计的 Agentic Memory 系统

而现在，RAGFlow 团队又发表了一篇新论文《Context as Infrastructure》，从另一个角度讨论了同一个问题：

我们真的需要那么复杂的检索架构吗？

给不了解 RAGFlow 的朋友介绍一下：这是一个在 RAG 领域颇有影响力、工程背景非常扎实的团队，核心成员有深厚的数据库和搜索引擎研发经验，其联合创始人金海也曾主导 Milvus 的早期研发

所以，当这样一支团队开始重新审视 Embedding、索引结构与 Agent Harness 的关系时，我觉得尤其值得关注

论文提出了一个很有意思的观点：

Retrieval is a harness problem before it is an index problem.

检索首先是 Agent Harness 的问题，其次才是索引的问题

在实验中，仅使用 BM25 / grep，配合能够自主查询、阅读、调整检索策略的 Agent Harness，就在 BrowseComp-Plus 和 FRAMES 上分别取得了 85% 和 91% 的准确率

是的，不需要 Embedding，也不需要预先构建知识图谱

更有意思的是，在 FRAMES 的实验中，额外引入复杂的知识结构，并没有带来可检测的准确率提升

这让我再次想到了我们开发的开源项目 Obelisk，它的做法是为 Coding Agent 提供历史 Session 检索能力，基于 SQLite FTS5 保留并索引原始对话和工具调用记录，而不是预先将历史转换成一套复杂的 Memory

更重要的是，我们同样认为，检索应该是 Agent 自己能够控制的过程，而不只是由一个 Retrieval Pipeline 决定哪些信息应该进入上下文

因此，Obelisk 通过 Code Mode 为 Agent 提供可编程的检索接口，让它能够自主决定查询条件、组合检索操作，并根据结果继续探索历史

我们提供检索能力，而不替 Agent 预先决定它应该记住什么

但这里就引出了另一个问题：

既然简单的检索方案已经能够达到很高的准确率，我们是否真的不再需要那些复杂的数据结构了？

我觉得恰恰不是这样，而这也是这篇论文最有启发性的地方

论文发现，精心组织的证据结构虽然未必能够进一步提高准确率，却能够显著减少检索时消耗的 Token

换句话说，复杂结构的价值，未必在于让模型回答得更正确，而可能在于让系统以更低的成本找到正确的信息

这本质上是一个 Scale 和 Workload 的问题
当数据规模增长几个数量级，检索延迟、索引维护成本、查询复杂度和上下文开销，都可能改变最优的系统设计

一套在个人 Session 历史上表现优异的检索方案，未必适合拥有数十亿条记录、复杂权限边界和高并发查询需求的企业系统。

我们不应该为了追求简单而否定复杂性，也不应该在尚未证明必要性时就引入复杂性。

而这又回到了我一直以来对 Agent Memory 的一个基本判断：

Raw History should be the Source of Truth.

我们可以在原始历史之上构建索引、维护派生视图，或者引入更复杂的结构来优化检索

但这些结构应该是服务于查询的，而不应该通过有损的信息转换，取代那些真正发生过的历史

因为无论检索系统如何演进，Agent 最终都应该能够回到原始证据，重新理解过去发生了什么，而不是只能相信某个 Memory System 预先替它总结好的结论

所以我觉得，RAW-RAG 和这篇新论文，实际上正在从不同角度指向同一个值得探索的方向：

我们需要的可能不是一套越来越复杂的「记忆系统」，而是一套能够扩展、能够追溯、能够让 Agent 自主查询的 Retrieval Infrastructure

这也是我们希望通过 Obelisk 探索的方向

GitHub：https://t.co/TJlm8kUWrB
论文：https://t.co/Ps9TyzOQW4