一个让操作系统能搜索视频、音频、图片内容的 API
svpino 演示了一个能对视频、音频、图片做内容搜索的 API,还能接 agent 回答文件相关问题。macOS 和 Windows 至今只搜文件名,这个思路要是进系统层,本地检索类产品的做法会变。做个人知识库或本地助理的开发者可以看看。
Santiago (svpino) 在 X 上介绍了一个 API,可以让计算机对视频、音频、图片等各类文件进行内容级搜索,而不是只按文件名匹配。他提出一个观点:任何操作系统都应内置这种能力,但目前主流系统仍未实现。
技术上,这类 API 的工作方式是把文件内容索引后供智能体调用,开发者可以接入一个 agent 来存储文件并回答关于这些文件内容的问题。也就是说,你问"哪个视频里出现过某句话",系统能直接给出答案,而不是靠文件名猜测。
对开发者来说,这相当于把多模态检索能力从模型层下放到系统层,做本地知识库、个人助理类产品的团队可以直接复用,省去自己搭建索引和嵌入流程的工作。
Every operating system should do this, and I don't understand why we don't have it yet.
When I type something, I want my computer to search inside videos, audio files, images, and every other single document it finds.
This is an API that does this.
You can plug in an agent to store files and answer questions about them.
本条情报归属 AITOP「产品」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:多模态、智能体、API、内容检索,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Ate-a-Pi」(@svpino),经 AITOP 多维评分管线结构化提炼。