datasette-arrows 0.1a0 发布:为 Datasette 增加流式导出 Apache Arrow 支持
datasette-arrows 0.1a0
Simon Willison 发布 datasette-arrows 0.1a0,几乎全部由 Claude Fable 5.2 一次生成,装上就能把 Datasette 表格流式导出成 Apache Arrow。做数据分析的人导大表再也不用受内存限制,比 CSV/TSV 更适合喂给 pandas 和 DuckDB。
Simon Willison 发布了 datasette-arrows 0.1a0 插件,为 Datasette 增加流式导出 Apache Arrow 格式的能力。此前的 Datasette 1.0a43 为插件引入了实现流式导出格式的机制,核心本身已支持 CSV 和 TSV 流式导出,可以不把数据全部载入内存就导出数百万行。新机制通过 register_output_renderer() 插件钩子开放,允许其他格式复用同样的分块流式模式。
这个插件由 Claude Fable 5.2 建议,并以 Apache Arrow 流式格式作为实现对象,几乎一次性构建完成。Willison 表示自己学到的经验是:发布新的插件功能时,必须同时发布一个使用该功能的插件作为示范。安装方式为 datasette install datasette-arrows,安装后导出对话框会新增 Arrow 选项。
目前该截图来自 Datasette 主分支,最近的正式版本尚未把 Arrow 等流式格式与 TSV、CSV 一起归入 All rows in this table 分组,下一版 alpha 会加入这一改进。
datasette-arrows 0.1a0
Release: datasette-arrows 0.1a0 Datasette 1.0a43 added the ability for plugins to implement streaming export formats. Datasette core supports streaming CSV and TSV - you can export millions of lines of data from a table without needing to load it all into memory, because those two file formats support streaming data in chunks. The register_output_renderer() plugin hook can now be used to implement the same pattern for other formats. I've learned never to release a new plugin feature without accompanying it with a plugin that uses it. Claude Fable 5.2 suggested the Apache Arrow streaming format as a good option, and built this plugin in almost a single shot. Add the plugin to Datasette ( datasette install datasette-arrows ) and the export dialog gains this new Arrow option: This screenshot is from Datasette's main branch - the most recent release doesn't yet group streaming formats such as Arrow with the TSV and CSV in the "All rows in this table" section, but that's coming in the next alpha release. Tags: datasette , projects
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Datasette、Apache Arrow、Claude、开源工具,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Simon Willison’s Weblog」,经 AITOP 多维评分管线结构化提炼。