Databricks 发布第五版《Big Book of Data Engineering》
Databricks 出的第五版数据工程电子书，讲了流式管道和用 AI 智能体写管道、修故障，还带 Toyota、Coinbase 这些真实案例，可以免费下载。
#流式处理
共 6 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「流式处理」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月16日
6月15日
6月10日
用 Streaming、Pandas 和 tiktoken 构建 NVIDIA Nemotron 代码数据集管道
做代码预训练或大规模数据处理的研究人员可以直接复用这套管道，省去下载和解析海量元数据的麻烦，值得一试。
6月1日
5月20日
FiLark：面向分布式声学传感的流式优先软件框架
DAS 领域的研究者和工程师终于有了一个能处理连续数据流的工具，不用再手动切片段做离线分析了。做地震监测、管道检测或声学事件标注的团队，可以直接用 FiLark 搭建从探索到部署的完整工作流。
5月15日
Streaming Speech-to-Text Translation with a SpeechLLM
做实时语音翻译的团队终于有了低延迟方案——延迟降到1-2秒且翻译质量不降，做会议同传或语音助手的开发者可以直接参考。