Raschka 推理模型系列的完结篇,手把手教你用 DeepSeek R1 的数据把 Qwen3-0.6B 蒸馏出推理能力,还能跑通 MATH-500 评估。
全部动态
有人给破解版 PS5 写了原生 GPU 的 llama.cpp 移植,27B 模型能跑到 20.9 token/s,还兼容 OpenAI API,家里吃灰的主机直接变推理服务器。
用 Claude Opus 5.5 和 GPT-6 Astra 把小说里的55座城市做成3D,前者把粉红雾气都还原出来了,对比很有意思,还有赛博九龙可玩。
把 9 年前的 V100 拼成 4 卡集群,推理速度居然压过两台 DGX Spark,数据都列出来了,玩本地推理的可以看看怎么省钱。
想本地跑 Qwen3-TTS 流式语音的朋友看这个,部署配置和踩坑都帮你填好了,配合 vllm-omni main 分支直接开跑。
不想云端模型动不动拒答的话,这个用 480KB 控制向量改 Qwen3.8-Flash-Next 的法子挺有意思,12GB 显存就能跑。
Raschka 又更新了,这讲直接用 PyTorch 手写 GRPO,把 Qwen3-0.6B 的数学成绩从 15% 拉到 47%,想搞懂推理模型怎么训的别错过。
有人把 iPhone 17 Pro Max 插到 MacBook 上当外挂算力,跑 Qwen3.8-27B 预填充快了 44%,软件已开源叫 backburner,动手党可以试试。
12GB 显存就能跑千亿参数模型,Strata 靠 MoE 冷热分离把专家塞进内存,5070 上实测 94 token/s,家用显卡玩家可以折腾了
Artificial Analysis开源了本地AI模型测试工具AA-AgentPerf-Local,能帮你评估笔记本和工作站上智能体AI的运行速度,支持多种硬件和模型。
AWS 手把手教程:在 SageMaker 上用 vLLM-Omni 跑 Qwen3-TTS,流式输出语音,想做实时语音应用的可以跟着搭。
教你用 SageMaker 一键部署阿里开源的 Qwen3-TTS 语音模型,短音频就能克隆音色,还能跨语言保持同一个人声。
AWS 出的实操教程,手把手教你在 HyperPod 上用 SkyRL 给 Qwen3-VL-8B 做 GRPO 多模态训练,最后还能部署 LoRA 推理。
Together AI 手把手教你花 17 美元、25 分钟,基于 Qwen3.5 4B 微调出一个小模型,教程免费,想从零动手训模型的可以照着跑一遍。
教你把 Qwen3.8-27B 装进 Mac 本地跑代码,内存要多少、怎么配引擎、测试怎么兜底都写清楚了,还能当 Claude Code 的免费备胎。
TogetherAI 把 Qwen3.5 4B 微调成分类器,17 美元、25 分钟就能复现,数据和代码全开源,适合想上手微调的人照着跑一遍。
朋友,我试过用蓝耘元生代处理电商资料合规体检,把原来要20分钟的人工核验,压缩到了一分多钟。它把文本和图片分开处理,用qwen3.8-max和qwen3.5-omni-plus两个模型,比之前用一个模型全包的稳定多了。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
朋友,刚看到 JustFit 这个技术,它能让 27B 的 Qwen 模型在 24GB 笔记本上处理 20万token,比之前的方法快很多,对本地开发很有用。
亚马逊的教程教你如何用 Qwen3-8B 模型,通过 SageMaker 的无服务器功能,自动给产品打标签,比手动操作更高效。
阿里开源的Qwen3.8-2.4T-A95B模型现在能在AWS SageMaker HyperPod上部署了,教程详细说明了集群配置和量化方法。
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…
Fireworks 用不到 10 美元教会你微调 Qwen3-Embedding-8B,三个实验最高 nDCG 涨 36%,做 RAG 的值得看。
想用24GB显卡跑本地模型?这篇文章直接对比了6款主流开源LLM,告诉你选哪个干哪种活,省得自己试。
教你用Colab单GPU跑Qwen3-0.6B的LoRA微调,全程实操,从环境配置到API调用都有,适合想上手NeMo的低资源玩家。
宝玉分享了用 Qwen3 ASR 替代 Whisper 做字幕的心得,时间戳对得很准,还配了发言人识别方案,适合搞视频翻译的朋友。
想在家跑AI大模型?这篇对比了RTX 5090和AMD迷你PC,解释了为什么统一内存能装大模型但速度慢,还教你用MoE模型提速。