英特尔推出推理微服务：自动检测至强硬件并应用 vLLM 调优参数

英特尔 10 月 14 日发布 Intel Inference Microservices，一套面向大语言模型推理的容器化微服务，首批版本基于 vLLM 引擎、支持 BF16 精度。容器启动时自动检测至强处理器代数、核心数、NUMA 节点和内置加速器（AMX、AVX-512、AVX2、VNNI），并应用针对该模型和硬件预验证的配置参数。服务通过 OpenAI 兼容 API 暴露，要求第四至第六代至强处理器、建议 32GB 内存，可运行在 Docker 或 Kubernetes 1.24 以上环境。主机未被识别时容器会直接报错而非静默降级，用户可用 detect-hardware 或 dry-run 命令预检。英特尔后续计划增加 Helm Chart、Kubernetes Operator，并将同一模式扩展到代号 Crescent Island 的数据中心推理 GPU。