讯飞开源端侧百万Token模型,星火X2.5系列发布
科大讯飞推出星火X2.5-4B和1.7B端侧模型,支持百万Token上下文,采用混合注意力架构,适用于智能体、代码等场景,已开源并支持多硬件平台。
端侧大模型迎来百万Token时代
9月1日,科大讯飞旗下词元星火正式发布并开源了两款端侧通用大模型——星火X2.5-4B和星火X2.5-1.7B。这两款模型最引人注目的特点是原生支持最长100万Token的上下文窗口,这在当前端侧模型中属于独一份。对于开发者来说,这意味着在手机、边缘设备等资源受限环境中,也能处理超长文本,比如整本手册或长时间对话历史,而无需频繁截断或依赖云端。
技术亮点:混合注意力与全流程国产算力
星火X2.5系列采用混合注意力架构,这是为了在长上下文场景下平衡计算效率和内存占用。模型围绕智能体、代码生成、数学推理和指令遵循等核心能力进行了专门优化。训练过程基于全国产算力平台完成,使用了约20万亿Token的多样化数据,保证了模型的通用性和鲁棒性。这种全流程国产化训练不仅降低了供应链风险,也为国内开发者提供了更可控的技术栈选择。
实际应用:从售后到智能家居
在应用层面,星火X2.5系列展示了几个典型场景。以产品售后为例,用户可以将完整的售后手册导入模型,然后针对“购买10天后设备故障且使用过第三方耗材”这类复杂问题,模型能跨章节关联规定,给出综合判断,并在后续追问中保持上下文连贯,持续提供建议。这大大提升了客服和售后支持的自动化水平。
在个人办公场景中,星火X2.5-4B可以完成从原始数据分析到双语报告生成的全流程,适合需要快速处理数据并输出专业文档的职场人士。而在智能家居领域,星火X2.5-1.7B在Domux测试集上表现出色,控制指令端到端执行正确率达到90.3%,平均响应时间仅0.85秒,几乎实时响应。此外,模型还适用于机器人操作控制、目标追踪、导航决策等场景,可直接部署在机器人本体或边缘设备上,为智能硬件提供了更强大的本地AI能力。
开源与生态:快速上手指南
星火X2.5-4B和1.7B支持英伟达、华为、海光及后摩等主流硬件平台,兼容vLLM、SGLang、llama.cpp等推理框架,开发者可以通过Ollama、LM Studio等工具快速部署。即日起,模型权重已在Hugging Face和GitHub开放,同时API也上线了讯飞星辰MaaS平台,限时免费使用。对于想尝鲜的开发者,只需下载权重或调用API,即可在本地设备或云端体验百万Token长上下文能力。
未来展望
科大讯飞还计划在9月7日发布星火X2.5-293B通用大模型,进一步升级代码和智能体能力。这标志着讯飞在端侧和云端双向发力,构建更完整的AI生态。对于开发者和企业用户来说,端侧百万Token模型的开源,意味着更低的部署成本、更好的数据隐私保护,以及更流畅的用户体验。
参考链接:
- Hugging Face: https://huggingface.co/collections/XHToken/spark-x25
- GitHub: https://github.com/XHToken/Spark-X2.5
- MaaS平台: https://maas.xfyun.cn/modelSquare