转载:https://ai.zol.com.cn/1272/12725553.html
2026-11-13 16:41:35·[ 中关村在线 原创 ]·作者:散落的星星沙
2026年11月13日,有用户在技术社区分享了一项特殊实践:他利用一台未安装独立显卡的旧服务器,成功本地部署并运行了月之暗面推出的Kimi K3大语言模型。该方案并未依赖传统GPU显存,而是采用了英特尔已停产的傲腾持久内存作为主要运行载体。
Kimi K3是一款参数规模达2.8万亿的混合专家架构模型,推理时每个输入词元仅动态激活约1040亿参数。官方标注支持最长104万词元的上下文长度。即便采用极致的1比特量化压缩,模型权重仍需占用数百GB内存空间,远超常规消费级主板所能支持的内存上限。
该用户所用硬件为一颗40核心的第三代至强可扩展处理器,内存系统全部配置为傲腾持久内存200系列,单条容量最高达512GB。软件层面选用llama.cpp框架,并将傲腾内存设置为App Direct模式——即由应用程序直接读写内存地址空间,而非采用系统自动管理的Memory Mode缓存机制。
性能方面,该配置在1比特量化下实测吞吐约为每秒0.85个词元;若关闭DAX直通功能,延迟略有改善,可提升至每秒1.5个词元。切换至3比特量化后,速度回落至每秒约0.75个词元。按此速率估算,生成数百字文本需耗时数分钟,而输出5万个词元则需约18.5小时。
在能效与热管理方面,傲腾持久内存亦面临挑战。根据英特尔公开技术文档,该系列单条模块最大功耗为18瓦,当介质温度升至83摄氏度时即启动降频保护,达到85摄氏度则强制关机。此外,英特尔已于2022年第二季度正式终止傲腾内存业务,当季计提5.59亿美元库存减值,该产品线自此再无后续迭代型号。


微讯资讯
相关广告