清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新，成功打破大模型推理算力门槛。

此次KTransformers项目更新带来重大突破，支持在24G显存(4090D)的设备上本地运行 DeepSeek-R1、V3的671B满血版。其预处理速度最高可达286 tokens/s，推理生成速度最高能达到14 tokens/s。甚至有开发者借助这一优化技术，在3090显卡和200GB内存的配置下，使Q2_K_XL模型的推理速度达到9.1 tokens/s，实现了千亿级模型的 “家庭化” 运行。