3 Commits

Author	SHA1	Message	Date
16337	682063abf1	feat: 改用 4-bit NF4 纯 GPU 推理，关闭 thinking 模式 ... - 模型加载改为 bitsandbytes 4-bit NF4 量化，device_map={"":0} 纯 GPU - 关闭 Qwen3.5 thinking 模式 (enable_thinking=False) - 精度从 60% 提升到 90%，推理速度 1-2 tokens/s - GPU 显存 7.13GB/8GB，输出质量正常 - 更新所有测试结果和综合报告 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-03-16 17:38:33 +08:00
16337	4ac406572e	fix: 修复模型加载方式，改用 FP16+CPU offload ... RTX 3050 8GB 无法完整加载 Qwen3.5-9B，即使量化也不行： - bitsandbytes 4-bit 不支持 CPU offload - bitsandbytes 8-bit 与 accelerate 存在版本兼容问题 - FP16 + CPU offload 可以加载但推理质量极差（输出乱码） - 推理速度仅 0.4 tokens/s 结论：RTX 3050 8GB 不适合运行 Qwen3.5-9B Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-03-16 13:05:20 +08:00
16337	8f5b495ed3	feat: 添加性能基准测试脚本（速度+显存） ... Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-03-16 11:45:50 +08:00