16337
4ac406572e
RTX 3050 8GB 无法完整加载 Qwen3.5-9B，即使量化也不行： - bitsandbytes 4-bit 不支持 CPU offload - bitsandbytes 8-bit 与 accelerate 存在版本兼容问题 - FP16 + CPU offload 可以加载但推理质量极差（输出乱码） - 推理速度仅 0.4 tokens/s 结论：RTX 3050 8GB 不适合运行 Qwen3.5-9B Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
30 lines
255 B
Plaintext
30 lines
255 B
Plaintext
# Python
|
|
__pycache__/
|
|
*.py[cod]
|
|
*.egg-info/
|
|
dist/
|
|
build/
|
|
.eggs/
|
|
|
|
# Model files (太大不提交)
|
|
*.bin
|
|
*.safetensors
|
|
*.gguf
|
|
*.pt
|
|
*.pth
|
|
*.onnx
|
|
vsp/qwen3.5-9b/model/
|
|
vsp/qwen3.5-9b/offload/
|
|
|
|
# Env
|
|
.env
|
|
*.log
|
|
|
|
# IDE
|
|
.vscode/
|
|
.idea/
|
|
|
|
# OS
|
|
.DS_Store
|
|
Thumbs.db
|