人工智能/模型量化 笔记

• 模型精度与质量：FP16 vs INT4 实际差异有多大 模型量化 INT4 FP16
  INT4 量化后模型质量会下降多少？从 Benchmark 数据、任务类型差异、Colab 实测三个维度回答这个问题 - 2026-10-07
• 从精度认识大语言模型版本 模型量化 精度 FP16
  同一个模型为什么有十几个版本？FP16/BF16/INT8/Q4_K_M/GPTQ/AWQ/GGUF... 教你从模型名称看出它的精度、大小和适用场景 - 2026-09-09
• 大语言模型量化技术速览 模型量化 LLM llama.cpp
  量化即压缩：用数据类型、位宽、量化方案三个层次理解 q4/q8/FP8/BF16/NVFP4/W8A8 等名词，按 CPU/GPU/NPU 三大硬件生态分类梳理 - 2026-09-08
• 端侧NPU大模型部署方案全景 NPU LLM 端侧部署
  梳理瑞芯微RKLLM之外的各厂商NPU大语言模型部署方案：算能LLM-TPU、爱芯元智Pulsar2、高通QNN、联发科NeuroPilot、苹果Core ML、Intel OpenVINO及跨平台的ONNX Runtime - 2026-09-08