笔记
未读
[笔记]pyinstaller打包streamlit
安装streamlit pip install streamlit==1.19.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 再安装pyinstaller pip install pyinstaller==5.8.0 -i https://pypi.tu
笔记
未读
[笔记]GGML 或GGUF的14种不同量化模式说明
14 种不同的 GGML 模型,对应于不同类型的量化。它们遵循特定的命名约定:“q”+ 用于存储权重的位数(精度)+ 特定变体。以下是所有可能的量化方法及其相应用例的列表,基于 TheBloke 制作的模型卡中的描述,针对llama2模型架构: q2_k:将 Q4_K 用于 attention.vw