社区分享:用LoRA替代完整“去审查”模型下载
LocalLLaMA用户指出,多数“去审查”技术属于秩一消融,可封装为小型LoRA在运行时叠加到已有量化模型上,无需下载数百GB模型。作者基于huihui v2构建LoRA并在llama.cpp等工具验证,称模型困惑度基本不变,有害提示拒答率从93/100降至3/100。
AI 日报收录的 huihui 相关报道,共 1 篇,按时间倒序,每小时更新。
LocalLLaMA用户指出,多数“去审查”技术属于秩一消融,可封装为小型LoRA在运行时叠加到已有量化模型上,无需下载数百GB模型。作者基于huihui v2构建LoRA并在llama.cpp等工具验证,称模型困惑度基本不变,有害提示拒答率从93/100降至3/100。