conv1d函数（convhull函数）



为了方便理解NF4算法的实现，这里用PyTorch实现了一版可以和CUDA NF4精度对齐的量化和反量化函数，并使用llama-3.1-8b模型进行测试，可以做到和CUDA实现的算子精度基本对齐（仅反量化存在少许误差），并对模型输出进行测试，64个tokens和CUDA实现完全一致。

以下都只是在RTX3090上对llama-3.1-8b上进行测试的结果，不能代表全部的设备和模型。

CUDA上使用函数使用类型的与类型的NF4表的中间值进行比较，从而得到表中距离的最近元素的索引。

因此在实现时也需要注意和的类型都需要是，经过在实际的llama3权重数据上测试：

• 量化函数PyTorch实现可以和CUDA实现精度对齐，无精度误差；
• 反量化函数平均绝对误差大约在，不影响模型输出。

在bitsandbytes中使用这两个函数对CUDA实现进行替换，可以达到模型输出64个tokens完全一致的效果：

<|begin_of_text|>Once upon a time, 20 years ago, I was a young, idealistic, and naive college student. I was also a young, idealistic, and naive college student who was a member of the Young Republicans Club. I was also a young, idealistic, and naive college student who was a member of the Young Republicans Club who was

不过PyTorch的实现存在一定的性能损失，8B模型的量化过程从CUDA实现的3s增加到PyTorch实现的10s；使用PyTorch实现的版本输出64 tokens需要28.012s（仅受反量化函数性能影响），而CUDA实现仅需3.65512s。

精度对比脚本：

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/haskellbc/67615.html