能解答一下我的疑惑

说明大神都没有用cpu跑，你觉得为什么

用6g显存的古老显卡就能跑的情况下，为什么要用CPU跑呢？

我用自己的16核跑过，不想再用。现在换了矿卡p104，使用量化后的4，勉强能用

用了一下6b，没什么用，想问问有人用过那个130b吗？是需要超级显卡才能跑吗？还是说那个模型现在根本就用不了？

用了一下6b，感觉没什么用，想问问有没有大佬用过130b，1300亿参数的那个，还有那个260g的那个check那个是模型包吗？那个是需要a100显卡才能部署吗？还是说现在根本就用不了？

4070不随便跑的吗？

我用CPU跑，不仅特别慢，而且跑的时候CPU占用率只有30%，感觉 12核 Intel Core i5-12500H 的潜力没有发挥出来，还可以跑得更快。楼主可以分享一下怎么开多线程吗？

刚好在手头三个平台上测试过，结果仅供参考：
笔记本平台：i5 12210U + 16G内存，因为是在内存跑，16G内存只能跑int4，问个问题可能得十来分钟后才开始有响应，没有使用价值。
淘汰服务器：E5 2680v2，10核20线程，32G内存，速度大概在5秒/字，跟我妈打字速度有一拼，只能说能跑，但基本不可用。
洋垃圾平台：E5 2680v4，14核28线程，32G内存，速度大概能到1秒/字，稍慢于正常人打字的速度，对我来说，属于将将能用水平。
洋垃圾平台上还插了张nvidia p100的计算卡，16G显存，如果用p100跑的话，基本上能做到秒回，不带一点拖泥带水的，比使用文心一言还快

才发现是4月的帖子，不知道楼主自己试出结果来了没有。40核速度我觉得速度应该可以接受吧，我观察过，貌似回答的时候，会有一半的核心跑满，不会所有核心都参与，CPU整体利用率在60%左右

借楼求助。这种情况下一步要怎么弄呢？没有对话窗口

双路E5 2696V3，6B-32k的回复像崩豆一样，一秒一两个词。

我为跑6b模型，专门买了台Dell的r720，e5-2670v2*2，128g内存，运行成功，但是CPU和内存占用极低，问话后风扇开始狂转，5～10秒钟开始回答，回答时差不多一秒一个字词，而且感觉答案很粗糙，不好用，可能应该加个m40或者p40，用gpu跑应该会好些吧