大家好,新人请教个问题,大家用什么显卡聊天回复速度如何？【chatglm吧】

chatglm吧关注：282贴子：448

我是4070 回复的好慢啊...
另外请教回复速度这个问题和核心（显卡）有关？还是显存大小或显存带宽有关？

送TA礼物

IP属地:北京

1楼2023-08-28 17:31回复

使用量化模型6G以上8G以下用int4
8G以上12G以下用int8
13G以上用FP16/BF16

IP属地:安徽

来自Android客户端2楼2023-09-08 23:22

收起回复

我4060Ti16G显存秒回，几乎没感觉要等待。

IP属地:广西

来自Android客户端3楼2023-09-23 10:01

收起回复

我用的秋叶的整合包,没有强制更新,已更新就打不开了.不知道是不是因为这个原因.

IP属地:北京

4楼2023-09-28 08:26

我的老机器，1070显卡，8g显存装int4的GLM2，短问题也基本上马上回，一秒出十几个字的样子。不爆显存应该就这样才正常吧。

IP属地:上海

来自Android客户端5楼2023-10-05 16:38

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴