我是4070 回复的好慢啊... 另外请教回复速度这个问题和核心（显卡）有关？还是显存大小或显存带宽有关？

No module named ‘huggingface_hub.inference..一直在报错这个，用了指令升级到需求版本也还是会报错

写一篇小说，发到这一章的时候直接终止话题，我试了几次到这里都会终止，我单独发了这一章后，同样也是整终止，这也太坑了吧。 顺便说一下，我第一次写的时候这一章是正常的，再最新一章给终止了，重新发的时候到了这一章就会终止。。。 太扯淡了。。

请教一下吗训练能跑起来checkpoint-1000这类名字的文件也会出来，但是进度条跑到100%后卡上短时间会报错TypeError: ChatGLMForConditionalGeneration.forward() got an unexpected keyword argument 'output_ids'用的是GLM4官方给的配置文件

为什么chatglm-6B只能识别到我的gt 720不能识别到p40。求解决办法。（我试过禁用720但是那个链接还是打不开）

运行起来之后 然后输出提交显示error 控制台提示

为什么我的4060 8g显存。16g内存。显卡占有率满了跑glm3量化4还是很慢啊。十秒一个字的样子

用onebot让glm接上qq，但无论怎么样它都说自己是机器人，有没有大佬能给点思路怎么让glm有人格或者角色设定，并且能记住给的设定？

如题。

想用LLM用于图节点的特征融合加强，将已有的模型得到的特征与LLM得到的特征融合加强后再进行任务的分类判断 小白请问各位大佬 应该如何实现orz

击穿梦想，想要在个人电脑实现最最强大脑，最佳的办法就是用别人的云服务器，哪怕仅是文本处理的模型，也都需要16-32GB显存，最多可达几百G的内存

用的是B站的一键包，选择了02启动项之后这个网址不可用怎么解决？想尝试用CPU跑一下。

七月LLM与langchain/知识图谱，楼主＼/（）[图片]

我也在电脑上本地部署了很多AI了，虽然都是WINDOWS系统，我git HUB上面下载的，啊，但是本少爷我下一个目标就是chat glm，顺便搞个吧主的位置坐坐各位有什么部署上的问题可以问我，我帮你们问gpt 4

怎么chatglm 修改logo 呀

各位大佬们，请问使用ptuingv2微调chatglm时epoch怎么计算的

求助大佬，如果想用chatglm实现文生图或者语音转文字功能是要调用其他模型的API吗，chatglm3的工具调用功能也是通过调用API来实现功能嘛

rt比如m40显卡，只支持fp32，好像还有fp64，然后12g显存，可以跑嘛，好像INT8 INT4都没有

提示OSEerror怎么办家人们

chatglm2-6b 正常加载 torch.cuda.is_available() true 但是提问的时候报错： AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf' 有大佬遇到过这样的问题吗?求教怎么解决啊！

git clone https://modelscope.cn/ZhipuAI/chatglm2-6b.git 用这个命令不对 有大佬知道怎么下载吗

类似于这样的链接应该怎么用，git clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git网页链接

到现在为止全网找不到一个用多核服务器运行对话机器人的视频，我想知道40核80线程的运行效果，有没有大神

最近打算整一台主机微调glm3和70B玩 预算比较紧张看来看去感觉mi50比较合适 但是70B要40GB显存，多卡的话不知道mi50支不支迟. 大佬们有什么更合适的显卡推荐吗

本人反复验证，git clone https://huggingface.co/THUDM/chatglm2-6b的模型克隆下来是没有ice_text.model。到2023年9月5日为止。 所以在ChatGLM2-6B目录下执行：python web_demo.py。是会报RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto->ParseFromArray(serialized.data(), serialized.size())]的错误的。请问一下各位大佬有没有遇到过这样的问题，如何解决？

大佬们，在Win10上部署了chatGLM-6b-int4，web_demo能打开，但是却显示不了回复内容是为什么呢？虽然能运行但还是会报错

有需要的拿去，别忘记star：https://github.com/xlzhen-940218/Ubuntu-AMD-ROCM-ChatGLM3

求各位大佬指点，顺便问一下，本地部署的glm是不是不用联网也可以运行

Chinese-LangChain 说有网络搜索功能，不过要12G显存，我只有8G就没弄 ChatGLM-6B-Engineering能搜索贴吧知乎新闻等，但是没有教程，我部署遇到一些问题.... 大家有没有用过一些联网的功能啊？

从modelscope下载模型后，model_path已经修改，但是执行后没有响应， Loading checkpoint shards: 100%|██████████| 7/7 [00:25<00:00, 3.68s/it] 进程已结束，退出代码为 -1073741819 (0xC0000005) 大佬可以支支招嘛

我运行python cli_demo.py去加载模型，到43%就会自动killed，有大神知道怎么解决嘛

只起一个ChatGLM进程，处理请求只能一个个排队处理吗？

正在探索通过实时对话训练CHATGLM，让它成为真正的学习型AI，感兴趣的同好们可以加QQ群：16353708

ChatGLM-6B 在一定条件下具备较好的对话与问答能力。

运行好了之后，网站可以打开，可是没办法发出消息

我有一张rtx2060super和一张gtx1660

做客服系统微调

我使用的是autodl云，24g，15核，微调完变成知识库问答，问题要和训练集问题完全一致才会回复。。问差不多的变成胡说八道了。。。还有都说在com什么-Demo里面修改微调模型路径，可以运营main.py在那个UI界面使用，我的com什么什么_Demo是个文件夹，怎么修改。。。名称忘了 拜托大佬们指教一下

这里先是CMD反馈的报错代码 2023-11-15 22:24:08.356 Uncaught app exception Traceback (most recent call last): File "D:\openai.wiki\ChatGLM2-6B\ENV\lib\site-packages\streamlit\runtime\caching\cache_utils.py", line 264, in _get_or_create_cached_value cached_result = cache.read_result(value_key) File "D:\openai.wiki\ChatGLM2-6B\ENV\lib\site-packages\streamlit\runtime\caching\cache_resource_api.py", line 500, in read_result raise CacheKeyNotFoundError() streamlit.runtime.caching.cache_errors.CacheKeyNotFoundError During handling of the above exception, another exceptio

本地部署ChatGLM2-B-int4时出现如图错误

就收几元一小时吧

提示如下： OSError: D:\ChatGLM2-6B does not appear to have a file named config.json. Checkout 'https://huggingface.co/D:\ChatGLM2-6B/None' for available files. 求助大佬怎么解决。 I7 9700 16G内存 4060Ti 16G显存 运行全部信息如下： D:\ChatGLM2-6B>cd chatglm D:\ChatGLM2-6B\chatglm>python.exe ../web_demo.py Traceback (most recent call last): File "D:\ChatGLM2-6B\web_demo.py", line 5, in <module> tokenizer = AutoTokenizer.from_pretrained("D:\ChatGLM2-6B", trust_remote_code=True) File "D:\ChatGLM2-6B\chatglm\lib\site-packages\tra

如图，设置了model_path 但是运行openai_api.py 的时候还是要去抱抱脸下载也找不到config.json。 模型是魔搭下载的完整代码。是还需要在哪设置路径吗？ 另附一张目录结构。那位大佬帮看看 是咋给回事

跟着好几个视频和官方的快速上手试了半天，总是报错