chatglm吧 关注:282贴子:448
  • 3回复贴,共1

chatglm3-6b在centos服务器启动,求助大神

只看楼主收藏回复

我运行python cli_demo.py去加载模型,到43%就会自动killed,有大神知道怎么解决嘛


IP属地:北京1楼2023-11-16 15:29回复
    服务器显卡是4060ti的8G版本,已经开启了模型量化


    IP属地:北京2楼2023-11-16 15:31
    回复
      广告
      立即查看
      内存不足?


      IP属地:湖北3楼2023-11-17 12:52
      收起回复