请问3060ti能用的最好的本地模型是什么？【sillytavern吧】

sillytavern吧关注：4,145贴子：6,946

24回复贴，共1页

请问3060ti能用的最好的本地模型是什么？

RT，主要用于瑟瑟，偶尔用于跑团。
目前用8b左右比较流畅，13b也能用，但是回复很慢。
主要感觉现在用的ai不会主动发散，只会对我提到的内容进行回复，不会根据逻辑主动引入对话中没有具体出现的东西。
另外请问下如果想升级显卡跑ai的话，预算5000有没有好选择？

送TA礼物

IP属地:北京

来自Android客户端1楼2025-04-09 00:35回复

我们吧吗？我的建议是抓gemini的API或者ds的API，8b13b的真的不太行，这些大模型的API便宜乃至不要钱，真的比本地部署好多了

IP属地:湖南

来自Android客户端2楼2025-04-09 00:44

收起回复

3060ti的显存是8gb吧？saiga nemo12b的q4量化可以试试，瑟瑟效果不错，但是跑团的话智商就跟不上了

IP属地:广东

来自Android客户端3楼2025-04-09 11:41

收起回复

22g显存的2080ti，一张2k5。
16g显存的 tesla v100，2k以内最强计算卡，听说绘图速度爆杀3080ti？反正肯定比2080ti强
看别人的双卡v100，32g显存，跑32bq4，26～28tok/s
5k的话，刚好v100有32g版本，不算sxm转接板刚好就是这个价。但是我感觉不如2张魔改2080ti，双卡44g显存。
不过这种卡风险都比较高

而且你的主板还得有多个PCIE槽，我感觉你买一张2080ti就够用了，直接插双卡，或者换张更大的主板和电源，剩下的这点钱再往上真的提升不大了，没有什么大显存的好卡可以选了

IP属地:广西

来自Android客户端4楼2025-04-09 11:44

收起回复

建议先用api，感觉现在ai发展有点猛，先稳定看明年再说

IP属地:广东

来自iPhone客户端5楼2025-04-09 12:48

8G的话试试LatitudeGames/Wayfarer-12B的合并，比如redrix/GodSlayer-12B-ABYSS
或者最新的gemma3，ToastyPigeon/Gemma-3-Starshine-12B

IP属地:四川

6楼2025-04-09 14:16

收起回复

本地模型我最喜欢的是这个。好用，生成速度也快
QuantFactory/Captain-Eris_Violet-V0.420-12B-GGUF

IP属地:广西

来自Android客户端7楼2025-04-09 16:21

收起回复

why not api

IP属地:山东

来自Android客户端8楼2025-04-10 19:03

gemma3 deepseekr1 14b都不大行。更多开源模型不太清楚。跟大模型差太远。本地部署优势是有无审核版。api聪明要破甲。

IP属地:广东

来自Android客户端9楼2025-04-11 22:31

gemma3

IP属地:河南

来自Android客户端10楼2025-04-13 01:54

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

贴吧热议榜

24回复贴，共1页

<返回sillytavern吧

发表回复

发贴请遵守贴吧协议及“七条底线”贴吧投诉

内容:

使用签名档查看全部

发表

保存至快速回贴

日	一	二	三	四	五	六

请问3060ti能用的最好的本地模型是什么？

登录百度账号

扫二维码下载贴吧客户端