PocketPal是一个功能非常强大的人工智能工具,提供专业的AI模型,让用户能够随时在线进行对话和互动。通过轻松的在线问答,您可以在这里获得各种问题的解答,同时也支持多种不同AI模型的添加,以便于实现更顺畅的对话体验,并随时进行对话设置。
1、访问本站进行下载,打开软件后点击Models,点击+号,然后通过Hugging Face搜索大模型。
2、建议下载名称中带有Q4_NL(4位量化 normal 压缩)的模型,能够提供更精准的回答。
3、简单说明一下部分量化标识的命名规则:NL代表在精度与速度之间的平衡(Normal)、M代表中等优化(middle)、XS表示极致压缩(Extra Small)、K表示极限压缩(K-special),Qx则是量化位数(手机上最佳使用Q4)。
4、在模型加载完毕后,在设置中将N PREDICT调整为4096。如果有任何问题,请在评论区留言,我会尝试帮助解决。
下载模型
点击汉堡菜单
PocketPal AI本地大模型
进入“Models”页面
选择您想要的模型并点击下载
PocketPal AI本地大模型
加载模型
下载完成后,点击 Load 将模型导入到内存中。现在您就可以开始聊天了!
1、支持随时在线运行,为用户提供流畅的对话服务。
2、确保用户享有更高质量的AI对话体验,自信地进行在线交流。
3、系统在后台自动管理内存,通过卸载不活跃模型来最大化性能。