今天晚上折腾的内容之安卓手机本地运行大模型聊天ai

四级用户 kjaboshopainmw 8月前 960

首先,github上几乎所有的apk图形化本地大模型软件我都试了,都不能用,不是没有教程不知道使用方法就是输出完全混乱或者根本不能启动

为了少走弯路,建议直接用termux编译llama.cpp

首先你需要安装tmoe天萌容器管理器,并在里面安装Ubuntu

然后启动Ubuntu

然后懒得多打字了,自己看吧


Screenshot_2024-03-30-20-28-24-44_84d3000e3f4017145260f7618db1d683.jpg

你需要gguf格式的模型,huggingface可以下载

然后用手机浏览器打开这个网址,中文模型记得把默认角色改下。这里因为模型太小了(才1.8b),所以还是在胡说八道。高通695性能还行

Screenshot_2024-03-30-20-23-48-32_9c7ad408470e52983cc8816adf9ff347.jpg


上一篇:撞车后续
下一篇:NDSi居然无法认出EZP,好奇怪呀
最新回复 (2)
  • 四级用户 kjaboshopainmw 8月前
    0 2

    高通695最高能运行这个,再高就卡爆了

    Screenshot_2024-03-30-21-13-33-47_83ab3b20d3fba5c9c905d050db1f8de3.jpg

  • 四级用户 kjaboshopainmw 8月前
    0 3
    顶,双大核心手机记得把线程数设置为2
    • 老男人游戏网配套论坛
      4
        立即登录 立即注册
发新帖
本论坛禁止发布SWITCH和PS4相关资源,若有其他侵权内容,请致邮3360342659#qq.com(#替换成@)删除。