PocketPal

PocketPal无需网络连接，直接在iOS和Android设备上运行量化语言模型，实现智能问答与交互，离线环境下也能快速给出准确响应。支持Danube2/3、Phi、Gemma2、Qwen等多款开源模型，可自由下载切换。所有对话与数据全程本地处理，不会上传外流，保障信息安全。可调整系统提示词、温度、BOStoken、对话模板等推理参数，适配不同使用场景。

PocketPal本地ai大模型加载方式

1、下载安装并打开软件，首先点击“下载模型”按钮。

2、比如可以下载到谷歌ai大模型Gemma，阿里通义千问的大模型Qwen等。

3、然后点击右下角的添加按钮。

4、模型加载后设置完成后可进入设置界面进行相关设置，设置完成后即可进行诸如随时随地与模特进行私密的离线对话等相关操作。

PocketPal的使用教程

1、进入模型页面，点击展开支持直接下载的模型，找你喜欢的模型点击 Download 按钮直接下载。

2、这里我个人推荐中文用户选用阿里的 Qwen2.5-3B-Instruct(Q5 KM) 模型，大小为 2.44 GB。

3、除了上面那些模型外，也可以点击加号按钮，从 Hugging Face 搜索下载或者从本地添加。

4、下载完成后，顶部Readytouse下面就展示出该模型。

5、点击Load加载模型，会跳转到聊天界面，展示出Loadingmodel状态。

6、然后就可以与其进行对话了。

7、字工作测试完，我发现App有一个Benchmark（基准测试）功能，就跑了一下。测试过程中需要保持手机亮屏（iOS熄屏会限制App活动），整个测试花了3分钟16秒，电量掉了2%.基准测试结果显示生成速度也是10.52t/s,跟我使用中的差不多。

8、给基准测试结果一个大图：

PocketPal的常见问题

1、PocketPal支持哪些AI模型？

回答：支持多种GGUF格式的AI模型，可通过HuggingFace集成功能搜索和下载。

2、如果在下载模型时遇到网络问题怎么办？

回答：检查网络连接，确保网络正常，也可尝试更换网络环境或稍后再试。

3、PocketPal是免费的吗？

PocketPal是免费提供给用户使用的，用户无需支付任何费用即可下载安装并使用其各项基础功能，包括离线聊天、模型下载等。

PocketPal的更新日志

v1.11.21版本

改进的聊天管理：批量删除和导出聊天记录

更好的视觉模型控制：可配置的图像令牌限制

新增印尼语

修复错误