2023-12-18 14:54
分享阿里通义千问1.8B超迷你大模型离线包，5年前的老电脑也能跑，下载收藏解压即玩
我最近，对小尺寸AI大模型比较感兴趣。
之前国内外科技公司在大模型领域，一般是不断增加模型参数来增强模型能力，从7亿、13亿、70亿甚至200亿以上，确实越来越强，但这也会让大家自己家的电脑基本跑不动。
近期，微软发布了只有2.7亿参数的Phi-2大模型；12月初，阿里也发布了只有1.8亿参数的通义千问超迷你大模型。
这些小尺寸的大模型，不但在性能评测上，超过了一些7亿甚至13亿参数的大模型，而且因为尺寸小，基本都可以在3G以下显存甚至CPU模式下快速运行，这样一来，5年前的老电脑也可以玩了。今天分享一个通义千问1.8B超迷你大模型的懒人包，赶快随我去看看吧~
Qwen系列，现在包括Qwen基础语言模型，即Qwen-1.8B，Qwen-7B，Qwen-14B和Qwen-72B。以及Qwen-Chat聊天模型，即Qwen-1.8B -聊天、Qwen-7B-聊天、Qwen-14B-聊天和Qwen-72B-聊天。
Qwen大模型拥有强大的基础语言模型，针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练，覆盖领域、语言(重点是中文和英文)等，能够实现有竞争力的基准数据集上的性能。此外，还有基于SFT和RLHF(尚未发布)的符合人类偏好的聊天模型，能够聊天、创建内容、提取信息、总结、翻译、编码、解决数学问题等，并且能够使用工具，扮演代理，甚至扮演代码解释器等。
而今天介绍的Qwen-1.8B大模型，只需要2.9GB的显存即可运行，换句话说5年前的显卡都可以玩，赶紧下载懒人包，在本地拥有一个AI助手吧~
老规矩，大家自行在本地部署比较麻烦，已经为球友大家制作好了一款离线整合包了，下载到本地解压即用。
大家下载解压到本地。
①双击“一键启动-Qwen_1.8B.exe”。
②双击一键启动程序后，会打开一个命令提示窗口，项目会自动运行。加载成功后，请自行复制以下网址在浏览器打开“ http://127.0.0.1:8000/”。
③打开链接后，可以看到Qwen-1.8B大模型可视化聊天主界面：
界面我已经为大家汉化好了~使用非常简单，可以说是10秒上手:
输入提示词：在“input”区域，直接输入提示词
发送：点击“Submit(发送)”按钮
等待片刻，即可得到通义千问1.8B大模型给你的回复了：
从我自己的体验来看，反应非常迅速，回答也比较靠谱，大家可以自行去尝试一下~
注意事项：
①该项目建议使用英伟达显卡运行，只需要3G显存，CPU也能运行，但偏慢
②请确保安装路径不包含中文，不然可能会引起奇怪的适配问题
今天就聊到这了，我是Glen，感谢你看我的文章，欢迎大家继续支持我，请
点击作者的头像，然后扫码关注我的公众号，并回复【Qwen-1.8B】，免费获得本文资源~
相关文章
近期文章
更多
雷小军
