Jan 是一个开源的本地运行大模型并进行AI聊天对话的工具，旨在帮助用户在本地电脑上安装、部署、运行开源版本的ChatGPT替代大模型，如LLaMa、Mistral、Phi等20多个模型，并且能在本地提供一个兼容 ChatGPT API 协议的 Web 服务。它支持在Windows、Mac（英特尔、M1/M2/M3）和Linux等操作系统上运行，并且提供了简洁易用的聊天界面，用户可以直接在本地与开源大模型进行快速对话聊天。目前的缺点就是强制安装在 C 盘，对于 C 盘空间不足的朋友可能不太友好。
- 官网：https://jan.ai
- GitHub：https://github.com/janhq/jan
功能特点
- 本地运行开源大模型：支持多种模型，如LlaMa、Mistral、Phi-2等，并可手动导入或从模型库下载。
- 简洁的聊天界面：界面清爽简洁、直观易用，便于用户与大模型进行对话。
- 跨平台支持：适配Windows、Mac、Linux等多种操作系统，并可通过llama.cpp进行GPU加速。
- 内置API服务器：与OpenAI API兼容，可通过API获取模型信息、下载、启动、停止模型及聊天等。
- 持续开发中：后续将支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。
使用案例
用户可以通过访问Jan的官网（jan.ai）下载对应的操作系统版本并进行安装。安装后，在软件界面的左下角可以选择并下载所需的模型，随后在对话界面输入描述即可与选择的模型进行对话。
评论