L
llama.cpp
本地运行大语言模型的推理引擎
访问官网 →llama.app
简介
llama.cpp 是一个开源项目，提供在本地设备上高效运行 Transformer 大语言模型的推理引擎，支持多种硬件平台，包括 CPU、GPU 和 Apple Silicon。它优化了内存使用和计算速度，使个人电脑也能流畅运行大型模型。
适合谁
适合开发者、研究人员以及需要在本地或离线环境运行大模型的用户。
亮点
本地运行，保护隐私跨平台支持高效推理，低内存占用
相关推荐12
C
Claude ★
Anthropic推出可用于多种场景的基础大语言模型
H
HuggingFace ★
致力于构建未来人工智能社区的开放平台
F
FlowGPT ★
汇聚ChatGPT提示语和聊天指令模板的问答社区
A
Arena.ai ★
美国加州大学伯克利分校推出的AI模型评测平台
P
PromptHero ★
汇集Stable Diffusion和MJ艺术提示词的站点
A
Artificial Analysis ★
专注对比AI语言模型和API提供商性能的独立分析平台
A
AIPRM ★
面向SEO和SaaS文案写作的ChatGPT提示词浏览器扩展
提
提示工程指南 ★
帮助用户优化生成式AI模型输入提示词的综合指导工具
P
PromptBase ★
买卖DALL-E Midjourney和ChatGPT等优质提示词的交易市场
C
chatgpt for google插件 ★
在谷歌搜索结果旁同步显示ChatGPT回答的浏览器插件
昇
昇思MindSpore ★
华为自研支持端边云全场景的深度学习训练推理框架
A
Arthub.ai ★
分享AI绘画作品和提示词的艺术图片共享社区