2026-09-16 · 来源：{'name': 'InfoWorld', 'url': 'https://www.infoworld.com/article/4218328/how-to-get-better-results-from-local-llms-with-ollama.html'}
在笔记本电脑上运行的开源权重模型,如今在一个数月前还能让本地工具全军覆没的智能体编程基准上拿到90%的分数,而 Ollama 已成为运行这些模型的热门方式。
据 InfoWorld 对 Ollama 运行时的分析,那些在早期失望之后就对本地部署大语言模型不抱期望的开发者,或许值得重新审视一番。这一转变极为鲜明:Posit 高级软件工程师 Simon P. Couch 今春在 Bluesky 上指出,就在几个月前,他能在 MacBook 上运行的所有大语言模型,在他自建的智能体编程评测中得分均为 0%。而据他报告,今年4月发布的 Qwen 3.5 和 Gemma 4,在同一测试中都达到了 90%。
密切关注 AI 行业的开源开发者 Simon Willison,在今年5月 PyCon US 2026 的一场闪电演讲中也表达了类似观点。他观察到,虽然笔记本电脑上可用的模型远逊于前沿水平,但其表现已开始大幅超出预期。不过警告依然成立:在笔记本上运行的模型仍无法匹敌 Anthropic 或 OpenAI 在云端提供的最先进系统。但对于界限清晰的任务——回答编程问题、编写函数或总结文档——本地模型的能力可以出人意料地强。
在众多本地运行模型的途径中,Ollama 以流行度和易上手而脱颖而出,尽管它并非速度最快的选择。它的集成生态十分广泛:Visual Studio Code、JetBrains AI Assistant、Zed 和 Posit Assistant 等主流编程工具都开箱即用地支持它。Ollama 还可以启动 Claude Code 或 Codex,并可将这些编程智能体指向本地大语言模型。
Ollama 并非唯一选择。在 PC 或 Mac 上运行本地模型的其他方案包括 LM Studio、Jan、Unsloth、Simon Willison 开发的 LLM 工具以及 llama.cpp。对于正在权衡设备端推理能否承接日常编程与文档总结工作负载的组织来说,业内的共识是:桌上现成的硬件,如今或许已经跨过了它几个月前还无法企及的门槛。
萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅