大模型本地部署这事儿，说实话，现在真不是只有极客才能玩得转的事儿了。市面上有不少“傻瓜式”的解决方案，像 Ollama 和 Text Generation WebUI（简称 WebUI），用的人越来越多。我这阵子把两个都折腾了一圈，今天来做个真刀实枪的对比，你该选哪一个？

你是不是也刷到过那种“照片说话”的短视频，嘴型居然还能对上声音？别以为这是哪种高级深度伪造，很多其实就是用的 SadTalker。

这个工具不需要你有深厚的机器学习背景，准备好一张照片、一段音频，稍微调调参数，就能把图“复活”。

1 微调 Lora 模型，到底值不值得搞？

一开始我其实对“微调”是没什么感觉的，尤其是在玩 Stable Diffusion 的时候，感觉模型够用，Prompt 写得好就行。但后来想生成一些特定风格人物或者 Logo、私有领域图像，怎么写 prompt 都绕不出来。这时候你就知道：自己训一个 Lora，比在网上翻模型翻到天荒地老要高效得多。

这篇文章是我做 Lora 微调和 Dreambooth 训练的完整记录，我踩了不少坑，但也总结了一套能跑得稳的方案。

1 1. 为什么我开始训练自己的模型？

最初我也只是用别人训练好的模型，但总觉得不够“我味儿”。比如想画点风格化的人设或者动漫头像，总感觉现成模型风格太重、控制力又差。于是就开始折腾微调，一步步从最简单的 Lora 入门，慢慢搞懂了 Dreambooth 的原理和训练流程。

手动盯盘太累，尤其是夜里波动大，白天又要上班。折腾了一套能自动跑起来的系统，现在基本稳定跑几个月了，来整理一下全过程。

1 一、项目初衷：为了解放双手 + 控制情绪

手动交易最大的问题是受情绪影响大，经常一冲动就追涨杀跌。我想要的系统目标只有三个：

1 前言

一直想在本地跑个大模型，比如 LLaMA、Mistral、Gemma 这类。但是以前试过 PyTorch + Transformers，那种装环境、调依赖、调 VRAM、还动不动爆显存的体验……说实话，普通人根本搞不动。

下面是启动ollama serve 后、ollama run qwq:32b 启动的日志。