懒猫算力舱
作为一个忍不住折腾的选手,之前一直是自己组装 NAS,直到去年机缘巧合购买了懒猫微服尝鲜, 用了一段时间后发现确实好用,而且架不住过度豪华的客服团队,懒猫微服也成了主力 NAS, 于是一方面为了自己使用方便,一方面眼红老王(懒猫团队的CEO)的红包,提了一些意见,也帮忙做了一些小贡献。 没想到老王竟然给我寄来了一台算力舱作为感谢。收到包裹的时候,还是有点激动的, 上手体验之后,也确实是超出预期。
不得不说老王的字写得还挺好的,
开箱体验
打开包装的瞬间,第一感觉就是包装真的很用心。 之前就有听老王在群里一直说花了很大力气设计包装和算力舱,实际上手的厚重感和严丝合缝的感觉,可以说是用料丰富版的苹果包装。 机器本身的工业设计也相当不错,金属外壳的跑车形态给人一种专业设备的感觉,配合懒猫微服的整体风格,确实是一个很不错的组合。
这台算力舱的核心是基于 NVIDIA Jetson 平台,有原生的 CUDA 支持, 而且和 Apple Silicon 一样,有 64GB 的统一内存,对于AI模型推理来说,大内存就是真理,先不说跑的快慢,内存大小首先决定了能不能跑起来。
实际体验
从我的 GitHub 的记录就能看出来,我现在的日常开发已经把重心放在了 TabbyML/tabby 和 TabbyML/pochi 上,这两个项目都是开源 AI 编程助手, 作为一个 AI 项目的开发者,拥有一个相对低功耗、独立的本地算力方便得多, 以前都是在我的 mac 上面跑,但是 mac 也是我的主力开发机,跑模型就会把负载拉起来,影响到我日常的开发,所以只能是在需要的时候打开,用完就关掉。 现在直接常驻几个本地 AI 模型,随时要用都能直接接入。
我现在日常使用的是 Qwen3 30B-A3B 模型,在智商和推理速度上找到了一个不错的平衡点,速度大概在 30+ Token/s,输出的内容基本也够用。 日常的测试、日常浏览网页时总结,翻译这些任务,它都能很好地胜任, 当遇到需要更强推理能力的场景时,我会切换到 Qwen3 32B,虽然速度会慢一些,大概是 5 Token/s,但是在复杂推理上确实会更聪明一些,少很多幻觉。
我知道效果肯定不如 ChatGPT,Gemini,但是胜在不花钱啊,虽然电费还是要算上就是了。 而且在一些涉及个人隐私的项目和数据整理工作,本地模型的优势就很明显了, 不用担心数据泄露,我自己平时的个人和家庭的信息记录,用 Beancount 记的账, 之前都不敢给在线的模型,现在就可以放心地聊了,用来生成报表,分析消费,生成 Beancount 账单都很方便。
另外算力舱还有图片生成,视频生成的能力,但是说句实话,我目前也就玩了一下,没太正经用,就不过多评价了。
算力舱 + 懒猫微服
算力舱配合懒猫微服使用,可以说是完美替代了我之前 Tailscale 的方案。 通过懒猫微服的内网穿透能力,我可以随时随地访问到家里的算力舱,而且也不用再操心 Headscale 的部署和 tailscale 的维护了。 虽然我知道这个能力主要还是归功于懒猫微服,但是和算力舱结合之后,体验真的很棒。
更重要的是,懒猫微服还提供了 server 端的客户端支持。 结合算力舱的算力和内网穿透能力,我的原本云主机立马就变成了一台算力机。 现在我可以在云服务器上部署一些需要 AI 算力的公网服务,而实际的推理计算都在家里的算力舱上完成, 不用再为了偶尔要用的 AI 算力去买云服务器了,而且还能保证数据的隐私性。
缺点
当然,作为一个相对新的产品,算力舱也不是完美的。首先是软件集成度相对还不够完善,很多应用也刚在初步完善的过程中,毕竟还在发售初期,这个可以理解。 对于小白用户来说,可能会有一定的上手复杂度,不过对于开发者来说,这些都不是问题。 值得一提的是,客服团队真的很靠谱,CEO 亲自带队做客服,工程师直接多对一服务,遇到问题都能很快得到解决,这在一定程度上也能弥补软件成熟度的不足。
还有就是使用时风扇声音比较大,基本干起活来,就能听到风扇的声音,所以我现在都是把它放在杂物间里,看不见也就不操心了。
另外,算力舱最好还是配合懒猫微服一起使用,单独使用的话估计就是一台低功耗 AI 主机,体验肯定是差很多的。
说到算力,虽然对于日常使用来说已经够用,但看到最近发布的 Jetson Thor 还是很口水的。 不过 Thor 的价格实在是高得离谱,还是继续观望比较理性,而且开源模型们都还很给力,希望后面这些小模型智商也能更高一些,用起来就更好用了。
总结
整体来说,懒猫微服+算力舱的体验确实超出了预期。从懒猫微服开始接触这个团队,到现在体验算力舱,一路下来确实感受到了团队的用心和专业。 特别是客服体验,CEO 带客服,工程师直接对话,不用绕来绕去,简单直接。这种服务方式在现在的互联网环境下真的很难得,体验感直接拉满。
对于需要本地AI算力的开发者来说,特别是关注隐私和成本的场景,算力舱确实是个值得考虑的选择。 虽然不完美,但在这个价位上,确实很难找到更好的替代品了, 我都不敢想象搭一台 64G 显存的机器放家里长期开着是多么奢侈的一件事。
从懒猫微服到算力舱,确实是物超所值。