感觉现在开源的速度已经疯了。。。
@Kimi_Moonshot 家的K3开源才两天,已经被@UnslothAI 干到能在Mac Studio上跑了🤯!!!
2.8万亿参数的模型,原始大小1.56T,
他们用动态1-bit量化,直接压到594G,缩了62%,
还保留了78.9%的精度,
128G内存的Mac Studio就能跑,
虽然速度不快,但它真的能跑。
谁能想到半个月前,这个级别的模型还只有大厂有算力碰,
现在我们在家,在自己的消费级电脑上,就能跑全球最顶尖的开源大模型了,damn!
权重放出来48小时,量化、适配、教程全给你整完了,
Unsloth这速度,真的离谱。
不得不说这就是开源最恐怖的地方啊,
模型放出来第一天,
全世界最聪明的工程师都在帮你压体积、提速度、做适配,
闭源模型,永远享受不到这个待遇。