背景 最近生成式AI,chatgpt 已经火到不能在火,但是在国内存在网络问题以及费用(如何缴费)等等问题,一直断断续续的在使用,最近发现llma.cpp项目很火,能在普通的设备上运行。虽然效率不太高,但是能满足基本要求。 搭建 服务器我使用的centos 7,内存划分48G,CPU分配了24核。 …
Leave a Comment还有点梦想的IT工程师
背景 最近生成式AI,chatgpt 已经火到不能在火,但是在国内存在网络问题以及费用(如何缴费)等等问题,一直断断续续的在使用,最近发现llma.cpp项目很火,能在普通的设备上运行。虽然效率不太高,但是能满足基本要求。 搭建 服务器我使用的centos 7,内存划分48G,CPU分配了24核。 …
Leave a Comment