Ktransformers

Ktransformers 是一个用来优化异构大语言模型推理与微调的框架。不同架构该调的地方本来就不一样，因此它把多种架构收在同一套接口下，优化策略则交给使用者替换。目标是把已经在跑的任务的计算开销压下来。训练不在它的范围内，它管的是训练完的模型怎么跑。