Ktransformers

不同架構該調的地方本來就不一樣，Ktransformers 的前提就從這裡開始。它是一套用來最佳化異質大型語言模型推論與微調的框架，把多種架構收在同一組介面底下，最佳化策略則交給使用者自己替換。目標是把計算開銷壓下來。它不負責訓練模型，只管既有的模型怎麼跑。