Ktransformers

Ktransformersは、性質の異なる大規模言語モデルの推論とファインチューニングを最適化するためのフレームワークです。アーキテクチャごとに手を入れる場所が違うため、複数のアーキテクチャを同じ枠で扱いながら、最適化の方針は利用者が差し替えられるようになっています。狙うのは、すでに走らせている処理から計算オーバーヘッドを削ることです。学習そのものには関与せず、学習済みのモデルをどう動かすかだけを扱います。