Ktransformers

Ktransformers는 성격이 제각각인 대형 언어 모델의 추론과 파인튜닝을 최적화하는 프레임워크입니다. 아키텍처마다 손봐야 할 지점이 다르기 때문에, 여러 아키텍처를 같은 틀 안에서 다루면서 최적화 전략은 쓰는 사람이 바꿔 끼우도록 열어 두었습니다. 겨냥하는 결과는 이미 돌리고 있던 작업에서 계산 오버헤드를 덜어 내는 쪽입니다. 학습에는 관여하지 않고, 학습이 끝난 모델을 어떻게 돌릴지만 다룹니다.