Multiverse Computing'in bir ekibi, bir yapay zeka modelini küçülttü ve nasıl oldu da zeki hale getirdi. OpenAI'nin açık GPT-OSS modeli 120 milyar parametrelerden 60 milyar parametreye küçültülürken, belleği 4-bit'e sıkıştırdı. Ancak küçük model, orijinal modelden daha iyi performans gösterdi.
Araştırmacılar, bu başarının arkasındaki nedeni açıkladı. Küçük modeli, orijinal modelin cevaplarına göre eğittiler ve bu sayede küçük modelin performansı arttı. Bu yöntem, Quantization-Aware Healing olarak adlandırıldı.
Quantization-Aware Healing, küçük modeli orijinal modelin cevaplarına göre eğitmeyi sağlar. Böylece küçük model, orijinal modelin bilgisi ve deneyimlerinden yararlanabilir. Araştırmacılar, bu yöntemin 7 farklı testte küçük modelin performansı arttırdığını gözlemlediler.
Bu keşif, yapay zeka modellerinin geliştirilmesinde önemli bir adım olarak görülüyor. Çünkü küçük ve daha az parametreli modeller, daha az kaynak kullanarak daha iyi performans gösterebiliyorlar. Bu da, yapay zeka teknolojisinin daha geniş bir alanda kullanılabilmesini sağlayabilir.
