Ai çip kendi çipini sıfırdan tasarladı

[Fikirleriolanadam]

Öncelikle sıfırdan reposunu atayim (45 nm node, 100mhz) : https://github.com/MoonshotAI/nano-kpu
buda anlatan adam: https://www.linkedin.com/posts/kim-...ntelligence-activity-7483903512251101185-EaBS

**Kimi K3'ün nano-kpu Çipinin Özeti**

Kimi K3, bu repoda yapay zeka çıkarımı için özel bir çip tasarlamıştır. Çip, genel amaçlı CPU’lar gibi değil, yalnızca yapay zeka matris işlemlerini donanımsal olarak hızlandırmak için üretilmiştir. Verileri **INT4 group-128** ile sıkıştırır, **INT4 MAC** dizisiyle milyarlarca çarpımı donanımda çözer ve simülasyonda **8.700+ token/s** hıza ulaşır.

Mimari olarak dört ileri algoritmayı donanıma gömer:
- **KDA (Kimi Delta Attention)**: Uzun metinlerde hafıza darboğazını önler.
- **NoPE MLA**: KV önbelleğini neredeyse sıfırlar.
- **Sigmoid-Routed MoE**: Soru tipine göre en iyi iki uzmanı ve ortak uzmanı seçerek enerji tasarrufu sağlar.
- **Attention-Residual Mixing**: Doğruluğu maksimize eder.

Çalışma protokolü basittir: **RUN 0x1** komutu ve 128-bit DRAM üzerinden veri alır, token-by-token işler (ROM’daki Sigmoid, Rsqrt gibi fonksiyonlarla), bitince **DONE 0xD0DE** sinyali gönderir.

Çipi tasarlarkenki her aşamayı kendisi yürütmüş, cadance gibi paralı yazılımlar yerine opensource projelerle similasyonda 8.7k token üretebilen ai hızlandırıcı yazmış Üstelik bu ai modelinin ağırlıkları open weight paylaşıldı yani eğer devasa işlem gücüne sahip firmanız varsa localde çalıştırabilirsiniz. Hatta bazı şirketler 1k 2k kadar ai'yi birleştirip işleri paylaştırıyormuş.

Bu arada bu model, bazı ülkelerdeki ai ve çip değerli borsaların düşmesine neden oldu. Bunun haricinde gördüğüm kadarıyla mühendislik işlerinde

• 3d tasarım
• robotik,
• pcb (basit kaçtı)
• vb(yazılım, oyun, finans, analiz/araştırma, karmaşık uzun işleri))

başarılı bi model, 2.8 trilyon parametreli ve görsel algılaması ile kendi sonuçlarını kendisi düzeltebiliyor. Bu tarz ai'lerle mühendislik daha özgürleşebilir. Küçük bi ekip hatta tek bi kişi bile büyük projeler yapabilir. Sizin fikirleriniz neler?

 

[deleted]

Öncelikle sıfırdan reposunu atayim (45 nm node, 100mhz) : https://github.com/MoonshotAI/nano-kpu
buda anlatan adam: https://www.linkedin.com/posts/kim-...ntelligence-activity-7483903512251101185-EaBS

Çipi tasarlarkenki her aşamayı kendisi yürütmüş, cadance gibi paralı yazılımlar yerine opensource projelerle similasyonda 8.7k token üretebilen ai hızlandırıcı yazmış Üstelik bu ai modelinin ağırlıkları open weight paylaşıldı yani eğer devasa işlem gücüne sahip firmanız varsa localde çalıştırabilirsiniz. Hatta bazı şirketler 1k 2k kadar ai'yi birleştirip işleri paylaştırıyormuş.

Bu arada bu model, bazı ülkelerdeki ai ve çip değerli borsaların düşmesine neden oldu. Bunun haricinde gördüğüm kadarıyla mühendislik işlerinde

• 3d tasarım
• robotik,
• pcb (basit kaçtı)
• vb(yazılım, oyun, finans, analiz/araştırma, karmaşık uzun işleri))

başarılı bi model, 2.8 trilyon parametreli ve görsel algılaması ile kendi sonuçlarını kendisi düzeltebiliyor. Bu tarz ai'lerle mühendislik daha özgürleşebilir. Küçük bi ekip hatta tek bi kişi bile büyük projeler yapabilir. Sizin fikirleriniz neler?

Bilgin yok ne fikir yürütüyorsun diyebilirsiniz.
Var olan işlemciler ile tasarladığı işlemciler arasında fark yoksa ona tasarlamış denilmez.
Kopya çekmiş denilir.
Var olan işlemcilerin hangi sorunlarını çözmüş mesela?

 

[Fikirleriolanadam]

Bilgin yok ne fikir yürütüyorsun diyebilirsiniz.
Var olan işlemciler ile tasarladığı işlemciler arasında fark yoksa ona tasarlamış denilmez.
Kopya çekmiş denilir.
Var olan işlemcilerin hangi sorunlarını çözmüş mesela?

Hocam ai modellerinin tamamının beyinlerimizin oluşturduğu bağlamların sözel çıktılarını matematiksel taklit ettiği kanaatindeyim bende. Ama burdaki ai'ın başarısı: hedefdeki nano modelin çalışması için gerekli yapay zeka makalerindeki (yeni çıkmış) teorik içerikleri (KDA ,NoPE MLA,Sigmoid-Routed MoE, Attention-Residual Mixing) alıp, bunları fiziksel olarak çalıştırabilecek hdl koduna kendi başına döküp kendi test senaryolarını kendi yazıp test etmesi. Ve evet fark var çünkü yeni fikirleri hdl'e döküp test etme senaryolarını kendi yazabilmiş, dünyada başka örneği yok bu algoritmalara sahip çipin. Ama tabiki ne derece kullanışlı olduğu tartışılır... sonuçta 48 saatte yapmış olduğu için daha derin neler yapabilir bilemiyorum ve bu projede floorplaning yapılmamış örneğin.