Lewati ke konten
TEKNOIDTEKNOIDTEKNOID
Semua Repositori

Arthur-Ficial/apfel

Kalau kamu pengguna Apple Silicon, Mac-mu sudah punya model bahasa dengan 3 miliar parameter yang tersimpan di disk. Apple menguncinya di balik Siri. apfel membukanya. Ini proyek native Swift yang mem

πŸ“… Status: βœ… Published | πŸ—‚οΈ Kategori: AI Models & Local Inference | ✍️ Kurator: Muh Habibie

Kalau kamu pengguna Apple Silicon, Mac-mu sudah punya model bahasa dengan 3 miliar parameter yang tersimpan di disk. Apple menguncinya di balik Siri. apfel membukanya. Ini proyek native Swift yang membungkus Foundation Model Apple yang berjalan di perangkat menjadi CLI tool dan HTTP server yang kompatibel dengan OpenAI. Tidak butuh API key. Tanpa cloud. Tanpa biaya per-token. Berjalan sepenuhnya di Neural Engine. Hardware-nya sudah kamu punya. Ini tinggal kuncinya saja.

Apfel karya Arthur-Ficia cocok untuk pengguna Mac Apple Silicon (terutama developer) yang ingin menjalankan model AI secara lokal tanpa API atau cloud, mengatasi masalah ketergantungan pada layanan AI berbayar berbasis internet.

β€œUdah nyoba. Hasilnya: menarik, tapi belum siap dipakai serius. Saya kasih skrip LAN-mapping yang sengaja saya rusak. Alih-alih memperbaikinya, dia justru overflow context, kehilangan alur, mulai menjelaskan baris shell satu per satu dengan salah. Dia更像 jadi tutor yang bingung daripada debugger yang beneran. Berguna untuk: menjelaskan potongan kode, mungkin menemukan masalah sederhana. Belum untuk: memperbaiki skrip utuh, mempertahankan struktur, menyelesaikan tugas multi-langkah yang nyata. Tapi tetap menarik untuk lihat ke mana arah teknologi ini.” β€” @mikelawsonmusic

β€œModelnya 3B, tapi dikuantisasi 3-bit (konon) secara seragam, yang jelas-jelas mengurangi stabilitas, prediktabilitas, dan akurasinya (kalau memang dipakai untuk akurasi) cukup banyak. Minimal, kamu butuh LLM yang dikuantisasi ke 4-bit dengan bobot-bobot penting di bit yang lebih tinggi (mis. Q4_K_XL di HuggingFace). Selain itu, sepertinya model LLM milik Apple ini sudah cukup lama tidak di-fine-tune atau dilatih ulang, jadi performanya bisa sangat bervariasi dibanding rilis yang lebih baru seperti Google Gemma 4 1B/2B/4B.” β€” @lilwingflyhigh

Tangkapan layar Arthur-Ficial/apfel 1

Tangkapan layar Arthur-Ficial/apfel 2

Tangkapan layar Arthur-Ficial/apfel 3