Microsoft AI Dev Gallery dan Ollama: Uji CUDA di Windows ARM64
ORBITINDONESIA.COM – Uji coba menjalankan model Phi berakselerasi CUDA di Microsoft AI Dev Gallery pada Windows ARM64 berakhir gagal, meski paket Python 3.13 yang tepat sempat terunduh. Kebuntuan terjadi saat dependensi onnxruntime-gpu tidak tersedia untuk lingkungan tersebut, menegaskan jurang antara demo “AI PC” dan realitas kompatibilitas.
Penulis sumber mengikuti instruksi Microsoft di AI Dev Gallery untuk menjalankan model Phi dengan akselerasi CUDA, tetapi prosesnya berhenti di tengah jalan. Setelah beberapa masalah command-line dibereskan, pip memang mengunduh onnxruntime-genai-cuda untuk Windows ARM64, namun instalasi gagal karena onnxruntime-gpu tidak punya distribusi yang kompatibel.
Log juga menyiratkan jalur instalasi CUDA tidak bisa dipakai pada konfigurasi itu saat ini. Penulis mengakui penyebab pastinya bisa berupa keterbatasan paket, celah packaging ARM64, atau kesalahan manusia, tetapi pengalaman tersebut tetap terasa membatasi di ruang yang justru “disediakan” Microsoft untuk bereksperimen.
Di sela frustrasi itu, penulis menampilkan percobaan prompt gambar, seperti mencoba memancing gambar anjing, kucing bergaya cat air, hingga interpretasi AI atas “monster sepeda roda satu.” Detail teknis gambar tidak diurai, tetapi fragmen ini memperlihatkan pola umum: pengguna diminta kreatif, sementara ekosistem alatnya belum sepenuhnya matang.
Masalah inti ada pada rantai dependensi: onnxruntime-genai-cuda boleh jadi tersedia, tetapi onnxruntime-gpu sebagai syaratnya tidak mengikuti untuk Windows ARM64. Dalam praktik pengembang, satu mata rantai yang hilang membuat seluruh demo runtuh, dan “AI Dev Gallery” berubah dari galeri menjadi lorong buntu.
Ini penting karena Microsoft memosisikan pengalaman lokal sebagai masa depan “AI PC,” namun kompatibilitas adalah fondasi yang tidak bisa dinegosiasikan. Jika instruksi resmi berujung pada error yang tidak dapat dituntaskan pengguna awam, maka pesan yang tertangkap bukan inovasi, melainkan pembatasan.
Penulis kemudian beralih ke Ollama yang berjalan lokal lewat command prompt, dan mengunduh Llama3.3-70b. Ia menekankan ukuran model 43GB, sekitar 10 kali lebih besar dari model Mistral yang sebelumnya dijalankan di CPU lewat AI Dev Gallery, sekaligus 10 kali parameter: 70 miliar dibanding 7 miliar.
Di titik ini, narasi berubah dari “gagal instal” menjadi “bukti performa,” karena perangkat berbasis ARM yang diuji tetap mampu menjalankan model 70B. Penulis mencatat laju 6,26 token per detik, angka yang ia anggap impresif mengingat model sebesar itu biasanya sulit berjalan di GPU laptop diskret.
Namun ada biaya termal dan daya yang terlihat jelas, karena kipas sistem berputar 100 persen saat ringkasan ala Wayne’s World dihasilkan. Menariknya, penulis menilai kebisingan tetap terkendali, lebih berupa hembusan udara cepat ketimbang suara menderu yang mengganggu.
Rangkaian ini menyodorkan kontras yang tajam: tumpukan software resmi tersandung packaging, sementara jalur alternatif seperti Ollama justru memberi demo yang “seharusnya dipamerkan Microsoft.” Pembaca akhirnya melihat bahwa performa perangkat keras tidak otomatis berarti pengalaman pengembang yang mulus.
Di sini, masalahnya bukan sekadar bug, melainkan soal kredibilitas narasi “tinggal klik untuk AI lokal.” Ketika Microsoft mengundang orang “bermain” di AI Dev Gallery, tetapi dependensi kunci tidak tersedia, yang muncul adalah rasa ditinggalkan oleh ekosistemnya sendiri.
Penulis sumber jujur bahwa ia tidak sepenuhnya yakin apakah ini limitasi paket, gap ARM64, atau human error, dan justru itu yang mengkhawatirkan. Produk developer-facing seharusnya mengurangi ambiguitas, bukan menambahnya, karena waktu debugging adalah biaya nyata bagi pengguna.
Bagian gaming memperlihatkan tekanan pasar yang lebih keras lagi, karena gamer PC kelas atas menuntut 4K, ray tracing, dan input lag nyaris nol. Penulis mengakui standar pribadinya masih 1080p/60 Hz, tetapi ia tetap terkesan karena hasil performa itu datang dari mesin ARM, yang selama ini sering dipandang “bukan untuk gaming serius.”
Meski begitu, ia menegaskan kelayakan paket seperti Surface Laptop Ultra untuk gamer akan bergantung pada dompet dan toleransi masing-masing. Ini pengingat bahwa performa mentah tidak bisa dipisahkan dari harga, ekosistem game, driver, dan stabilitas, yang semuanya menentukan pengalaman akhir.
Kisah ini menyimpulkan satu paradoks: perangkat keras bisa sanggup menjalankan model raksasa, tetapi jalur resmi bisa tersandung oleh satu dependensi yang hilang. Microsoft mendapat poin pada sisi performa, namun kehilangan momentum pada sisi pengalaman pengembang yang seharusnya paling mulus.
Jika “AI PC” ingin menjadi arus utama, kompatibilitas Windows ARM64 dan kejelasan toolchain harus diperlakukan sebagai produk inti, bukan catatan kaki. Pertanyaannya kini sederhana: apakah industri akan memperbaiki fondasi software-nya, atau terus menjual mimpi yang hanya bekerja pada konfigurasi tertentu.
(Orbit dari berbagai sumber, 20 Oktober 2026)
