Apa kepanjangan dari 'NPU'? Apa saja fungsinya? Apakah kita sudah membutuhkannya? Berikut ini hal-hal yang perlu diketahui tentang teknologi baru ini.
Setahun belakangan ini, semakin banyak perbincangan seputar unit pemrosesan saraf (neural processing unit), atau NPU. Meski NPU telah hadir terlebih dahulu di ponsel pintar selama beberapa tahun, Intel, AMD, dan yang terbaru Microsoft akhirnya ikut meluncurkan laptop dan PC konsumen berkemampuan AI yang dilengkapi NPU.
NPU berhubungan erat dengan konsep PC AI dan dapat ditemukan di dalam sejumlah besar chip terkini yang dibuat oleh produsen perangkat keras besar seperti AMD, Apple, Intel, dan Qualcomm. NPU mulai lebih sering muncul di laptop, terutama sejak Microsoft meluncurkan produk PC AI Copilot+ awal tahun ini.
Apa Fungsi NPU?
NPU bertindak sebagai akselerator perangkat keras untuk kecerdasan buatan. Akselerasi perangkat keras ini menggunakan silikon khusus untuk mengelola tugas tertentu, seperti kepala koki yang mendelegasikan tugas yang berbeda kepada koki pembantu saat mereka semua bekerja sama untuk menyiapkan makanan tepat waktu. NPU tidak akan menggantikan CPU atau GPU; sebaliknya, NPU dirancang untuk melengkapi kekuatan CPU dan GPU, menangani beban kerja seperti AI edge sehingga CPU dan GPU dapat memesan waktu pemrosesan untuk tugas-tugas yang menjadi keunggulan mereka.
GPU adalah akselerator perangkat keras khusus yang dirancang untuk merender grafik tetapi dengan fleksibilitas dasar yang cukup untuk juga hebat bagi AI atau jenis kalkulasi ilmiah tertentu. Untuk waktu yang lama, jika kita memiliki beban kerja AI yang ingin diproses, kita pasti akan berharap untuk melakukan penghitungan angka yang sebenarnya dengan satu atau lebih GPU (seperti dari Nvidia) berdaya tinggi. Beberapa perusahaan tengah berupaya membangun akselerator perangkat keras khusus untuk AI, seperti TPU milik Google, karena kemampuan grafis tambahan yang menempatkan "G" pada "GPU" tidak berguna dalam kartu yang semata-mata ditujukan untuk pemrosesan AI.
Ini Tentang Beban Kerja
Akselerasi perangkat keras paling berguna dalam tugas-tugas berulang yang tidak melibatkan banyak percabangan bersyarat, terutama saat ada sejumlah besar data. Misalnya, merender grafis 3D memerlukan komputer untuk mengelola aliran partikel dan poligon yang terus-menerus. Ini adalah tugas yang sangat bergantung pada lebar pita, tetapi komputasi yang sebenarnya (kebanyakan) adalah trigonometri. Grafik komputer, kalkulasi fisika dan astronomi, dan model bahasa besar (LLM) seperti yang mendukung chatbot AI modern adalah beberapa contoh beban kerja ideal untuk akselerasi perangkat keras.
Ada dua jenis beban kerja AI: Pelatihan dan inferensi. Pelatihan dilakukan hampir secara eksklusif pada GPU. Nvidia telah memanfaatkan investasinya selama hampir dua dekade dalam CUDA dan posisi kepemimpinannya dalam GPU diskret untuk mendominasi kedua pasar, meskipun AMD muncul sebagai yang kedua. Pelatihan skala besar berlangsung pada skala pusat data, seperti halnya beban kerja inferensi yang berjalan saat Anda berkomunikasi dengan layanan berbasis cloud seperti ChatGPT.
NPU (dan PC AI yang menggunakannya) beroperasi pada skala yang jauh lebih kecil. Mereka melengkapi GPU terintegrasi di dalam mikroprosesor dari vendor CPU favorit, dengan menawarkan fleksibilitas tambahan untuk beban kerja AI di masa mendatang dan kinerja yang berpotensi ditingkatkan dibandingkan dengan menunggu di cloud.
Bagaimana NPU Bekerja?
Secara umum, NPU mengandalkan desain yang sangat paralel untuk melakukan tugas berulang dengan sangat cepat. Sebagai perbandingan, CPU bersifat generalis. Perbedaan ini tercermin dalam arsitektur logis dan fisik NPU. Jika CPU memiliki satu atau lebih inti dengan akses ke beberapa cache memori bersama, NPU memiliki beberapa subunit yang masing-masing memiliki cache kecilnya sendiri. NPU cocok untuk beban kerja paralel dan throughput tinggi seperti jaringan saraf dan pembelajaran mesin.
NPU, jaringan saraf, dan sistem neuromorfik seperti platform Loihi dari Intel, semuanya memiliki tujuan desain yang sama: untuk meniru beberapa aspek pemrosesan informasi otak.
Setiap produsen perangkat yang memasarkan NPU memiliki mikroarsitekturnya sendiri yang khusus untuk produknya. Sebagian besar juga telah merilis perangkat pengembangan perangkat lunak untuk melengkapi NPU mereka. Misalnya, AMD menawarkan tumpukan Perangkat Lunak AI Ryzen, dan Intel terus meningkatkan perangkat lunak pembelajaran mendalam sumber terbuka yang sedang berlangsung, OpenVINO.
NPU dan Edge Intelligence
Sebagian besar NPU berada di perangkat yang digunakan konsumen seperti laptop dan PC. Misalnya, DSP Hexagon dari Qualcomm menambahkan akselerasi NPU ke prosesor Snapdragon-nya, yang digunakan untuk ponsel pintar, tablet, perangkat yang dapat dikenakan, sistem bantuan pengemudi tingkat lanjut, dan Internet of Things. Ekosistem Apple menggunakan NPU Neural Engine-nya dalam chip seri A dan seri M yang mendukung iPhone, iPad, dan iMac. Selain itu, beberapa PC dan laptop diberi nama Copilot+, yang berarti mereka dapat menjalankan Copilot AI Microsoft pada NPU bawaan. Namun, beberapa sistem berbasis server atau berbasis cloud juga menggunakan NPU. Unit Pemrosesan Tensor Google adalah akselerator NPU yang dirancang untuk pembelajaran mesin berkinerja tinggi di pusat data.
Salah satu alasan di balik naiknya popularitas NPU adalah semakin pentingnya kecerdasan tepi. Antara jaringan sensor, perangkat seluler (seperti ponsel dan laptop), dan Internet of Things, sudah ada permintaan yang semakin meningkat untuk pengelolaan data. Pada saat yang sama, layanan berbasis cloud bergantung pada latensi infrastruktur. Pemrosesan lokal tidak harus melakukan apa pun di cloud. Ini mungkin menjadi keuntungan, baik dalam hal kecepatan maupun keamanan.
Pertanyaan tentang apakah kita memerlukan NPU hampir menjadi hal yang tidak penting. Raksasa Silicon Valley seperti Intel, AMD, dan Apple telah berinvestasi dalam teknologi tersebut. Terlepas dari apakah kita akan memiliki penggunaan khusus untuk NPU atau tidak, kemungkinan besar saat kita membangun atau membeli PC berikutnya, chip yang kita pilih sudah akan memiliki NPU di dalamnya. Pada akhir tahun 2026, analis memperkirakan 100% pembelian PC perusahaan Amerika akan memiliki satu atau lebih NPU yang tertanam langsung ke dalam silikon. Dengan kata lain, jangan khawatir kehabisan untuk membeli sistem dengan NPU, karena mereka yang akan mendatangi kita.
Tidak ada komentar:
Posting Komentar