Jensen Huang, CUDA, dan Kebangkitan NVIDIA
Pengantar
Ketika Jensen Huang ikut mendirikan NVIDIA pada tahun 1993, tujuannya adalah menghadirkan grafis 3D ke permainan komputer dan multimedia. Kini, prosesor perusahaan yang sama digunakan untuk melatih dan menjalankan model kecerdasan buatan. Untuk memahami perubahan itu, ada baiknya kita mulai dari latar belakang teknik Huang dan platform perangkat lunak yang dibangun NVIDIA, CUDA. [1] [1]
1. Karier teknik Huang
Lahir di Taiwan, Huang meraih gelar sarjana teknik elektro dari Oregon State University pada tahun 1984. Ia bekerja sebagai perancang mikroprosesor di AMD dari 1984 hingga 1985, kemudian memegang beberapa posisi di LSI Logic dari 1985 hingga 1993. Ia menjadi direktur Coreware, divisi yang bertanggung jawab atas strategi perusahaan untuk mengintegrasikan berbagai komponen sistem komputer ke dalam satu chip. Selama periode itu, ia juga meraih gelar magister teknik elektro dari Stanford University pada tahun 1992. [2] [1]
Pada 5 April 1993, Huang mendirikan NVIDIA bersama Chris Malachowsky dan Curtis Priem. Ia menjabat sebagai presiden, direktur utama, dan anggota dewan sejak perusahaan berdiri. Pada 1999, NVIDIA menggelar penawaran umum perdana. Pada tahun yang sama, perusahaan memperkenalkan GeForce 256, tonggak penting dalam sejarah unit pemrosesan grafis (GPU) perusahaan. [1] [1]
2. Apa itu CUDA?
NVIDIA memperkenalkan CUDA pada 2006 sebagai platform perangkat lunak dan model pemrograman untuk menjalankan banyak perhitungan secara paralel di GPU-nya. GPU adalah perangkat keras yang melakukan perhitungan. CUDA menyediakan alat pemrograman yang digunakan pengembang untuk menjalankan perhitungan mereka di perangkat keras tersebut. Ini membuka GPU yang dibuat untuk grafis ke aplikasi penelitian ilmiah, komputasi kinerja tinggi, dan kecerdasan buatan. [1] [1]
Bayangkan mencerahkan sebuah gambar dengan satu juta piksel. Perhitungan untuk satu piksel dapat berjalan secara independen dari yang lain. Program CUDA dapat membagi pekerjaan itu menjadi perhitungan yang lebih kecil dan menjalankannya di GPU. Fungsi yang berjalan di GPU disebut kernel. Banyak thread mengeksekusinya secara paralel, masing-masing mengerjakan bagian data yang ditugaskan. Prinsip yang sama tentang membagi pekerjaan menjadi bagian-bagian yang dapat berjalan paralel berlaku untuk perhitungan AI seperti perkalian matriks besar. [3] [1]
3. Bagaimana CUDA membantu industri AI
Saat melatih jaringan saraf, model pertama-tama membuat prediksi. Proses pelatihan mengukur kesalahan dan memperbarui parameter model. Proses ini diulang berkali-kali. GPU mempercepat operasi seperti perkalian matriks, memberi peneliti waktu untuk menjalankan lebih banyak eksperimen dan membuat pelatihan model yang lebih besar menjadi praktis. GPU juga digunakan setelah pelatihan, saat inferensi, ketika model seperti model bahasa menghasilkan respons bagi pengguna. [4] [1]
AlexNet memberikan demonstrasi praktis pada 2012. Dilatih dengan GPU NVIDIA, model ini memenangkan kompetisi klasifikasi gambar ImageNet. Kinerjanya menunjukkan bagaimana prosesor grafis yang digunakan untuk permainan komputer juga dapat melatih model untuk mengenali gambar. [1] [1]
4. Bagaimana CUDA memberi NVIDIA keunggulan bertahan lama
NVIDIA membangun pustaka dan alat yang dioptimalkan untuk perhitungan yang sering dibutuhkan pengembang. cuBLAS mempercepat operasi matriks, cuDNN mendukung operasi jaringan saraf umum, NCCL menangani komunikasi antar-GPU, dan TensorRT membantu model terlatih berjalan lebih cepat. Framework seperti PyTorch mendukung CUDA, sehingga pengembang dapat menggunakan kemampuan ini tanpa menulis setiap operasi GPU dari awal. [5] [1]
Kesimpulan
Ekosistem perangkat lunak itu memperkuat bisnis perangkat keras NVIDIA. Sebuah tim dapat beralih dari eksperimen kecil ke sistem yang berjalan di banyak GPU sambil tetap menggunakan perangkat lunak dan alat yang familiar. Berpindah perangkat keras dapat mengharuskan tim meninjau dependensi CUDA-nya, menyesuaikan sebagian perangkat lunaknya, dan menguji kinerja lagi. Dengan berinvestasi pada perangkat lunak bersama perangkat keras selama bertahun-tahun, NVIDIA memiliki alat yang siap bagi pengembang yang sudah tahu cara menggunakannya ketika permintaan komputasi AI tumbuh. [1] [1]
Referensi
- https://www.nvidia.com/en-us/about-nvidia/corporate-timeline/
- https://s201.q4cdn.com/141608511/files/doc_financials/annual/2013/NVDA_2013AR_Proxy_10K-FINAL.pdf
- https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/writing-cuda-kernels.html
- https://docs.nvidia.com/cuda/cuda-programming-guide/index.html
- https://developer.nvidia.com/machine-learning
Pertanyaan tentang Jensen Huang, CUDA, dan kebangkitan NVIDIA
Apa itu CUDA dan mengapa NVIDIA membangunnya?
CUDA adalah platform perangkat lunak dan model pemrograman yang diperkenalkan NVIDIA pada 2006 untuk menjalankan banyak perhitungan secara paralel di GPU-nya. GPU adalah perangkat kerasnya; CUDA menyediakan alat pemrograman, yang membuka perangkat keras grafis bagi penelitian ilmiah, komputasi kinerja tinggi, dan AI.
Bagaimana CUDA membantu industri AI?
Melatih jaringan saraf berarti mengulang prediksi, pengukuran kesalahan, dan pembaruan parameter berkali-kali. GPU mempercepat operasi seperti perkalian matriks, memungkinkan peneliti menjalankan lebih banyak eksperimen dan melatih model yang lebih besar. AlexNet, yang dilatih dengan GPU NVIDIA, membuktikannya dengan memenangkan kompetisi ImageNet 2012.
Mengapa CUDA memberi NVIDIA keunggulan bertahan lama?
NVIDIA membangun pustaka yang dioptimalkan yang sering dibutuhkan pengembang – cuBLAS untuk operasi matriks, cuDNN untuk operasi jaringan saraf, NCCL untuk komunikasi multi-GPU, dan TensorRT untuk inferensi yang lebih cepat – dan framework seperti PyTorch mendukung CUDA, sehingga tim dapat beralih dari eksperimen kecil ke banyak GPU tanpa menulis ulang perangkat lunaknya.
Powered By K7