Wakil Perdana Menteri dan Menteri Sains dan Teknologi Informasi dan Komunikasi Bae Kyung-hoon, tengah, berbicara dalam pengarahan kebijakan di Yeongbingwan Guest House di Cheong Wa Dae, Seoul pada hari Kamis. Korps pers gabungan
Pemerintah berencana untuk meluncurkan layanan kecerdasan buatan (AI) umum yang memungkinkan penggunaan tanpa batas dan gratis untuk semua warga Korea, namun inisiatif ini menghadapi pertanyaan tentang kelayakannya, termasuk bagaimana layanan tersebut dapat menutupi biaya nominal dan memastikan kelayakan finansial operator.
Selama pengarahan kebijakan dengan Presiden Lee Jae Myung pada hari Kamis, Kementerian Sains dan Teknologi Informasi dan Komunikasi mengumumkan bahwa mereka akan memperkenalkan “layanan chatbot mirip ChatGPT” menggunakan model AI milik Korea pada akhir tahun ini.
Pemerintah juga berencana untuk mengintegrasikan layanan publik ke dalam platform, memungkinkan pengguna untuk mencari dan mengajukan layanan pemerintah melalui model AI.
Setelah layanan ini beroperasi, pemerintah berencana untuk meningkatkannya, mulai tahun depan, menjadi agen AI yang akan memberikan aksesibilitas lebih besar daripada chatbot, dengan tujuan menyediakan agen AI pribadi bagi setiap orang Korea.
“Selain layanan chatbot AI untuk tujuan umum, kami akan terus memperluas layanan agen AI publik,” kata Wakil Perdana Menteri dan Menteri Ilmu Pengetahuan dan TIK Bae Kyung-hoon. “Mulai tahun 2027, kami akan mengembangkan layanan menuju model dengan satu agen untuk setiap warga negara. »
Kementerian sudah mulai menerima permohonan dari penyedia layanan. Perusahaan berencana untuk memilih dua atau tiga operator pada bulan Agustus, meluncurkan layanan beta pada bulan September dan meluncurkan layanan penuh pada bulan Desember.
Ikon aplikasi ChatGPT, Claude dan Gemini terlihat dalam ilustrasi 5 Juni ini. Reuters-Yonhap
Agar memenuhi syarat, setidaknya 50% model AI yang digunakan untuk layanan ini harus merupakan model dasar yang dikembangkan secara nasional dan dilatih secara independen. Selain itu, operator akan diminta untuk mengalokasikan setidaknya 30% dari penggunaan model AI pada layanan tersebut untuk model yang dikembangkan di dalam negeri yang dibuat oleh perusahaan lain.
Jadwalnya sangat ketat, dengan operator terpilih diperkirakan akan meluncurkan layanan beta hanya satu bulan setelah terpilih. Namun, pemerintah yakin jangka waktu ini dapat dicapai karena perusahaan-perusahaan besar dalam negeri telah mengembangkan model fondasi mereka sendiri di bawah National Foundation AI Model Project, sebuah proyek terpisah yang juga dipimpin oleh pemerintah.
“Proyek ini sudah dikenal di industri sebelum pengumuman resminya, dan karena perusahaan telah mengembangkan layanan chatbot berdasarkan model mereka sendiri, jadwal untuk mengubahnya menjadi layanan nyata tampaknya layak dilakukan,” kata seorang manajer di sebuah perusahaan layanan AI. “Yang masih belum jelas adalah bagaimana biaya nominalnya akan ditanggung dan bagaimana kelangsungan finansial layanan ini akan dipertahankan.”
Arsitektur Blackwell Nvidia / Atas izin Nvidia
Untuk proyek ini, pemerintah berencana mengalokasikan 256 unit pemrosesan grafis (GPU) Nvidia B200 kepada kedua operator tersebut. Operator harus memperkirakan sendiri perkiraan jumlah pengguna dan volume kueri serta menyediakan investasi terkait.
Alokasi pemerintah sebesar 256 B200 per operator merupakan jumlah yang besar secara absolut, namun sulit untuk menyimpulkan bahwa kapasitas tersebut akan mencukupi untuk layanan AI umum yang ditujukan untuk seluruh masyarakat.
Menurut data benchmark Nvidia, satu GPU B200 dapat menghasilkan sekitar 10,000 token keluaran per detik saat menjalankan Llama 3.3, model ukuran menengah dengan 70 miliar parameter. Dengan asumsi bahwa setiap pengguna menerima respons dengan kecepatan 50 token keluaran per detik, satu GPU dapat melayani sekitar 200 pengguna secara bersamaan, yang berarti bahwa 256 GPU secara teoritis dapat menangani respons dari sekitar 51.000 pengguna secara bersamaan.
Dengan asumsi bahwa setiap pengguna mengajukan empat pertanyaan per hari, dengan setiap jawaban rata-rata 500 token, dan permintaan puncak mencapai enam kali rata-rata harian, maka kapasitas teoretisnya adalah sekitar 18,4 juta pengguna aktif harian.
Pemerintah memperkirakan sekitar 23 juta orang di Korea, atau 44,5% populasi, menggunakan AI generatif. Mengingat sebagian besar sudah bergantung pada layanan asing seperti ChatGPT, Gemini dan Claude, infrastrukturnya mungkin cukup dalam hal volume pengguna awal jika layanan yang dipimpin pemerintah terus memainkan peran pendukung.
Namun, penilaian ini didasarkan pada asumsi bahwa operator menggunakan model yang ringan dan sangat optimal; jumlah pengguna tidak serta merta bertambah; dan pertanyaannya dibuat singkat dan sederhana.
Ketika beberapa perusahaan Korea mengembangkan model dengan lebih dari 500 miliar parameter, jumlah pengguna yang dapat dilayani oleh setiap GPU secara bersamaan dapat menurun secara signifikan.
SK Telecom, misalnya, mengembangkan AX K1, model dengan 500 miliar parameter, sekaligus meluncurkan model yang lebih ringan dengan 7 miliar parameter. Meskipun model yang lebih kecil dapat merespons lebih cepat dan melayani lebih banyak pengguna dengan GPU yang lebih sedikit, model tersebut mungkin kesulitan menangani pertanyaan atau tugas kompleks seperti integrasi utilitas, seperti yang diinginkan pemerintah. Hal ini berpotensi menurunkan kualitas layanan secara keseluruhan, sehingga memaksa operator menghadapi dilema antara mempertahankan kualitas layanan dan mempertahankan layanan gratis dan tidak terbatas.
Ketidakpastian lainnya: layanan ini terutama ditujukan untuk orang-orang yang tidak terbiasa dengan AI. Ketika percakapan semakin panjang, penggunaan token dan biaya terkait dapat meningkat secara signifikan. Janji akan akses yang gratis dan tidak terbatas juga dapat menimbulkan beban kerja yang berat bagi pengguna AI berbayar, dan rencana pemerintah untuk memperluas layanan kepada agen AI dapat meningkatkan biaya operasional.
Pemerintah mengatakan pihaknya berencana untuk mulai memberikan dukungan publik untuk biaya GPU dan operasional layanan mulai tahun depan, namun jumlah pendanaannya belum ditentukan.
Pemerintah yakin bahwa operator akan mampu memulihkan biaya mereka dengan memperkenalkan model pendapatan mereka sendiri, seperti iklan. Namun para pejabat industri mengatakan bahwa sebagian besar model periklanan masih belum terdefinisi dan mempertanyakan apakah pantas untuk menyertakan iklan dalam layanan AI yang dikelola pemerintah.
“Rincian lebih lanjut diharapkan akan muncul seiring kemajuan proyek,” kata pejabat itu. “Jika layanan ini menargetkan seluruh negara, dunia usaha mungkin bersedia untuk berpartisipasi meskipun ada beban finansial mengingat manfaat non-finansial seperti akses ke data pengguna dalam skala besar.”
