AI Governance & Security: Panduan Tadbir Urus dan Keselamatan AI

AI INFRASTRUCTURE · CANON GUIDE

Panduan induk tentang cara organisasi mentadbir penggunaan AI, mengurus risiko, melindungi sistem dan memastikan akauntabiliti sepanjang kitaran hayatnya.

1. Apa Itu AI Governance & Security?

Membangunkan sistem Artificial Intelligence (AI) bukan sekadar memilih model, menyediakan data atau menghubungkan AI kepada aplikasi. Apabila sistem digunakan dalam situasi sebenar, organisasi juga perlu menentukan siapa yang bertanggungjawab, apakah risiko yang boleh timbul, bagaimana akses dikawal dan bagaimana masalah dikesan serta ditangani.

AI Governance merujuk kepada struktur tanggungjawab, polisi, proses membuat keputusan dan mekanisme pengawasan yang mengarahkan penggunaan AI. AI Security pula memberi tumpuan kepada perlindungan sistem, data, model, identiti, infrastruktur dan operasi daripada akses tanpa kebenaran, manipulasi serta ancaman lain.

Kedua-duanya saling berkaitan tetapi bukan perkara yang sama. Governance menentukan bagaimana penggunaan AI diarah dan dipertanggungjawabkan; security melaksanakan perlindungan teknikal dan operasi bagi aset serta proses yang terlibat.

Dalam Canon ini, kedua-duanya dibincangkan sebagai domain pengetahuan yang membantu organisasi mereka bentuk, menggunakan dan mengurus AI secara terkawal. Matlamatnya bukan menjanjikan sistem bebas risiko, tetapi memastikan risiko dikenal pasti, dikurangkan dan diurus dengan cara yang sesuai.

Prinsip utama: mempunyai polisi tidak semestinya bermakna sistem selamat. Organisasi memerlukan kawalan yang dilaksanakan, pemilik yang jelas, bukti keberkesanan dan proses pembetulan apabila kelemahan ditemui.

2. Kedudukan Canon dalam AI Infrastructure

AI Governance & Security ialah salah satu daripada empat domain Canon dalam AI Infrastructure Nobodynaga. Setiap Canon mempunyai skop tersendiri dan berhubung dengan Canon lain berdasarkan keperluan sistem.

• AI Foundation — AINF-CN01: asas teknologi seperti model AI, LLM, inference dan konsep yang diperlukan untuk memahami kemampuan serta batasan sistem.
• AI Integration & Intelligence — AINF-CN02: hubungan antara model, aplikasi, data, retrieval, tools dan agents.
• AI Reliability — AINF-CN03: penilaian kualiti, konsistensi, tingkah laku sistem dan kebolehpercayaan operasi.
• AI Governance & Security — AINF-CN04: tanggungjawab, polisi, pengurusan risiko, perlindungan, kawalan dan akauntabiliti.

Empat Canon ini bukan empat peringkat wajib yang perlu dilalui secara berurutan. Ia merupakan domain yang saling berkait. Sesuatu keputusan governance boleh mempengaruhi pemilihan model, reka bentuk integrasi, kaedah evaluation dan kawalan operasi.

Sebagai contoh, penggunaan AI Agent untuk mengubah rekod pelanggan memerlukan pemahaman tentang keupayaan model, integrasi tools, pengujian tingkah laku serta kawalan akses. Tiada satu Canon sahaja yang merangkumi keseluruhan masalah tersebut.

Rujukan kepada domain berkaitan:

• AI Foundation Canon
• AI Integration & Intelligence Canon
• AI Reliability Canon 

3. Prinsip Teras AI Governance

Governance yang berkesan memerlukan lebih daripada senarai polisi. Ia perlu menghubungkan tujuan penggunaan AI, tahap risiko, kuasa membuat keputusan dan bukti bahawa tanggungjawab benar-benar dilaksanakan.

3.1 Tujuan dan skop penggunaan

Organisasi perlu menjelaskan masalah yang hendak diselesaikan, pengguna yang terlibat, keputusan yang akan dipengaruhi oleh AI dan keadaan apabila sistem tidak patut digunakan. Tujuan yang kabur menyukarkan penilaian risiko dan penentuan kawalan yang sesuai.

3.2 Pemilikan dan akauntabiliti

Setiap sistem perlu mempunyai pihak yang bertanggungjawab terhadap pembangunan, kelulusan, operasi dan tindak balas insiden. Tanggungjawab tidak sepatutnya diletakkan sepenuhnya pada model, vendor atau pasukan teknikal tanpa proses membuat keputusan yang jelas.

3.3 Pengurusan berasaskan risiko

Kawalan perlu disesuaikan dengan konteks penggunaan. Sistem yang memberi cadangan berisiko rendah tidak semestinya memerlukan proses kelulusan yang sama seperti sistem yang mempengaruhi keputusan kewangan, akses kepada perkhidmatan penting atau tindakan yang memberi kesan besar kepada individu.

3.4 Ketelusan dan dokumentasi

Organisasi perlu menyimpan maklumat yang sesuai tentang tujuan sistem, sumber data, model dan komponen yang digunakan, batasan yang diketahui, keputusan penilaian, kawalan yang dilaksanakan serta pihak yang meluluskan penggunaannya.

3.5 Semakan dan penambahbaikan

Governance perlu dinilai semula apabila model, data, pengguna, integrasi, ancaman atau tujuan perniagaan berubah. Kelulusan awal bukan bukti bahawa sistem akan terus sesuai untuk digunakan selama-lamanya.

4. Governance Sepanjang Kitaran Hayat AI

Governance perlu dipertimbangkan sejak perancangan dan diteruskan semasa pembangunan, deployment, operasi serta penamatan sistem. Walau bagaimanapun, aktiviti ini tidak semestinya berlaku dalam satu urutan tetap. Penemuan semasa testing, misalnya, boleh memaksa pasukan mengubah reka bentuk atau menilai semula risiko.

Perancangan

• Tentukan tujuan dan skop penggunaan AI.
• Kenal pasti pengguna, pihak berkepentingan dan pemilik sistem.
• Nilai kesan yang berpotensi serta keperluan undang-undang atau organisasi.
• Tentukan sama ada AI sesuai digunakan untuk kes tersebut.

Reka bentuk dan pembangunan

• Kenal pasti aset, aliran data, kebergantungan dan sempadan kepercayaan.
• Tentukan keperluan identiti, akses, privasi dan keselamatan.
• Dokumentasikan andaian, batasan dan risiko yang diketahui.
• Rancang kaedah pengujian, pengawasan dan pemulihan.

Validasi dan kelulusan

• Uji sistem terhadap keperluan yang telah ditetapkan.
• Nilai kelemahan, risiko penyalahgunaan dan kegagalan yang munasabah.
• Pastikan pihak yang berkuasa menyemak bukti sebelum penggunaan yang memerlukan kelulusan.
• Rekodkan isu yang belum diselesaikan dan syarat penggunaan.

Deployment dan operasi

• Gunakan akses dan had tindakan yang bersesuaian.
• Pantau prestasi, tingkah laku, keselamatan dan insiden.
• Semak perubahan model, data, konfigurasi dan integrasi.
• Sediakan mekanisme untuk mengehadkan, menggantung atau menghentikan sistem apabila perlu.

Perubahan dan penamatan

• Nilai semula risiko apabila komponen atau tujuan penggunaan berubah.
• Urus penyimpanan dan pemadaman data mengikut keperluan yang berkenaan.
• Batalkan akses dan kelayakan yang tidak lagi diperlukan.
• Simpan rekod yang perlu untuk audit, siasatan atau kewajipan organisasi.

Aktiviti ini boleh berulang. Tahap dokumentasi, pengujian dan kelulusan bergantung pada risiko, konteks penggunaan dan keperluan yang terpakai.

5. Seni Bina AI Security

AI Security perlu melindungi keseluruhan sistem, bukan model sahaja. Ancaman boleh muncul pada identiti pengguna, sumber data, sistem retrieval, API, tools, persekitaran pelaksanaan dan proses operasi.

5.1 Identiti dan kawalan akses

Setiap pengguna, servis dan agent perlu mempunyai kebenaran yang sepadan dengan tugasnya. Prinsip least privilege mengurangkan hak akses kepada tahap minimum yang diperlukan. Kebenaran juga perlu disemak apabila tanggungjawab atau keadaan operasi berubah.

5.2 Perlindungan data

Data perlu dikendalikan berdasarkan sensitiviti, tujuan penggunaan dan hak akses. Kawalan boleh merangkumi pengelasan data, pengurangan data yang dikumpulkan, penyulitan, pengurusan rahsia dan had terhadap sumber yang boleh dicapai oleh sistem AI.

5.3 Perlindungan model dan aplikasi

Organisasi perlu mempertimbangkan keselamatan API, konfigurasi model, dependensi perisian, pengurusan kunci, had penggunaan dan perlindungan terhadap penyalahgunaan. Kawalan yang sesuai bergantung pada model deployment dan ancaman yang berkaitan.

5.4 Retrieval, dokumen dan sumber luaran

Dokumen yang diambil melalui RAG, hasil carian web dan kandungan daripada pihak ketiga tidak boleh dianggap sebagai arahan yang dipercayai secara automatik. Sistem perlu membezakan data yang dibaca daripada arahan yang dibenarkan, mengekalkan sempadan kepercayaan dan mengawal tindakan berdasarkan identiti serta kebenaran sebenar.

5.5 Tools dan AI Agents

Agent yang boleh menghantar mesej, mengubah rekod, menjalankan kod atau memanggil API memerlukan kawalan tindakan. Model tidak sepatutnya menjadi satu-satunya pengawal bagi tindakan yang mempunyai kesan penting. Aplikasi perlu mengesahkan kebenaran, parameter dan kesan tindakan sebelum pelaksanaan, serta memerlukan kelulusan manusia apabila risiko dan konteks menuntutnya.

Perbezaan penting: penapisan teks sahaja tidak mencukupi untuk melindungi sistem AI. Keselamatan juga bergantung pada kawalan identiti, akses data, sempadan kepercayaan, pengesahan tindakan dan reka bentuk aplikasi.

6. Risk Management, Assurance dan Runtime Controls

Pengurusan risiko, assurance dan kawalan runtime memainkan peranan yang berbeza tetapi saling melengkapi. Ketiga-tiganya perlu dipilih mengikut konteks dan boleh dilaksanakan pada bahagian sistem yang berlainan.

6.1 AI Risk Management

Risk management mengenal pasti bagaimana sistem boleh gagal, disalahgunakan atau menghasilkan kesan yang tidak diingini. Penilaian perlu mempertimbangkan kebarangkalian, tahap impak, pihak yang terdedah, kebergantungan teknikal dan keberkesanan kawalan yang sedia ada.

Hasilnya boleh digunakan untuk menetapkan keutamaan, memilih mitigasi, menerima risiko baki secara berautoriti atau menghentikan penggunaan apabila risiko tidak boleh diterima.

6.2 Assurance dan pengujian

Assurance mengumpulkan bukti bahawa sistem dan kawalannya memenuhi keperluan yang ditetapkan. Bukti boleh datang daripada evaluation, ujian keselamatan, semakan konfigurasi, audit, simulasi senario kegagalan atau semakan manusia.

AI Evaluation ialah proses menilai kualiti, tingkah laku dan prestasi sistem. AI Benchmark pula merujuk kepada ujian, dataset, protokol atau metrik yang digunakan untuk membuat perbandingan atau pengukuran. Kedua-duanya boleh menyokong assurance, tetapi tidak menggantikan governance atau keselamatan dengan sendirinya.

6.3 Runtime controls dan guardrails

Kawalan runtime boleh mengehadkan input, menyemak output, mengawal capaian kepada data, mengesahkan tindakan tools dan menghalang operasi yang tidak dibenarkan. Kawalan yang sesuai bergantung pada jenis ancaman serta lokasi risiko dalam seni bina.

Guardrails boleh mengurangkan risiko tertentu, tetapi tidak menjamin ketepatan fakta, menghapuskan semua prompt injection atau memastikan setiap output selamat. Kawalan perlu diuji dan disokong oleh lapisan perlindungan lain.

6.4 Human oversight

Semakan manusia berguna apabila keputusan memerlukan pertimbangan, konteks atau kuasa yang tidak boleh diserahkan sepenuhnya kepada sistem automatik. Namun, ia berkesan hanya apabila penyemak mempunyai maklumat yang mencukupi, masa, kepakaran, kuasa untuk campur tangan dan proses eskalasi yang jelas.

7. Monitoring, Audit dan Incident Response

Kawalan yang direka dengan baik masih boleh gagal. Sistem mungkin berubah tingkah laku selepas kemas kini, mengalami penyalahgunaan, menerima data yang tidak dijangka atau bergantung pada komponen yang terjejas. Oleh itu, organisasi memerlukan visibility dan proses tindak balas yang sesuai.

7.1 Monitoring dan observability

Monitoring memerhatikan metrik serta keadaan yang telah ditentukan. Observability membantu pasukan memahami tingkah laku sistem melalui log, traces, metrik dan bukti berkaitan. Dalam AI, data yang dipantau boleh merangkumi ralat, latency, penggunaan tools, kegagalan retrieval, penolakan, pelanggaran polisi dan perubahan kualiti output.

Pemantauan perlu menghormati privasi dan mengehadkan pengumpulan data sensitif. Log yang terlalu luas boleh menimbulkan risiko baharu jika mengandungi prompt, maklumat peribadi, rahsia atau kandungan sulit.

7.2 Audit dan kebolehkesanan

Rekod yang sesuai membantu organisasi menyiasat apa yang berlaku, siapa yang mempunyai akses, versi sistem yang digunakan dan tindakan yang diambil. Tahap rekod bergantung pada risiko, keperluan operasi dan kewajipan yang berkenaan.

7.3 Incident response

Proses tindak balas perlu menentukan cara insiden dikenal pasti, dinilai, dieskalasi, dikawal dan disiasat. Bergantung pada situasi, tindak balas boleh melibatkan penggantungan akses, penutupan fungsi tools, pengembalian versi, pembetulan konfigurasi atau penghentian sistem sementara.

7.4 Pembelajaran selepas insiden

Selepas insiden, organisasi perlu menilai punca, kesan, keberkesanan kawalan dan tindakan pembetulan. Penemuan itu perlu dikembalikan kepada proses risk assessment, reka bentuk, pengujian dan latihan supaya masalah yang sama lebih sukar berulang.

8. Hubungan Silang dalam Knowledge Graph

AI Governance & Security tidak berdiri sendiri dan bukan lapisan terakhir dalam satu pipeline. Hubungannya dengan Canon lain perlu menggambarkan pertukaran keperluan, bukti dan kawalan antara domain.

Hubungan dengan AI Foundation

Pemahaman tentang model, inference dan batasan teknologi membantu organisasi mengenal pasti risiko yang relevan serta menentukan kawalan yang realistik.

Baca AI Foundation Canon.

Hubungan dengan AI Integration & Intelligence

Apabila model dihubungkan kepada data, retrieval, API, tools dan agents, permukaan risiko turut berubah. Kebenaran akses, sempadan kepercayaan dan pengesahan tindakan perlu dipertimbangkan dalam reka bentuk integrasi.

Baca AI Integration & Intelligence Canon.

Hubungan dengan AI Reliability

Governance menetapkan keperluan dan tanggungjawab; Reliability membantu menilai sama ada sistem berfungsi seperti yang dikehendaki serta mengesan kegagalan. Keputusan evaluation dan bukti operasi boleh menyokong keputusan governance, manakala keperluan governance mempengaruhi perkara yang perlu diuji dan dipantau.

Baca AI Reliability Canon 

Hubungan dengan Framework berkaitan

Framework menerangkan mekanisme atau masalah khusus dalam skop yang lebih besar. Contohnya, AI Guardrails boleh berkait dengan Reliability serta Governance & Security; AI Evaluation dan AI Benchmark boleh menyokong assurance; AI Hallucination pula berkait dengan kualiti dan kebolehpercayaan output.

Peraturan Knowledge Graph: hubungan Canon-to-Canon menerangkan perkaitan domain; hubungan Canon-to-Framework menunjukkan skop induk; hubungan silang menunjukkan perkaitan konsep. Jangan gunakan hubungan itu untuk mendakwa bahawa sesuatu komponen wajib hadir dalam setiap sistem AI.

9. Checklist Pelaksanaan AI Governance & Security

Checklist ini boleh digunakan sebagai titik permulaan untuk menilai sama ada tanggungjawab dan kawalan utama telah dipertimbangkan. Ia bukan pensijilan atau bukti automatik bahawa sistem mematuhi semua undang-undang dan standard.

Governance dan tanggungjawab

• Tujuan dan skop penggunaan AI didokumenkan.
• Pemilik sistem dan pihak pelulus dikenal pasti.
• Risiko dan pihak yang mungkin terkesan dinilai.
• Proses eskalasi serta kuasa menghentikan sistem ditentukan.

Security dan data

• Akses pengguna, servis dan tools dihadkan mengikut keperluan.
• Sumber data dan sempadan kepercayaan dikenal pasti.
• Rahsia, kunci dan data sensitif dilindungi.
• Perubahan dan akses penting boleh disemak.

Assurance dan operasi

• Keperluan evaluation dan ujian keselamatan ditentukan.
• Kawalan diuji terhadap senario kegagalan yang relevan.
• Monitoring dan amaran mempunyai pemilik serta tindakan susulan.
• Proses incident response dan pemulihan tersedia.
• Risiko baki, isu terbuka dan tindakan pembetulan direkodkan.

Kelengkapan checklist perlu dinilai berdasarkan konteks penggunaan. Sistem berisiko tinggi mungkin memerlukan pengujian bebas, dokumentasi lebih mendalam, kelulusan tambahan atau kawalan khusus yang tidak disenaraikan di sini.

10. Soalan Lazim

Apakah perbezaan AI Governance dengan AI Security?

AI Governance menetapkan struktur keputusan, polisi, tanggungjawab dan pengawasan. AI Security melindungi sistem serta aset daripada ancaman dan akses yang tidak dibenarkan. Governance boleh menetapkan keperluan security, manakala security menyediakan sebahagian daripada pelaksanaannya.

Adakah AI Governance & Security menjamin sistem AI selamat?

Tidak. Ia menyediakan pendekatan untuk mengenal pasti, mengurangkan dan mengurus risiko. Keberkesanannya bergantung pada reka bentuk, pelaksanaan, pengujian, pemantauan dan tindak balas terhadap perubahan atau insiden.

Adakah semua sistem AI memerlukan RAG, agents dan MCP?

Tidak. Komponen tersebut bergantung pada keperluan aplikasi. Governance dan security perlu menilai komponen yang benar-benar digunakan, bukannya menganggap semua sistem mempunyai seni bina yang sama.

Adakah AI Evaluation sama dengan AI Benchmark?

Tidak. Evaluation ialah proses menilai sistem berdasarkan keperluan dan kriteria tertentu. Benchmark ialah ujian, dataset, protokol atau metrik yang boleh digunakan dalam proses penilaian atau perbandingan.

Bagaimana organisasi tahu kawalan benar-benar berfungsi?

Organisasi perlu mengumpulkan bukti melalui pengujian, semakan akses, audit, monitoring dan latihan tindak balas. Polisi atau dokumen sahaja tidak membuktikan bahawa kawalan berkesan dalam operasi sebenar.

Glosari Ringkas

• AI Governance: struktur polisi, tanggungjawab dan keputusan bagi penggunaan AI.
• AI Security: perlindungan sistem AI, data, model, identiti dan infrastruktur.
• Risk Management: proses mengenal pasti, menilai, mengutamakan dan menangani risiko.
• Assurance: bukti bahawa sistem atau kawalan memenuhi keperluan yang ditetapkan.
• Runtime Controls: kawalan yang dilaksanakan ketika sistem beroperasi.
• Observability: keupayaan memahami keadaan dan tingkah laku sistem melalui bukti operasi.
• Incident Response: proses mengesan, mengawal, menyiasat dan memulihkan insiden.
• Human Oversight: penglibatan manusia dalam semakan, kelulusan atau campur tangan yang sesuai.

References

1. National Institute of Standards and Technology (NIST). Artificial Intelligence Risk Management Framework (AI RMF 1.0). Baca penerbitan rasmi NIST .

   Rujukan untuk pengurusan risiko AI, termasuk fungsi Govern, Map, Measure dan Manage serta pengurusan risiko sepanjang kitaran hayat sistem.

2. NIST AI Resource Center. AI Risk Management Framework Resources. Buka sumber rasmi .

   Sumber tambahan tentang pelaksanaan AI RMF, Playbook, profil risiko dan bahan sokongan untuk penilaian sistem AI.

3. NIST. AI Risk Management Framework Playbook. Buka Playbook .

   Panduan cadangan untuk membantu organisasi melaksanakan hasil yang disasarkan oleh AI RMF. Cadangan Playbook bukan senarai semak wajib yang perlu digunakan sepenuhnya oleh setiap organisasi.

Rujukan ini memberikan asas untuk perbincangan tentang pengurusan risiko dan governance. Ia tidak bermaksud NIST telah mengesahkan struktur empat Canon Nobodynaga.

Framework Berkaitan AI Governance & Security

Canon ini menerangkan prinsip dan hubungan keseluruhan tadbir urus serta keselamatan AI. Framework berkaitan pula menghuraikan konsep, mekanisme dan masalah khusus yang perlu difahami dalam konteks tertentu.

Governance, keselamatan dan kawalan

• AI Governance — prinsip tadbir urus, polisi dan akauntabiliti AI.
• AI Guardrails — kawalan terhadap input, output dan tindakan sistem AI.
• AI Safety — risiko keselamatan dan usaha mengurangkan kesan yang tidak diingini.
• AI Alignment — hubungan antara tingkah laku AI dengan objektif serta arahan yang dimaksudkan.

Assurance, evaluation dan kebolehpercayaan

• AI Evaluation — penilaian kualiti, tingkah laku, keselamatan dan prestasi AI.
• AI Benchmark — penggunaan ujian, dataset, protokol dan metrik untuk mengukur atau membandingkan prestasi AI.
• AI Hallucination — risiko output AI yang tidak disokong bukti atau mengandungi maklumat yang direka.

Framework ini saling berkaitan, tetapi bukan semuanya subkomponen eksklusif AI Governance & Security. AI Evaluation, AI Benchmark dan AI Hallucination, misalnya, turut berkait secara langsung dengan domain AI Reliability.

Kesimpulan

AI Governance & Security menyediakan domain pengetahuan untuk memahami bagaimana penggunaan AI diarahkan, risiko diurus, sistem dilindungi dan tanggungjawab dikekalkan. Ia menghubungkan prinsip governance dengan kawalan teknikal dan operasi, tanpa menganggap satu polisi atau satu alat mampu menyelesaikan semua risiko.

Dalam seni bina AI Infrastructure Nobodynaga, Canon ini berhubung dengan AI Foundation, AI Integration & Intelligence dan AI Reliability. Setiap domain menyumbang perspektif berbeza, manakala Framework khusus menerangkan mekanisme, ancaman dan kaedah penilaian dengan lebih mendalam.

Matlamatnya bukan menjadikan AI bebas daripada kegagalan. Matlamatnya ialah membina sistem yang mempunyai tujuan jelas, kawalan yang sesuai, bukti yang boleh diperiksa dan proses yang mampu bertindak apabila keadaan berubah.

Untuk meneroka keseluruhan struktur domain, mulakan dengan AI Infrastructure Hub dan gunakan hubungan Canon serta Framework sebagai laluan pembelajaran yang saling berkait.