Apa Itu AI Security? Panduan Lengkap Canon SEC Nobodynaga

AI INFRASTRUCTURE · AI GOVERNANCE & SECURITY · FRAMEWORK GUIDE

Sistem Artificial Intelligence bukan sahaja perlu menghasilkan output yang berguna. Sistem itu juga perlu mempunyai kawalan yang sesuai, melindungi data dan akses, diuji terhadap ancaman, serta dipantau sepanjang kitaran hayatnya.

AI Governance & Security Framework menyusun enam komponen utama Canon SEC Nobodynaga untuk menerangkan bagaimana polisi, perlindungan teknikal, kawalan tingkah laku, ujian keselamatan, alignment dan kebolehfahaman keputusan saling melengkapi.

Oleh Nobodynaga · Panduan Framework Canon SEC

Kandungan Artikel

1. Pengenalan kepada Framework Canon SEC
2. Enam Komponen Utama Canon SEC
3. Bagaimana Enam Komponen utama Bekerjasama?
4. Permukaan Risiko dan Serangan Sistem AI
5. Ancaman Utama AI Security
6. Kawalan dan Pelaksanaan Framework
7. Framework Sepanjang Kitaran Hayat AI
8. Perbezaan SEC, AI Safety dan AI Reliability
9. Pendekatan Praktikal untuk Organisasi
10. Rujukan dan Sumber Teknikal
11. Soalan Lazim
12. Kesimpulan

1. Pengenalan kepada Framework Canon SEC

AI Governance & Security Framework ialah kerangka konseptual untuk menyusun bidang tadbir urus dan keselamatan AI supaya organisasi dapat memahami tanggungjawab, risiko, kawalan dan kaedah penilaian yang berkaitan dengan sistem AI.

Dalam struktur editorial Nobodynaga, Canon SEC — AI Governance & Security — merangkumi enam komponen utama:

• AI Governance: menetapkan polisi, peranan, akauntabiliti dan proses pengurusan risiko.
• AI Security: melindungi model, data, aplikasi, akses dan infrastruktur daripada ancaman keselamatan.
• AI Guardrails: membantu mengehadkan input, output atau tindakan sistem mengikut peraturan yang ditetapkan.
• AI Red Teaming: menguji sistem secara sengaja untuk mengenal pasti kelemahan dan cara kawalan boleh gagal.
• AI Alignment: menilai sejauh mana tingkah laku sistem AI selaras dengan objektif, arahan dan batasan yang dimaksudkan.
• Explainable AI: membantu menjelaskan output atau keputusan model mengikut kaedah dan batasan yang sesuai.

Enam komponen ini mempunyai fokus yang berbeza. Ia bukan enam nama untuk perkara yang sama dan tidak semestinya dilaksanakan sebagai urutan linear. Dalam sistem sebenar, komponen-komponen ini berinteraksi mengikut jenis aplikasi, tahap risiko, data yang diproses dan keupayaan yang diberikan kepada AI.

Framework ini ialah struktur pembelajaran dan penyusunan editorial Nobodynaga. Ia tidak menggantikan standard, undang-undang atau penilaian risiko khusus yang mungkin terpakai kepada sesebuah organisasi.

2. Enam Komponen Utama Canon SEC

2.1 AI Governance

AI Governance menentukan bagaimana organisasi mengarah, menyelia dan mempertanggungjawabkan penggunaan AI. Ia merangkumi polisi, pemilik sistem, peranan pembuat keputusan, proses kelulusan, dokumentasi, pengurusan risiko dan mekanisme semakan.

Governance menjawab soalan seperti: Apakah tujuan penggunaan AI? Siapakah yang bertanggungjawab terhadap sistem? Data apakah yang dibenarkan? Risiko apakah yang boleh diterima? Bilakah sistem perlu disemak, dihadkan atau dihentikan?

Tanpa peranan dan proses yang jelas, kawalan teknikal mungkin tidak dikemas kini, insiden mungkin tidak dieskalasikan dan keputusan penting mungkin tidak mempunyai pemilik yang bertanggungjawab.

2.2 AI Security

AI Security melindungi sistem AI daripada ancaman keselamatan dan penyalahgunaan. Skopnya meliputi model, data latihan, data pengguna, prompt, retrieval system, API, plugin, AI Agents, infrastruktur dan komponen pihak ketiga.

AI Security mempunyai hubungan rapat dengan cybersecurity tradisional, tetapi turut mengambil kira risiko khusus sistem AI seperti Prompt Injection, Data Poisoning, Model Extraction dan penyalahgunaan alat oleh aplikasi yang disambungkan kepada model.

Matlamatnya bukan untuk menjanjikan bahawa sistem tidak akan gagal. Matlamatnya ialah mengurangkan peluang serangan, mengehadkan kesan apabila kawalan gagal, serta membolehkan organisasi mengesan dan menangani insiden.

2.3 AI Guardrails

AI Guardrails ialah mekanisme yang membantu mengehadkan atau mengarahkan input, output dan tindakan AI berdasarkan polisi serta keperluan aplikasi. Contohnya termasuk pemeriksaan input, penapisan output, sekatan tindakan, pengesahan parameter dan proses kelulusan bagi tindakan sensitif.

Guardrails boleh membantu menguatkuasakan peraturan, tetapi tidak patut dianggap sebagai perlindungan tunggal. Ia tidak menggantikan kawalan akses pada sumber data, keselamatan API, pengasingan sistem, ujian adversarial atau proses tindak balas insiden.

Keberkesanan guardrails perlu dinilai dalam konteks aplikasi sebenar. Kawalan yang sesuai untuk chatbot yang hanya menjana teks mungkin tidak mencukupi bagi AI Agent yang boleh membaca fail, menghantar mesej atau mengubah rekod.

2.4 AI Red Teaming

AI Red Teaming ialah pendekatan ujian terancang untuk mengenal pasti kelemahan, risiko penyalahgunaan dan cara kawalan boleh dipintas. Ujian boleh merangkumi Prompt Injection, percubaan mendapatkan data tanpa kebenaran, penyalahgunaan alat, input adversarial dan keadaan penggunaan yang tidak dijangka.

Red Teaming bukan sekadar menghasilkan senarai serangan yang berjaya atau gagal. Dapatan perlu dinilai berdasarkan kesan, keutamaan risiko dan kebarangkalian berlaku, kemudian diterjemahkan kepada pembaikan dan ujian semula.

Ujian perlu mempunyai skop dan kebenaran yang jelas. Ia juga perlu diulang apabila model, data, konfigurasi, integrasi atau tujuan penggunaan berubah.

2.5 AI Alignment

AI Alignment merujuk kepada usaha memastikan tingkah laku sistem AI selaras dengan objektif, arahan dan batasan yang dimaksudkan. Dalam aplikasi tertentu, persoalannya termasuk sama ada sistem mengikuti tujuan yang sah, mengendalikan arahan bercanggah dengan sewajarnya dan mengelakkan tindakan yang bertentangan dengan keperluan yang ditetapkan.

Alignment tidak sama dengan AI Security. Sistem boleh dilindungi daripada akses tanpa kebenaran tetapi masih menghasilkan tingkah laku yang tidak selaras dengan objektif. Sebaliknya, model yang menunjukkan tingkah laku yang dikehendaki masih boleh terdedah kepada kelemahan pada data, API atau infrastruktur.

Penilaian alignment perlu mengambil kira konteks penggunaan, batasan model dan kemungkinan tingkah laku berubah mengikut input. Ia tidak patut disimpulkan daripada beberapa contoh output sahaja.

2.6 Explainable AI

Explainable AI (XAI) merangkumi kaedah untuk membantu manusia memahami faktor atau proses yang berkaitan dengan output dan keputusan model. Bentuk penjelasan yang sesuai bergantung pada jenis model, aplikasi dan pengguna yang memerlukan penjelasan tersebut.

Explainability boleh membantu semakan, penyiasatan dan komunikasi tentang batasan sistem. Namun, penjelasan yang kelihatan munasabah tidak semestinya membuktikan bahawa keputusan model itu betul, adil atau selamat. Penjelasan juga mempunyai batasan dan perlu dinilai mengikut kaedah yang digunakan.

Dalam framework SEC, Explainable AI menyokong kebolehfahaman dan semakan, tetapi tidak menggantikan ujian keselamatan, kawalan akses atau akauntabiliti organisasi.

3. Bagaimana Enam Komponen utama Bekerjasama?

Enam komponen utama Canon SEC perlu difahami sebagai bidang yang saling melengkapi. Governance menentukan tanggungjawab dan polisi; Security melindungi sistem; Guardrails membantu menguatkuasakan batasan; Alignment menilai keselarasan tingkah laku; Red Teaming menguji kelemahan; dan Explainable AI membantu menjelaskan output atau keputusan mengikut kaedah yang sesuai.

Contoh: aplikasi AI yang membaca dokumen organisasi

1. AI Governance: organisasi menentukan tujuan aplikasi, jenis dokumen yang dibenarkan, pemilik sistem dan pihak yang boleh mengaksesnya.
2. AI Security: sistem menguatkuasakan identiti, kebenaran akses, perlindungan data dan keselamatan API.
3. AI Guardrails: aplikasi mengehadkan tindakan yang dibenarkan dan memeriksa permintaan atau output mengikut polisi.
4. AI Alignment: sistem dinilai sama ada ia melaksanakan tugasan yang dimaksudkan dan mematuhi batasan penggunaan.
5. AI Red Teaming: penguji cuba mengenal pasti sama ada input berniat jahat atau dokumen luaran boleh mendorong pendedahan data atau tindakan yang tidak sepatutnya.
6. Explainable AI: apabila sesuai, sistem menyediakan maklumat yang membantu pengguna memahami asas output atau menyemak hasil yang dipersoalkan.

Urutan ini hanyalah contoh untuk menerangkan fungsi setiap komponen utama. Dalam pelaksanaan sebenar, ujian Red Teaming boleh berlaku sejak peringkat reka bentuk, manakala Governance, Security dan semakan tingkah laku perlu diteruskan sepanjang kitaran hayat sistem.

Perbezaan antara kawalan, ujian dan akauntabiliti

• Polisi tanpa pelaksanaan: menetapkan peraturan sahaja tidak memastikan sistem mempunyai kawalan teknikal yang berkesan.
• Kawalan tanpa ujian: kewujudan guardrails atau kawalan akses tidak membuktikan bahawa kawalan itu berfungsi dalam semua keadaan.
• Ujian tanpa pembaikan: mengenal pasti kelemahan tidak mengurangkan risiko jika dapatan tidak diberikan kepada pemilik dan ditangani.
• Penjelasan tanpa pengesahan: penjelasan model tidak dengan sendirinya membuktikan bahawa output itu tepat atau selamat.

4. Permukaan Risiko dan Serangan Sistem AI

Permukaan serangan merangkumi komponen, laluan akses dan titik interaksi yang berpotensi dieksploitasi. Bagi sistem AI, risiko boleh wujud daripada penyediaan data sehingga operasi selepas deployment.

Data latihan dan sumber data

Data yang tidak disahkan, tercemar atau diperoleh daripada sumber yang tidak dipercayai boleh menjejaskan integriti sistem. Akses kepada dataset, proses pemprosesan dan perubahan data perlu dikawal serta direkodkan.

Model dan artifak pembangunan

Fail model, konfigurasi, checkpoint, kod latihan dan komponen perisian boleh menjadi sasaran kecurian atau pengubahsuaian. Organisasi perlu mengurus akses, asal-usul artifak dan proses pelepasan model.

Prompt dan input pengguna

Input pengguna boleh mengandungi arahan berniat jahat, kandungan mengelirukan atau percubaan memintas sekatan. Sistem tidak sepatutnya menganggap semua input sebagai arahan yang boleh dipercayai.

Retrieval-Augmented Generation dan dokumen luaran

Sistem Retrieval-Augmented Generation (RAG) mendapatkan maklumat daripada dokumen atau pangkalan pengetahuan untuk membantu model menjawab soalan. Risiko boleh timbul apabila dokumen mengandungi arahan berniat jahat, indeks mempunyai kawalan akses yang lemah atau hasil retrieval mendedahkan data yang tidak sepatutnya diakses pengguna.

API, plugin dan AI Agents

AI yang disambungkan kepada alat luaran boleh melakukan lebih daripada menjana teks. Ia mungkin mencari maklumat, membaca fail atau mencetuskan tindakan melalui API. Kebenaran alat, skop akses dan pengesahan tindakan perlu ditentukan secara berasingan daripada keupayaan model menghasilkan jawapan.

Infrastruktur dan rantaian bekalan

Perpustakaan perisian, model pihak ketiga, akaun awan, rahsia API dan sistem deployment turut menjadi sebahagian daripada permukaan serangan. Kelemahan pada komponen sokongan boleh menjejaskan aplikasi AI walaupun model tidak dieksploitasi secara langsung.

5. Ancaman Utama AI Security

Ancaman terhadap AI tidak semuanya berlaku dengan cara yang sama. Sesetengah serangan menyasarkan tingkah laku model, manakala yang lain menyerang data, infrastruktur atau sistem yang disambungkan kepadanya. Membezakan jenis ancaman membantu organisasi memilih kawalan yang sesuai.

5.1 Prompt Injection

Prompt Injection ialah cubaan mempengaruhi sistem AI melalui arahan yang direka untuk mengubah cara sistem mentafsir atau melaksanakan tugasan. Serangan boleh dimasukkan secara langsung melalui input pengguna atau secara tidak langsung melalui kandungan luaran seperti dokumen, halaman web atau hasil retrieval.

Risikonya menjadi lebih besar apabila aplikasi mempunyai akses kepada data sulit atau alat yang boleh melaksanakan tindakan. Model mungkin dipengaruhi untuk mengabaikan arahan asal, mendedahkan maklumat atau cuba menggunakan alat di luar tujuan yang dimaksudkan.

Prinsip perlindungan: jangan bergantung pada arahan sistem semata-mata. Asingkan data daripada arahan yang dipercayai, hadkan kebenaran alat, sahkan tindakan sensitif dan uji aplikasi dengan input berniat jahat.

5.2 Jailbreak

Jailbreak merujuk kepada percubaan mengatasi sekatan atau polisi keselamatan model melalui input yang direka khusus. Ia boleh menggunakan pujukan, penyamaran konteks atau urutan arahan.

Jailbreak berkait dengan keselamatan tingkah laku model, tetapi tidak semestinya sama dengan pencerobohan rangkaian atau kecurian akaun. Risiko sebenar bergantung pada keupayaan model, aplikasi yang menggunakannya dan tindakan yang dibenarkan.

Prinsip perlindungan: jalankan ujian keselamatan berulang, gunakan polisi yang jelas, hadkan tindakan berisiko dan nilai keselamatan keseluruhan aplikasi, bukan hanya jawapan model secara berasingan.

5.3 Data Poisoning

Data Poisoning berlaku apabila data latihan atau data yang digunakan dalam pembangunan model dimanipulasi untuk mempengaruhi tingkah laku model.

Data tercemar boleh menurunkan prestasi, mewujudkan bias tertentu atau menyebabkan model bertindak secara tidak dijangka apabila keadaan tertentu muncul. Risiko bergantung pada jenis model, kaedah latihan dan tahap kawalan terhadap sumber data.

Prinsip perlindungan: semak asal-usul data, sahkan sumber, kawal perubahan dataset, dokumentasikan proses pemprosesan dan jalankan penilaian bagi mengenal pasti perubahan tingkah laku yang mencurigakan.

5.4 Model Theft dan Model Extraction

Model Theft merujuk kepada kecurian atau pengambilan model tanpa kebenaran. Model Extraction pula merujuk kepada percubaan membina anggaran atau meniru tingkah laku model melalui pertanyaan dan pemerhatian terhadap outputnya.

Risiko termasuk kehilangan harta intelek, pendedahan pelaburan pembangunan dan penyalahgunaan model oleh pihak lain. Tahap risiko bergantung pada akses yang diberikan, maklumat yang didedahkan oleh API dan sifat model tersebut.

Prinsip perlindungan: kawal akses kepada artifak model, lindungi endpoint, pantau corak pertanyaan yang luar biasa dan elakkan mendedahkan maklumat teknikal yang tidak diperlukan kepada pengguna.

5.5 Model Inversion dan kebocoran maklumat

Model Inversion merangkumi teknik yang cuba menyimpulkan maklumat tentang data yang digunakan atau diproses oleh model berdasarkan akses kepada model dan outputnya. Dalam keadaan tertentu, serangan boleh mendedahkan maklumat sensitif.

Risiko privasi juga boleh berlaku apabila sistem AI mengembalikan kandungan daripada dokumen dalaman atau data pengguna tanpa pengesahan kebenaran yang mencukupi.

Prinsip perlindungan: minimumkan data sensitif, gunakan kawalan akses pada lapisan data, hadkan maklumat yang dipulangkan dan uji kemungkinan kebocoran melalui output model.

5.6 Adversarial Attack

Adversarial Attack menggunakan input yang direka atau diubah secara khusus untuk menyebabkan model membuat ramalan atau klasifikasi yang salah. Dalam sistem penglihatan komputer, misalnya, perubahan tertentu pada input boleh mengelirukan model.

Jenis serangan dan kesannya berbeza mengikut modaliti, seni bina model serta persekitaran penggunaan. Tidak semua input yang salah ialah serangan adversarial; penilaian perlu membezakan kesilapan biasa daripada manipulasi yang disengajakan.

Prinsip perlindungan: uji model menggunakan input mencabar, nilai ketahanannya pada keadaan penggunaan sebenar dan gabungkan output AI dengan pemeriksaan tambahan apabila keputusan mempunyai kesan yang besar.

5.7 Penyalahgunaan alat dan akses berlebihan

AI Agents dan aplikasi yang menggunakan alat luaran boleh menghadapi risiko apabila kebenaran terlalu luas. Jika sistem boleh membaca fail, menghantar mesej atau mengubah rekod, arahan yang salah atau manipulasi input boleh menghasilkan kesan operasi.

Prinsip perlindungan: gunakan prinsip least privilege, asingkan persekitaran, hadkan tindakan kepada fungsi yang diperlukan dan minta pengesahan manusia sebelum tindakan sensitif atau sukar dipulihkan.

5.8 Risiko rantaian bekalan

Sistem AI bergantung pada model, pakej perisian, penyedia API dan infrastruktur pihak ketiga. Komponen yang terjejas atau tidak disahkan boleh menjadi laluan serangan.

Prinsip perlindungan: semak sumber komponen, kawal kebergantungan, kemas kini perisian, lindungi rahsia dan rekodkan versi model serta komponen yang digunakan dalam deployment.

6. Kawalan dan Pelaksanaan Framework

Framework SEC perlu diterjemahkan kepada kawalan yang sesuai dengan sistem dan tahap risikonya. Tiada satu teknik mampu menghapuskan semua risiko, dan kawalan yang sesuai untuk chatbot ringkas mungkin tidak mencukupi untuk sistem AI yang mempunyai akses kepada data organisasi atau alat operasi.

6.1 Kenal pasti aset, penggunaan dan risiko

Senaraikan model, dataset, aplikasi, API, pengguna, alat luaran dan aliran data yang terlibat. Tentukan tujuan penggunaan, jenis data yang diproses, pemilik sistem dan kesan jika kawalan gagal.

• Senaraikan sistem AI dan pemiliknya.
• Kenal pasti data sensitif dan pihak yang dibenarkan mengaksesnya.
• Dokumentasikan integrasi, alat dan kebenaran yang diberikan.
• Nilai risiko kebocoran data, manipulasi dan gangguan operasi.

6.2 Lindungi identiti dan akses

Gunakan pengesahan identiti yang sesuai, kawalan akses berasaskan peranan dan prinsip least privilege. Setiap komponen hanya patut menerima akses yang diperlukan untuk menjalankan fungsinya.

Rahsia API, token dan kelayakan akses tidak sepatutnya disimpan secara terbuka dalam kod, prompt atau log. Akses perlu disemak dan ditarik balik apabila tidak lagi diperlukan.

6.3 Lindungi data dan model

Data perlu dikendalikan mengikut tahap sensitiviti dan tujuan penggunaannya. Kawalan boleh merangkumi penyulitan, pengurusan kebenaran, pengesahan dataset, rekod asal-usul data dan perlindungan artifak model.

Organisasi juga perlu menilai sama ada data peribadi atau maklumat sulit benar-benar diperlukan. Mengurangkan pengumpulan data yang tidak perlu boleh mengecilkan kesan sekiranya berlaku insiden.

6.4 Gunakan Guardrails bersama kawalan aplikasi

Input dan output perlu diproses berdasarkan risiko aplikasi. Pengesahan input, pengurusan sesi, had penggunaan dan pemeriksaan output boleh membantu, tetapi tidak boleh dianggap sebagai penyelesaian tunggal untuk Prompt Injection atau semua bentuk penyalahgunaan.

Jika sistem menggunakan RAG, kebenaran akses perlu dikuatkuasakan ketika mendapatkan dokumen, bukan hanya bergantung pada model untuk menolak kandungan yang tidak patut didedahkan.

6.5 Hadkan keupayaan AI Agents

Setiap alat yang tersedia kepada AI Agent perlu mempunyai skop dan kebenaran yang jelas. Tindakan berisiko tinggi hendaklah diasingkan daripada tugasan biasa.

• Benarkan hanya alat yang diperlukan.
• Hadkan akses kepada fail dan rekod tertentu.
• Sahkan parameter sebelum tindakan dilaksanakan.
• Gunakan kelulusan manusia untuk tindakan sensitif.
• Rekodkan tindakan yang diambil oleh sistem.

6.6 Uji keselamatan dan keselarasan tingkah laku

Ujian perlu menilai bagaimana aplikasi bertindak apabila menerima input berniat jahat, arahan bercanggah, data tidak dipercayai atau permintaan yang cuba mengakses maklumat tanpa kebenaran. Penilaian juga perlu melihat sama ada sistem menjalankan tujuan yang dimaksudkan dan mematuhi batasan yang ditetapkan.

AI Red Teaming membantu mengenal pasti kelemahan melalui ujian yang dirancang. Dapatan perlu diterjemahkan kepada pembaikan, ujian semula dan dokumentasi risiko. Ia bukan sekadar senarai serangan yang berjaya atau gagal.

6.7 Pantau sistem dan sediakan tindak balas insiden

Pemantauan perlu merangkumi penggunaan API, corak akses, perubahan konfigurasi, tingkah laku aplikasi dan tanda kemungkinan kebocoran atau penyalahgunaan. Log hendaklah direka supaya membantu penyiasatan tanpa mengumpulkan data sensitif secara berlebihan.

Organisasi juga perlu menetapkan tindakan apabila insiden berlaku, termasuk mengehadkan akses, menghentikan integrasi yang terjejas, memulihkan konfigurasi selamat dan menilai sama ada data atau pengguna telah terkesan.

6.8 Dokumentasikan keputusan dan batasan

Dokumentasikan tujuan sistem, batasan penggunaan, risiko yang dikenal pasti, kawalan yang dilaksanakan, hasil ujian dan pemilik tindakan pembaikan. Explainable AI boleh membantu menerangkan sesetengah output atau keputusan, tetapi penjelasan perlu dinilai berdasarkan kaedah dan konteksnya.

7. Framework Sepanjang Kitaran Hayat AI

Keselamatan dan governance AI bukan aktiviti sekali sahaja sebelum pelancaran. Model, data, prompt, integrasi dan corak penggunaan boleh berubah selepas deployment. Oleh itu, enam komponen utama SEC perlu dipertimbangkan sepanjang kitaran hayat sistem.

Perancangan

Tentukan tujuan penggunaan, pemilik sistem, data yang diperlukan, pihak berkepentingan dan risiko utama. Governance membantu menetapkan syarat penggunaan serta proses kelulusan sebelum pembangunan bermula.

Pembangunan dan integrasi

Lindungi dataset, artifak model, kod dan rahsia akses. Tetapkan kebenaran alat, reka bentuk kawalan aplikasi dan tentukan cara tingkah laku sistem akan dinilai.

Ujian sebelum pelancaran

Jalankan ujian fungsi, keselamatan dan penyalahgunaan yang sesuai dengan risiko. Gunakan Red Teaming untuk mencari kelemahan, semak sama ada guardrails berfungsi dan dokumentasikan batasan yang masih wujud.

Deployment dan operasi

Pantau akses, penggunaan alat, perubahan konfigurasi dan tanda insiden. Pastikan pemilik sistem mengetahui cara melaporkan masalah serta tindakan yang perlu diambil apabila kawalan gagal.

Perubahan dan penambahbaikan

Nilai semula kawalan apabila model, data, API, sumber retrieval atau tujuan penggunaan berubah. Dapatan operasi dan ujian perlu digunakan untuk memperbaiki sistem serta mengemas kini dokumentasi.

Framework ini tidak menetapkan satu kitaran pelaksanaan yang wajib untuk semua organisasi. Skop kawalan, tahap dokumentasi dan kekerapan semakan perlu disesuaikan dengan konteks penggunaan dan kesan kegagalan.

8. Perbezaan SEC, AI Safety dan AI Reliability

Beberapa bidang berdekatan mempunyai hubungan dengan Canon SEC, tetapi tidak patut disatukan sebagai satu komponen yang sama.

• AI Governance & Security (SEC): merangkumi enam komponen utama rasmi Nobodynaga — AI Governance, AI Security, AI Guardrails, AI Red Teaming, AI Alignment dan Explainable AI.
• AI Safety: memberi tumpuan kepada usaha mengurangkan tingkah laku atau hasil AI yang boleh menyebabkan kemudaratan. Dalam struktur Nobodynaga, AI Safety ialah Canon silang bidang yang berasingan, bukan pengganti AI Security.
• AI Observability: membantu memahami dan memantau tingkah laku sistem melalui log, metrik, jejak dan maklumat operasi. Dalam struktur Nobodynaga, AI Observability berada di bawah REL — AI Reliability.
• AI Evaluation: menilai prestasi atau tingkah laku sistem berdasarkan kriteria dan senario yang ditentukan. Dalam struktur Nobodynaga, AI Evaluation berada di bawah REL.

Contohnya, AI Security mungkin memastikan pengguna hanya boleh mengakses dokumen yang dibenarkan. AI Safety pula mempertimbangkan sama ada tingkah laku atau hasil sistem boleh menyebabkan kemudaratan. AI Observability membantu mengesan perubahan dan masalah ketika sistem beroperasi. Bidang-bidang ini boleh bekerjasama tanpa kehilangan fokus masing-masing.

9. Pendekatan Praktikal untuk Organisasi

Organisasi tidak semestinya perlu memulakan pelaksanaan dengan sistem kawalan yang kompleks. Pendekatan yang lebih praktikal ialah mengenal pasti penggunaan AI, memberi keutamaan kepada risiko yang paling penting dan membina proses semakan yang boleh dikekalkan.

1. Inventori sistem AI. Senaraikan aplikasi, model, sumber data, integrasi dan pemilik sistem.
2. Tentukan tanggungjawab. Tetapkan pihak yang meluluskan penggunaan, mengurus risiko dan menangani insiden.
3. Kenal pasti data sensitif. Tentukan maklumat yang boleh diproses serta pihak yang dibenarkan mengaksesnya.
4. Hadkan akses dan tindakan. Semak kebenaran pengguna, aplikasi, API dan AI Agents.
5. Uji ancaman utama. Beri keutamaan kepada Prompt Injection, pendedahan data, penyalahgunaan alat dan risiko lain yang relevan dengan sistem.
6. Semak tingkah laku sistem. Nilai sama ada sistem melaksanakan tujuan yang dimaksudkan dan bertindak mengikut batasan yang ditetapkan.
7. Dokumentasikan dan pantau. Rekodkan kawalan, hasil ujian, batasan dan tindakan pembaikan serta pantau operasi yang relevan.
8. Ulang penilaian. Semak semula kawalan selepas perubahan model, data, konfigurasi atau skop penggunaan.

Langkah ini ialah panduan asas untuk menyusun keutamaan, bukannya piawaian pensijilan atau framework formal yang menjamin keselamatan. Organisasi perlu menyesuaikannya dengan konteks penggunaan, keperluan undang-undang dan tahap risiko.

10. Rujukan dan Sumber Teknikal

Sumber berikut boleh digunakan sebagai titik permulaan untuk memahami pengurusan risiko dan keselamatan sistem AI. Setiap sumber mempunyai skop yang berbeza dan tidak sepatutnya dianggap sebagai pengganti kepada penilaian risiko khusus bagi sesebuah sistem.

• NIST AI Risk Management Framework (AI RMF) — panduan pengurusan risiko AI merangkumi aspek govern, map, measure dan manage.
• OWASP Top 10 for Large Language Model Applications — sumber untuk memahami risiko keselamatan aplikasi yang menggunakan Large Language Models.
• MITRE ATLAS — pangkalan pengetahuan tentang taktik dan teknik adversarial yang menyasarkan sistem AI.
• NIST Artificial Intelligence — sumber NIST berkaitan penyelidikan, panduan dan aktiviti dalam bidang AI.

Rujukan ini mempunyai tujuan berlainan. NIST AI RMF memberi tumpuan kepada pengurusan risiko; OWASP menumpukan risiko aplikasi LLM; manakala MITRE ATLAS membantu memahami taktik dan teknik serangan terhadap AI. Pemilihan kawalan perlu dibuat berdasarkan ancaman serta sistem yang benar-benar digunakan.

11. Soalan Lazim (FAQ)

Apakah AI Governance & Security Framework?

Dalam struktur Nobodynaga, framework ini menyusun enam komponen utama Canon SEC: AI Governance, AI Security, AI Guardrails, AI Red Teaming, AI Alignment dan Explainable AI. Tujuannya ialah menjelaskan fungsi setiap komponen utama dan bagaimana bidang tersebut saling melengkapi.

Adakah Canon SEC sama dengan AI Security?

Tidak. AI Security ialah salah satu daripada enam komponen utama dalam Canon SEC. Canon SEC turut merangkumi AI Governance, AI Guardrails, AI Red Teaming, AI Alignment dan Explainable AI.

Apakah ancaman utama AI Security?

Antara ancaman yang perlu difahami ialah Prompt Injection, Jailbreak, Data Poisoning, Model Theft, Model Inversion, Adversarial Attack, penyalahgunaan alat dan kelemahan rantaian bekalan.

Adakah Prompt Injection sama dengan Jailbreak?

Tidak semestinya. Prompt Injection cuba mempengaruhi arahan atau konteks yang diproses oleh sistem. Jailbreak pula merujuk kepada percubaan mengatasi sekatan atau polisi model. Kedua-duanya boleh bertindih, tetapi tidak sama dari segi skop dan cara ia berlaku.

Adakah AI Guardrails mencukupi untuk melindungi sistem AI?

Tidak. Guardrails boleh membantu menguatkuasakan peraturan, tetapi ia perlu digabungkan dengan kawalan akses, perlindungan data, keselamatan aplikasi, ujian adversarial, pemantauan dan pengurusan insiden.

Apakah peranan AI Red Teaming?

AI Red Teaming menguji sistem dengan senario serangan atau penyalahgunaan yang dirancang untuk mengenal pasti kelemahan. Dapatan ujian perlu digunakan untuk memperbaiki kawalan dan mengesahkan keberkesanannya semula.

Apakah perbezaan AI Security dengan AI Safety?

AI Security memberi tumpuan kepada ancaman keselamatan, akses tanpa kebenaran dan perlindungan sistem. AI Safety menumpukan usaha mengurangkan tingkah laku atau hasil AI yang boleh menyebabkan kemudaratan. Kedua-duanya berkaitan tetapi mempunyai fokus berbeza.

Apakah fungsi AI Alignment?

AI Alignment menilai sejauh mana tingkah laku sistem AI selaras dengan objektif, arahan dan batasan yang dimaksudkan. Ia tidak menggantikan keselamatan teknikal atau kawalan akses.

Adakah Explainable AI membuktikan bahawa output model betul?

Tidak. Explainable AI boleh membantu menjelaskan faktor atau proses yang berkaitan dengan output model, tetapi penjelasan itu sendiri tidak membuktikan bahawa keputusan adalah tepat, adil atau selamat.

Bilakah framework SEC perlu digunakan?

Enam komponen SEC patut dipertimbangkan sejak peringkat perancangan dan pembangunan, kemudian dinilai semula apabila model, data, integrasi atau tujuan penggunaan berubah. Skop pelaksanaan perlu disesuaikan dengan risiko sistem.

12. Kesimpulan

AI Governance & Security Framework menyusun enam komponen utama yang membantu organisasi memahami tanggungjawab, kawalan dan penilaian bagi sistem AI. Governance menetapkan polisi serta akauntabiliti; Security melindungi sistem; Guardrails membantu mengehadkan input, output dan tindakan; Alignment menilai keselarasan tingkah laku; Red Teaming menguji kelemahan; dan Explainable AI membantu menjelaskan output atau keputusan mengikut kaedah yang sesuai.

Ancaman seperti Prompt Injection, Data Poisoning, Model Theft dan Adversarial Attack menunjukkan bahawa perlindungan tidak boleh tertumpu pada model sahaja. Risiko turut wujud pada data, prompt, API, alat luaran, infrastruktur dan proses operasi.

Tiada satu kawalan yang dapat menghapuskan semua risiko. Organisasi perlu menggabungkan polisi, kawalan teknikal, ujian keselamatan, pemantauan, dokumentasi dan tindak balas insiden. Keberkesanan pendekatan itu perlu dinilai semula apabila sistem berubah.

Framework ini ialah peta konseptual untuk memahami hubungan antara enam komponen utama Canon SEC. Pelaksanaan sebenar tetap perlu disesuaikan dengan tujuan sistem, konteks organisasi dan tahap risiko yang terlibat.

Teruskan Pembelajaran

Gunakan pautan berikut untuk meneruskan pembelajaran dalam kelompok AI Governance & Security. Sahkan status penerbitan dan URL kanonik setiap artikel sebelum menerbitkan atau mengemas kini pautan.

• Apa Itu AI Governance?
• Apa Itu AI Red Teaming?
• Apa Itu AI Guardrails?
• Apa Itu AI Safety?
• Apa Itu AI Alignment?
• Apa Itu Explainable AI ?