AI Safety: Prinsip, Risiko dan Keselamatan Sistem AI

REL4-AINF-CN15

AI INFRASTRUCTURE · CANON GUIDE

Fahami AI Safety sebagai pendekatan merentas domain untuk mengenal pasti, menilai dan mengurangkan risiko AI, serta hubungannya dengan AI Hallucination, AI Guardrails, AI Alignment, AI Evaluation dan AI Security.

📌 Ringkasan

AI Safety ialah pendekatan untuk mengenal pasti, menilai dan mengurangkan risiko sepanjang kitaran hayat Artificial Intelligence. Ia menggabungkan reka bentuk sistem, pengujian, kawalan, pemantauan dan pengawasan manusia mengikut konteks serta tahap risiko aplikasi.

AI Safety bukan satu teknologi tunggal dan bukan jaminan bahawa AI bebas daripada kesilapan. Tujuannya ialah mengurus risiko secara sistematik, mengurangkan kemungkinan kegagalan dan menyediakan tindakan yang jelas apabila masalah berlaku.

🎯 Mengapa AI Safety Penting?

Keupayaan Artificial Intelligence semakin berkembang daripada menjana teks dan menjawab soalan kepada menganalisis dokumen, menggunakan tools dan membantu melaksanakan tugasan. Keupayaan ini membuka peluang baharu, tetapi turut membawa risiko jika sistem digunakan tanpa penilaian dan kawalan yang sesuai.

Contohnya, chatbot boleh memberikan maklumat yang salah dengan gaya bahasa yang meyakinkan. AI yang digunakan untuk mencari dokumen mungkin mengambil maklumat daripada sumber yang tidak tepat. Sementara itu, AI Agent yang dibenarkan menggunakan tools boleh melakukan tindakan yang tidak diingini jika kebenaran dan skop tugasnya tidak dikawal dengan baik.

AI Safety membantu organisasi mengenal pasti risiko tersebut lebih awal, menentukan tahap kawalan yang diperlukan dan menilai sama ada sistem sesuai digunakan dalam persekitaran sebenar.

Prinsip utama: AI yang berfungsi dengan baik dalam demonstrasi belum semestinya selamat digunakan dalam operasi sebenar. Keselamatan perlu dinilai berdasarkan konteks, pengguna, data, tindakan yang dibenarkan dan kesan jika sistem gagal.

Objektif Utama AI Safety

Pelaksanaan AI Safety biasanya bertujuan untuk:

• Mengenal pasti risiko kepada pengguna, organisasi dan masyarakat.
• Mengurangkan kemungkinan output atau tindakan AI yang berbahaya.
• Menentukan batas penggunaan serta tindakan yang dibenarkan.
• Menguji prestasi dan tingkah laku sistem sebelum pelaksanaan.
• Mengesan masalah selepas sistem digunakan.
• Menyediakan proses pembetulan, eskalasi dan pengawasan manusia.

Keutamaan bagi setiap objektif bergantung pada aplikasi. Sistem yang sekadar membantu menyusun nota tidak mempunyai profil risiko yang sama dengan sistem yang mencadangkan tindakan kewangan, memproses maklumat sensitif atau mengendalikan operasi kritikal.

Kedudukan AI Safety dalam AI Infrastructure

Dalam AI Infrastructure, AI Safety berkait dengan beberapa domain teknikal dan operasi. Ia bukan satu komponen yang terletak pada satu kedudukan tetap dalam setiap seni bina AI. Sebaliknya, prinsip keselamatan boleh mempengaruhi reka bentuk model, pengambilan data, penggunaan tools, lapisan aplikasi dan pemantauan sistem.

AI Safety juga mempunyai hubungan rapat dengan AI Reliability, AI Governance dan AI Security. Walau bagaimanapun, setiap bidang mempunyai skop tersendiri. Reliability memberi tumpuan kepada kebolehpercayaan dan prestasi sistem; Governance melibatkan polisi, tanggungjawab dan pengawasan; manakala Security memberi tumpuan kepada perlindungan daripada ancaman terhadap sistem dan data.

Hubungan ini lebih tepat difahami sebagai domain yang saling melengkapi, bukannya satu rantaian wajib seperti Foundation → Integration → Reliability → Governance. Dalam struktur Nobodynaga, AI Safety ialah Canon silang domain: ia menghubungkan prinsip, penilaian dan kawalan daripada beberapa bidang tanpa mengambil alih fungsi mana-mana Canon asas.

Hubungan AI Safety dengan empat Canon asas

• FDN — AI Foundation: memahami keupayaan, batasan dan tingkah laku asas model.
• INT/ITL — AI Integration & Intelligence: mengurus konteks, RAG, penggunaan tools, AI Agent dan orkestrasi.
• REL — AI Reliability: menilai prestasi, menjalankan benchmark dan memantau kebolehpercayaan sistem.
• SEC — AI Governance & Security: menyokong polisi, akauntabiliti, kawalan keselamatan dan pengurusan risiko.

AI Hallucination dan AI Safety ialah dua Canon silang domain yang berbeza tetapi berkait. Hallucination menumpukan jenis kegagalan output; AI Safety melihat risiko dengan lebih luas, termasuk output, data, tindakan dan kesan penggunaan.

Untuk melihat gambaran keseluruhan, rujuk AI Infrastructure Hub. AI Safety berkait dengan beberapa Canon dalam hub ini, tetapi bukan anak kepada satu Canon tertentu. Hubungan tersebut ialah hubungan silang domain: AI Foundation menerangkan keupayaan dan batasan model; AI Integration & Intelligence merangkumi konteks, RAG, tools dan AI Agent; AI Reliability menumpukan penilaian serta kebolehpercayaan; manakala AI Governance & Security meliputi tadbir urus, kawalan dan perlindungan sistem. Baca juga AI Reliability dan AI Governance & Security.

Prinsip Asas AI Safety

1. Pengenalpastian dan Penilaian Risiko

Organisasi perlu mengenal pasti bagaimana sistem mungkin gagal, siapa yang boleh terjejas dan sejauh mana kesannya. Penilaian risiko sepatutnya dilakukan sebelum penggunaan dan dikemas kini apabila model, data, tools atau konteks operasi berubah.

2. Kawalan yang Bersesuaian dengan Risiko

Tahap kawalan perlu sepadan dengan kesan jika sesuatu keputusan tersilap. Antara pendekatan yang boleh digunakan ialah pengesahan input, kawalan akses, semakan output, had tindakan, pengesahan manusia dan sekatan terhadap operasi berisiko tinggi.

3. Pengujian dan Pengesahan

Sistem perlu diuji menggunakan tugasan dan keadaan yang relevan dengan penggunaan sebenar. Pengujian boleh merangkumi ketepatan, konsistensi, pematuhan polisi, tingkah laku ketika menerima input luar biasa dan tindak balas terhadap kegagalan.

4. Pemantauan dan Respons Insiden

Pengujian sebelum pelaksanaan tidak mencukupi untuk semua keadaan. Sistem yang digunakan secara berterusan perlu mempunyai kaedah untuk mengesan masalah, merekod insiden, mengehadkan kesan kegagalan dan melaksanakan pembaikan.

5. Akauntabiliti dan Pengawasan Manusia

Organisasi perlu menentukan siapa yang bertanggungjawab terhadap sistem, siapa yang boleh meluluskan tindakan berisiko dan bagaimana masalah dieskalasikan. Pengawasan manusia perlu disokong oleh maklumat yang mencukupi, kuasa membuat keputusan dan proses kerja yang jelas.

Bagaimana AI Safety Dilaksanakan?

AI Safety bukan satu langkah yang hanya ditambah selepas model siap dibangunkan. Ia melibatkan keputusan sepanjang kitaran hayat sistem. Contoh berikut menunjukkan aktiviti yang lazim dilakukan, tetapi bukan urutan wajib bagi setiap projek.

1. Kenal pasti tujuan dan konteks penggunaan

Tentukan tugas yang akan dilakukan AI, pengguna yang terlibat, jenis data yang diproses dan tindakan yang boleh dilaksanakan. Kenal pasti juga keadaan yang memerlukan semakan atau kelulusan manusia.

2. Kenal pasti kemungkinan kegagalan

Pertimbangkan risiko seperti maklumat tidak tepat, bias, pendedahan data, penyalahgunaan, arahan yang bercanggah dan tindakan yang melampaui kebenaran. Risiko berbeza mengikut aplikasi dan tidak boleh diwakili oleh satu senarai universal.

3. Pilih mekanisme kawalan

Gunakan kawalan yang sesuai, seperti AI Guardrails, pengesahan output, kawalan akses, had penggunaan tools atau semakan manusia. Tidak semua sistem memerlukan mekanisme yang sama.

4. Jalankan penilaian

Uji sistem menggunakan contoh biasa, kes pinggir dan senario berisiko. Tetapkan kriteria penerimaan berdasarkan tujuan penggunaan dan kesan jika sistem memberikan hasil yang salah.

5. Pantau dan perbaiki sistem

Selepas pelaksanaan, pantau prestasi, kegagalan, insiden dan perubahan tingkah laku. Gunakan hasil pemantauan untuk mengemas kini kawalan, ujian dan prosedur operasi apabila perlu.

Perhatian: Langkah di atas ialah model kerja konseptual. Dalam sistem sebenar, penilaian, kawalan dan pemantauan boleh berlaku berulang kali serta berjalan secara selari.

Hubungan AI Safety dengan Teknologi AI Lain

AI Safety melibatkan beberapa bidang yang menyelesaikan masalah berbeza. Memahami perbezaan ini membantu mengelakkan anggapan bahawa satu teknologi sahaja boleh menjadikan keseluruhan sistem AI selamat.

AI Hallucination

AI Hallucination merujuk kepada keadaan apabila sistem menghasilkan maklumat yang tidak tepat atau tidak disokong bukti, tetapi jawapannya kelihatan meyakinkan. Ia ialah salah satu risiko yang perlu dipertimbangkan dalam AI Safety, khususnya apabila pengguna bergantung pada jawapan untuk membuat keputusan.

AI Safety tidak menghapuskan hallucination sepenuhnya. Risiko ini boleh dikurangkan melalui penilaian, sumber rujukan, pengesahan fakta dan kawalan yang bersesuaian. Dalam struktur Canon, AI Hallucination ialah Canon silang domain yang memfokuskan kegagalan maklumat; AI Safety pula menilai kesan risiko tersebut bersama risiko lain dalam keseluruhan sistem.

AI Guardrails

AI Guardrails ialah mekanisme yang membantu menguatkuasakan polisi atau had penggunaan. Kawalan boleh digunakan pada input, output, akses data, penggunaan tools dan tindakan aplikasi.

Guardrails tidak menjamin bahawa setiap jawapan benar atau semua serangan dapat dikesan. Keberkesanannya bergantung pada reka bentuk, liputan kawalan, konteks dan ujian yang dilakukan.

Baca juga panduan AI Guardrails .

AI Alignment

AI Alignment membincangkan usaha untuk menjadikan tingkah laku sistem lebih selaras dengan objektif, arahan dan nilai yang dimaksudkan. Alignment merupakan bidang penting dalam usaha mengurangkan risiko, tetapi ia tidak menjamin bahawa model akan sentiasa memahami niat manusia atau bertindak dengan betul dalam setiap keadaan.

Baca juga panduan AI Alignment .

AI Evaluation dan AI Benchmark

AI Evaluation ialah proses menilai tingkah laku atau prestasi sistem menggunakan kaedah dan kriteria yang ditetapkan. Penilaian boleh merangkumi ketepatan, pematuhan polisi, keteguhan terhadap input luar biasa dan prestasi dalam tugasan tertentu.

AI Benchmark pula merujuk kepada set tugasan, data atau ukuran yang digunakan untuk menilai dan membandingkan prestasi. Benchmark boleh menjadi sebahagian daripada proses evaluation, tetapi kedua-dua istilah ini tidak membawa maksud yang sama. Keputusan benchmark juga tidak semestinya mencerminkan semua keadaan penggunaan sebenar.

Baca juga panduan AI Evaluation (Evals) .

RAG dan Sumber Maklumat

Retrieval-Augmented Generation (RAG) membolehkan sistem mendapatkan maklumat daripada sumber luar sebelum menjana jawapan. Pendekatan ini boleh membantu mengaitkan jawapan dengan dokumen atau data rujukan yang tersedia.

Walau bagaimanapun, RAG tidak menjamin bahawa sumber yang diperoleh adalah tepat, terkini atau lengkap. Sistem masih boleh mengambil dokumen yang tidak relevan, mentafsir kandungan dengan salah atau menghasilkan jawapan yang tidak disokong sumber. Oleh itu, kualiti retrieval, kesesuaian sumber dan pengesahan jawapan tetap penting.

AI Agent dan Penggunaan Tools

AI Agent boleh merancang langkah, menggunakan tools dan menjalankan tugasan mengikut skop yang diberikan. Apabila sistem diberi lebih banyak keupayaan untuk bertindak, penilaian keselamatan perlu meliputi bukan sahaja teks yang dijana, tetapi juga kebenaran, data yang boleh dicapai dan kesan tindakan yang dilaksanakan.

Kawalan yang sesuai boleh merangkumi akses minimum yang diperlukan, had tindakan, pengesahan sebelum operasi sensitif dan rekod aktiviti. Keperluan sebenar bergantung pada tahap autonomi dan risiko tugas.

Baca juga panduan AI Agent .

AI Safety vs AI Security

AI Safety dan AI Security saling melengkapi, tetapi memberi tumpuan kepada aspek risiko yang berbeza.

AI Safety

• Menilai risiko yang berpunca daripada tingkah laku dan penggunaan AI.
• Mengurangkan kemungkinan output atau tindakan yang membahayakan.
• Menentukan kawalan, ujian dan pengawasan yang sesuai dengan risiko.
• Memantau kegagalan serta menyediakan proses pembetulan.

AI Security

• Melindungi model, data, API dan infrastruktur daripada ancaman.
• Mengawal akses serta mengurangkan risiko penggunaan tanpa kebenaran.
• Menangani ancaman seperti prompt injection dan pendedahan data.
• Menyokong integriti, kerahsiaan dan ketersediaan sistem.

Perbezaan ini bukan pemisahan mutlak. Contohnya, prompt injection boleh menjadi isu keselamatan apabila ia mengeksploitasi sistem atau akses data, dan pada masa yang sama menjadi isu AI Safety jika ia menyebabkan sistem menghasilkan output atau tindakan yang berbahaya.

Penggunaan AI Safety dalam Industri

Perbankan dan Kewangan

AI boleh membantu menganalisis maklumat, menyokong pengesanan penipuan dan mempercepatkan perkhidmatan pelanggan. Pelaksanaan yang berisiko memerlukan penilaian yang sesuai, kawalan akses, kebolehkesanan keputusan dan proses semakan sebelum cadangan digunakan untuk keputusan penting.

Penjagaan Kesihatan

AI boleh menyokong pencarian maklumat dan analisis data perubatan. Penggunaan dalam konteks klinikal memerlukan penilaian yang sesuai, semakan pakar dan penjelasan tentang batasan sistem. Output AI tidak sepatutnya dianggap betul secara automatik hanya kerana dihasilkan dengan bahasa yang meyakinkan.

Enterprise AI

Organisasi boleh menggunakan AI untuk mencari dokumen, menyediakan draf laporan dan membantu automasi proses kerja. Kawalan perlu mempertimbangkan kebenaran pengguna, tahap kerahsiaan data, kesahihan sumber dan had tindakan yang boleh dilakukan oleh sistem.

Pendidikan

AI boleh membantu menerangkan konsep, menyediakan latihan dan menyokong pembelajaran. Pengguna perlu memahami bahawa jawapan mungkin mengandungi kesilapan dan maklumat penting wajar disemak menggunakan sumber yang sesuai.

Best Practice AI Safety

Tiada satu mekanisme yang sesuai untuk semua aplikasi. Amalan berikut boleh dijadikan titik permulaan dan perlu disesuaikan dengan konteks serta tahap risiko sistem.

• Tentukan skop penggunaan. Jelaskan tugas yang dibenarkan, pengguna sasaran dan tindakan yang tidak boleh dilakukan oleh sistem.
• Nilai risiko sebelum pelaksanaan. Pertimbangkan kesan output salah, akses tanpa kebenaran dan kegagalan proses.
• Gunakan kawalan yang sesuai. Gabungkan kawalan input, output, akses data dan tindakan mengikut keperluan aplikasi.
• Uji dengan senario sebenar. Sertakan kes biasa, kes pinggir dan situasi yang berisiko.
• Gunakan semakan manusia apabila perlu. Pastikan reviewer mempunyai konteks, kuasa dan prosedur eskalasi.
• Pantau selepas pelaksanaan. Rekod kegagalan dan insiden serta semak perubahan tingkah laku.
• Perbaiki sistem berdasarkan bukti. Gunakan dapatan ujian dan insiden untuk mengemas kini kawalan serta prosedur kerja.

Nota: Penggunaan AI Guardrails, RAG atau semakan manusia tidak dengan sendirinya membuktikan sesuatu sistem selamat. Keberkesanan perlu dinilai berdasarkan risiko dan hasil ujian yang relevan.

Checklist Ringkas Sebelum AI Digunakan

Gunakan soalan berikut sebagai semakan awal. Ia bukan pensijilan keselamatan dan tidak menggantikan penilaian risiko yang formal apabila diperlukan.

• Adakah tujuan, pengguna sasaran dan had penggunaan sistem telah ditentukan?
• Adakah risiko utama, pihak yang mungkin terjejas dan kesan kegagalan telah dikenal pasti?
• Adakah akses data serta kebenaran tools dihadkan kepada keperluan tugas?
• Adakah sistem diuji menggunakan senario biasa, kes pinggir dan keadaan berisiko?
• Adakah tindakan sensitif memerlukan pengesahan manusia atau kelulusan yang sesuai?
• Adakah proses merekod insiden, menghentikan tindakan dan membetulkan masalah tersedia?
• Adakah kawalan dinilai semula apabila model, data atau aliran kerja berubah?

❓ Soalan Lazim (FAQ)

Adakah AI Safety sama dengan AI Security?

Tidak. AI Safety menumpukan pengenalpastian dan pengurangan risiko akibat tingkah laku atau penggunaan AI. AI Security menumpukan perlindungan model, data dan infrastruktur daripada ancaman. Kedua-duanya mempunyai kawasan pertindihan dan perlu saling melengkapi.

Adakah AI Safety hanya penting untuk syarikat besar?

Tidak. Mana-mana organisasi yang menggunakan AI perlu mempertimbangkan risiko yang relevan. Tahap kawalan boleh berbeza mengikut jenis aplikasi, sensitiviti data dan kesan jika sistem melakukan kesilapan.

Adakah AI Safety dapat menghapuskan hallucination?

Tidak. Penilaian, sumber rujukan, pengesahan output dan kawalan boleh membantu mengurangkan risiko, tetapi tidak menjamin bahawa semua jawapan AI akan tepat.

Mengapa AI Agent memerlukan kawalan keselamatan?

AI Agent boleh menggunakan tools atau melaksanakan tindakan. Oleh itu, penilaian perlu meliputi skop kebenaran, akses data, had tindakan dan proses pengesahan bagi operasi yang sensitif.

Apakah perbezaan AI Evaluation dengan AI Benchmark?

AI Evaluation ialah proses menilai sistem berdasarkan kriteria tertentu. AI Benchmark pula menyediakan tugasan, data atau ukuran untuk penilaian dan perbandingan. Benchmark boleh digunakan dalam evaluation, tetapi tidak menggantikan keseluruhan proses penilaian.

📖 Glosari

AI Safety
Disiplin untuk mengenal pasti, menilai dan mengurangkan risiko sepanjang kitaran hayat sistem AI.

AI Security
Amalan melindungi sistem, model, data dan infrastruktur AI daripada ancaman serta akses tanpa kebenaran.

AI Hallucination
Output AI yang tidak tepat atau tidak disokong bukti tetapi kelihatan meyakinkan.

AI Guardrails
Mekanisme kawalan yang membantu menguatkuasakan polisi atau had penggunaan sistem AI.

AI Alignment
Usaha menjadikan tingkah laku sistem AI lebih selaras dengan objektif dan arahan yang dimaksudkan.

AI Evaluation
Proses menilai tingkah laku atau prestasi sistem AI menggunakan kaedah dan kriteria tertentu.

AI Benchmark
Set tugasan, data atau ukuran yang digunakan untuk menilai atau membandingkan prestasi sistem.

Human-in-the-Loop (HITL)
Pendekatan yang melibatkan manusia dalam semakan, kelulusan, pengawasan atau keputusan berkaitan sistem AI.

📚 Rujukan

Rujukan berikut ialah titik permulaan untuk mendalami pengurusan risiko dan keselamatan AI. Semak dokumen rasmi serta edisi semasa sebelum menggunakan kerangka ini sebagai asas keperluan organisasi. Pautan khusus tidak ditambah di sini kerana URL rasmi setiap dokumen belum disahkan dalam bahan sumber.

• ISO/IEC 23894 — Artificial Intelligence — Risk Management.
• NIST AI Risk Management Framework (AI RMF).
• OECD AI Principles.
• Google DeepMind — Frontier Safety Framework.
• OpenAI — Safety Approach.

🎯 Key Takeaways

• AI Safety ialah disiplin pengurusan risiko, bukan satu teknologi tunggal.
• Keperluan keselamatan bergantung pada konteks, pengguna dan kesan jika sistem gagal.
• AI Guardrails, Alignment, Evaluation dan RAG mempunyai fungsi berbeza dan bukan jaminan keselamatan mutlak.
• AI Safety dan AI Security berbeza dari segi fokus, tetapi boleh bertindih.
• Penilaian, pemantauan dan pembaikan perlu diteruskan selepas sistem digunakan.

Nobodynaga Insight

Keselamatan AI bukan ditentukan oleh bilangan mekanisme yang dipasang, tetapi oleh sejauh mana kawalan tersebut menangani risiko sebenar. Sistem yang mempunyai banyak guardrails masih boleh gagal jika sumber maklumat tidak boleh dipercayai, kebenaran tools terlalu luas atau ujian tidak mencerminkan penggunaan sebenar.

Oleh itu, AI Safety perlu dinilai sebagai amalan berterusan: kenal pasti risiko, uji kawalan, pantau hasil dan perbaiki sistem berdasarkan bukti.

📚 Teruskan Pembelajaran AI Infrastructure

Untuk memahami hubungan antara AI Safety dengan komponen lain, teruskan pembelajaran melalui artikel berkaitan berikut.

• AI Infrastructure Hub
• AI Hallucination
• AI Guardrails
• AI Alignment
• AI Evaluation (Evals)
• AI Governance & Security Canon
• AI Agent

📝 Editorial Note

Artikel ini ialah Canon Guide AI Safety dalam AI Infrastructure Hub di Nobodynaga AI Knowledge Platform. Pengelasan editorial yang digunakan ialah Canon silang domain, bukan subartikel kepada AI Reliability atau AI Governance & Security.

Penerangan khusus mengenai Hallucination, Guardrails, Alignment dan Evaluation perlu dirujuk dalam artikel masing-masing bagi mengekalkan fokus dan mengurangkan pertindihan kandungan.

🎓 Kesimpulan

AI Safety membantu organisasi mengenal pasti dan mengurus risiko yang timbul apabila Artificial Intelligence digunakan dalam situasi sebenar. Ia merangkumi lebih daripada kawalan output: reka bentuk sistem, penilaian, akses data, penggunaan tools, pengawasan manusia dan pemantauan semuanya boleh mempengaruhi tahap keselamatan.

AI Safety tidak menjamin sistem bebas daripada kesilapan. Sebaliknya, pendekatan yang baik menjelaskan batasan sistem, mengurangkan risiko yang boleh dikenal pasti dan menyediakan proses untuk mengesan serta menangani kegagalan.

Dalam AI Infrastructure, memahami hubungan AI Safety dengan AI Security, AI Guardrails, AI Alignment dan AI Evaluation membantu membina gambaran yang lebih tepat tentang bagaimana sistem AI boleh dibangunkan dan digunakan secara bertanggungjawab.