Geeks memulai bisnis, Xiaobai membeli kelas, dan pelukis menganggur, tetapi kenyataan yang memalukan adalah: AI sedang berjalan lancar, tetapi plotnya bukanlah rute kedatangan, tetapi lemparan dadu.
Dan, di awal industri, sisi dadu yang pertama kali jatuh biasanya adalah kuning atau abu-abu.
Alasannya juga sangat sederhana, keuntungan besar memicu dorongan, apalagi pada tahap awal industri, selalu penuh dengan celah. Melihat sekumpulan data ini sudah jelas:
Saat ini, lebih dari 43% simpul layanan MCP memiliki jalur panggilan shell yang belum diverifikasi, dan lebih dari 83% penyebaran memiliki kerentanan konfigurasi MCP (Model Context Protocol). 88% penerapan komponen AI sama sekali tidak mengaktifkan bentuk perlindungan apa pun; 150.000 kerangka kerja penerapan AI ringan seperti Ollama saat ini terekspos di jaringan publik global, dan lebih dari $1 miliar daya komputasi telah dibajak untuk penambangan......
Lebih ironis lagi, untuk menyerang model besar yang paling cerdas, hanya dibutuhkan metode yang paling dasar—hanya perlu satu set port yang terbuka secara default, sebuah file konfigurasi YAML yang terpapar, atau jalur pemanggilan Shell yang tidak diverifikasi, bahkan, hanya dengan kata kunci yang cukup tepat, model besar itu sendiri bisa membantu industri abu-abu menemukan arah serangan. Pintu privasi data perusahaan, dengan cara ini, terbuka dan tertutup semena-mena di era AI.
Namun, masalahnya bukan tanpa solusi: AI tidak hanya memiliki dua sisi, yaitu generasi dan serangan. Bagaimana menggunakan AI untuk perlindungan juga semakin menjadi tema utama era ini; Sementara itu, di cloud, menetapkan aturan untuk AI juga menjadi arah eksplorasi utama bagi penyedia cloud terkemuka, dan keamanan Alibaba Cloud adalah salah satu contoh paling khas di antaranya.
Pada acara peluncuran Alibaba Cloud Feitian yang baru saja berakhir, Alibaba Cloud secara resmi mengumumkan dua jalur untuk keamanan cloud mereka: Security for AI dan AI for Security, serta meluncurkan "AI Cloud Shield (Cloud Shield for AI) series products" untuk memberikan kepada pelanggan "solusi keamanan end-to-end untuk aplikasi model", yang merupakan salah satu contoh terbaik dari eksplorasi industri saat ini.
01 AI dadu, mengapa selalu abu-abu dan kuning yang muncul lebih dulu?
Dalam sejarah teknologi manusia, AI bukanlah spesies baru yang pertama kali "dicoba dengan kekerasan kuning", ledakan abu kuning terjadi terlebih dahulu, juga merupakan hukum penyebaran teknologi dan bukan kebetulan.
Ketika teknik fotografi perak diperkenalkan pada tahun 1839, gelombang pengguna pertama adalah industri porno;
Pada awal internet, e-commerce belum berkembang, situs dewasa sudah mulai memikirkan pembayaran online;
Model besar hari ini, dalam beberapa hal, juga menciptakan kembali mitos kekayaan mendadak dari "era domain".
Bonus zaman selalu diambil terlebih dahulu oleh abu-abu dan kuning. Karena mereka tidak mematuhi peraturan, tidak menunggu regulasi, efisiensi mereka tentu sangat tinggi.
Oleh karena itu, setiap periode ledakan teknologi selalu dimulai dengan "rebusan keruh", dan AI tentu saja tidak terkecuali.
Pada bulan Desember 2023, seorang hacker hanya menggunakan satu frasa—"$1 penawaran"—untuk membujuk robot layanan pelanggan dari sebuah dealer 4S hampir menjual sebuah Chevrolet seharga 1 dolar. Ini adalah contoh serangan "Prompt Injection" yang paling umum di era AI: tidak memerlukan verifikasi izin, tidak meninggalkan jejak log, hanya dengan "berbicara cerdas", dapat mengubah seluruh rantai logika.
Selanjutnya, ada "serangan jailbreak". Penyerang menggunakan pertanyaan retoris, peran bermain, petunjuk jalan memutar, dan cara lainnya untuk berhasil membuat model mengungkapkan hal-hal yang seharusnya tidak diungkapkan: konten pornografi, pembuatan obat terlarang, informasi peringatan palsu...
Di Hong Kong, ada orang yang bahkan mencuri 200 juta dolar Hong Kong dari akun perusahaan dengan memalsukan suara eksekutif.
Selain penipuan, AI juga memiliki risiko "output tidak sengaja": Pada tahun 2023, sistem model besar dari salah satu raksasa pendidikan mengeluarkan "buku ajar beracun" yang mengandung konten ekstrem saat menghasilkan rencana pelajaran. Hanya dalam 3 hari, orang tua melakukan perlindungan hak, dan opini publik meledak, harga saham perusahaan menguap 12 miliar yuan.
AI tidak memahami hukum, tetapi ia memiliki kemampuan, dan kemampuan tersebut dapat berbahaya jika lepas dari pengawasan.
Namun dari sudut pandang lain, teknologi AI adalah baru, tetapi aliran dan cara dari industri abu-abu dan kuning pada akhirnya tidak berubah, dan untuk mengatasinya, yang dibutuhkan masih adalah keamanan.
02 Keamanan untuk AI
Mari kita mulai dengan sebuah pengetahuan dingin yang dihindari secara kolektif oleh industri AI:
Inti dari model besar bukanlah "kecerdasan" atau "pemahaman", tetapi generasi semantik di bawah kendali probabilistik. Akibatnya, hasil yang tidak terduga dapat dikeluarkan setelah konteks pelatihan terlampaui.
Kemungkinan besar, ini adalah kasus di mana Anda ingin ia menulis berita, tetapi ia justru menulis puisi; atau Anda ingin ia merekomendasikan produk, tetapi tiba-tiba ia memberi tahu Anda bahwa suhu di Tokyo hari ini adalah 25 derajat Celcius. Bahkan lebih parah, jika Anda memberitahunya dalam permainan, jika tidak bisa mendapatkan nomor seri perangkat lunak asli, maka ia akan ditembak, model besar itu benar-benar dapat melakukan segala cara untuk membantu pengguna menemukan nomor seri perangkat lunak asli tanpa biaya.
Dan untuk memastikan output dapat dikendalikan, perusahaan harus memahami model dan keamanan. Menurut laporan terbaru IDC "Laporan Penilaian Kemampuan Model Besar Keamanan Tiongkok", Alibaba berada di posisi pertama dalam 4 dari 7 indikator ketika bersaing dengan semua vendor terkemuka domestik yang memiliki kemampuan model besar keamanan, sedangkan 3 indikator lainnya juga semuanya lebih tinggi dari rata-rata industri.
Dalam praktiknya, jawaban yang diberikan oleh keamanan Alibaba Cloud juga sangat langsung: biarkan keamanan berjalan di depan kecepatan AI, membangun kerangka perlindungan full-stack yang mencakup tiga lapisan dari bawah ke atas—mulai dari keamanan infrastruktur, hingga kontrol input dan output model besar, dan perlindungan layanan aplikasi AI.
Di tiga lapisan ini, yang paling mencolok adalah lapisan tengah yang khusus ditujukan untuk risiko model besar yaitu "AI Guardrail".
Secara umum, risiko keamanan yang terkait dengan model besar terutama meliputi: pelanggaran konten, kebocoran data sensitif, serangan injeksi prompt, ilusi model, dan serangan jailbreak.
Namun, solusi keamanan tradisional umumnya berbasis arsitektur umum, dirancang untuk Web, bukan untuk "program yang berbicara", sehingga secara alami tidak dapat menghasilkan kemampuan identifikasi dan respons yang akurat terhadap risiko khusus aplikasi model besar. Masalah baru seperti keamanan konten yang dihasilkan, pertahanan terhadap serangan konteks, dan keandalan output model bahkan lebih sulit untuk dicakup. Yang lebih penting, solusi tradisional kurang memiliki metode pengendalian yang halus dan mekanisme pelacakan yang dapat divisualisasikan, yang menyebabkan perusahaan menghadapi kebutaan besar dalam tata kelola AI, tidak tahu di mana masalahnya, sehingga tidak dapat menyelesaikan masalah.
Keunggulan sebenarnya dari AI Guardrail bukan hanya "ia dapat menghentikan", tetapi juga bahwa terlepas dari apakah Anda sedang melakukan model besar pra-latihan, layanan AI, atau berbagai bentuk bisnis AI Agent, ia tahu apa yang Anda katakan, apa yang dihasilkan oleh model besar, sehingga dapat memberikan deteksi risiko yang tepat dan kemampuan pertahanan proaktif, memastikan kepatuhan, keamanan, dan stabilitas.
Secara khusus, AI Guardrail bertanggung jawab untuk perlindungan dalam tiga jenis skenario:
ꔷ Garis dasar kepatuhan: Melakukan pemeriksaan kepatuhan multidimensi terhadap konten teks input dan output AI generatif, mencakup kategori risiko seperti sensitif politik, pornografi rendah, prasangka diskriminatif, dan nilai-nilai buruk, mendeteksi secara mendalam data pribadi dan informasi sensitif yang mungkin bocor selama interaksi AI, mendukung pengenalan konten sensitif yang melibatkan privasi pribadi, privasi perusahaan, dan menyediakan tanda air digital, memastikan konten yang dihasilkan AI mematuhi hukum dan peraturan serta norma platform;
ꔷ Pertahanan terhadap ancaman: Untuk serangan seperti serangan kata kunci, pengunggahan file berbahaya, dan tautan URL berbahaya, dapat dilakukan deteksi dan pemblokiran waktu nyata, menghindari risiko bagi pengguna akhir aplikasi AI;
ꔷ Kesehatan Model: Memperhatikan stabilitas dan keandalan model AI itu sendiri, membangun satu set mekanisme deteksi terhadap masalah jailbreak model, Prompt crawler, dan lain-lain, untuk mencegah model disalahgunakan, disalahgunakan, atau menghasilkan output yang tidak terkendali, membangun "garis pertahanan kekebalan" untuk sistem AI;
Hal yang paling penting adalah bahwa AI Guardrail tidak hanya menumpuk beberapa modul deteksi di atas bersama-sama, tetapi mencapai ALL IN ONE API yang nyata, tanpa membagi modul, menambahkan uang, atau mengubah produk. Untuk risiko input dan output model, pelanggan tidak perlu membeli produk tambahan; Risiko model yang berbeda, seperti risiko injeksi, file berbahaya, kepatuhan konten, halusinasi, dll., Dapat diselesaikan dalam produk yang sama. Satu antarmuka dapat mendeteksi 10+ jenis skenario serangan, mendukung 4 metode penerapan (proxy API, integrasi platform, akses gateway, dan pemasangan WAF), respons tingkat milidetik, dan pemrosesan bersamaan 1.000 tingkat, dengan tingkat akurasi hingga 99%.
Oleh karena itu, arti sebenarnya dari AI Guardrail adalah mengubah "keamanan model" menjadi "kemampuan produk", sehingga satu antarmuka dapat menggantikan satu tim keamanan.
Tentu saja, model besar bukanlah konsep yang tergantung di udara, melainkan sistem yang berjalan di atas perangkat keras dan kode, dan mendukung aplikasi tingkat atas. Untuk keamanan infrastruktur dan perlindungan layanan aplikasi AI, keamanan Alibaba Cloud juga telah ditingkatkan.
Lapisan infrastruktur, Alibaba Cloud Security meluncurkan Pusat Keamanan Cloud, inti dari produk seperti AI-BOM, AI-SPM.
Secara khusus, dua kemampuan AI-BOM (Daftar Material AI) dan AI-SPM (Manajemen Situasi Keamanan AI) masing-masing menyelesaikan dua masalah "Komponen AI apa yang saya pasang" dan "Seberapa banyak celah yang ada di komponen ini."
Inti dari AI-BOM adalah mengumpulkan semua komponen AI di lingkungan deployment: membuat lebih dari 30 jenis komponen utama seperti Ray, Ollama, Mlflow, Jupyter, TorchServe, menjadi "daftar material perangkat lunak AI", yang secara otomatis mengidentifikasi kerentanan keamanan dan celah ketergantungan yang ada. Menemukan aset bermasalah tidak lagi bergantung pada pemeriksaan manual, tetapi melalui pemindaian cloud-native.
Posisi AI-SPM lebih mirip dengan "Radar": secara terus-menerus mengevaluasi situasi keamanan sistem dari berbagai dimensi seperti kerentanan, port yang diekspos, kebocoran kredensial, konfigurasi dalam bentuk teks, akses yang tidak sah, dan memberikan tingkat risiko serta saran perbaikan secara dinamis. Ini mengubah keamanan dari "kepatuhan berbasis snapshot" menjadi "tata kelola berbasis streaming."
Ringkasan dalam satu kalimat: AI-BOM tahu di mana Anda mungkin telah melakukan patch, AI-SPM tahu di mana Anda mungkin akan terkena lagi, segera perkuat pencegahan.
Untuk lapisan perlindungan aplikasi AI, produk inti keamanan Alibaba Cloud adalah WAAP (Perlindungan Aplikasi Web & API).
Output model yang cerdas tidak akan bertahan lama jika semua permintaan masuk adalah skrip, Token yang dipalsukan, dan penyalahgunaan antarmuka. Alibaba WAAP (Web Application & API Protection) lahir untuk tujuan ini. Ini tidak menangani aplikasi AI seperti "sistem Web tradisional", tetapi menyediakan aturan kerentanan komponen AI khusus, perpustakaan sidik jari bisnis AI, dan sistem penggambaran lalu lintas.
Misalnya: WAAP telah mencakup lebih dari 50 kerentanan komponen seperti unggahan file sembarang di Mlflow, eksekusi perintah jarak jauh layanan Ray; pustaka sidik jari crawler AI bawaan dapat mengenali lebih dari sepuluh ribu korpus dan alat evaluasi model yang baru ditambahkan setiap jam; fungsi identifikasi aset API dapat secara otomatis menemukan sistem mana di dalam perusahaan yang mengekspos antarmuka GPT, memberikan "peta titik" kepada tim keamanan.
Yang paling penting, WAAP dan AI Guardrail tidak saling bertentangan, melainkan saling melengkapi: satu melihat "siapa yang datang", satu melihat "apa yang dikatakan". Satu seperti "verifikator identitas", satu seperti "pengawas perilaku". Ini memberikan aplikasi AI kemampuan "imun diri" - melalui pengenalan, isolasi, pelacakan, dan penanggulangan, tidak hanya "menghentikan orang jahat", tetapi juga "tidak membiarkan model itu menjadi buruk".
03 AI untuk Keamanan
Karena penerapan AI adalah seperti melempar dadu, ada yang menggunakannya untuk meramal, ada yang memintanya menulis puisi cinta, ada yang menggunakannya untuk kegiatan ilegal, maka tidak mengherankan jika ada yang menggunakannya untuk keamanan.
Dulu, operasi keamanan memerlukan sekelompok orang yang setiap hari mengawasi tumpukan lampu merah dan hijau, berpatroli siang dan malam, mengambil alih kekacauan kemarin di siang hari, dan menemani sistem berjaga malam.
Sekarang, semua ini dapat diselesaikan oleh AI. Pada tahun 2024, sistem keamanan Alibaba Cloud akan sepenuhnya terintegrasi dengan model besar Tongyi, meluncurkan kumpulan kemampuan AI yang mencakup keamanan data, keamanan konten, keamanan bisnis, dan operasi keamanan, serta mengusulkan slogan baru: Protect at AI Speed.
Artinya sangat jelas: bisnis berjalan cepat, risiko lebih cepat, tetapi keamanan harus lebih cepat lagi.
Dan menggunakan AI untuk mengatasi keamanan sebenarnya terdiri dari dua hal: peningkatan efisiensi operasi keamanan + pembaruan kecerdasan produk keamanan.
Titik sakit terbesar dari sistem keamanan tradisional adalah "pembaruan kebijakan yang tertinggal": penyerang telah berubah, tetapi aturannya tetap sama; alarm berbunyi, tetapi tidak ada yang memahaminya.
Kunci perubahan yang dibawa oleh model besar terletak pada mengalihkan sistem keamanan dari yang didorong oleh aturan ke yang didorong oleh model, dengan membangun ekosistem tertutup menggunakan "kemampuan pemahaman AI + umpan balik pengguna" — AI memahami perilaku pengguna → umpan balik pengguna memberi peringatan hasil → pelatihan model yang berkelanjutan → kemampuan deteksi semakin akurat → siklus semakin pendek → risiko semakin sulit disembunyikan, inilah yang disebut "roda data":
Keuntungannya ada dua:
Di satu sisi, efisiensi operasi keamanan penyewa cloud ditingkatkan: di masa lalu, deteksi ancaman sering kali berarti model "peringatan besar-besaran + penyaringan manual" yang tidak efisien. Saat ini, pemodelan cerdas secara akurat mengidentifikasi perilaku abnormal seperti lalu lintas berbahaya, intrusi host, dan skrip pintu belakang, dan tingkat hit alarm sangat meningkat. Pada saat yang sama, di sekitar tautan pembuangan, sistem telah mewujudkan sinergi yang mendalam antara pembuangan otomatis dan respons yang sangat cepat - kemurnian tuan rumah stabil pada 99%, dan kemurnian aliran mendekati 99,9%. Saat ini, tingkat cakupan jenis peristiwa alarm telah mencapai 99%, dan tingkat cakupan pengguna model besar juga telah melebihi 88%, dan efisiensi manusia dari tim operasi keamanan telah dilepaskan sebelumnya
Di sisi lain, kemampuan produk keamanan cloud meningkat dengan cepat. Di lapisan keamanan data dan lapisan keamanan bisnis, AI diberikan tanggung jawab sebagai "penjaga gerbang": berdasarkan kemampuan model besar, dapat secara otomatis mengidentifikasi lebih dari 800 jenis data entitas di cloud dan melakukan pemrosesan desensitisasi dan enkripsi secara cerdas. Tidak hanya untuk data terstruktur, sistem juga dilengkapi dengan lebih dari 30 model pengenalan dokumen dan gambar, yang mampu mengenali, mengklasifikasikan, dan mengenkripsi informasi sensitif seperti nomor identitas dalam gambar dan elemen kontrak secara waktu nyata. Efisiensi penandaan data keseluruhan meningkat 5 kali lipat, dengan tingkat akurasi pengenalan mencapai 95%, yang secara signifikan mengurangi risiko kebocoran data pribadi.
Sebagai contoh: dalam skenario keamanan konten, metode tradisional mengandalkan ulasan manusia, penandaan, dan pelatihan penandaan dalam skala besar. Sekarang, melalui rekayasa Prompt dan peningkatan semantik, Alibaba telah mencapai peningkatan efisiensi penandaan sebesar 100%, peningkatan pengenalan ekspresi kabur sebesar 73%, peningkatan pengenalan konten gambar sebesar 88%, dan tingkat akurasi deteksi serangan wajah hidup AI sebesar 99%.
Jika flywheel menekankan pada pengendalian mandiri yang menggabungkan AI dengan pengalaman manusia, maka asisten cerdas adalah asisten serba bisa bagi petugas keamanan.
Petugas operasi keamanan setiap hari menghadapi masalah terbesar: apa arti peringatan ini? Mengapa ini terjadi? Apakah ini kesalahan laporan? Bagaimana saya harus menanganinya? Dulu, untuk mencari tahu ini, harus memeriksa log, melihat sejarah, bertanya kepada karyawan senior, mengisi tiket kerja, meminta dukungan teknis... sekarang, cukup dengan satu kalimat.
Namun, posisi fungsi asisten cerdas bukan hanya sebagai robot tanya jawab, melainkan lebih seperti Copilot vertikal di bidang keamanan, dengan lima kemampuan inti yang meliputi:
Asisten Tanya Jawab Produk: secara otomatis menjawab bagaimana mengonfigurasi fungsi tertentu, mengapa strategi ini dipicu, sumber daya mana yang belum diaktifkan perlindungan, menggantikan banyak layanan tiket.
Ahli penjelasan alarm: Masukkan nomor alarm, secara otomatis keluarkan penjelasan peristiwa, pelacakan rantai serangan, strategi respons yang disarankan, dan mendukung keluaran dalam berbagai bahasa;
Asisten Pemulihan Insiden Keamanan: secara otomatis menyusun rantai lengkap dari satu insiden peretasan, menghasilkan garis waktu, peta jalur serangan, dan saran penentuan tanggung jawab;
Generator laporan: Menghasilkan laporan keamanan bulanan/kuartalan/darurat dengan satu klik, mencakup statistik kejadian, umpan balik penanganan, hasil operasional, mendukung ekspor visual;
Dukungan multi-bahasa: telah mencakup bahasa Mandarin dan Inggris, versi internasional diluncurkan pada bulan Juni, mendukung penyesuaian otomatis dengan kebiasaan penggunaan tim luar negeri.
Jangan meremehkan "lima hal kecil" ini, hingga saat ini, data resmi Alibaba menunjukkan bahwa jumlah pengguna yang dilayani telah melebihi 40.000, tingkat kepuasan pengguna adalah 99,81%, cakupan jenis alarm telah mencapai 100%, dan kapasitas dukungan cepat telah meningkat sebesar 1175% (FY24 tahun-ke-tahun). Sederhananya, ia mengemas rekan kerja berkinerja tinggi pada shift malam, magang yang menulis laporan, insinyur yang menangani peringatan, dan konsultan keamanan yang memahami bisnis ke dalam satu API, dan dengan kemampuan ini, manusia hanya membuat keputusan dan berhenti berpatroli.
04 Epilog
Melihat kembali, sejarah tidak pernah kekurangan "teknologi yang mengubah zaman", yang kurang adalah teknologi yang dapat bertahan melewati gelombang kedua.
Internet, P2P, blockchain, mobil tanpa pengemudi... Setiap gelombang ledakan teknologi, selalu disebut sebagai "infrastruktur baru", tetapi pada akhirnya hanya sedikit yang dapat melintasi "kekosongan pemerintahan" dan menjadi infrastruktur yang sebenarnya.
Saat ini, AI generatif berada di tahap yang serupa: di satu sisi, model bermunculan, kapital mengalir deras, dan aplikasi terus berkembang; di sisi lain, ada penyuntikan kata kunci, pelanggaran konten, kebocoran data, manipulasi model, celah yang banyak, batasan yang kabur, dan tanggung jawab yang tidak jelas.
Namun, AI berbeda dari teknologi sebelumnya. Ia tidak hanya bisa menggambar, menulis puisi, memprogram, dan menerjemahkan, tetapi juga dapat meniru bahasa manusia, membuat penilaian, bahkan emosi. Namun, karena itulah, kerentanan AI tidak hanya berasal dari celah kode, tetapi juga merupakan cerminan dari sifat manusia. Manusia memiliki bias, dan ia juga akan belajar; manusia menginginkan kemudahan, ia juga akan mencari akal untuk mempermudah.
Kemudahan teknologi itu sendiri adalah pengganda dari pemetaan ini: Sistem TI di masa lalu harus berbicara tentang "otorisasi pengguna", serangan bergantung pada infiltrasi; model besar saat ini hanya memerlukan penyuntikan kata kunci, berbicara dengan Anda dapat menyebabkan kesalahan sistem dan kebocoran privasi.
Tentu saja, tidak ada sistem AI yang "sempurna tanpa cacat", itu adalah fiksi ilmiah, bukan rekayasa.
Satu-satunya jawaban adalah menggunakan model yang aman untuk melindungi model yang tidak aman; menggunakan sistem yang cerdas untuk melawan ancaman yang cerdas—menggunakan AI untuk melempar dadu, Alibaba memilih sisi yang aman.
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Mengapa di era AI, selalu industri abu-abu dan konten dewasa yang pertama kali meledak?
Penulis: Geek Menarik Angin
Geeks memulai bisnis, Xiaobai membeli kelas, dan pelukis menganggur, tetapi kenyataan yang memalukan adalah: AI sedang berjalan lancar, tetapi plotnya bukanlah rute kedatangan, tetapi lemparan dadu.
Dan, di awal industri, sisi dadu yang pertama kali jatuh biasanya adalah kuning atau abu-abu.
Alasannya juga sangat sederhana, keuntungan besar memicu dorongan, apalagi pada tahap awal industri, selalu penuh dengan celah. Melihat sekumpulan data ini sudah jelas:
Saat ini, lebih dari 43% simpul layanan MCP memiliki jalur panggilan shell yang belum diverifikasi, dan lebih dari 83% penyebaran memiliki kerentanan konfigurasi MCP (Model Context Protocol). 88% penerapan komponen AI sama sekali tidak mengaktifkan bentuk perlindungan apa pun; 150.000 kerangka kerja penerapan AI ringan seperti Ollama saat ini terekspos di jaringan publik global, dan lebih dari $1 miliar daya komputasi telah dibajak untuk penambangan......
Lebih ironis lagi, untuk menyerang model besar yang paling cerdas, hanya dibutuhkan metode yang paling dasar—hanya perlu satu set port yang terbuka secara default, sebuah file konfigurasi YAML yang terpapar, atau jalur pemanggilan Shell yang tidak diverifikasi, bahkan, hanya dengan kata kunci yang cukup tepat, model besar itu sendiri bisa membantu industri abu-abu menemukan arah serangan. Pintu privasi data perusahaan, dengan cara ini, terbuka dan tertutup semena-mena di era AI.
Namun, masalahnya bukan tanpa solusi: AI tidak hanya memiliki dua sisi, yaitu generasi dan serangan. Bagaimana menggunakan AI untuk perlindungan juga semakin menjadi tema utama era ini; Sementara itu, di cloud, menetapkan aturan untuk AI juga menjadi arah eksplorasi utama bagi penyedia cloud terkemuka, dan keamanan Alibaba Cloud adalah salah satu contoh paling khas di antaranya.
Pada acara peluncuran Alibaba Cloud Feitian yang baru saja berakhir, Alibaba Cloud secara resmi mengumumkan dua jalur untuk keamanan cloud mereka: Security for AI dan AI for Security, serta meluncurkan "AI Cloud Shield (Cloud Shield for AI) series products" untuk memberikan kepada pelanggan "solusi keamanan end-to-end untuk aplikasi model", yang merupakan salah satu contoh terbaik dari eksplorasi industri saat ini.
01 AI dadu, mengapa selalu abu-abu dan kuning yang muncul lebih dulu?
Dalam sejarah teknologi manusia, AI bukanlah spesies baru yang pertama kali "dicoba dengan kekerasan kuning", ledakan abu kuning terjadi terlebih dahulu, juga merupakan hukum penyebaran teknologi dan bukan kebetulan.
Ketika teknik fotografi perak diperkenalkan pada tahun 1839, gelombang pengguna pertama adalah industri porno;
Pada awal internet, e-commerce belum berkembang, situs dewasa sudah mulai memikirkan pembayaran online;
Model besar hari ini, dalam beberapa hal, juga menciptakan kembali mitos kekayaan mendadak dari "era domain".
Bonus zaman selalu diambil terlebih dahulu oleh abu-abu dan kuning. Karena mereka tidak mematuhi peraturan, tidak menunggu regulasi, efisiensi mereka tentu sangat tinggi.
Oleh karena itu, setiap periode ledakan teknologi selalu dimulai dengan "rebusan keruh", dan AI tentu saja tidak terkecuali.
Pada bulan Desember 2023, seorang hacker hanya menggunakan satu frasa—"$1 penawaran"—untuk membujuk robot layanan pelanggan dari sebuah dealer 4S hampir menjual sebuah Chevrolet seharga 1 dolar. Ini adalah contoh serangan "Prompt Injection" yang paling umum di era AI: tidak memerlukan verifikasi izin, tidak meninggalkan jejak log, hanya dengan "berbicara cerdas", dapat mengubah seluruh rantai logika.
Selanjutnya, ada "serangan jailbreak". Penyerang menggunakan pertanyaan retoris, peran bermain, petunjuk jalan memutar, dan cara lainnya untuk berhasil membuat model mengungkapkan hal-hal yang seharusnya tidak diungkapkan: konten pornografi, pembuatan obat terlarang, informasi peringatan palsu...
Di Hong Kong, ada orang yang bahkan mencuri 200 juta dolar Hong Kong dari akun perusahaan dengan memalsukan suara eksekutif.
Selain penipuan, AI juga memiliki risiko "output tidak sengaja": Pada tahun 2023, sistem model besar dari salah satu raksasa pendidikan mengeluarkan "buku ajar beracun" yang mengandung konten ekstrem saat menghasilkan rencana pelajaran. Hanya dalam 3 hari, orang tua melakukan perlindungan hak, dan opini publik meledak, harga saham perusahaan menguap 12 miliar yuan.
AI tidak memahami hukum, tetapi ia memiliki kemampuan, dan kemampuan tersebut dapat berbahaya jika lepas dari pengawasan.
Namun dari sudut pandang lain, teknologi AI adalah baru, tetapi aliran dan cara dari industri abu-abu dan kuning pada akhirnya tidak berubah, dan untuk mengatasinya, yang dibutuhkan masih adalah keamanan.
02 Keamanan untuk AI
Mari kita mulai dengan sebuah pengetahuan dingin yang dihindari secara kolektif oleh industri AI:
Inti dari model besar bukanlah "kecerdasan" atau "pemahaman", tetapi generasi semantik di bawah kendali probabilistik. Akibatnya, hasil yang tidak terduga dapat dikeluarkan setelah konteks pelatihan terlampaui.
Kemungkinan besar, ini adalah kasus di mana Anda ingin ia menulis berita, tetapi ia justru menulis puisi; atau Anda ingin ia merekomendasikan produk, tetapi tiba-tiba ia memberi tahu Anda bahwa suhu di Tokyo hari ini adalah 25 derajat Celcius. Bahkan lebih parah, jika Anda memberitahunya dalam permainan, jika tidak bisa mendapatkan nomor seri perangkat lunak asli, maka ia akan ditembak, model besar itu benar-benar dapat melakukan segala cara untuk membantu pengguna menemukan nomor seri perangkat lunak asli tanpa biaya.
Dan untuk memastikan output dapat dikendalikan, perusahaan harus memahami model dan keamanan. Menurut laporan terbaru IDC "Laporan Penilaian Kemampuan Model Besar Keamanan Tiongkok", Alibaba berada di posisi pertama dalam 4 dari 7 indikator ketika bersaing dengan semua vendor terkemuka domestik yang memiliki kemampuan model besar keamanan, sedangkan 3 indikator lainnya juga semuanya lebih tinggi dari rata-rata industri.
Dalam praktiknya, jawaban yang diberikan oleh keamanan Alibaba Cloud juga sangat langsung: biarkan keamanan berjalan di depan kecepatan AI, membangun kerangka perlindungan full-stack yang mencakup tiga lapisan dari bawah ke atas—mulai dari keamanan infrastruktur, hingga kontrol input dan output model besar, dan perlindungan layanan aplikasi AI.
Di tiga lapisan ini, yang paling mencolok adalah lapisan tengah yang khusus ditujukan untuk risiko model besar yaitu "AI Guardrail".
Secara umum, risiko keamanan yang terkait dengan model besar terutama meliputi: pelanggaran konten, kebocoran data sensitif, serangan injeksi prompt, ilusi model, dan serangan jailbreak.
Namun, solusi keamanan tradisional umumnya berbasis arsitektur umum, dirancang untuk Web, bukan untuk "program yang berbicara", sehingga secara alami tidak dapat menghasilkan kemampuan identifikasi dan respons yang akurat terhadap risiko khusus aplikasi model besar. Masalah baru seperti keamanan konten yang dihasilkan, pertahanan terhadap serangan konteks, dan keandalan output model bahkan lebih sulit untuk dicakup. Yang lebih penting, solusi tradisional kurang memiliki metode pengendalian yang halus dan mekanisme pelacakan yang dapat divisualisasikan, yang menyebabkan perusahaan menghadapi kebutaan besar dalam tata kelola AI, tidak tahu di mana masalahnya, sehingga tidak dapat menyelesaikan masalah.
Keunggulan sebenarnya dari AI Guardrail bukan hanya "ia dapat menghentikan", tetapi juga bahwa terlepas dari apakah Anda sedang melakukan model besar pra-latihan, layanan AI, atau berbagai bentuk bisnis AI Agent, ia tahu apa yang Anda katakan, apa yang dihasilkan oleh model besar, sehingga dapat memberikan deteksi risiko yang tepat dan kemampuan pertahanan proaktif, memastikan kepatuhan, keamanan, dan stabilitas.
Secara khusus, AI Guardrail bertanggung jawab untuk perlindungan dalam tiga jenis skenario:
ꔷ Garis dasar kepatuhan: Melakukan pemeriksaan kepatuhan multidimensi terhadap konten teks input dan output AI generatif, mencakup kategori risiko seperti sensitif politik, pornografi rendah, prasangka diskriminatif, dan nilai-nilai buruk, mendeteksi secara mendalam data pribadi dan informasi sensitif yang mungkin bocor selama interaksi AI, mendukung pengenalan konten sensitif yang melibatkan privasi pribadi, privasi perusahaan, dan menyediakan tanda air digital, memastikan konten yang dihasilkan AI mematuhi hukum dan peraturan serta norma platform;
ꔷ Pertahanan terhadap ancaman: Untuk serangan seperti serangan kata kunci, pengunggahan file berbahaya, dan tautan URL berbahaya, dapat dilakukan deteksi dan pemblokiran waktu nyata, menghindari risiko bagi pengguna akhir aplikasi AI;
ꔷ Kesehatan Model: Memperhatikan stabilitas dan keandalan model AI itu sendiri, membangun satu set mekanisme deteksi terhadap masalah jailbreak model, Prompt crawler, dan lain-lain, untuk mencegah model disalahgunakan, disalahgunakan, atau menghasilkan output yang tidak terkendali, membangun "garis pertahanan kekebalan" untuk sistem AI;
Hal yang paling penting adalah bahwa AI Guardrail tidak hanya menumpuk beberapa modul deteksi di atas bersama-sama, tetapi mencapai ALL IN ONE API yang nyata, tanpa membagi modul, menambahkan uang, atau mengubah produk. Untuk risiko input dan output model, pelanggan tidak perlu membeli produk tambahan; Risiko model yang berbeda, seperti risiko injeksi, file berbahaya, kepatuhan konten, halusinasi, dll., Dapat diselesaikan dalam produk yang sama. Satu antarmuka dapat mendeteksi 10+ jenis skenario serangan, mendukung 4 metode penerapan (proxy API, integrasi platform, akses gateway, dan pemasangan WAF), respons tingkat milidetik, dan pemrosesan bersamaan 1.000 tingkat, dengan tingkat akurasi hingga 99%.
Oleh karena itu, arti sebenarnya dari AI Guardrail adalah mengubah "keamanan model" menjadi "kemampuan produk", sehingga satu antarmuka dapat menggantikan satu tim keamanan.
Tentu saja, model besar bukanlah konsep yang tergantung di udara, melainkan sistem yang berjalan di atas perangkat keras dan kode, dan mendukung aplikasi tingkat atas. Untuk keamanan infrastruktur dan perlindungan layanan aplikasi AI, keamanan Alibaba Cloud juga telah ditingkatkan.
Lapisan infrastruktur, Alibaba Cloud Security meluncurkan Pusat Keamanan Cloud, inti dari produk seperti AI-BOM, AI-SPM.
Secara khusus, dua kemampuan AI-BOM (Daftar Material AI) dan AI-SPM (Manajemen Situasi Keamanan AI) masing-masing menyelesaikan dua masalah "Komponen AI apa yang saya pasang" dan "Seberapa banyak celah yang ada di komponen ini."
Inti dari AI-BOM adalah mengumpulkan semua komponen AI di lingkungan deployment: membuat lebih dari 30 jenis komponen utama seperti Ray, Ollama, Mlflow, Jupyter, TorchServe, menjadi "daftar material perangkat lunak AI", yang secara otomatis mengidentifikasi kerentanan keamanan dan celah ketergantungan yang ada. Menemukan aset bermasalah tidak lagi bergantung pada pemeriksaan manual, tetapi melalui pemindaian cloud-native.
Posisi AI-SPM lebih mirip dengan "Radar": secara terus-menerus mengevaluasi situasi keamanan sistem dari berbagai dimensi seperti kerentanan, port yang diekspos, kebocoran kredensial, konfigurasi dalam bentuk teks, akses yang tidak sah, dan memberikan tingkat risiko serta saran perbaikan secara dinamis. Ini mengubah keamanan dari "kepatuhan berbasis snapshot" menjadi "tata kelola berbasis streaming."
Ringkasan dalam satu kalimat: AI-BOM tahu di mana Anda mungkin telah melakukan patch, AI-SPM tahu di mana Anda mungkin akan terkena lagi, segera perkuat pencegahan.
Untuk lapisan perlindungan aplikasi AI, produk inti keamanan Alibaba Cloud adalah WAAP (Perlindungan Aplikasi Web & API).
Output model yang cerdas tidak akan bertahan lama jika semua permintaan masuk adalah skrip, Token yang dipalsukan, dan penyalahgunaan antarmuka. Alibaba WAAP (Web Application & API Protection) lahir untuk tujuan ini. Ini tidak menangani aplikasi AI seperti "sistem Web tradisional", tetapi menyediakan aturan kerentanan komponen AI khusus, perpustakaan sidik jari bisnis AI, dan sistem penggambaran lalu lintas.
Misalnya: WAAP telah mencakup lebih dari 50 kerentanan komponen seperti unggahan file sembarang di Mlflow, eksekusi perintah jarak jauh layanan Ray; pustaka sidik jari crawler AI bawaan dapat mengenali lebih dari sepuluh ribu korpus dan alat evaluasi model yang baru ditambahkan setiap jam; fungsi identifikasi aset API dapat secara otomatis menemukan sistem mana di dalam perusahaan yang mengekspos antarmuka GPT, memberikan "peta titik" kepada tim keamanan.
Yang paling penting, WAAP dan AI Guardrail tidak saling bertentangan, melainkan saling melengkapi: satu melihat "siapa yang datang", satu melihat "apa yang dikatakan". Satu seperti "verifikator identitas", satu seperti "pengawas perilaku". Ini memberikan aplikasi AI kemampuan "imun diri" - melalui pengenalan, isolasi, pelacakan, dan penanggulangan, tidak hanya "menghentikan orang jahat", tetapi juga "tidak membiarkan model itu menjadi buruk".
03 AI untuk Keamanan
Karena penerapan AI adalah seperti melempar dadu, ada yang menggunakannya untuk meramal, ada yang memintanya menulis puisi cinta, ada yang menggunakannya untuk kegiatan ilegal, maka tidak mengherankan jika ada yang menggunakannya untuk keamanan.
Dulu, operasi keamanan memerlukan sekelompok orang yang setiap hari mengawasi tumpukan lampu merah dan hijau, berpatroli siang dan malam, mengambil alih kekacauan kemarin di siang hari, dan menemani sistem berjaga malam.
Sekarang, semua ini dapat diselesaikan oleh AI. Pada tahun 2024, sistem keamanan Alibaba Cloud akan sepenuhnya terintegrasi dengan model besar Tongyi, meluncurkan kumpulan kemampuan AI yang mencakup keamanan data, keamanan konten, keamanan bisnis, dan operasi keamanan, serta mengusulkan slogan baru: Protect at AI Speed.
Artinya sangat jelas: bisnis berjalan cepat, risiko lebih cepat, tetapi keamanan harus lebih cepat lagi.
Dan menggunakan AI untuk mengatasi keamanan sebenarnya terdiri dari dua hal: peningkatan efisiensi operasi keamanan + pembaruan kecerdasan produk keamanan.
Titik sakit terbesar dari sistem keamanan tradisional adalah "pembaruan kebijakan yang tertinggal": penyerang telah berubah, tetapi aturannya tetap sama; alarm berbunyi, tetapi tidak ada yang memahaminya.
Kunci perubahan yang dibawa oleh model besar terletak pada mengalihkan sistem keamanan dari yang didorong oleh aturan ke yang didorong oleh model, dengan membangun ekosistem tertutup menggunakan "kemampuan pemahaman AI + umpan balik pengguna" — AI memahami perilaku pengguna → umpan balik pengguna memberi peringatan hasil → pelatihan model yang berkelanjutan → kemampuan deteksi semakin akurat → siklus semakin pendek → risiko semakin sulit disembunyikan, inilah yang disebut "roda data":
Keuntungannya ada dua:
Di satu sisi, efisiensi operasi keamanan penyewa cloud ditingkatkan: di masa lalu, deteksi ancaman sering kali berarti model "peringatan besar-besaran + penyaringan manual" yang tidak efisien. Saat ini, pemodelan cerdas secara akurat mengidentifikasi perilaku abnormal seperti lalu lintas berbahaya, intrusi host, dan skrip pintu belakang, dan tingkat hit alarm sangat meningkat. Pada saat yang sama, di sekitar tautan pembuangan, sistem telah mewujudkan sinergi yang mendalam antara pembuangan otomatis dan respons yang sangat cepat - kemurnian tuan rumah stabil pada 99%, dan kemurnian aliran mendekati 99,9%. Saat ini, tingkat cakupan jenis peristiwa alarm telah mencapai 99%, dan tingkat cakupan pengguna model besar juga telah melebihi 88%, dan efisiensi manusia dari tim operasi keamanan telah dilepaskan sebelumnya
Di sisi lain, kemampuan produk keamanan cloud meningkat dengan cepat. Di lapisan keamanan data dan lapisan keamanan bisnis, AI diberikan tanggung jawab sebagai "penjaga gerbang": berdasarkan kemampuan model besar, dapat secara otomatis mengidentifikasi lebih dari 800 jenis data entitas di cloud dan melakukan pemrosesan desensitisasi dan enkripsi secara cerdas. Tidak hanya untuk data terstruktur, sistem juga dilengkapi dengan lebih dari 30 model pengenalan dokumen dan gambar, yang mampu mengenali, mengklasifikasikan, dan mengenkripsi informasi sensitif seperti nomor identitas dalam gambar dan elemen kontrak secara waktu nyata. Efisiensi penandaan data keseluruhan meningkat 5 kali lipat, dengan tingkat akurasi pengenalan mencapai 95%, yang secara signifikan mengurangi risiko kebocoran data pribadi.
Sebagai contoh: dalam skenario keamanan konten, metode tradisional mengandalkan ulasan manusia, penandaan, dan pelatihan penandaan dalam skala besar. Sekarang, melalui rekayasa Prompt dan peningkatan semantik, Alibaba telah mencapai peningkatan efisiensi penandaan sebesar 100%, peningkatan pengenalan ekspresi kabur sebesar 73%, peningkatan pengenalan konten gambar sebesar 88%, dan tingkat akurasi deteksi serangan wajah hidup AI sebesar 99%.
Jika flywheel menekankan pada pengendalian mandiri yang menggabungkan AI dengan pengalaman manusia, maka asisten cerdas adalah asisten serba bisa bagi petugas keamanan.
Petugas operasi keamanan setiap hari menghadapi masalah terbesar: apa arti peringatan ini? Mengapa ini terjadi? Apakah ini kesalahan laporan? Bagaimana saya harus menanganinya? Dulu, untuk mencari tahu ini, harus memeriksa log, melihat sejarah, bertanya kepada karyawan senior, mengisi tiket kerja, meminta dukungan teknis... sekarang, cukup dengan satu kalimat.
Namun, posisi fungsi asisten cerdas bukan hanya sebagai robot tanya jawab, melainkan lebih seperti Copilot vertikal di bidang keamanan, dengan lima kemampuan inti yang meliputi:
Asisten Tanya Jawab Produk: secara otomatis menjawab bagaimana mengonfigurasi fungsi tertentu, mengapa strategi ini dipicu, sumber daya mana yang belum diaktifkan perlindungan, menggantikan banyak layanan tiket.
Ahli penjelasan alarm: Masukkan nomor alarm, secara otomatis keluarkan penjelasan peristiwa, pelacakan rantai serangan, strategi respons yang disarankan, dan mendukung keluaran dalam berbagai bahasa;
Asisten Pemulihan Insiden Keamanan: secara otomatis menyusun rantai lengkap dari satu insiden peretasan, menghasilkan garis waktu, peta jalur serangan, dan saran penentuan tanggung jawab;
Generator laporan: Menghasilkan laporan keamanan bulanan/kuartalan/darurat dengan satu klik, mencakup statistik kejadian, umpan balik penanganan, hasil operasional, mendukung ekspor visual;
Dukungan multi-bahasa: telah mencakup bahasa Mandarin dan Inggris, versi internasional diluncurkan pada bulan Juni, mendukung penyesuaian otomatis dengan kebiasaan penggunaan tim luar negeri.
Jangan meremehkan "lima hal kecil" ini, hingga saat ini, data resmi Alibaba menunjukkan bahwa jumlah pengguna yang dilayani telah melebihi 40.000, tingkat kepuasan pengguna adalah 99,81%, cakupan jenis alarm telah mencapai 100%, dan kapasitas dukungan cepat telah meningkat sebesar 1175% (FY24 tahun-ke-tahun). Sederhananya, ia mengemas rekan kerja berkinerja tinggi pada shift malam, magang yang menulis laporan, insinyur yang menangani peringatan, dan konsultan keamanan yang memahami bisnis ke dalam satu API, dan dengan kemampuan ini, manusia hanya membuat keputusan dan berhenti berpatroli.
04 Epilog
Melihat kembali, sejarah tidak pernah kekurangan "teknologi yang mengubah zaman", yang kurang adalah teknologi yang dapat bertahan melewati gelombang kedua.
Internet, P2P, blockchain, mobil tanpa pengemudi... Setiap gelombang ledakan teknologi, selalu disebut sebagai "infrastruktur baru", tetapi pada akhirnya hanya sedikit yang dapat melintasi "kekosongan pemerintahan" dan menjadi infrastruktur yang sebenarnya.
Saat ini, AI generatif berada di tahap yang serupa: di satu sisi, model bermunculan, kapital mengalir deras, dan aplikasi terus berkembang; di sisi lain, ada penyuntikan kata kunci, pelanggaran konten, kebocoran data, manipulasi model, celah yang banyak, batasan yang kabur, dan tanggung jawab yang tidak jelas.
Namun, AI berbeda dari teknologi sebelumnya. Ia tidak hanya bisa menggambar, menulis puisi, memprogram, dan menerjemahkan, tetapi juga dapat meniru bahasa manusia, membuat penilaian, bahkan emosi. Namun, karena itulah, kerentanan AI tidak hanya berasal dari celah kode, tetapi juga merupakan cerminan dari sifat manusia. Manusia memiliki bias, dan ia juga akan belajar; manusia menginginkan kemudahan, ia juga akan mencari akal untuk mempermudah.
Kemudahan teknologi itu sendiri adalah pengganda dari pemetaan ini: Sistem TI di masa lalu harus berbicara tentang "otorisasi pengguna", serangan bergantung pada infiltrasi; model besar saat ini hanya memerlukan penyuntikan kata kunci, berbicara dengan Anda dapat menyebabkan kesalahan sistem dan kebocoran privasi.
Tentu saja, tidak ada sistem AI yang "sempurna tanpa cacat", itu adalah fiksi ilmiah, bukan rekayasa.
Satu-satunya jawaban adalah menggunakan model yang aman untuk melindungi model yang tidak aman; menggunakan sistem yang cerdas untuk melawan ancaman yang cerdas—menggunakan AI untuk melempar dadu, Alibaba memilih sisi yang aman.