Os geeks estão a empreender, os principiantes estão a comprar cursos, e os artistas estão em desemprego, mas uma realidade embaraçosa é que: a IA está em alta, mas a trama não está a seguir o caminho da chegada, mas sim a lançar dados.
E, no início da indústria, a face que o dado cai primeiro geralmente é amarelo ou cinza.
A razão também é muito simples, enormes lucros dão origem a impulso, para não mencionar que a indústria na fase inicial de desenvolvimento está sempre cheia de lacunas. Olhando para esse conjunto de dados, é claro:
Atualmente, mais de 43% dos nós de serviço MCP apresentam caminhos de chamada Shell não verificados, mais de 83% das implantações têm vulnerabilidades de configuração MCP (Model Context Protocol); 88% das implantações de componentes de IA não ativaram qualquer forma de mecanismo de proteção; 150 mil estruturas de implantação de IA leve como Ollama estão atualmente expostas na rede pública global, mais de 1 bilhão de dólares em capacidade de computação foi sequestrado para mineração...
O que é ainda mais irônico é que atacar o modelo grande mais inteligente requer apenas o nível mais baixo de táticas - desde que um conjunto de portas abertas por padrão, um arquivo de configuração YAML exposto ou um caminho de chamada de shell não verificado, e até mesmo, desde que a entrada de prompt seja precisa o suficiente, o próprio modelo grande pode ajudar a indústria cinza a encontrar a direção do ataque. A porta para a privacidade de dados corporativos entrou e saiu arbitrariamente na era da IA.
Mas o problema não é insolúvel: a IA é mais do que apenas um spawn e um ataque. Como usar a IA para proteção tem se tornado cada vez mais o tema principal desta era; Ao mesmo tempo, na nuvem, a formulação de regras para IA também se tornou uma direção-chave para os principais fornecedores de nuvem, e o Alibaba Cloud Security é o representante mais típico.
No recente evento de lançamento da Alibaba Cloud Flyte, a Alibaba Cloud anunciou oficialmente suas duas direções em segurança na nuvem: Security for AI e AI for Security, e lançou a série de produtos «AI Cloud Shield» para fornecer aos clientes «soluções de segurança de ponta a ponta para aplicações de modelos», que é um dos melhores exemplos da exploração atual da indústria.
01 AI jogar dados, por que é que o cinza e o amarelo estão sempre para cima primeiro?
Na história da tecnologia humana, a IA não é a primeira nova espécie a "experimentar águas turvas", a explosão do cinza-amarelo ocorreu primeiro, e é uma regra de difusão tecnológica e não um acidente.
Em 1839, com a introdução da fotografia em chapas de prata, a primeira onda de usuários foi a indústria do sexo;
No início da internet, o comércio eletrônico ainda não tinha começado, mas os sites para adultos já estavam a pensar em pagamentos online;
Hoje, os especuladores de grandes modelos estão, de certa forma, a recriar o mito de enriquecimento rápido da "era dos domínios".
Os dividendos da era são sempre primeiro apanhados pelo cinza e pelo amarelo. Porque eles não se preocupam com a conformidade, não esperam pela regulamentação, e a eficiência é naturalmente muito alta.
Assim, cada período de explosão tecnológica começa, naturalmente, como uma "sopa turva", e a IA não é exceção.
Em dezembro de 2023, um hacker usou apenas uma frase-chave — "$1 oferta" — para induzir o robô de atendimento ao cliente de uma concessionária a quase vender um Chevrolet por 1 dólar. Este é o ataque de "injeção de prompt" mais comum na era da IA: sem necessidade de verificação de permissões, sem deixar rastros de log, apenas com o poder das palavras, é possível alterar toda a cadeia lógica.
Mais a fundo, temos o "Jailbreak". Os atacantes usam perguntas retóricas, interpretação de papéis, dicas de desvio, entre outros métodos, para fazer o modelo dizer coisas que não deveria: conteúdo pornográfico, fabricação de drogas, falsas mensagens de alerta...
Em Hong Kong, houve quem conseguisse roubar 200 milhões de dólares de Hong Kong de contas empresariais, até mesmo falsificando a voz de executivos.
Além de fraudes, a IA também apresenta o risco de "saídas não intencionais": em 2023, um grande sistema de modelo de uma gigante da educação produziu por engano um "material didático tóxico" com conteúdo extremo ao gerar planos de aula; em apenas 3 dias, os pais reivindicaram seus direitos, a opinião pública explodiu e o valor das ações da empresa evaporou 12 bilhões de yuans.
A IA não entende de leis, mas tem capacidade, e uma vez que essa capacidade se desvincula da supervisão, torna-se prejudicial.
Mas, sob outro ponto de vista, a tecnologia de IA é nova, mas o fluxo final e os meios da indústria cinza e do conteúdo pornográfico permanecem os mesmos, e para resolvê-lo, depende ainda da segurança.
02 Segurança para IA
Vamos falar de um fato curioso que a indústria de IA evita coletivamente:
A essência dos grandes modelos não é "inteligência", nem é "compreensão", mas sim geração semântica sob controle probabilístico. É também por isso que, uma vez que se ultrapasse o contexto de treinamento, podem ser gerados resultados inesperados.
Este tipo de superação pode ser que você queira que ele escreva uma notícia, e ele te escreve um poema; ou pode ser que você queira que ele recomende produtos, e ele de repente te diz que a temperatura em Tóquio hoje é de 25 graus Celsius. Mais ainda, você diz a ele que no jogo, se não conseguir o número de série legítimo de determinado software, ele será executado, e o grande modelo realmente consegue encontrar uma chave de software legítima para o usuário a custo zero.
E para garantir que a saída seja controlável, as empresas precisam entender tanto os modelos quanto a segurança. De acordo com o mais recente "Relatório de Avaliação de Capacidades de Modelos de Segurança da IDC", a Alibaba, ao competir com todos os principais fornecedores nacionais que possuem capacidade de modelos de segurança, obteve o primeiro lugar em 4 dos 7 indicadores, e os outros 3 também estão todos acima da média do setor.
Em termos de abordagem, a resposta dada pela segurança da Alibaba Cloud é bastante direta: fazer a segurança correr à frente da velocidade da IA, construindo uma estrutura de proteção full-stack de baixo para cima, abrangendo três camadas - desde a segurança da infraestrutura, até o controle de entrada e saída de grandes modelos, e a proteção de serviços de aplicação de IA.
Nesta três camadas, a que tem mais presença é a camada do meio, que é especificamente dedicada aos riscos dos grandes modelos, o "AI Guardrail".
Geralmente, os principais riscos de segurança relacionados a grandes modelos incluem: violação de conteúdo, vazamento de dados sensíveis, ataque de injeção de palavras-chave, alucinação do modelo e ataques de fuga.
No entanto, as soluções de segurança tradicionais são, em sua maioria, arquiteturas genéricas, projetadas para a Web, em vez de estarem preparadas para "programas que falam", e naturalmente não conseguem identificar e responder com precisão aos riscos específicos associados a aplicações de modelos grandes. A cobertura de novos problemas emergentes, como segurança de conteúdo gerado, defesa contra ataques contextuais e confiabilidade da saída do modelo, é ainda mais difícil. Mais importante, as soluções tradicionais carecem de meios de controle de granularidade fina e mecanismos de rastreamento visual, o que resulta em grandes lacunas para as empresas na governança de IA, não sabendo onde estão os problemas e, naturalmente, não conseguindo resolvê-los.
O verdadeiro poder do AI Guardrail não é apenas "ele pode parar", mas se você está fazendo um modelo grande pré-treinado, um serviço de IA ou um agente de IA em várias formas de negócios, ele sabe do que você está falando e o que o modelo grande está gerando, de modo a fornecer deteção de risco precisa e recursos de defesa ativa, e alcançar conformidade, segurança e estabilidade.
Especificamente, o AI Guardrail é responsável pela proteção de três tipos de cenários:
ꔷ Linha de base de conformidade: realizar uma revisão de conformidade multidimensional do conteúdo textual gerado por IA, cobrindo categorias de risco como sensibilidade política, pornografia vulgar, preconceito e discriminação, valores negativos, entre outros, detectando profundamente os dados pessoais e informações sensíveis que podem ser vazados durante a interação com a IA, suportando a identificação de conteúdos sensíveis relacionados à privacidade pessoal e empresarial, e fornecendo identificação de marca d'água digital, garantindo que o conteúdo gerado pela IA esteja em conformidade com leis e regulamentos e normas da plataforma;
ꔷ Defesa contra ameaças: em relação a ataques por palavras-chave, upload de arquivos maliciosos, links de URLs maliciosos e outras ações de ataque externas, é possível realizar detecção e interceptação em tempo real, evitando riscos para os usuários finais das aplicações de IA;
ꔷ Saúde do modelo: Focar na estabilidade e confiabilidade do próprio modelo de IA, estabelecendo um conjunto completo de mecanismos de detecção para problemas como jailbreak do modelo e crawlers de Prompt, a fim de prevenir o abuso, uso indevido ou a geração de saídas incontroláveis, construindo uma «linha de defesa imunológica» para o sistema de IA;
O mais digno de nota é que o AI Guardrail não é apenas uma simples acumulação dos vários módulos de detecção mencionados, mas sim uma verdadeira API ALL IN ONE, sem divisão de módulos, sem custos adicionais e sem troca de produtos. Para os riscos de entrada e saída do modelo, os clientes não precisam mais comprar produtos extras; para diferentes riscos do modelo: risco de injeção, arquivos maliciosos, conformidade de conteúdo, alucinações e outros problemas podem ser resolvidos no mesmo produto. Uma interface abrange mais de 10 cenários de ataque para detecção, suportando 4 modos de implantação (proxy API, integração de plataforma, acesso via gateway, montagem WAF), resposta em milissegundos e processamento de milhares de requisições simultâneas, com uma taxa de precisão de até 99%.
É também por isso que o verdadeiro significado do AI Guardrail reside em transformar a "segurança do modelo" em "capacidade do produto", permitindo que uma interface substitua uma equipe de segurança.
Claro, os grandes modelos não são conceitos flutuantes, são sistemas que rodam em hardware e código, e sustentam as aplicações de nível superior. E quanto à segurança da infraestrutura e à proteção dos serviços de aplicações de IA, a segurança da Alibaba Cloud também foi toda atualizada.
Camada de infraestrutura, a segurança da Alibaba Cloud lançou o centro de segurança na nuvem, sendo o núcleo produtos como AI-BOM e AI-SPM.
Especificamente, as duas grandes capacidades AI-BOM (Lista de Materiais de IA) e AI-SPM (Gestão de Situação de Segurança de IA) resolvem, respetivamente, as questões "Que componentes de IA instalei?" e "Quantas vulnerabilidades têm esses componentes?"
O núcleo do AI-BOM é capturar todos os componentes de IA no ambiente de implantação: permitindo que mais de 30 componentes principais, como Ray, Ollama, Mlflow, Jupyter, TorchServe, formem uma "lista de materiais de software de IA", identificando automaticamente as vulnerabilidades de segurança e as falhas de dependência existentes. A descoberta de ativos problemáticos não depende mais de verificações manuais, mas é realizada por meio de varreduras nativas da nuvem.
A posição do AI-SPM é mais parecida com um "radar": avalia continuamente a postura de segurança do sistema a partir de múltiplas dimensões, como vulnerabilidades, exposição de portas, vazamento de credenciais, configuração em texto claro e acesso não autorizado, fornecendo dinamicamente níveis de risco e recomendações de correção. Ele transforma a segurança de uma "conformidade em forma de instantânea" para uma "governança em forma de streaming".
Uma frase de resumo: AI-BOM sabe onde você pode ter aplicado um patch, AI-SPM sabe onde você ainda pode ser atingido novamente, então intensifique a prevenção o mais rápido possível.
Para a camada de proteção de aplicações de IA, o produto central de segurança da Alibaba Cloud é o WAAP (Proteção de Aplicações Web e APIs).
Não importa quão inteligente seja a saída do modelo, se a entrada for apenas solicitações de script, Tokens falsificados e uso excessivo da interface, não durará muitos segundos. O WAAP da Alibaba (Proteção de Aplicações Web e API) foi criado exatamente para isso. Ele não trata as aplicações de IA como "sistemas Web tradicionais", mas fornece regras de vulnerabilidade de componentes de IA, um banco de dados de impressões digitais de negócios de IA e um sistema de perfis de tráfego.
Por exemplo: WAAP já cobre mais de 50 vulnerabilidades de componentes, como upload de arquivos em Mlflow e execução remota de comandos de serviços Ray; a biblioteca de impressão digital do crawler AI embutida pode identificar mais de 10.000 novas amostras de texto e ferramentas de avaliação de modelos a cada hora; a funcionalidade de identificação de ativos de API pode descobrir automaticamente qual sistema interno da empresa expôs a interface GPT, fornecendo um "mapa de pontos" para a equipe de segurança.
O mais importante é que o WAAP e o AI Guardrail não são conflitantes, mas sim complementares: um olha para "quem chegou", o outro para "o que foi dito". Um é como um "verificador de identidade", o outro como um "monitor de comportamento". Isso confere às aplicações de IA uma capacidade de "auto-imunização" - ao identificar, isolar, rastrear e contrabalançar, não apenas "impedindo maus elementos", mas também "evitando que o modelo se torne mau".
03 IA para Segurança
Uma vez que a implementação da IA é como lançar dados, não é surpreendente que algumas pessoas a utilizem para adivinhações, outras para escrever poesias de amor, e algumas para atividades ilícitas, então não é de estranhar que algumas a usem para segurança.
No passado, a operação de segurança exigia um grupo de pessoas para vigiar um monte de alarmes vermelhos e verdes dia e noite, pegando a bagunça do dia anterior durante o dia e acompanhando o sistema durante a noite.
Agora, tudo isso pode ser feito por IA. Em 2024, o sistema de segurança do Alibaba Cloud estará totalmente conectado ao modelo Tongyi, e clusters de capacidade de IA abrangendo segurança de dados, segurança de conteúdo, segurança de negócios e operações de segurança serão lançados, e um novo slogan será proposto: Proteja na velocidade da IA.
O significado é claro: os negócios correm rápido, os riscos ainda mais rápido, mas a segurança deve ser ainda mais rápida.
E usar IA para resolver a segurança na verdade são duas coisas: aumento da eficiência das operações de segurança + atualização inteligente dos produtos de segurança.
O maior ponto crítico dos sistemas de segurança tradicionais é a "atualização de políticas atrasada": os atacantes mudaram, as regras não mudaram; o alerta chegou, ninguém entende.
A chave para a mudança trazida pelos grandes modelos está em transformar o sistema de segurança de um modelo baseado em regras para um modelo baseado em modelos, construindo um ecossistema de ciclo fechado com «capacidade de compreensão da IA + feedback do usuário» — a IA compreende o comportamento do usuário → o feedback do usuário alerta os resultados → o modelo é treinado continuamente → a capacidade de deteção torna-se cada vez mais precisa → o ciclo torna-se cada vez mais curto → o risco torna-se cada vez mais difícil de esconder, isso é o que se chama de «flywheel de dados»:
As suas vantagens são duas:
Por um lado, a eficiência da operação de segurança dos locatários de nuvem é melhorada: no passado, a deteção de ameaças muitas vezes significava um modelo ineficiente de "alertas massivos + triagem manual". Hoje, a modelagem inteligente identifica com precisão comportamentos anormais, como tráfego mal-intencionado, intrusão de host e scripts de backdoor, e a taxa de acerto de alarme é muito melhorada. Ao mesmo tempo, em torno do link de eliminação, o sistema percebeu a profunda sinergia entre o descarte automático e a resposta extremamente rápida - a pureza do hospedeiro é estável em 99%, e a pureza do fluxo está perto de 99,9%. Atualmente, a taxa de cobertura dos tipos de eventos de alarme atingiu 99%, e a taxa de cobertura do usuário de modelos grandes também ultrapassou 88%, e a eficiência humana da equipe de operação de segurança foi desencadeada sem precedentes.
Por outro lado, a capacidade dos produtos de segurança em nuvem está a melhorar rapidamente. Nas camadas de segurança de dados e de negócios, a IA foi atribuída à responsabilidade de "guarda": com base na capacidade de grandes modelos, pode automaticamente identificar mais de 800 tipos de dados de entidades na nuvem e realizar desensibilização e encriptação inteligentes. Não se limita a dados estruturados, o sistema também possui mais de 30 modelos de reconhecimento de documentos e imagens, sendo capaz de reconhecer, classificar e encriptar em tempo real informações sensíveis, como números de cartões de identidade e elementos de contratos nas imagens. A eficiência geral da rotulagem de dados aumentou 5 vezes, e a taxa de precisão de reconhecimento atingiu 95%, reduzindo significativamente o risco de vazamento de dados pessoais.
Por exemplo: no cenário de segurança de conteúdo, a prática tradicional era confiar na revisão humana, rotulagem e treinamento de marcação em larga escala. Agora, através da engenharia de Prompt e do aprimoramento semântico, a Alibaba alcançou um aumento de 100% na eficiência de rotulagem, um aumento de 73% na identificação de expressões ambíguas, um aumento de 88% no reconhecimento de conteúdo de imagem e uma taxa de precisão de 99% na detecção de ataques de rosto vivo por IA.
Se a Flywheel se concentra na combinação de IA com a experiência humana para o controle autônomo, então o assistente inteligente é o assistente versátil dos profissionais de segurança.
Os operadores de segurança enfrentam todos os dias a maior questão: o que significa este alerta? Por que foi acionado? É um falso positivo? Como devo proceder? No passado, para esclarecer essas questões, era necessário analisar logs, consultar históricos, perguntar a funcionários mais antigos, abrir tickets de suporte técnico... agora, basta uma frase.
No entanto, a funcionalidade do assistente inteligente não se limita apenas a ser um robô de perguntas e respostas, mas sim a ser um Copilot vertical na área da segurança, cujas cinco principais capacidades incluem:
Assistente de Perguntas sobre Produtos: responde automaticamente como configurar uma determinada funcionalidade, por que esta estratégia foi acionada, quais recursos não estão protegidos, substituindo uma grande quantidade de serviços de bilhete;
Especialista em explicação de alarmes: insira o número do alarme, gere automaticamente a explicação do evento, a rastreabilidade da cadeia de ataque e a estratégia de resposta recomendada, e suporte à saída em múltiplas línguas;
Assistente de Revisão de Incidentes de Segurança: organiza automaticamente a cadeia completa de um incidente de invasão, gerando uma linha do tempo, um mapa de caminhos de ataque e sugestões de determinação de responsabilidade;
Gerador de relatórios: gere relatórios de segurança mensais/trimestrais/emergenciais com um clique, abrangendo estatísticas de eventos, feedback de tratamento e eficácia operacional, suportando exportação visual.
Suporte a todas as línguas: já cobriu Chinês e Inglês, a versão internacional será lançada em junho, suportando a adaptação automática aos hábitos de uso das equipas no exterior.
Não subestime estas "cinco pequenas coisas". Até o momento, os dados oficiais da Alibaba mostram que: o número de usuários atendidos ultrapassa 40 mil, a satisfação do usuário é de 99,81%, a cobertura dos tipos de alerta chega a 100% e a capacidade de suporte a prompt aumentou em 1175% (ano a ano FY24). Em resumo, ele empacota os colegas de trabalho que têm desempenho máximo durante o turno da noite, os estagiários que escrevem relatórios, os engenheiros que lidam com alertas e os consultores de segurança que entendem o negócio, tudo em uma única API. Com essa capacidade, os humanos apenas tomam decisões, sem mais patrulhar.
04 Epílogo
Ao olhar para o passado, a história nunca careceu de "tecnologias revolucionárias", mas sim de tecnologias que conseguem sobreviver à segunda onda de entusiasmo.
Internet, P2P, blockchain, condução autónoma... Cada onda de explosão tecnológica foi chamada de "nova infraestrutura", mas no final, apenas algumas se tornaram verdadeiras infraestruturas, capazes de atravessar o "vácuo de governança".
O AI generativa atual está numa fase semelhante: de um lado, modelos a florescer, capital a correr em busca, e aplicações a romper em camadas; do outro lado, injeção de palavras-chave, conteúdo ultrapassando limites, vazamentos de dados, manipulação de modelos, vulnerabilidades em todo o lado, fronteiras difusas e responsabilidade desfocada.
Mas a IA é diferente das tecnologias anteriores. Ela não apenas pode desenhar, escrever poesias, programar e traduzir, mas também pode imitar a linguagem humana, fazer julgamentos e até emoções. Mas também por isso, a fragilidade da IA não se origina apenas de falhas no código, mas é um reflexo da humanidade. Os humanos têm preconceitos, e ela também os aprenderá; os humanos buscam conveniência, e ela também encontrará maneiras de tirar vantagem.
A conveniência da tecnologia em si é o amplificador desse mapeamento: os antigos sistemas de TI precisavam de "autorizações de usuários" e os ataques dependiam de infiltração; agora, os grandes modelos só precisam de injeção de palavras-chave, e uma conversa pode levar a falhas no sistema e vazamentos de privacidade.
Claro, não existe um sistema de IA "perfeito e impecável"; isso é ficção científica, não engenharia.
A única resposta é usar modelos seguros para proteger modelos inseguros; usar sistemas inteligentes para combater ameaças inteligentes - usando IA para lançar dados, a Alibaba escolhe o lado seguro.
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Por que na era da IA, o mercado cinza e o conteúdo pornográfico são sempre os primeiros a explodir?
Autor: bombear geek
Os geeks estão a empreender, os principiantes estão a comprar cursos, e os artistas estão em desemprego, mas uma realidade embaraçosa é que: a IA está em alta, mas a trama não está a seguir o caminho da chegada, mas sim a lançar dados.
E, no início da indústria, a face que o dado cai primeiro geralmente é amarelo ou cinza.
A razão também é muito simples, enormes lucros dão origem a impulso, para não mencionar que a indústria na fase inicial de desenvolvimento está sempre cheia de lacunas. Olhando para esse conjunto de dados, é claro:
Atualmente, mais de 43% dos nós de serviço MCP apresentam caminhos de chamada Shell não verificados, mais de 83% das implantações têm vulnerabilidades de configuração MCP (Model Context Protocol); 88% das implantações de componentes de IA não ativaram qualquer forma de mecanismo de proteção; 150 mil estruturas de implantação de IA leve como Ollama estão atualmente expostas na rede pública global, mais de 1 bilhão de dólares em capacidade de computação foi sequestrado para mineração...
O que é ainda mais irônico é que atacar o modelo grande mais inteligente requer apenas o nível mais baixo de táticas - desde que um conjunto de portas abertas por padrão, um arquivo de configuração YAML exposto ou um caminho de chamada de shell não verificado, e até mesmo, desde que a entrada de prompt seja precisa o suficiente, o próprio modelo grande pode ajudar a indústria cinza a encontrar a direção do ataque. A porta para a privacidade de dados corporativos entrou e saiu arbitrariamente na era da IA.
Mas o problema não é insolúvel: a IA é mais do que apenas um spawn e um ataque. Como usar a IA para proteção tem se tornado cada vez mais o tema principal desta era; Ao mesmo tempo, na nuvem, a formulação de regras para IA também se tornou uma direção-chave para os principais fornecedores de nuvem, e o Alibaba Cloud Security é o representante mais típico.
No recente evento de lançamento da Alibaba Cloud Flyte, a Alibaba Cloud anunciou oficialmente suas duas direções em segurança na nuvem: Security for AI e AI for Security, e lançou a série de produtos «AI Cloud Shield» para fornecer aos clientes «soluções de segurança de ponta a ponta para aplicações de modelos», que é um dos melhores exemplos da exploração atual da indústria.
01 AI jogar dados, por que é que o cinza e o amarelo estão sempre para cima primeiro?
Na história da tecnologia humana, a IA não é a primeira nova espécie a "experimentar águas turvas", a explosão do cinza-amarelo ocorreu primeiro, e é uma regra de difusão tecnológica e não um acidente.
Em 1839, com a introdução da fotografia em chapas de prata, a primeira onda de usuários foi a indústria do sexo;
No início da internet, o comércio eletrônico ainda não tinha começado, mas os sites para adultos já estavam a pensar em pagamentos online;
Hoje, os especuladores de grandes modelos estão, de certa forma, a recriar o mito de enriquecimento rápido da "era dos domínios".
Os dividendos da era são sempre primeiro apanhados pelo cinza e pelo amarelo. Porque eles não se preocupam com a conformidade, não esperam pela regulamentação, e a eficiência é naturalmente muito alta.
Assim, cada período de explosão tecnológica começa, naturalmente, como uma "sopa turva", e a IA não é exceção.
Em dezembro de 2023, um hacker usou apenas uma frase-chave — "$1 oferta" — para induzir o robô de atendimento ao cliente de uma concessionária a quase vender um Chevrolet por 1 dólar. Este é o ataque de "injeção de prompt" mais comum na era da IA: sem necessidade de verificação de permissões, sem deixar rastros de log, apenas com o poder das palavras, é possível alterar toda a cadeia lógica.
Mais a fundo, temos o "Jailbreak". Os atacantes usam perguntas retóricas, interpretação de papéis, dicas de desvio, entre outros métodos, para fazer o modelo dizer coisas que não deveria: conteúdo pornográfico, fabricação de drogas, falsas mensagens de alerta...
Em Hong Kong, houve quem conseguisse roubar 200 milhões de dólares de Hong Kong de contas empresariais, até mesmo falsificando a voz de executivos.
Além de fraudes, a IA também apresenta o risco de "saídas não intencionais": em 2023, um grande sistema de modelo de uma gigante da educação produziu por engano um "material didático tóxico" com conteúdo extremo ao gerar planos de aula; em apenas 3 dias, os pais reivindicaram seus direitos, a opinião pública explodiu e o valor das ações da empresa evaporou 12 bilhões de yuans.
A IA não entende de leis, mas tem capacidade, e uma vez que essa capacidade se desvincula da supervisão, torna-se prejudicial.
Mas, sob outro ponto de vista, a tecnologia de IA é nova, mas o fluxo final e os meios da indústria cinza e do conteúdo pornográfico permanecem os mesmos, e para resolvê-lo, depende ainda da segurança.
02 Segurança para IA
Vamos falar de um fato curioso que a indústria de IA evita coletivamente:
A essência dos grandes modelos não é "inteligência", nem é "compreensão", mas sim geração semântica sob controle probabilístico. É também por isso que, uma vez que se ultrapasse o contexto de treinamento, podem ser gerados resultados inesperados.
Este tipo de superação pode ser que você queira que ele escreva uma notícia, e ele te escreve um poema; ou pode ser que você queira que ele recomende produtos, e ele de repente te diz que a temperatura em Tóquio hoje é de 25 graus Celsius. Mais ainda, você diz a ele que no jogo, se não conseguir o número de série legítimo de determinado software, ele será executado, e o grande modelo realmente consegue encontrar uma chave de software legítima para o usuário a custo zero.
E para garantir que a saída seja controlável, as empresas precisam entender tanto os modelos quanto a segurança. De acordo com o mais recente "Relatório de Avaliação de Capacidades de Modelos de Segurança da IDC", a Alibaba, ao competir com todos os principais fornecedores nacionais que possuem capacidade de modelos de segurança, obteve o primeiro lugar em 4 dos 7 indicadores, e os outros 3 também estão todos acima da média do setor.
Em termos de abordagem, a resposta dada pela segurança da Alibaba Cloud é bastante direta: fazer a segurança correr à frente da velocidade da IA, construindo uma estrutura de proteção full-stack de baixo para cima, abrangendo três camadas - desde a segurança da infraestrutura, até o controle de entrada e saída de grandes modelos, e a proteção de serviços de aplicação de IA.
Nesta três camadas, a que tem mais presença é a camada do meio, que é especificamente dedicada aos riscos dos grandes modelos, o "AI Guardrail".
Geralmente, os principais riscos de segurança relacionados a grandes modelos incluem: violação de conteúdo, vazamento de dados sensíveis, ataque de injeção de palavras-chave, alucinação do modelo e ataques de fuga.
No entanto, as soluções de segurança tradicionais são, em sua maioria, arquiteturas genéricas, projetadas para a Web, em vez de estarem preparadas para "programas que falam", e naturalmente não conseguem identificar e responder com precisão aos riscos específicos associados a aplicações de modelos grandes. A cobertura de novos problemas emergentes, como segurança de conteúdo gerado, defesa contra ataques contextuais e confiabilidade da saída do modelo, é ainda mais difícil. Mais importante, as soluções tradicionais carecem de meios de controle de granularidade fina e mecanismos de rastreamento visual, o que resulta em grandes lacunas para as empresas na governança de IA, não sabendo onde estão os problemas e, naturalmente, não conseguindo resolvê-los.
O verdadeiro poder do AI Guardrail não é apenas "ele pode parar", mas se você está fazendo um modelo grande pré-treinado, um serviço de IA ou um agente de IA em várias formas de negócios, ele sabe do que você está falando e o que o modelo grande está gerando, de modo a fornecer deteção de risco precisa e recursos de defesa ativa, e alcançar conformidade, segurança e estabilidade.
Especificamente, o AI Guardrail é responsável pela proteção de três tipos de cenários:
ꔷ Linha de base de conformidade: realizar uma revisão de conformidade multidimensional do conteúdo textual gerado por IA, cobrindo categorias de risco como sensibilidade política, pornografia vulgar, preconceito e discriminação, valores negativos, entre outros, detectando profundamente os dados pessoais e informações sensíveis que podem ser vazados durante a interação com a IA, suportando a identificação de conteúdos sensíveis relacionados à privacidade pessoal e empresarial, e fornecendo identificação de marca d'água digital, garantindo que o conteúdo gerado pela IA esteja em conformidade com leis e regulamentos e normas da plataforma;
ꔷ Defesa contra ameaças: em relação a ataques por palavras-chave, upload de arquivos maliciosos, links de URLs maliciosos e outras ações de ataque externas, é possível realizar detecção e interceptação em tempo real, evitando riscos para os usuários finais das aplicações de IA;
ꔷ Saúde do modelo: Focar na estabilidade e confiabilidade do próprio modelo de IA, estabelecendo um conjunto completo de mecanismos de detecção para problemas como jailbreak do modelo e crawlers de Prompt, a fim de prevenir o abuso, uso indevido ou a geração de saídas incontroláveis, construindo uma «linha de defesa imunológica» para o sistema de IA;
O mais digno de nota é que o AI Guardrail não é apenas uma simples acumulação dos vários módulos de detecção mencionados, mas sim uma verdadeira API ALL IN ONE, sem divisão de módulos, sem custos adicionais e sem troca de produtos. Para os riscos de entrada e saída do modelo, os clientes não precisam mais comprar produtos extras; para diferentes riscos do modelo: risco de injeção, arquivos maliciosos, conformidade de conteúdo, alucinações e outros problemas podem ser resolvidos no mesmo produto. Uma interface abrange mais de 10 cenários de ataque para detecção, suportando 4 modos de implantação (proxy API, integração de plataforma, acesso via gateway, montagem WAF), resposta em milissegundos e processamento de milhares de requisições simultâneas, com uma taxa de precisão de até 99%.
É também por isso que o verdadeiro significado do AI Guardrail reside em transformar a "segurança do modelo" em "capacidade do produto", permitindo que uma interface substitua uma equipe de segurança.
Claro, os grandes modelos não são conceitos flutuantes, são sistemas que rodam em hardware e código, e sustentam as aplicações de nível superior. E quanto à segurança da infraestrutura e à proteção dos serviços de aplicações de IA, a segurança da Alibaba Cloud também foi toda atualizada.
Camada de infraestrutura, a segurança da Alibaba Cloud lançou o centro de segurança na nuvem, sendo o núcleo produtos como AI-BOM e AI-SPM.
Especificamente, as duas grandes capacidades AI-BOM (Lista de Materiais de IA) e AI-SPM (Gestão de Situação de Segurança de IA) resolvem, respetivamente, as questões "Que componentes de IA instalei?" e "Quantas vulnerabilidades têm esses componentes?"
O núcleo do AI-BOM é capturar todos os componentes de IA no ambiente de implantação: permitindo que mais de 30 componentes principais, como Ray, Ollama, Mlflow, Jupyter, TorchServe, formem uma "lista de materiais de software de IA", identificando automaticamente as vulnerabilidades de segurança e as falhas de dependência existentes. A descoberta de ativos problemáticos não depende mais de verificações manuais, mas é realizada por meio de varreduras nativas da nuvem.
A posição do AI-SPM é mais parecida com um "radar": avalia continuamente a postura de segurança do sistema a partir de múltiplas dimensões, como vulnerabilidades, exposição de portas, vazamento de credenciais, configuração em texto claro e acesso não autorizado, fornecendo dinamicamente níveis de risco e recomendações de correção. Ele transforma a segurança de uma "conformidade em forma de instantânea" para uma "governança em forma de streaming".
Uma frase de resumo: AI-BOM sabe onde você pode ter aplicado um patch, AI-SPM sabe onde você ainda pode ser atingido novamente, então intensifique a prevenção o mais rápido possível.
Para a camada de proteção de aplicações de IA, o produto central de segurança da Alibaba Cloud é o WAAP (Proteção de Aplicações Web e APIs).
Não importa quão inteligente seja a saída do modelo, se a entrada for apenas solicitações de script, Tokens falsificados e uso excessivo da interface, não durará muitos segundos. O WAAP da Alibaba (Proteção de Aplicações Web e API) foi criado exatamente para isso. Ele não trata as aplicações de IA como "sistemas Web tradicionais", mas fornece regras de vulnerabilidade de componentes de IA, um banco de dados de impressões digitais de negócios de IA e um sistema de perfis de tráfego.
Por exemplo: WAAP já cobre mais de 50 vulnerabilidades de componentes, como upload de arquivos em Mlflow e execução remota de comandos de serviços Ray; a biblioteca de impressão digital do crawler AI embutida pode identificar mais de 10.000 novas amostras de texto e ferramentas de avaliação de modelos a cada hora; a funcionalidade de identificação de ativos de API pode descobrir automaticamente qual sistema interno da empresa expôs a interface GPT, fornecendo um "mapa de pontos" para a equipe de segurança.
O mais importante é que o WAAP e o AI Guardrail não são conflitantes, mas sim complementares: um olha para "quem chegou", o outro para "o que foi dito". Um é como um "verificador de identidade", o outro como um "monitor de comportamento". Isso confere às aplicações de IA uma capacidade de "auto-imunização" - ao identificar, isolar, rastrear e contrabalançar, não apenas "impedindo maus elementos", mas também "evitando que o modelo se torne mau".
03 IA para Segurança
Uma vez que a implementação da IA é como lançar dados, não é surpreendente que algumas pessoas a utilizem para adivinhações, outras para escrever poesias de amor, e algumas para atividades ilícitas, então não é de estranhar que algumas a usem para segurança.
No passado, a operação de segurança exigia um grupo de pessoas para vigiar um monte de alarmes vermelhos e verdes dia e noite, pegando a bagunça do dia anterior durante o dia e acompanhando o sistema durante a noite.
Agora, tudo isso pode ser feito por IA. Em 2024, o sistema de segurança do Alibaba Cloud estará totalmente conectado ao modelo Tongyi, e clusters de capacidade de IA abrangendo segurança de dados, segurança de conteúdo, segurança de negócios e operações de segurança serão lançados, e um novo slogan será proposto: Proteja na velocidade da IA.
O significado é claro: os negócios correm rápido, os riscos ainda mais rápido, mas a segurança deve ser ainda mais rápida.
E usar IA para resolver a segurança na verdade são duas coisas: aumento da eficiência das operações de segurança + atualização inteligente dos produtos de segurança.
O maior ponto crítico dos sistemas de segurança tradicionais é a "atualização de políticas atrasada": os atacantes mudaram, as regras não mudaram; o alerta chegou, ninguém entende.
A chave para a mudança trazida pelos grandes modelos está em transformar o sistema de segurança de um modelo baseado em regras para um modelo baseado em modelos, construindo um ecossistema de ciclo fechado com «capacidade de compreensão da IA + feedback do usuário» — a IA compreende o comportamento do usuário → o feedback do usuário alerta os resultados → o modelo é treinado continuamente → a capacidade de deteção torna-se cada vez mais precisa → o ciclo torna-se cada vez mais curto → o risco torna-se cada vez mais difícil de esconder, isso é o que se chama de «flywheel de dados»:
As suas vantagens são duas:
Por um lado, a eficiência da operação de segurança dos locatários de nuvem é melhorada: no passado, a deteção de ameaças muitas vezes significava um modelo ineficiente de "alertas massivos + triagem manual". Hoje, a modelagem inteligente identifica com precisão comportamentos anormais, como tráfego mal-intencionado, intrusão de host e scripts de backdoor, e a taxa de acerto de alarme é muito melhorada. Ao mesmo tempo, em torno do link de eliminação, o sistema percebeu a profunda sinergia entre o descarte automático e a resposta extremamente rápida - a pureza do hospedeiro é estável em 99%, e a pureza do fluxo está perto de 99,9%. Atualmente, a taxa de cobertura dos tipos de eventos de alarme atingiu 99%, e a taxa de cobertura do usuário de modelos grandes também ultrapassou 88%, e a eficiência humana da equipe de operação de segurança foi desencadeada sem precedentes.
Por outro lado, a capacidade dos produtos de segurança em nuvem está a melhorar rapidamente. Nas camadas de segurança de dados e de negócios, a IA foi atribuída à responsabilidade de "guarda": com base na capacidade de grandes modelos, pode automaticamente identificar mais de 800 tipos de dados de entidades na nuvem e realizar desensibilização e encriptação inteligentes. Não se limita a dados estruturados, o sistema também possui mais de 30 modelos de reconhecimento de documentos e imagens, sendo capaz de reconhecer, classificar e encriptar em tempo real informações sensíveis, como números de cartões de identidade e elementos de contratos nas imagens. A eficiência geral da rotulagem de dados aumentou 5 vezes, e a taxa de precisão de reconhecimento atingiu 95%, reduzindo significativamente o risco de vazamento de dados pessoais.
Por exemplo: no cenário de segurança de conteúdo, a prática tradicional era confiar na revisão humana, rotulagem e treinamento de marcação em larga escala. Agora, através da engenharia de Prompt e do aprimoramento semântico, a Alibaba alcançou um aumento de 100% na eficiência de rotulagem, um aumento de 73% na identificação de expressões ambíguas, um aumento de 88% no reconhecimento de conteúdo de imagem e uma taxa de precisão de 99% na detecção de ataques de rosto vivo por IA.
Se a Flywheel se concentra na combinação de IA com a experiência humana para o controle autônomo, então o assistente inteligente é o assistente versátil dos profissionais de segurança.
Os operadores de segurança enfrentam todos os dias a maior questão: o que significa este alerta? Por que foi acionado? É um falso positivo? Como devo proceder? No passado, para esclarecer essas questões, era necessário analisar logs, consultar históricos, perguntar a funcionários mais antigos, abrir tickets de suporte técnico... agora, basta uma frase.
No entanto, a funcionalidade do assistente inteligente não se limita apenas a ser um robô de perguntas e respostas, mas sim a ser um Copilot vertical na área da segurança, cujas cinco principais capacidades incluem:
Assistente de Perguntas sobre Produtos: responde automaticamente como configurar uma determinada funcionalidade, por que esta estratégia foi acionada, quais recursos não estão protegidos, substituindo uma grande quantidade de serviços de bilhete;
Especialista em explicação de alarmes: insira o número do alarme, gere automaticamente a explicação do evento, a rastreabilidade da cadeia de ataque e a estratégia de resposta recomendada, e suporte à saída em múltiplas línguas;
Assistente de Revisão de Incidentes de Segurança: organiza automaticamente a cadeia completa de um incidente de invasão, gerando uma linha do tempo, um mapa de caminhos de ataque e sugestões de determinação de responsabilidade;
Gerador de relatórios: gere relatórios de segurança mensais/trimestrais/emergenciais com um clique, abrangendo estatísticas de eventos, feedback de tratamento e eficácia operacional, suportando exportação visual.
Suporte a todas as línguas: já cobriu Chinês e Inglês, a versão internacional será lançada em junho, suportando a adaptação automática aos hábitos de uso das equipas no exterior.
Não subestime estas "cinco pequenas coisas". Até o momento, os dados oficiais da Alibaba mostram que: o número de usuários atendidos ultrapassa 40 mil, a satisfação do usuário é de 99,81%, a cobertura dos tipos de alerta chega a 100% e a capacidade de suporte a prompt aumentou em 1175% (ano a ano FY24). Em resumo, ele empacota os colegas de trabalho que têm desempenho máximo durante o turno da noite, os estagiários que escrevem relatórios, os engenheiros que lidam com alertas e os consultores de segurança que entendem o negócio, tudo em uma única API. Com essa capacidade, os humanos apenas tomam decisões, sem mais patrulhar.
04 Epílogo
Ao olhar para o passado, a história nunca careceu de "tecnologias revolucionárias", mas sim de tecnologias que conseguem sobreviver à segunda onda de entusiasmo.
Internet, P2P, blockchain, condução autónoma... Cada onda de explosão tecnológica foi chamada de "nova infraestrutura", mas no final, apenas algumas se tornaram verdadeiras infraestruturas, capazes de atravessar o "vácuo de governança".
O AI generativa atual está numa fase semelhante: de um lado, modelos a florescer, capital a correr em busca, e aplicações a romper em camadas; do outro lado, injeção de palavras-chave, conteúdo ultrapassando limites, vazamentos de dados, manipulação de modelos, vulnerabilidades em todo o lado, fronteiras difusas e responsabilidade desfocada.
Mas a IA é diferente das tecnologias anteriores. Ela não apenas pode desenhar, escrever poesias, programar e traduzir, mas também pode imitar a linguagem humana, fazer julgamentos e até emoções. Mas também por isso, a fragilidade da IA não se origina apenas de falhas no código, mas é um reflexo da humanidade. Os humanos têm preconceitos, e ela também os aprenderá; os humanos buscam conveniência, e ela também encontrará maneiras de tirar vantagem.
A conveniência da tecnologia em si é o amplificador desse mapeamento: os antigos sistemas de TI precisavam de "autorizações de usuários" e os ataques dependiam de infiltração; agora, os grandes modelos só precisam de injeção de palavras-chave, e uma conversa pode levar a falhas no sistema e vazamentos de privacidade.
Claro, não existe um sistema de IA "perfeito e impecável"; isso é ficção científica, não engenharia.
A única resposta é usar modelos seguros para proteger modelos inseguros; usar sistemas inteligentes para combater ameaças inteligentes - usando IA para lançar dados, a Alibaba escolhe o lado seguro.