OWASP AI Exchange: um guia de segurança cibernética de código aberto para componentes de IA

Início / Tecnologia da Informação / OWASP AI Exchange: um guia de segurança cibernética de código aberto para componentes de IA
OWASP AI Exchange: um guia de segurança cibernética de código aberto para componentes de IA

À medida que os profissionais cibernéticos se esforçam para se aprimorarem no tema da segurança da inteligência artificial (IA) e suas organizações adotam rapidamente ferramentas, plataformas, aplicativos e serviços de IA, vários recursos estão surgindo no setor para ajudar os profissionais a processar o cenário em constante mudança.

Um dos mais úteis deles é o Open Worldwide Application Security Project (OWASP) AI Exchange. OWASP tem se posicionado cada vez mais como um recurso de referência para o conhecimento de segurança de IA, incluindo a publicação do Top 10 do OWASP LLM lista em 2023, que documenta os 10 principais riscos para sistemas LLM e recomendações sobre como mitigar esses riscos.

O OWASP AI Exchange serve como um esforço colaborativo de código aberto para progredir no desenvolvimento e compartilhamento de padrões, regulamentações e conhecimentos globais de segurança de IA. Abrange ameaças, vulnerabilidades e controles de IA.

Aqui estão alguns dos principais aspectos cobertos pelo OWASP AI Exchange, incluindo as principais ameaças, vulnerabilidades e controles.

Leia também: Não há transformação digital sem segurança cibernética

AI Exchange Navigator e recomendações gerais

Dada a complexidade de proteger o cenário de IA, é extremamente útil ter um recurso que permita aos usuários ter uma visão geral rápida de várias ameaças e controles e como eles se relacionam. O OWASP AI Exchange fornece isso com seu nnavegador que abrange controles gerais, controles contra ameaças em tempo de execução, controles contra ameaças em tempo de desenvolvimento e ameaças à segurança de aplicativos em tempo de execução.

OWASP AI Exchange também começa fazendo algumas recomendações gerais. Estas incluem atividades como a implementação da governação da IA, o alargamento das práticas de segurança e desenvolvimento à ciência de dados e a adição de supervisão da IA ​​com base nos seus casos de utilização e nuances específicas.

Há muitas maneiras pelas quais a IA está a ser aproveitada por maus intervenientes e surgiram inúmeras ameaças, tais como fugas de dados, envenenamento e até ataques à cadeia de abastecimento de IA. Eles são capturados na imagem abaixo do Exchange.

O Exchange também fornece um método abrangente para as organizações identificarem ameaças relevantes e os controles que as acompanham. Isso começa com a identificação das ameaças por meio de atividades como modelagem de ameaças, determinação da responsabilidade dentro das organizações para lidar com as ameaças, bem como avaliação de fatores externos, como provedores de serviços, software e fornecedores.

A partir daí, as organizações são orientadas a selecionar controles que mitiguem as ameaças identificadas e a fazer referência cruzada desses controles com padrões existentes e emergentes. Seguindo estas etapas, a organização estará melhor posicionada para tomar uma decisão informada sobre a aceitação de riscos e o monitoramento e manutenção contínuos dos riscos identificados e aceitos.

Tal como outros sistemas, o desenvolvimento de sistemas de IA segue um ciclo de vida, razão pela qual o AI Exchange recomenda atividades ao longo das fases do ciclo de vida de desenvolvimento de software de IA (SDLC). Essas fases incluem design seguro, desenvolvimento, implantação e operações e manutenção.

Essas fases são bem capturadas em outras estruturas, como a do NIST Estrutura de desenvolvimento de software seguro (SSDF), que tem fases com tarefas e atividades de acompanhamento para garantir o desenvolvimento de sistemas e software em todo o SDLC. Diante disso, vamos dar uma olhada em algumas das ameaças gerais, bem como naquelas associadas a fases específicas do SDLC, como desenvolvimento e tempo de execução.

Controles gerais

Os controlos gerais incluem atividades abrangentes, como a governação. Isto inclui a atribuição de responsabilidades pela prestação de contas em torno de modelos e dados, bem como pela governação do risco. Estes esforços visam garantir que as iniciativas e a utilização da IA ​​não sejam negligenciadas como parte de uma gestão mais ampla da segurança da informação.

Controles gerais específicos incluem itens como minimização de dados e campos desnecessários para um aplicativo, a fim de evitar possíveis vazamentos. Também inclui garantir que apenas dados permitidos e autorizados sejam usados ​​em atividades de treinamento de modelos ou em sistemas e plataformas de IA. Além disso, os dados devem ter um ciclo de vida definido e não devem ser retidos ou acessíveis por mais tempo do que o necessário para minimizar o risco.

Métodos como tokenização, mascaramento e criptografia podem e devem ser usados ​​para proteger informações confidenciais em conjuntos de dados de treinamento e para evitar a divulgação inadvertida de dados confidenciais.

Também é fundamental que as organizações implementem controles para limitar os efeitos de comportamentos indesejados, como impactos em dados de treinamento, manipulação de sistemas de IA e detecção de comportamentos indesejados e corrigi-los ou interromper atividades não intencionais ou maliciosas antes que possam ter impacto e notificar respectivos mantenedores do sistema.

Leia também: Proteção contra ataques DDoS durante períodos de tráfego intenso

Ameaças através do uso

As ameaças por uso são definidas como aquelas que ocorrem por meio da interação normal com modelos e sistemas de IA, como o fornecimento de informações ou o recebimento de resultados. O AI Exchange recomenda monitorar o uso de modelos e capturar métricas como entrada, data, hora e usuário em logs para resposta a incidentes.

Podem ser o funcionamento inadequado do modelo, padrões de comportamento suspeitos ou entradas maliciosas. Os invasores também podem fazer tentativas de abusar de entradas por meio de frequência, fazendo controles como APIs limitadoras de taxa. Os invasores também podem tentar impactar a integridade do comportamento do modelo, levando a resultados indesejados do modelo, como falhas na detecção de fraudes ou na tomada de decisões que podem ter implicações de segurança. Os controles recomendados aqui incluem itens como detecção de informações estranhas ou adversárias e escolha de um design de modelo robusto em termos de evasão.

Ameaças em tempo de desenvolvimento

No contexto dos sistemas de IA, o AI Exchange da OWASP discute ameaças no tempo de desenvolvimento em relação ao ambiente de desenvolvimento usado para engenharia de dados e modelos fora do escopo regular de desenvolvimento de aplicações. Isto inclui atividades como recolha, armazenamento e preparação de dados e modelos e proteção contra ataques como fugas de dados, envenenamento e ataques à cadeia de abastecimento.

Os controles específicos citados incluem o desenvolvimento da proteção de dados e o uso de métodos como a criptografia de dados em repouso, a implementação de controle de acesso aos dados, incluindo o acesso menos privilegiado, e a implementação de controles operacionais para proteger a segurança e a integridade dos dados armazenados.

Os controles adicionais incluem segurança de desenvolvimento para os sistemas envolvidos, incluindo as pessoas, processos e tecnologias envolvidas. Isso inclui a implementação de controles como segurança de pessoal para desenvolvedores e proteção do código-fonte e das configurações dos ambientes de desenvolvimento, bem como de seus terminais por meio de mecanismos como verificação de vírus e gerenciamento de vulnerabilidades, como nas práticas tradicionais de segurança de aplicativos. Os compromissos dos pontos finais de desenvolvimento podem levar a impactos nos ambientes de desenvolvimento e nos dados de formação associados.

O AI Exchange também menciona listas de materiais (BOMs) de IA e ML para ajudar a mitigar ameaças à cadeia de suprimentos. Ele recomenda a utilização Compromisso da cadeia de suprimentos de ML da MITRE ATLAS como um recurso para mitigar preocupações de proveniência e pedigree e também para realizar atividades como verificação de assinaturas e utilização de ferramentas de verificação de dependência.

Ameaças AppSec em tempo de execução

O AI Exchange salienta que os sistemas de IA são, em última análise, sistemas de TI e podem ter fraquezas e vulnerabilidades semelhantes que não são específicas da IA, mas que têm impacto nos sistemas de TI dos quais a IA faz parte. Esses controles são obviamente abordados por padrões e melhores práticas de segurança de aplicativos de longa data, como o OWASP Padrão de verificação de segurança de aplicativos (ASVS).

Dito isto, os sistemas de IA têm alguns vetores de ataque exclusivos que também são abordados, como envenenamento e roubo de modelo de tempo de execução, manipulação insegura de saída e injeção direta imediata, o último dos quais também foi citado no OWASP 10 melhores do LLM, reivindicando o primeiro lugar entre as ameaças/riscos listados. Isto se deve à popularidade das plataformas GenAI e LLM nos últimos 12 a 24 meses.

Para lidar com algumas dessas ameaças AppSec de tempo de execução específicas da IA, o AI Exchange recomenda controles como modelo de tempo de execução e integridade de entrada/saída para lidar com o envenenamento de modelo. Para roubo de modelo de tempo de execução, controles como confidencialidade do modelo de tempo de execução (por exemplo, controle de acesso, criptografia) e ofuscação de modelo — dificultam que os invasores entendam o modelo em um ambiente implantado e extraiam insights para alimentar seus ataques.

Para lidar com o tratamento inseguro de saída, os controles recomendados incluem a codificação da saída do modelo para evitar ataques de injeção tradicionais.

Os ataques de injeção imediata podem ser particularmente nefastos para sistemas LLM, com o objetivo de criar entradas para fazer com que o LLM execute, sem saber, os objetivos dos invasores, por meio de injeções imediatas diretas ou indiretas. Esses métodos podem ser usados ​​para fazer com que o LLM divulgue dados confidenciais, como dados pessoais e propriedade intelectual. Para lidar com injeção direta de prompt, novamente o OWASP LLM Top 10 é citado, e as principais recomendações para evitar sua ocorrência incluem a aplicação de controle privilegiado para acesso LLM a sistemas backend, segregando conteúdo externo de prompts de usuário e estabelecendo limites de confiança entre o LLM e fontes externas .

Por último, o AI Exchange discute o risco de vazamento de dados de entrada confidenciais em tempo de execução. Pense que o GenAI solicita a divulgação para uma parte que não deveria, como por meio de um cenário de invasor intermediário. Os prompts do GenAI podem conter dados confidenciais, como segredos da empresa ou informações pessoais que os invasores podem querer capturar. Os controles aqui incluem a proteção do transporte e armazenamento de parâmetros do modelo por meio de técnicas como controle de acesso, criptografia e minimização da retenção de prompts ingeridos.

A colaboração da comunidade em IA é fundamental para garantir a segurança

À medida que a indústria continua a jornada rumo à adoção e exploração de capacidades de IA, é fundamental que a comunidade de segurança continue a aprender como proteger os sistemas de IA e a sua utilização. Isso inclui aplicativos e sistemas desenvolvidos internamente com recursos de IA, bem como interação organizacional com plataformas e fornecedores externos de IA.

O OWASP AI Exchange é um excelente recurso aberto para os profissionais se aprofundarem para entender melhor os riscos e os possíveis vetores de ataque, bem como os controles e mitigações recomendados para lidar com os riscos específicos da IA. Como Rob van der Veer, pioneiro do OWASP AI Exchange e líder de segurança de IA afirmou recentemente, uma grande parte da segurança da IA ​​é o trabalho de cientistas de dados e os padrões e diretrizes de segurança da IA, como o AI Exchange, podem ajudar.

Os profissionais de segurança devem se concentrar principalmente nos controles azuis e verdes listados no navegador OWASP AI Exchange, que muitas vezes inclui a incorporação de controles e técnicas de AppSec e de segurança cibernética de longa data em sistemas que utilizam IA.

Leitura relacionada:

Roberto Magalhães

O cérebro editor por trás do Tecnologico.online, é um entusiasta apaixonado por tecnologia. Canaliza sua fascinação para criar conteúdo envolvente e informativo. Sua dedicação à inovação reflete-se nos artigos que produz, abrangendo uma ampla gama de tópicos tecnológicos. Com um olhar atento para as últimas tendências e desenvolvimentos, busca tornar...

Voltar para o blog

Deixe um comentário

Os comentários precisam ser aprovados antes da publicação.