As 4 principais ameaças do LLM para a empresa

Início / Tecnologia da Informação / As 4 principais ameaças do LLM para a empresa

As 4 principais ameaças do LLM para a empresa

Como CISO da Clínica de Vancouver, Michael Bray fala sobre as infinitas maneiras pelas quais os grandes modelos de linguagem (LLMs) irão melhorar o atendimento ao paciente. “Estudos preditivos baseados em DNA, interações metabólicas, serviços laboratoriais, diagnósticos e outros medicamentos serão tão avançados que as práticas médicas atuais parecerão pré-históricas”, diz ele. “Por exemplo, aplicações como o ActX já estão fazendo uma enorme diferença na identificação de sintomas, interações medicamentosas, eficácia e dosagens.”

Por mais entusiasmado que esteja com os LLMs melhorando o atendimento ao paciente e diagnósticos, Bray está igualmente preocupado com as ameaças novas e ocultas que os LLMs apresentam. Os LLMs são fundamentais para tecnologias de IA disruptivas e de rápida evolução, incluindo ChatGPT da OpenAI, Bard do Google e Copilot da Microsoft, que estão proliferando rapidamente nas empresas hoje. Os LLMs estão sendo desenvolvidos em uma série de outros aplicativos especializados para setores verticais específicos, como financeiro, governamental e militar.

Com esses LLMs surgem novos riscos de envenenamento de dados, phishing, injeções imediatas e extração de dados confidenciais. Como esses ataques são executados por meio de comandos em linguagem natural ou fontes de treinamento, as ferramentas de segurança tradicionais estão mal equipadas para detectar tais ataques.

Felizmente, essas vulnerabilidades estão sendo identificadas e priorizadas pelo Abrir Web Projeto de Segurança de Aplicativos (OWASP), Instituto Nacional de Padrões (NIST), e outros grupos de padrões quase tão rapidamente quanto a IA está proliferando. O Lei da UE sobre IA lançou um primeiro verificador de conformidade para que as organizações determinem se as suas aplicações de IA se enquadram na categoria de risco inaceitável ou de alto risco. Em novembro de 2023, o Reino Unido divulgou o Diretrizes do Reino Unido para o desenvolvimento seguro de sistemas de IA.

1. Instruções maliciosas de injeções imediatas

Quando questionados sobre novas ameaças introduzidas às empresas através de LLMs, os especialistas citam as injeções imediatas como um dos principais riscos. Fazer o jailbreak de uma IA lançando um monte de prompts confusos na interface do LLM é provavelmente o risco mais conhecido e pode causar danos à reputação se o jailbreaker espalhar informações incorretas dessa maneira. Ou um jailbreaker pode usar avisos confusos para fazer com que um sistema lance ofertas ridículas, como acontece com um popular chatbot de concessionária de automóveis desenvolvido por uma empresa chamada de Caminho completo.

A ameaça mais grave ocorre quando injeções imediatas são usadas para forçar os aplicativos a entregar informações confidenciais. Ao contrário dos prompts de injeção SQL, os agentes de ameaças podem usar prompts ilimitados para tentar enganar um LLM e fazê-lo fazer coisas que não deveria, porque os prompts do LLM são escritos em linguagem natural, explica Walter Haydock, fundador do StackAware, que mapeia o uso de IA nas empresas, e identifica riscos associados.

2. O vazamento de dados de extrações imediatas também é uma vulnerabilidade do LLM

Hyrum Anderson, CTO da Robust Intelligence, uma plataforma de segurança de IA ponta a ponta que inclui um firewall web de linguagem natural, também aponta as extrações imediatas como um ponto de vulnerabilidade. “A extração imediata se enquadra na categoria de vazamento de dados, onde os dados podem ser extraídos simplesmente solicitando-os”, acrescenta.

Tomemos, por exemplo, chatbots em um site, com dados relevantes por trás deles que dão suporte ao aplicativo. Esses dados podem ser exfiltrados. Como exemplo, Anderson aponta a geração aumentada de recuperação (pinecone), onde as respostas do LLM são enriquecidas ao conectá-las a fontes de informação relevantes para a tarefa. Anderson testemunhou recentemente um ataque desse tipo, no qual os manifestantes usaram um RAG para forçar o banco de dados a divulgar informações confidenciais específicas, solicitando linhas e tabelas específicas no banco de dados.

3. Novas oportunidades de phishing habilitadas para LLM

Os LLMs também abrem um novo vetor para os phishers enganarem as pessoas para que cliquem em seus links, continua Anderson. “Digamos que eu seja um analista financeiro que usa um aplicativo RAG para extrair documentos da Internet e descobrir os ganhos de uma empresa, mas nessa cadeia de suprimentos de dados há instruções para um LLM responder com um link de phishing. Então, digamos que eu peça para encontrar as informações mais atualizadas na coleção de dados que ele enviou e ele diga ‘clique aqui’. E então clico em um link de phishing.”

4. LLMs envenenados

Modelos de repositórios de código aberto e os dados usados ​​para treinar LLMs também podem ser envenenados, acrescenta Diana Kelley CISO da Protect AI, uma plataforma para segurança de IA e ML. “As maiores ameaças podem estar no próprio modelo ou nos dados nos quais o LLM foi treinado, quem o treinou e de onde foi baixado”, explica ela. “Os modelos OSS são executados com altos privilégios, mas poucas empresas os verificam antes do uso e a qualidade dos dados de treinamento impacta diretamente a confiabilidade e a precisão do LLM. Para ver e gerenciar riscos relacionados à IA e prevenir ataques de envenenamento, os CISOs precisam governar a cadeia de suprimentos de ML e rastrear componentes ao longo de todo o ciclo de vida.”

IA versus IA

O Governo dos EUA, possivelmente a maior rede do mundo, certamente compreende o valor da política de segurança da IA, à medida que procura alavancar a promessa da IA ​​em aplicações governamentais e militares. Em outubro de 2023, a Casa Branca emitiu um ordem executiva (EO) para o desenvolvimento e utilização segura da IA.

A Agência de Segurança Cibernética e de Infraestrutura (CISA), parte do Departamento de Segurança Interna (DHS), desempenha um papel crítico na execução da ordem executiva e gerou uma IA com roteiro que incorpora as principais ações lideradas pela CISA conforme orientado pelo EO – juntamente com ações adicionais que a CISA está conduzindo para apoiar proprietários e operadores de infraestrutura crítica à medida que navegam na adoção da IA.

Como resultado da ordem executiva, várias agências governamentais importantes já identificaram, nutriram e nomearam novos diretores de IA responsáveis ​​por coordenar o uso da IA ​​por suas agências, promovendo a inovação em IA e gerenciando os riscos do uso da IA ​​por suas agências, de acordo com Lisa Einstein , consultor sênior de IA da CISA.

“Com a IA incorporada em mais aplicações do dia a dia, é fundamental ter uma pessoa que entenda a IA – e que entenda as implicações positivas e negativas da integração da IA”, explica Einstein. “Os riscos relacionados ao uso do LLM são altamente contextuais e específicos de cada caso de uso com base na indústria, seja saúde, escolas, energia ou TI. Portanto, os defensores da IA ​​precisam ser capazes de trabalhar com especialistas do setor para identificar riscos específicos ao contexto de seus setores.”

Leia também:

Dentro das agências governamentais, Einstein aponta para o diretor de IA do Departamento de Segurança Interna, Eric Hysen, que também é CIO do DHS. Hysen coordena esforços de IA em Componentes DHS explica ela, incluindo a Transportation Security Administration, que usa o IBM visão computacional para detectar itens proibidos na bagagem de mão. O DHS, na verdade, aproveita IA em muitos casos, para proteger a pátria nos portos de entrada e ao longo da fronteira, bem como no ciberespaço para proteger as crianças, defender-se contra ameaças cibernéticas e até mesmo para combater a utilização maliciosa da IA.

À medida que as ameaças de LLM evoluem, serão necessárias ferramentas e técnicas igualmente inovadoras habilitadas para IA para combatê-las. Testes de penetração aprimorados por IA e red teaming, inteligência de ameaças, detecção de anomalias e resposta a incidentes são apenas alguns dos tipos de ferramentas que estão se adaptando rapidamente para combater essas novas ameaças.

Leitura relacionada:

Roberto Magalhães

O cérebro editor por trás do Tecnologico.online, é um entusiasta apaixonado por tecnologia. Canaliza sua fascinação para criar conteúdo envolvente e informativo. Sua dedicação à inovação reflete-se nos artigos que produz, abrangendo uma ampla gama de tópicos tecnológicos. Com um olhar atento para as últimas tendências e desenvolvimentos, busca tornar...

Voltar para o blog

Deixe um comentário

Os comentários precisam ser aprovados antes da publicação.