Em uma entrevista recente à Universidade de Stanford, o CEO da OpenAI, Sam Altman, previu que a segurança da IA ​​se tornará o problema definidor da próxima fase do desenvolvimento da IA, dizendo que a segurança da IA ​​é um dos melhores campos para estudar no momento. Ele também citou a IA personalizada como um exemplo de preocupação de segurança na qual tem pensado ultimamente.

O que significa segurança de IA hoje?

Sam Altman disse que as preocupações com a segurança da IA ​​​​serão reformuladas como questões de segurança da IA ​​​​que podem ser resolvidas pela IA.

O apresentador da entrevista, Dan Boneh, perguntou:

“Então, o que significa um sistema de IA ser seguro? O que significa até mesmo tentar fazê-lo fazer coisas para as quais não foi projetado?

Como protegemos os sistemas de IA contra injeções imediatas e outros ataques como esse? O que você acha da segurança de IA?

Acho que a pergunta concreta que quero fazer é: entre todas as diferentes coisas que podemos fazer com IA, este curso é sobre aprender uma parte da área. Esta é uma boa área? As pessoas deveriam entrar nisso?

Sam Altman incentivou os alunos de hoje a estudar segurança de IA.

Ele respondeu:

“Penso que esta é uma das melhores áreas para estudar. Penso que em breve estaremos a caminhar para um mundo onde muitos dos problemas de segurança da IA ​​de que as pessoas tradicionalmente falam serão reformulados como problemas de segurança da IA ​​de diferentes maneiras.

Eu também acho que, dada a capacidade desses modelos, se quisermos implantá-los para uso amplo, os problemas de segurança serão realmente grandes. Você mencionou muitas áreas que considero super importantes para descobrir. A robustez do adversário, em particular, parece estar ficando bastante séria.”

O que Altman quer dizer é que as pessoas estão começando a encontrar maneiras de enganar os sistemas de IA, e o problema está se tornando tão sério que os pesquisadores e engenheiros precisam se concentrar em tornar a IA resistente à manipulação e outros tipos de ataques, como injeções imediatas.

Personalização de IA se tornando uma preocupação de segurança

Altman também disse que algo em que ele tem pensado muito ultimamente são possíveis problemas de segurança com a personalização de IA. Ele disse que as pessoas apreciam respostas personalizadas da IA, mas disse que isso poderia abrir a porta para hackers mal-intencionados descobrirem como roubar dados confidenciais (exfiltrar).

Ele explicou:

“Mais uma coisa que mencionarei e que você tocou um pouco, mas tem estado muito em minha mente recentemente. Há duas coisas que as pessoas realmente amam agora e que, juntas, são um verdadeiro desafio de segurança.

Número um, as pessoas adoram como esses modelos estão ficando personalizados. Então o ChatGPT agora realmente conhece você. Ele personaliza seu histórico de conversas, os dados que você conectou a ele e qualquer outra coisa.

E o número dois é que você pode conectar esses modelos a outros serviços. Eles podem sair e ligar para coisas na web e, você sabe, fazer coisas úteis para você.

Mas o que você realmente não quer é que alguém consiga extrair dados do seu modelo pessoal que saiba tudo sobre você.

E humanos, vocês podem confiar que serão razoáveis ​​nisso. Se você contar ao seu cônjuge um monte de segredos, você pode confiar que ele saberá em que contexto o que contar às outras pessoas. Os modelos ainda não fazem isso muito bem.

E então, se você está contando como um modelo tudo sobre seus, você sabe, problemas de saúde privados, e então tudo é desligado, e você quer comprar algo para você, você não quer que aquele site de comércio eletrônico saiba sobre todos os seus problemas de saúde ou algo assim.

Mas este é um problema de segurança muito interessante para resolver isso com 100% de robustez.”

Altman identifica a personalização como um avanço e uma nova abertura para ataques cibernéticos. As mesmas qualidades que tornam a IA mais útil também a tornam um alvo, uma vez que modelos que aprendem com histórias individuais podem ser manipulados para revelá-las. Altman mostra como a conveniência pode se tornar uma fonte de exposição, explicando que a privacidade e a usabilidade são agora desafios de segurança.

Por último, Altman voltou à IA como problema de segurança e solução.

Ele concluiu:

“Sim, a propósito, funciona em ambas as direções. Como se você pudesse usá-lo para proteger sistemas. Acho que será um grande problema para ataques cibernéticos em vários momentos.”

Conclusões

• Segurança de IA como a próxima fase do desenvolvimento de IA
  Altman prevê que a segurança da IA ​​​​substituirá a segurança da IA ​​​​como desafio e oportunidade central na inteligência artificial.
• Personalização como nova superfície de ataque
  A tendência crescente de sistemas de IA que aprendem com os dados dos utilizadores levanta novas preocupações de segurança, uma vez que a personalização pode expor oportunidades para os atacantes extrairem informações sensíveis.
• Duplo papel da IA ​​na segurança cibernética
  Altman enfatiza que a IA representará novas ameaças à segurança e servirá como uma ferramenta poderosa para detectá-las e preveni-las.
• Necessidade emergente de experiência em segurança de IA
  Os comentários de Altman sugerem que haverá uma procura crescente por profissionais que saibam como proteger, testar e implementar IA de forma responsável.