Специалисты по безопасности ознакомились с возможностями чат-бота ChatGPT, которые можно использовать для составления мошеннических атак и рассылки фишинговых писем. Авторы составили несколько таких текстов, а часть сгенерировал ИИ. После письма показали участникам эксперимента.
В результате более внимательные люди смогли отличить текст написанный ИИ от текста написанного человеком. Для невнимательных пользователей такие письма вполне могут оказаться убедительными.
Компания OpenAI пытается встроить в свой чат-бот ограничения, которые блокировали бы возможность использования ChatGPT для мошенничества, но и их возможно обойти.
В компании отметили, что пока не существует идеального способа обеспечить ответственное использование, поэтому необходимо узнать пределы возможностей моделей ИИ и потенциальные варианты злоупотребления ими.