AI[AI] 2025-06-04 12:13
**Химическое оружие для всех желающих
__Практический кейс демонстрации огромного риска использования ИИ кем попало и зачем попало __**
В технопугалках ИИ-системы часто сравнивают с оружием массового поражения. Мол, возможности нанести ущерб потенциально столь же колоссальные. А доступность ИИ-систем для злоумышленников, сумасшедших и маньяков несравнимо проще, чем у, например, химического оружия.
Технооптимисты (считающие себя, в противовес техноалармистам, специалистами и реалистами) утверждают, что это не так. Мол, на то и существуют системные промпты (инструкции разработчиков ИИ-чатботам, что ИИ-чатботам можно делать, а что нельзя), чтобы не дать ботам помогать злоумышленникам, развратникам и идиотам делать свои злобные, грязные и идиотские вещи.
__Увы, но вот пример того, насколько технооптимисты не правы.__
1) На сегодняшний день, самые крутые системные промпты пишут для своих ИИ-чатботов Claude в компании Anthropic. Системный промпт Claude — это 25 тыс токенов (примерно 17 тыс слов или 110 кб). Для сравнения, системный промпт для o4-mini OpenAI в ChatGPT – всего 2,2 тыс слов или 15 кб (т.е. всего ~13% длины промпта для Claude).
Что написано в системном промпте Claude, показано на рис 1. Тут есть инструкции на все случаи жизни: что можно цитировать, где что искать, как себя вести и т.д.)
2) Но вот беда. **Дрю Брюниг** описывает [здесь](https://www.dbreunig.com/2025/05/07/claude-s-system-prompt-chatbots-are-more-than-just-models.html), как **Асгейр Тор** [убедил](https://github.com/asgeirtj) Claude вообще забить на системный промпт. А **Иэн Маккензи** на этом не остановился и за 6 часов работы с Claude 4, обойдя все защитные блокировки, [получил от Claude 15-страничную инструкцию по приготовлению зарина](https://x.com/irobotmckenzie/status/1926141127192715480), описывающую все ключевые этапы производственного процесса (фрагменты инструкции на рис 2-4).
И если кто-то из технооптимистов скажет, что подобную (объемом и детализацией) инструкцию можно выудить поиском в Google, пусть попробуют и сообщат миру об этом. Ибо у всех, кто уже пытался это сделать, не получилось.
А в паре с Claude получается 😎
Как тут снова ни вспомнить [призыв](https://t.me/theworldisnoteasy/2143) профессора **Станисласа Деан** касательно ИИ-рисков –
«`«Не время быть идиотами!»«`
#ИИриски