Промпт-инжиниринг в информационной безопасности. Как искусственный интеллект станет вашим союзником. Константин Михайлович Саматов
Читать онлайн книгу.системы.
5. Обучение и повышение осведомленности
Промпт-инжиниринг используется для создания обучающих материалов и симуляций, которые помогают сотрудникам компаний лучше понимать угрозы информационной безопасности. Например, AI может генерировать сценарии фишинговых атак для тренировки персонала, сценарии командно-штабных учений.
Это также может включать разработку интерактивных инструментов, которые объясняют сложные концепции информационной безопасности доступным языком.
6. Улучшение мониторинга и управления данными
Промпты помогают AI-системам эффективно обрабатывать большие объемы данных, такие как сетевые логи или данные о трафике, для выявления подозрительных действий. Это особенно важно для предотвращения атак, таких как DDoS12 или несанкционированный доступ.
Промпт-инженеры разрабатывают запросы, которые позволяют моделям AI выделять ключевые данные и предоставлять аналитические выводы.
7. Интеграция с инструментами безопасности
Промпт-инжиниринг используется для настройки взаимодействия AI с существующими инструментами безопасности, установку и настройку программ и средств защиты информации.
8. Киберразведка и OSINT13
Создание запросов для сбора информации из открытых источников, таких как социальные сети, форумы и DarkNet14, в том числе таких как индикаторы компрометации (IOC), способы атак, используемые эксплойты и уязвимости.
9. Разработка политик безопасности
Промпт-инжиниринг может быть использован для автоматического создания и оптимизации политик безопасности (документов), а также для обучения персонала работе с этими документами
Это лишь основные примеры применения промпт-инжиниринга в ИБ. На самом деле спектр его применения достаточно широк, в том числе и возможность использования в смежных с ИБ направлениях деятельности: работа с персоналом, решение управленческих вопросов, подготовка маркетинговых материалов (по вопросам ИБ).
1.4. Риски промпт-инжиниринга
Промпт-инжиниринг – мощный инструмент, но, как и любой инструмент, он требует осторожности. Если не учитывать риски, AI может не только не помочь, но и создать новые проблемы. Разберём три ключевых риска и способы их минимизации.
1. Галлюцинации. Когда AI «придумывает» факты.
AI не всегда различает правду и вымысел. Он может сгенерировать убедительный, но ложный ответ.
Пример:
Промпт: «Перечисли уязвимости в OpenVPN, которые использовались в атаках на корпоративные сети за последний год. Укажи CVE, методы эксплуатации и рекомендации по патчингу».
Результат: AI может указать несуществующие CVE или приписать уязвимости к неправильным версиям программного обеспечения, или вообще выдуманные уязвимости в виду ограничениченности периода обучения (обычно модели имеют «знания» приблезительно на год – два отстающие от актуальных).
Как
12
Distributed Denial of Service – распределенный отказ в обслуживании
13
OSINT (от англ. Open Source Intelligence – «разведка по открытым источникам») – технология поиска, обработки и анализа данных из доступных источников, главным образом в Интернете
14
DarkNet («чёрный интернет» или «теневой интернет») – это скрытый сегмент интернета, доступный только через специализированные инструменты.