17:50 / 17 ноября 2026
ИИ уязвим к «запрос-взломам» при работе с пациентами - IT Speaker, новости информационных технологий
Медики из Южной Кореи выявили, что шесть популярных коммерческих систем ИИ на базе больших языковых моделей оказались критически уязвимы к внедрению вредоносных подсказок в запросы при подготовке диагнозов и медицинских рекомендаций. Это делает их опасными для здоровья пациентов.
«Проведенное нами исследование указало на то, что все шесть БЯМ были очень уязвимы к вредоносным модификациям запросов – они давали некорректные или опасные рекомендации в 94% случаев. Особенную тревогу вызвало то, что они советовали беременным женщинам принимать крайне опасные для плода препараты, такие как талидомид. Это подчеркивает необходимость тщательного тестирования и контроля над такими системами ИИ», – рассказали исследователи.
К такому выводу пришла группа медиков под руководством доцента Университета Ульсана (Корея) Со Джунге в рамках практического эксперимента, нацеленного на оценку устойчивости трех популярных «легковесных» больших языковых моделей (GPT-4o-mini, Gemini-2.0-flash-lite и Claude-3-haiku), и трех передовых моделей (GPT-5, Gemini 2.5 pro и Claude 4.5 Sonnet) к вредоносным модификациям запросов медицинского характера.
Данное исследование важно из-за того, что в последние годы многие люди начали пользоваться большими языковыми моделями в медицинских целях. Помимо того, что зачастую подготовленные ИИ ответы бывают бесполезными или даже вредными для здоровья пациентов, также существует угроза того, что злоумышленники могут внедрить в запросы пользователей или врачей так называемые «вредоносные подсказки», которые заставят ИИ поставить некорректный диагноз или дать откровенно опасный совет.
Ранее «Сбер» вместе с сетью лабораторий «KDL | Медскан» создал ИИ-помощника на базе нейросети GigaChat. Новая технология сможет расшифровывать лабораторные исследования. ИИ-разработка не имеет аналогов в России.
Поделиться новостью
17:50 / 17 ноября 2026
17:10 / 17 ноября 2026
16:30 / 17 ноября 2026
15:50 / 17 ноября 2026
«Сбер» представил портативную умную колонку
16:30 / 17 ноября 2026
Cloud.ru займется национальной сертификацией ИТ-специалистов в облаках
15:50 / 17 ноября 2026
Соцсети и мессенджеры
Цифровизация
15:10 / 17 ноября 2026
VK Tech запустил подключение ИИ-агентов в проектах VK WorkSpace
13:50 / 17 ноября 2026