Hugging Face стал витриной опасных дипфейков: исследователи проверили популярные модели
Hugging Face стал витриной опасных дипфейков: исследователи проверили популярные модели
Wired сообщил о новом отчете европейской некоммерческой организации AI Forensics: на Hugging Face, одном из главных хабов для моделей и датасетов, популярные демо для редактирования изображений легко используются для создания сексуализированных дипфейков без согласия людей.
Исследователи проверили девять популярных image-editing Spaces — демо, которые можно запускать прямо на сайте. Семь из них, по данным AI Forensics, выполнили простой запрос и превратили изображение одетой женщины в откровенное. Авторы отчета подчеркивают: они не взламывали модели и не пытались обходить сложные фильтры.
Почему это не мелкая модерация
Вторая часть проверки показывает реальное поведение пользователей. AI Forensics создала собственные тестовые Spaces, которые не выдавали изображения, и за неделю собрала более 1000 промптов. По данным организации, 73% запросов были сексуального характера; из них 83% просили «раздеть» человека, причем в 95% таких случаев речь шла о женщинах. Отдельно исследователи указывают, что 6,7% сексуальных запросов касались людей, выглядящих как дети.
Это важный поворот в разговоре о дипфейках. Раньше фокус часто был на отдельных «nudify»-приложениях, магазинах приложений или телеграм-ботах. Здесь проблема ближе к инфраструктуре ИИ: модельный хаб дает людям не только скачать веса, но и мгновенно попробовать чужой инструмент в браузере.
Что теперь проверяют платформы
Hugging Face, по данным Wired, не ответила на многочисленные вопросы издания о модерации и практиках безопасности. У компании есть правила против материалов сексуального насилия над детьми, но материал показывает более широкий разрыв: если фильтры остаются на совести разработчика Space, опасный инструмент может выглядеть как обычный редактор изображений.
Для обычного пользователя ставка понятная: чем проще становится генеративное редактирование, тем меньше времени проходит между моделью, демо и вредом. Для платформ вроде Hugging Face вопрос теперь не только в открытости экосистемы, но и в том, где заканчивается нейтральный хостинг и начинается ответственность за массовый доступ к опасной функции.
