Анна Урманцева | 17.12.2019 в 13:37

Для создания фейков используются системы искусственного интеллекта и технологии генерации видео- и аудиофальшивок.

Чтобы создать для любого из нас "индивидуальную" новостную картину и фальсифицировать подобранные в ней сообщения СМИ, сегодня достаточно усилий одного программиста.

По словам специалистов, в течение 3-5 лет можно ожидать нашествия ботов-манипуляторов, которые автоматически смогут создавать множество фейков. С точки зрения специалистов, в обозримом будущем фальсификации можно будет делать в автоматическом режиме.

Технологии искусственного интеллекта сегодня полностью открыты, а устройства для получения и обработки данных миниатюризируются и дешевеют, поэтому велика вероятность, что в скором будущем подслушивать и подсматривать за нами, а также манипулировать реальностью смогут даже не государство и крупные корпорации, а просто частные лица.

В течение ближайших лет появится возможность, анализируя предпочтения пользователя, воздействовать на него посредством подборок новостей и очень искусных фейков.

Технологии, которые могут быть задействованы для подобного вмешательства в ментальную среду, существуют уже сейчас. Теоретически нашествия ботов-манипуляторов можно ожидать уже через несколько лет. Сдерживающим моментом здесь может стать необходимость сбора больших баз примеров реакций реальных людей на искусственные стимулы с отслеживанием долгосрочных последствий. Такое отслеживание, вероятно, потребует еще несколько лет исследований до получения стабильных результатов таргетированных атак.

Специалисты уже прогнозируют атаки на нейросети, хотя сейчас подобных примеров практически нет.

Исследователи из Gartner считают, что к 2022 году 30% всех кибератак будут нацелены на порчу данных, на которых тренируется нейросеть, и кражу готовых моделей машинного обучения. Тогда, например, беспилотные автомобили неожиданно могут начать принимать пешеходов за другие объекты. И речь будет идти не о финансовом или репутационном риске, а о жизни и здоровье простых людей.

Атаки на системы компьютерного зрения осуществляются в рамках исследований уже сейчас. Цель таких атак - заставить нейросеть обнаружить на изображении то, чего там нет. Или, наоборот, не увидеть того, что планировалось.

Методов, которые позволяют обмануть любую систему компьютерного зрения в 100% случаев, не существует. Кроме того, уже созданы инструменты, которые позволяют тестировать нейросети на устойчивость к adversarial-атакам и повышать их устойчивость.

В ходе такой атаки злоумышленник пытается каким-то образом изменить распознаваемое изображение так, чтобы нейросеть не сработала. Часто на фото накладывается шум, схожий с тем, который возникает при фотографировании в плохо освещаемом помещении. Человек обычно плохо замечает такие помехи, а вот нейросеть начинает сбоить. Но для того чтобы провернуть такую атаку, злоумышленнику нужен доступ к алгоритму.

На данный момент методов борьбы с этой проблемой не существует. Кроме того, эта технология доступна любому желающему: программист средней квалификации может ею воспользоваться, скачав необходимое открытое программное обеспечение с сервиса Github.


Атака на нейросети - это методика и алгоритмы обмана нейронной сети, которые заставляют ее выдавать ложные результаты, а по сути, взламывают ее, как дверной замок. Например, сейчас довольно легко можно заставить систему распознавания лиц думать, что перед ней не вы, а Арнольд Шварценеггер - это делается путем подмешивания незаметных человеческому глазу добавок в данные, поступающие к нейросети. Такие же атаки возможны и для систем распознавания и анализа речи.

Эксперты уверены, что дальше будет только хуже - эти технологии пошли в массы, мошенники уже сейчас их используют, а средств защиты от них нет. Как нет защиты и от автоматизированного создания подделок видео и аудио.

Технологии deepfake, основанные на Deep Learning (технологии глубокого обучения нейросетей), уже сейчас представляют реальную угрозу. Видео- или аудиофальшивки создаются с помощью монтажа или наложения лиц известных людей, которые якобы произносят необходимый текст и играют нужную роль в сюжете.

Deepfake позволяет заменить движения губ и речь человека на видео, что создает ощущение реалистичности происходящего.

Фейковые знаменитости "предлагают" в социальных сетях пользователям поучаствовать в розыгрыше ценных призов (смартфонов, автомобилей, денежных сумм) и т.д. Ссылки из таких видеопубликаций часто ведут на мошеннические и фишинговые сайты, где пользователей просят ввести личные данные, включая данные банковских карт.

Подобные схемы представляют собой угрозу, как для обычных пользователей, так и для публичных лиц, которые упоминаются в рекламных роликах. Из-за махинаций такого рода образы знаменитостей начинают ассоциироваться с мошенничеством или рекламируемыми товарами, и здесь мы сталкиваемся с ущербом личному бренду.

Еще одна угроза связана с использованием "фейковых голосов" для телефонного мошенничества. Например, в Германии злоумышленники использовали голосовой deepfake, чтобы в телефонном разговоре, выдавая себя за руководителя компании, заставить руководителя дочерней фирмы из Великобритании срочно перевести €220 тыс. на счет некоего венгерского поставщика. Глава британской фирмы заподозрил подвох, когда его "босс" попросил о втором денежном переводе, но звонок при этом исходил с австрийского номера. К этому моменту первый транш уже поступил на счет в Венгрии, откуда деньги были выведены в Мексику.

Получается, что ныне существующие технологии позволяют создать индивидуальную новостную картину, наполненную фейковыми новостями. Причем отличить подделки от реального видео и аудио скоро можно будет только аппаратными средствами. По словам специалистов, меры, запрещающие развитие нейросетей, вряд ли будут эффективными. Поэтому скоро мы будем жить в мире, в котором нужно будет постоянно всё перепроверять.

К этому нужно готовиться, и это нужно принять. Человечество не впервые переходит из одной реальности в другую. Наш мир, способ жизни и ценности радикально отличаются от мира, в котором жили наши предки 60 000 лет назад, 5000 лет назад, 2000 лет назад и даже 200-100 лет назад. Человек в скором будущем в значительной степени будет лишен приватности и потому принужден ничего не скрывать и поступать честно. В то же время ничего в окружающей реальности и собственной личности нельзя будет принимать на веру, всё придется подвергать сомнению и постоянно перепроверять.

Но будет ли эта будущая реальность ужасной? Нет. Она просто будет совершенно иной.