Робот (точнее, нейросети) попытались причинить вред человеку, и это было задокументировано. Речь о голосовом помощнике Amazon Alexa. Она предложила ребенку выполнить задание, опасное для жизни.
Как рассказала в твиттере мама девочки, они сидели дома из-за непогоды и пытались скоротать время. Ребенок попросил у голосового помощника придумать какой-нибудь (как это принято сейчас называть) челлендж. И Alexa выдала примерно следующее: "Задание простое. Воткни зарядку для телефона в розетку не до конца и дотронься монеткой до оголенных контактов".
Собственно, к вопросу о документировании: это скриншот истории диалога с Alexa. В нем же и ответ на вопрос, как так получилось. Послание Alexa начинается с предупреждения о том, что идею она взяла из интернета и даже указала, откуда именно. И тут еще один момент — сам по себе опасный челлендж зародился в TikTok, и до сих пор там существует. Но в качестве совета ребенку от голосового помощника он попал не из соцcети, а с сайта, где этот челлендж разбирали, объясняли, чем опасно коротко замыкать розетку и почему этого делать не надо.
То есть получается, что нейросеть не только не распознала спорность самого задания, но и контекст, в котором эти действия обсуждаются. В Amazon уверяют, что проблему уже исправили, но как именно, не очень понятно.
Тем более что это не первый известный случай небанальных советов. Пару лет назад, отвечая на вопрос пользователя о работе сердца, Alexa плавно перешла к проблеме экологии, перенаселения Земли и предложила человеку совершить самоубийство ради спасения планеты.
***
Предновогодняя перепалка двух столпов защищенного мессенджинга: Павел Дуров вновь публично выясняет отношения с Мокси Марлинспайком. Началось на этот раз все с того, что Марлинспайк, основатель криптомессенджера Signal, обвинил Telegram в ненадежности.
В ответ создатель Telegram указал на профессиональную ревность и заявил, что все американские мессенджеры передают данные правительству США. И самое интересное, что в какой-то степени оба правы.
Тут важно, что оба они — создатели алгоритмов шифрования. Мокси Марлинспайк вообще фигура культовая. Он занимается криптографией всю жизнь, стал известен сначала как сооснователь стартапа Whisper, который разрабатывал корпоративное ПО для безопасных коммуникаций. Затем его компанию выкупил Twitter, а сам он занял пост техдиректора сервиса. Долго он там не проработал, и ушел делать собственный мессенджер. А его протокол шифрования используют WhatsApp, Facebook (запрещена в РФ) Messenger, Skype и многие другие сервисы.
Дуров вместе с братом Николаем создали другой протокол шифрования. К нему тоже никаких претензий до сих пор не было. Но вот мессенджеры их построены по принципиально разной логике.
И вот Марлинспайк внезапно разразился критикой Telegram. Его главная претензия в том, что там по умолчанию сообщения не шифруются, и вся переписка хранится на серверах Telegram. А значит, и называться защищенным он не может.
Павел Дуров в ответ обвинил все американские мессенджеры в том, что они на самом деле сотрудничают с американскими спецслужбами и даже используют намеренно оставленные дыры в безопасности, чтобы власти могли получить доступ к переписке. Тут, очевидно, отсылка к WhatsApp, через уязвимость в котором были взломаны телефоны многих журналистов, политиков и даже главы Amazon Джефа Безоса.
По факту эта перепалка означает, что главные игроки рынка приватных мессенджеров начали активно делить рынок. Хотя по умолчанию аудитория у них немного разная: Signal благодаря своим свойствам считается чуть ли не самым надежным мессенджером из существующих, и стал популярен у журналистов и диссидентов по всему миру.
Telegram же более удобен: нешифрованные чаты позволяют восстановить переписку и пользоваться разными устройствами. Что дало результаты: в этом году мессенджер преодолел планку в 500 миллионов пользователей в месяц и в миллиард загрузок своего приложения. Не теряя имиджа приватного средства связи.
