yoginka

Уже несколько раз писала об этом. Статей попадается много, но продвижений пока не видно, если не считать внушительного списка подписей авторитетов.

Еще интересная статья:
http://slatestarcodex.com/2015/05/29/no-time-like-the-present-for-ai-safety-work/

Понравился аргумент скептиков:
"if Alan Turing had gotten it into his head to try to solve it in 1945, his ideas might have been along the lines of “Place your punch cards in a locked box where German spies can’t read them.”"

Несколько новых, неожиданных аспектов проблемы, причем в паре из них мне показались и кое-какие надежды на возможные подходы к решению вопросов безопасности:

аналогия с бесконечной стимуляцией гипоталамуса (Problem 1: Wireheading);
аналогия с религией (Problem 2: Weird Decision Theory).

"The risk of something seriously dangerous happening is in the five year timeframe. 10 years at most. "

(http://www.loadthegame.com/2014/11/19/elon-musk-has-serious-concerns-about-artificial-intelligence/)

И Стивен Хокинг об этом недавно статью написал с предупреждениями.


Это были мнения авторитетов. Далее мои мысли на эту тему.

Это уже не отдаленное будущее из области фантастики. И сценарий не такой, как в большинстве фантастических произведений. Оказалось все даже и пострашнее: не отдельные взбунтовавшиеся роботы, которых можно физически уничтожить в случае чего, а распределенные по всему интернету системы искусственного интеллекта.

Мы уже имеем потерю контроля даже в обычных программах без ИИ. Иначе все "баги" сразу бы исправлялись. Вопрос стоит не о том, делать ли ИИ, а о том, какие задачи ему нельзя доверять. Например, если фейсбук ошибается в своих решениях и неверно предполагает, кого ты знаешь, то от этого ущерба нет. Или если Гугл не угадывает, что именно ты ищещь, и предлагает не вполне адекватные результаты поиска на первом плане. А вот если система медицинской диагностики ошибется, и никто этого не заметит, потому что все считают, что система все лучше знает, то результаты могут быть фатальными.

Еще более страшный сценарий связан с тем, что эти системы, живущие в интернете, являются самообучающимися. Для обучения они используют, среди прочего, и опыт, полученный из запросов к ним. Вполне можно предположить, что злоумышленники могут использовать это для постепенного "развращения" системы и незаметного отклонения ее в нужную для себя сторону. А когда это станет заметно, может быть уже поздно.