Люди умеют создавать и обучать нейросети, однако до сих пор не могут объяснить, как именно те принимают решения. Эксперт по киберразведке объясняет, почему автопилот на базе ИИ способен сбить ребенка
Инопланетный разум уже среди нас. И это не маленькие зеленые человечки из научной фантастики, а программы, которые могут распознать ваше лицо в смартфоне, определить вашу кредитоспособность, написать за вас стихи или компьютерный код.
Это нейросети — технологичные призраки, с которыми люди уже сталкиваются каждый день.
При этом программы на базе искусственного интеллекта имеют существенное ограничение. Большинство процессов, которые происходят внутри них, невозможно объяснить, что делает их непредсказуемыми. Поэтому сложно создать сервисы на основе ИИ, которые бы вели себя так, как ожидают люди.
А если невозможно объяснить решения нейросетей, то как им доверять?
Многие системы ИИ построены на основе нейронных сетей глубокого обучения, которые имитируют работу человеческого мозга. Они состоят из множества «нейронов», содержащих внутри переменные или «параметры» и определенным образом связанных между собой. Во время обучения нейросеть получает массив данных. На его основе она классифицирует информацию и приводит в соответствие с ней свои параметры. Таким образом ИИ учится структурировать данные, которые раньше никогда не видел. Он не делает выводы на основе этих конкретных данных, а «предсказывает» наиболее вероятный результат, опираясь на опыт своего «обучения».
Многие из наиболее мощных систем ИИ содержат триллионы параметров. Поэтому причины, по которым нейросети принимают те или иные решения, зачастую непонятны. В итоге получается непроницаемый «черный ящик».
Объяснить можно на примере «проблемы вагонетки» (мысленный эксперимент, который должен решить классическую дилемму: можно ли жертвовать одним человеком ради блага большинства. — РБК Pro). Допустим, вы пассажир в беспилотном автомобиле, который управляется искусственным интеллектом. На дорогу выбегает ребенок. ИИ должен решить: сбить его или свернуть в сторону и врезаться в другую машину, что может привести к травмам пассажиров. Это трудный выбор даже для людей, однако у них есть преимущество — они могут объяснить свое решение. Их аргументы будут основываться на этических нормах о том, как воспримут их поведение другие люди и какой поступок в обществе будет более ожидаемым, — этим и поддерживается доверие.
В отличие от человека ИИ не может подобным образом объяснить свои решения. Невозможно заглянуть под капот беспилотного автомобиля и, увидев там триллионы параметров, объяснить, почему он поступил именно так. От ИИ невозможно ждать предсказуемого результата, а именно на нем основывается доверие.
ИИ, в отличие от человека, не способен корректировать свое поведение в зависимости от того, как его будут воспринимать другие, и не придерживается этических норм. Внутреннее «представление» нейросети о реальности в значительной степени статично, так как задано данными во время обучения. Процесс принятия решений у искусственного интеллекта основан на неизменной модели мира, на который не влияют социальные нормы.
Специалисты работают над программированием ИИ, чтобы тот мог учитывать этические моменты, но это непростая задача. Сценарий с беспилотным автомобилем ярко иллюстрирует эту проблему. Как сделать так, чтобы искусственный интеллект машины принимал решения, соответствующие ожиданиям человека? Например, нейросеть может решить, что оптимальным решением в той ситуации станет наезд на ребенка, хотя большинство водителей, наоборот, посчитали бы это неприемлемым. Эта разница в принятии решений — еще одна преграда, препятствующая доверию.
Хотя вовлечение человека в процесс — это отличный шаг на пути к повышению доверия к ИИ, оно вряд ли будет применяться в долгосрочной перспективе. Поскольку компании и правительства продолжают активно внедрять нейросети, в будущем у таких систем будут требовать все меньшего вмешательства людей для принятия решений. Поэтому важно решить проблему согласованности действий до того, как будет достигнута критическая точка, после которой вмешательство человека будет невозможным. В этот момент не останется иного выбора, кроме как довериться ИИ.
Эту проблему важно решить, поскольку искусственный интеллект все чаще интегрируется в критически важныe cистемы, такие как электросети, интернет и оборону. В таких отраслях доверие имеет первостепенное значение, а нежелательное поведение нейросетей может привести к непоправимым последствиям. По мере масштабирования ИИ это становится особенно важным.
В основе надежности и доверия лежит предсказуемость, но ИИ этого качества лишен. Дальнейшие исследования в этой области, возможно, прольют свет на этот вопрос и нейросетям будущего мы сможем доверять больше.
Оригинал статьи можно прочитать . ©
Инопланетный разум уже среди нас. И это не маленькие зеленые человечки из научной фантастики, а программы, которые могут распознать ваше лицо в смартфоне, определить вашу кредитоспособность, написать за вас стихи или компьютерный код.
Это нейросети — технологичные призраки, с которыми люди уже сталкиваются каждый день.
При этом программы на базе искусственного интеллекта имеют существенное ограничение. Большинство процессов, которые происходят внутри них, невозможно объяснить, что делает их непредсказуемыми. Поэтому сложно создать сервисы на основе ИИ, которые бы вели себя так, как ожидают люди.
А если невозможно объяснить решения нейросетей, то как им доверять?
Почему ИИ непредсказуем
В отношениях между людьми важное значение имеет умение предвидеть поведение друг друга. Если кто-то делает не то, что от него ожидали, то он теряет доверие.Многие системы ИИ построены на основе нейронных сетей глубокого обучения, которые имитируют работу человеческого мозга. Они состоят из множества «нейронов», содержащих внутри переменные или «параметры» и определенным образом связанных между собой. Во время обучения нейросеть получает массив данных. На его основе она классифицирует информацию и приводит в соответствие с ней свои параметры. Таким образом ИИ учится структурировать данные, которые раньше никогда не видел. Он не делает выводы на основе этих конкретных данных, а «предсказывает» наиболее вероятный результат, опираясь на опыт своего «обучения».
Многие из наиболее мощных систем ИИ содержат триллионы параметров. Поэтому причины, по которым нейросети принимают те или иные решения, зачастую непонятны. В итоге получается непроницаемый «черный ящик».
Объяснить можно на примере «проблемы вагонетки» (мысленный эксперимент, который должен решить классическую дилемму: можно ли жертвовать одним человеком ради блага большинства. — РБК Pro). Допустим, вы пассажир в беспилотном автомобиле, который управляется искусственным интеллектом. На дорогу выбегает ребенок. ИИ должен решить: сбить его или свернуть в сторону и врезаться в другую машину, что может привести к травмам пассажиров. Это трудный выбор даже для людей, однако у них есть преимущество — они могут объяснить свое решение. Их аргументы будут основываться на этических нормах о том, как воспримут их поведение другие люди и какой поступок в обществе будет более ожидаемым, — этим и поддерживается доверие.
В отличие от человека ИИ не может подобным образом объяснить свои решения. Невозможно заглянуть под капот беспилотного автомобиля и, увидев там триллионы параметров, объяснить, почему он поступил именно так. От ИИ невозможно ждать предсказуемого результата, а именно на нем основывается доверие.
Поведение ИИ и ожидания людей
Доверие базируется не только на предсказуемости, но и на ожидании соблюдения законов, этических мотивов. Чаще всего люди ведут себя так, как от них ожидают. Человеческие ценности формируются под влиянием общества, и нормы морали могут меняться вслед за изменениями этических и других принциповИИ, в отличие от человека, не способен корректировать свое поведение в зависимости от того, как его будут воспринимать другие, и не придерживается этических норм. Внутреннее «представление» нейросети о реальности в значительной степени статично, так как задано данными во время обучения. Процесс принятия решений у искусственного интеллекта основан на неизменной модели мира, на который не влияют социальные нормы.
Специалисты работают над программированием ИИ, чтобы тот мог учитывать этические моменты, но это непростая задача. Сценарий с беспилотным автомобилем ярко иллюстрирует эту проблему. Как сделать так, чтобы искусственный интеллект машины принимал решения, соответствующие ожиданиям человека? Например, нейросеть может решить, что оптимальным решением в той ситуации станет наезд на ребенка, хотя большинство водителей, наоборот, посчитали бы это неприемлемым. Эта разница в принятии решений — еще одна преграда, препятствующая доверию.
Критические системы и доверие к ИИ
Возможно, если люди будут контролировать работу ИИ, это снизит непредсказуемость и повысит уровень доверия к нейросетям. Сейчас такой подход применяют в Министерстве обороны США, которое требует, чтобы все решения систем, в которых используется ИИ, принимались под надзором специалистов: когда они предлагают какое либо действие, наблюдатель может его изменить или отменить.Хотя вовлечение человека в процесс — это отличный шаг на пути к повышению доверия к ИИ, оно вряд ли будет применяться в долгосрочной перспективе. Поскольку компании и правительства продолжают активно внедрять нейросети, в будущем у таких систем будут требовать все меньшего вмешательства людей для принятия решений. Поэтому важно решить проблему согласованности действий до того, как будет достигнута критическая точка, после которой вмешательство человека будет невозможным. В этот момент не останется иного выбора, кроме как довериться ИИ.
Эту проблему важно решить, поскольку искусственный интеллект все чаще интегрируется в критически важныe cистемы, такие как электросети, интернет и оборону. В таких отраслях доверие имеет первостепенное значение, а нежелательное поведение нейросетей может привести к непоправимым последствиям. По мере масштабирования ИИ это становится особенно важным.
Можно ли будет когда-то доверять ИИ
Пока ИИ для человека — это инопланетянин, об интеллектуальных возможностях которого человек имеет мало представления. Это люди в значительной степени предсказуемы друг для друга, поскольку имеют похожий опыт. С искусственным интеллектом подобной связи нет, несмотря на то что он создан человеком.В основе надежности и доверия лежит предсказуемость, но ИИ этого качества лишен. Дальнейшие исследования в этой области, возможно, прольют свет на этот вопрос и нейросетям будущего мы сможем доверять больше.
Оригинал статьи можно прочитать . ©
