Эксперимент, который Google проводит над Google Chrome, привел к сбою в работе этого браузера в тысячах корпоративных сетей почти на два дня. Первые признаки проблемы проявились в среду, 13 ноября. Она затронула не всех пользователей Google Chrome, а только те установки этого браузера, которые работали на терминальных серверах под управлением Windows Server, что часто встречается в крупных и средних организациях.
Судя по сотням жалоб, которые пользователи разместили в интернете, все вкладки в браузере внезапно стали пустыми, вместо них появился «белый экран смерти». Новые вкладки, которые пытались открыть пользователи, постигла та же участь. Системные администраторы жаловались, что в их компаниях сотни и тысячи сотрудников не могли выйти в интернет.
Проблема осложнилась тем, что в строго контролируемой корпоративной среде многим сотрудникам просто запрещено использовать какой-либо другой браузер кроме Google Chrome. Точно так же системные администраторы не могут просто взять и сразу заменить его другой программой. Поэтому пользователи оказались не в состоянии продолжать выполнять свою работу.
Жалобы от компаний
Пользователи оставили сотни сообщений о сбое на форумах поддержки Google и ресурсе Reddit. Судя по по содержанию сообщений, сбой сильно сказался на работе колл-центров.
«Это сильно повлияло на работу сотрудников нашего колл-центра, они не могли общаться с нашими клиентами. Мы потратили предыдущий день и еще половину, пытаясь с этим разобраться», — сообщил пользователь, который, судя по адресу его электронной почты, работает в американской компании Costco — крупнейшей в мире сети складов и магазинов самообслуживания клубного типа.
«В нашей организации, у которой есть несколько крупных розничных брендов, 1 тыс. работников колл-центра и многие ИТ-специалисты страдали от этой проблемы в течении двух дней. Это нанесло очень большой финансовый ущерб», — пишет другой пользователь.
Google проводит над пользователями Chrome эксперименты без их ведома
«Как и у многих других, это оказало серьезное влияние на нашу организацию, где весь операционный отдел (более 500 сотрудников) работает в среде RDS с Google Chrome в качестве основного браузера», — отмечает третий. Remote Desktop Services (RDS) — это сервис Microsoft, который позволяет множеству пользователей с помощью виртуализации подключиться к серверу и выполнять на нем повседневные задачи как на ПК в рамках индивидуальной сессии.
«В моем окружении 4 тыс. пострадавших. Пытаемся исправить ситуацию уже 12 часов», — сообщает еще один пользователь.
Системный администратор одной из затронутых компаний сообщил в беседе с ресурсом ZDNet, что они сначала приняли белые вкладки Chrome за работу вируса и отреагировали соответствующим образом, то есть начали аудит безопасности всей сети.
Причина сбоя
Как выяснилось, причиной сбоя стала экспериментальная функция Google Chrome под названием WebContents Occlusion — «затемнение веб-контента». Когда пользователь перетаскивает окно какого-нибудь другого приложения поверх Chrome, эта функция приостанавливает работу вкладок, а активную вкладку делает фоновой. Функция призвана рационализировать использование ресурсов, когда браузер не активен.
Google весь год тестировала WebContents Occlusion в релизах Chrome Canary и Chrome Beta, но на этой неделе решила испытать ее в основном релизе Stable, чтобы получить больше отзывов. Как пояснил разработчик Google Chrome Дэвид Биенвену (David Bienvenu), после пяти месяцев в бета-стадии функцию в экспериментальном порядке активировали в стабильных релизах, таких как M77 и M78, во вторник утром. До этого ее уже включали на месяц примерно у 1% пользователей M77 и M78, и никаких жалоб не было.
Но когда функция была развернута для более широкой аудитории — например, для пользователей Windows на терминальных серверах — возникла неожиданная ошибка. При переключении с Google Chrome на другое приложение браузер, вместо того, чтобы приостановить работу вкладок, начал полностью их выгружать, оставляя пустые страницы.
Решение проблемы и его критика
Разработчики Chrome сообщили, что они уже разослали новый файл конфигурации всем пользователям и остановили эксперимент. Напомним, у них есть возможность присылать обновленные настройки во все активные копии браузера через систему под названием Finch. Эта система дает возможность включать и отключать экспериментальные функции.
Если решение проблемы еще не пришло на устройство, пользователи могут самостоятельно отключить функцию, пройдя по адресам chrome://flags/#web-contents-occlusion и chrome://flags/#calculate-native-win-occlusion, или же запустить браузер с добавлением --disable-backgrounding-occluded-windows в командную строку.
Когда Google объяснила, как она решила проблему, это вызвало вспышку массовой ярости со стороны системных администраторов. Многие из них до этого не знали, что разработчики Chrome могут удаленно проводить эксперименты на их тщательно контролируемых корпоративных браузерах, без предупреждения и предварительного согласования.
В результате на компанию посыпались гневные упреки на тему того, что крупные корпорации — это не подопытные кролики, и что в их сетях работает профессиональное ПО стоимостью в миллионы долларов, и что Google даже не представляет, сколько ресурсов было потрачено на ликвидацию последствий конкретно этого эксперимента.
«Мы очень заботимся о том, чтобы развертывать у себя изменения максимально контролируемо, как раз с целью избежать подобного сценария. И мы потратили большую часть вчерашнего дня, пытаясь определить, могли ли в нашей среде произойти какие-то внутренние изменения, о которых мы не знаем. Мы представить не могли, что такого рода события могут происходить в Chrome без нашего ведома. Мы уже обсуждаем альтернативные варианты, ни один из них нельзя назвать потрясающим, но это просто никуда не годится», — пишет один системный администратор, явно намекая на смену браузера во всей организации.
Судя по сотням жалоб, которые пользователи разместили в интернете, все вкладки в браузере внезапно стали пустыми, вместо них появился «белый экран смерти». Новые вкладки, которые пытались открыть пользователи, постигла та же участь. Системные администраторы жаловались, что в их компаниях сотни и тысячи сотрудников не могли выйти в интернет.
Проблема осложнилась тем, что в строго контролируемой корпоративной среде многим сотрудникам просто запрещено использовать какой-либо другой браузер кроме Google Chrome. Точно так же системные администраторы не могут просто взять и сразу заменить его другой программой. Поэтому пользователи оказались не в состоянии продолжать выполнять свою работу.
Жалобы от компаний
Пользователи оставили сотни сообщений о сбое на форумах поддержки Google и ресурсе Reddit. Судя по по содержанию сообщений, сбой сильно сказался на работе колл-центров.
«Это сильно повлияло на работу сотрудников нашего колл-центра, они не могли общаться с нашими клиентами. Мы потратили предыдущий день и еще половину, пытаясь с этим разобраться», — сообщил пользователь, который, судя по адресу его электронной почты, работает в американской компании Costco — крупнейшей в мире сети складов и магазинов самообслуживания клубного типа.
«В нашей организации, у которой есть несколько крупных розничных брендов, 1 тыс. работников колл-центра и многие ИТ-специалисты страдали от этой проблемы в течении двух дней. Это нанесло очень большой финансовый ущерб», — пишет другой пользователь.
Google проводит над пользователями Chrome эксперименты без их ведома
«Как и у многих других, это оказало серьезное влияние на нашу организацию, где весь операционный отдел (более 500 сотрудников) работает в среде RDS с Google Chrome в качестве основного браузера», — отмечает третий. Remote Desktop Services (RDS) — это сервис Microsoft, который позволяет множеству пользователей с помощью виртуализации подключиться к серверу и выполнять на нем повседневные задачи как на ПК в рамках индивидуальной сессии.
«В моем окружении 4 тыс. пострадавших. Пытаемся исправить ситуацию уже 12 часов», — сообщает еще один пользователь.
Системный администратор одной из затронутых компаний сообщил в беседе с ресурсом ZDNet, что они сначала приняли белые вкладки Chrome за работу вируса и отреагировали соответствующим образом, то есть начали аудит безопасности всей сети.
Причина сбоя
Как выяснилось, причиной сбоя стала экспериментальная функция Google Chrome под названием WebContents Occlusion — «затемнение веб-контента». Когда пользователь перетаскивает окно какого-нибудь другого приложения поверх Chrome, эта функция приостанавливает работу вкладок, а активную вкладку делает фоновой. Функция призвана рационализировать использование ресурсов, когда браузер не активен.
Google весь год тестировала WebContents Occlusion в релизах Chrome Canary и Chrome Beta, но на этой неделе решила испытать ее в основном релизе Stable, чтобы получить больше отзывов. Как пояснил разработчик Google Chrome Дэвид Биенвену (David Bienvenu), после пяти месяцев в бета-стадии функцию в экспериментальном порядке активировали в стабильных релизах, таких как M77 и M78, во вторник утром. До этого ее уже включали на месяц примерно у 1% пользователей M77 и M78, и никаких жалоб не было.
Но когда функция была развернута для более широкой аудитории — например, для пользователей Windows на терминальных серверах — возникла неожиданная ошибка. При переключении с Google Chrome на другое приложение браузер, вместо того, чтобы приостановить работу вкладок, начал полностью их выгружать, оставляя пустые страницы.
Решение проблемы и его критика
Разработчики Chrome сообщили, что они уже разослали новый файл конфигурации всем пользователям и остановили эксперимент. Напомним, у них есть возможность присылать обновленные настройки во все активные копии браузера через систему под названием Finch. Эта система дает возможность включать и отключать экспериментальные функции.
Если решение проблемы еще не пришло на устройство, пользователи могут самостоятельно отключить функцию, пройдя по адресам chrome://flags/#web-contents-occlusion и chrome://flags/#calculate-native-win-occlusion, или же запустить браузер с добавлением --disable-backgrounding-occluded-windows в командную строку.
Когда Google объяснила, как она решила проблему, это вызвало вспышку массовой ярости со стороны системных администраторов. Многие из них до этого не знали, что разработчики Chrome могут удаленно проводить эксперименты на их тщательно контролируемых корпоративных браузерах, без предупреждения и предварительного согласования.
В результате на компанию посыпались гневные упреки на тему того, что крупные корпорации — это не подопытные кролики, и что в их сетях работает профессиональное ПО стоимостью в миллионы долларов, и что Google даже не представляет, сколько ресурсов было потрачено на ликвидацию последствий конкретно этого эксперимента.
«Мы очень заботимся о том, чтобы развертывать у себя изменения максимально контролируемо, как раз с целью избежать подобного сценария. И мы потратили большую часть вчерашнего дня, пытаясь определить, могли ли в нашей среде произойти какие-то внутренние изменения, о которых мы не знаем. Мы представить не могли, что такого рода события могут происходить в Chrome без нашего ведома. Мы уже обсуждаем альтернативные варианты, ни один из них нельзя назвать потрясающим, но это просто никуда не годится», — пишет один системный администратор, явно намекая на смену браузера во всей организации.
