Новости цивилизации

Что такое закон Конвея и как гендерные стереотипы закладываются в приложения для телефонов и алгоритмы?

Мобильный ассистент с женским голосом, программы распознавания лиц, отдающие предпочтение мужчинам, электронная система найма на работу, которая дискриминирует женщин. Гендерных предрассудков не удалось избежать и в бурно развивающейся сфере технологий и искусственного интеллекта. Эта проблема обсуждается на проходящей сейчас в ООН Комиссии по положению женщин. Чтобы понять, как стереотипы «внедряются» в алгоритмы и мобильные приложения, Людмила Благонравова обратилась с вопросами к программному специалисту Сектора социальных и гуманитарных наук ЮНЕСКО Максиму Карлюку.
МК: Существует так называемый закон Конвея. Он говорит о том, что системы в самом широком смысле этого слова, в том числе компьютерные программы или приложения для телефона, отражают ценности людей, которые их разрабатывают. То есть выбор действий или элементов в рамках процесса разработки программ зависит от того, как организованы проектирующие команды.
Существующие предрассудки и другие негативные влияния часто игнорируются. И в результате небольшая группа людей, работающих вместе над какой-то программой, в итоге получает большое влияние, когда результат их работы используется обществом.
Это доказанный эффект, он существует. То есть это транслируется в программы и последствия их использования. Мы все в той или иной степени подвержены предрассудкам, более того, на сегодняшний день большинство разработчиков – это мужчины, со свойственными им предрассудками и вкусами, и это передается и на уровень программ. 
Большинство разработчиков – это мужчины, со свойственными им предрассудками и вкусами, и это передается и на уровень программ
Таким образом гендерные стереотипы часто находят свой путь в технологические продукты. И вот довольно известный пример: изначально помощники на телефонах все имели только женские имена, женские голоса, и их так называемая «личность» была сконструирована в формате подчинения. 
Мы в ЮНЕСКО выпустили доклад на эту тему, который назывался “I`d blush if I could”, по-русски – «Я бы покраснела, если бы могла». Это название – это ответ, который дала Сири, один из известных голосовых ассистентов, на неприличный комментарий в ее сторону. И этот ответ был изменен только через 8 лет. То есть 8 лет это считалось нормальным или, если и не считалось нормальным, то использовалось. 
То есть это зависит от формирования команд, которые разрабатывают программы и далее. Неравная представленность женщин среди разработчиков и в целом в технологических компаниях имеет большое влияние на это. 
Более того, я бы сказал, что это ухудшается в связи с пандемией COVID-19, потому что в сфере технологий женщины с большей долей вероятности будут уволены, так как в большинстве случаев они занимают невысокие позиции в компаниях, которые проще сократить.
К тому же, в полтора раза более вероятно, что на женщину приходятся обязанности по уходу за детьми во время ограничений, связанных с пандемией. Ну и есть более широкие проблемы – такие, как доступ к интернету. Примерно 45 процентов женщин в мире имеют доступ к интернету, и больше половины мужчин. А в сельской местности разница еще больше. И это влияет и на образование. Сейчас во многих странах дистанционное образование, и у девочек, соответственно, меньше образовательных возможностей во время пандемии.
Эта проблема и раньше существовала, а с началом пандемии она усугубилась. Также наблюдается большая разница между странами и регионами.
ЛБ: Вы привели в пример телефонных голосовых помощников. Но иногда гендерные предрассудки и стереотипы закладываются непосредственно в алгоритмы и в системы обучения машин. Расскажите, пожалуйста, об этом.
МК: Да, тот же закон, о котором я рассказал, он имеет большое значение и для систем искусственного интеллекта из-за эффекта масштабирования и из-за того, каким образом они функционируют. Они функционируют на основе наборов данных, алгоритмы обучаются на основе наборов данных. И тут есть два момента.
Первый момент: когда узкая группа людей разрабатывает алгоритм, она передает ему свое видение, свои ценности и стереотипы, и на их основе он обучается, и это таким образом масштабируется. А женщины недостаточно представлены конкретно в сфере искусственного интеллекта. Только 22 процента профессионалов в этой области по всему миру – женщины. Исследователей-женщин еще меньше в этой сфере. То же самое касается их представленности на ведущих конференциях.
Второй момент – это данные. Данные, на основе которых эти системы работают, обучаются и развиваются. Они могут быть неполные. Во-вторых, в таких наборах данных часто представлены гендерные стереотипы, на этот счет проводились исследования. И в итоге получаются предвзятые результаты от использования этих алгоритмов. Есть несколько примеров, которые я хотел бы привести.
В частности, в Массачусетском институте технологий провели исследование совместно с компаний Microsoft, которое говорит о том, что самые известные системы распознавания лиц чаще ошибаются при распознавании фотографий женщин. И количество ошибок увеличивается, если это женщина с более темным цветом кожи. 
А компания Amazon применила у себя в работе систему искусственного интеллекта, на основе которой они нанимали сотрудников. Но им пришлось остановить этот эксперимент уже в 2018 году, потому что они увидели, что этот алгоритм дискриминирует женщин. 
Алгоритм этому обучился, и поэтому он дискриминировал женщин. Преимущество в большинстве случаев отдавалось мужчинам
Как выяснилось, этот алгоритм обучался на основе резюме, которые подавались в последние 10 лет, а большинство резюме были мужскими, поскольку, как я уже говорил, в основном мужчины работают в сфере технологий и искусственного интеллекта. И алгоритм этому обучился, и поэтому он дискриминировал женщин. Преимущество в большинстве случаев отдавалось мужчинам. 
Но я хотел бы отметить, что женщины не стоят в стороне. Среди них есть очень много прекрасных специалистов и инициатив, ими созданных, которые пытаются изменить эту ситуацию. И их становится все больше и больше, что очень радует.
ЛБ: Вы говорите, что женщины не стоят в стороне, но все-таки они пока еще недостаточно хорошо представлены в этой сфере. Какие решения проблемы гендерной дискриминации в сфере технологий предлагают в ЮНЕСКО?
МК: Да, в ЮНЕСКО занимаются этими проблемами. У ЮНЕСКО сейчас есть мандат от государств-членов по разработке первого глобального нормативного документа, это Рекомендации об этических аспектах искусственного интеллекта. Поскольку гендерное равенство является одним из двух глобальных приоритетов ЮНЕСКО в целом, не только в этой сфере, эта тема занимает важнейшее место и в проекте рекомендаций. 
Среди прочего мы призываем государства включить в национальные стратегии цифрового развития специальные планы действий по достижению гендерного равенства, поощрять женское предпринимательство, поощрять участие женщин во всех этапах жизненного цикла систем искусственного интеллекта. 
В рекомендациях также предусмотрено создание инструмента оценки этического воздействия систем искусственного интеллекта, в рамках которого необходимо использовать сквозной гендерный подход и обеспечить использование систем искусственного интеллекта, продвигая права всех, включая девочек и женщин, в том числе – в образовании и в других сферах.
Я бы хотел еще добавить, что в ЮНЕСКО процессом разработки рекомендаций руководят женщины, причем на разных уровнях. На самом высоком уровне – это Генеральный директор ЮНЕСКО Одрэ Азуле, глава Сектора социальных и гуманитарных наук Габриэла Рамос, которая возглавляет разработку рекомендаций, и моя непосредственная начальница Дафна Фейнхольц, которая руководит Секцией биоэтики и этики науки и технологий. Так что этому уделяется много внимания. 
Неравенство между мужчинами и женщинам в цифровой мире усугубилось в связи с пандемией, поэтому мы должны действовать еще активнее. На сегодняшний день существует много инициатив и принципов, предлагаемых разными организациями, но теперь нам необходимо претворить их в жизнь, и это то, чего мы пытаемся достигнуть в рамках этих рекомендаций. 
Мы пошли дальше ценностей и принципов и предлагаем конкретные действия, инструменты по продвижению этической разработки и использования искусственного интеллекта, с помощью которых технологические решения помогут создать более инклюзивный мир для всех и, в частности, для женщин. 

 

Наука
Made on
Tilda