Нейронные сети распознавания изображений хороши настолько, насколько хороши данные, на которых они обучаются. И эти данные, по крайней мере, легкодоступные данные, содержат большое количество изображений из стран с высоким уровнем дохода в Европе и Северной Америке. Таким образом, согласно исследованию , представленному на NeurIPS 2022 , при столкновении с повседневными предметами домашнего обихода из стран с низким уровнем дохода они делают это правильно лишь в 20% случаев. MLCommons повышает точность нейронной сети распознавания изображений ResNet более чем на 50 процентов. Цель состоит в том, чтобы «заставить машинное обучение работать для всех», — говорит исполнительный директор MLCommons Дэвид Кантер .

Вы можете увидеть проблему ниже. Это все печи, даже если ваша типичная система компьютерного зрения не всегда знает об этом: Изображения для набора данных взяты из проекта Dollar Street, которым руководит некоммерческая организация Gapminder . Gapminder отправил фотографов в более чем 400 домов в 63 странах мира, чтобы сфотографировать почти 300 категорий предметов домашнего обихода. Важно отметить, что эти дома охватывают широкий диапазон доходов. Затем Gapminder сотрудничал с MLCommons, Гарвардским университетом и стартапом Coactive AI.для преобразования изображений и их метаданных в форму, пригодную для обучения нейронных сетей. MLCommons будет размещать данные, предоставляя их по лицензии CC-BY 4.0 (это означает, что их можно использовать бесплатно как в коммерческих, так и в академических целях). Есть надежда, что использование Dollar Street поможет исследователям и компаниям создать новые системы распознавания изображений, менее предвзятые по отношению к людям из стран с низким уровнем дохода.
Сотрудничество доказало полезность Dollar Street в исследовании, представленном в конце прошлого года. Они обучили семь обычных нейронных сетей распознавания изображений, используя набор данных ImageNet. Затем они сопоставили метаданные Dollar Street с категориями в ImageNet и протестировали нейронные сети на новом наборе данных. Они разделили результаты на квартили дохода. Нейронные сети достаточно хорошо справлялись с изображениями, сделанными в домах из квартиля с самым высоким доходом — от 1 998 до 19 671 доллара США в месяц, — но они становились все хуже по мере падения доходов. К квартилю от 27 до 200 долларов в месяц даже самая лучшая нейронная сеть едва преодолела 20 процентов.

Результаты были «ошеломляющими», — говорит Кантер из MLCommons, соавтор исследования NeurIPs. "Это ужасно. Тут нет двух вариантов».

Но «точная настройка» нейронной сети ResNet с использованием выборки данных Dollar Street повысила точность до 70 процентов или выше для всех отделов доходов.

В будущем MLCommons будет вносить обновления в набор данных, а также обрабатывать любое удаление данных, если субъекты данных пожелают этого в будущем.