Facebook тренирует ИИ от первого лица. Это умно и тревожно

Facebook объявила о новом исследовательском проекте под названием Ego4D, целью которого является обучение моделей искусственного интеллекта с использованием видео, снятых с человеческая точка зрения, а затем предоставление рекомендаций с использованием сигналов дополненной реальности путем доступа к журналу прошлого записи. Последний исследовательский проект гиганта социальных сетей, ориентированный на искусственный интеллект, ставит технологии компьютерного зрения в центр внимания, которые уже используются некоторыми степень для таких продуктов, как Google Lens и несколько других инструментов для покупок, где изображение изучается, чтобы получить аналогичные списки из электронной коммерции платформы.

Недавно компания подробно рассказала о своей работе над новыми Инструменты визуального поиска и поиска товаров на базе искусственного интеллекта это повысит качество покупок в Instagram. В дальнейшем он будет открывать онлайн-списки предметов одежды, просто нажимая на фотографию человека. Внутренняя система распознавания продуктов настолько продвинута, что на своих платформах она будет отображать релевантные продукты даже по расплывчатым текстовым запросам, таким как «найти рубашку с похожим рисунком в горошек». Но все эти системы распознавания объектов преимущественно основаны на системе компьютерного зрения, обученной на фотографиях и видео, снятых от третьего лица.

Facebook идет еще дальше, изменяя перспективу обучения данных со стороны на середину действия с перспективой от первого лица в рамках своего Ego4D AI. проект. Возможности кажутся бесконечно полезными и немного пугающими. Для сбора данных по обучению Facebook сотрудничал с 13 учреждениями в девяти странах, которые набрали более 700 участников, чтобы записать больше более 2200 часов видеоматериалов от первого лица, документирующих повседневные действия, такие как покупка продуктов, мытье посуды и игра на барабанах, чтобы назвать немного. Цель состоит в том, чтобы зафиксировать действия, а также оценить сценарий с собственной точки зрения, как и действие, записанное Солнцезащитные очки Ray-Ban Stories от Facebook.

Первый взгляд на Метавселенную с дополненной реальностью в центре

Компания называет это эгоцентрическим восприятием, отсюда и название Ego4D. Видео было расшифровано и аннотировано, чтобы описать все в кадре от объекта до действия, чтобы создать набор данных, который исследователи со всего мира могут использовать для разработки систем компьютерного зрения и катализатора новой волны развития искусственного интеллекта. Венди недавно объединилась с Google Cloud, чтобы создать одну такую ​​систему компьютерного зрения, которая будет контролировать кухню и предупредить повара, когда пора перевернуть гамбургеры. Тем не менее, проект Facebook Ego4D представляет собой дополненную реальность для тех возможностей искусственного интеллекта, которые выходят далеко за рамки анализа и фактически переходят в сферу прогнозирования действий пользователей.

Для этого Facebook создал набор из пяти критериев, которые должен достичь ИИ с эгоцентрическим восприятием. Первый - это эпизодическая память, которая работает точно так же, как человеческая память. Например, когда пользователи забывают, где они разместили пульт от телевизора, ИИ будет обращаться к прошлым видео от первого лица, чтобы проверить, где пользователи его оставили, а затем направит их к месту с помощью сигналов AR. что-то вроде Apple Maps. Второй тест - это прогнозирование, которое предсказывает, что собирается делать пользователь, и выдает необходимое оповещение. Итак, если пользователь уже добавил перец в свое карри и снова потянется за бутылкой с перцовым порошком, ИИ распознает надвигающееся действие и мгновенно предупредит пользователей о том, что ингредиент уже был добавлен.

Аналогичным образом «Манипуляции руками и предметами» Бенчмарк хочет, чтобы ИИ запомнил правильную последовательность событий, что студенты сочтут полезными, поскольку сигналы AR покажут им шаги в записанном обучающем видео. Четвертый критерий - это социальное взаимодействие, а пятый - и самый тревожный - аудиовизуальный дневник. Это включает в себя сохранение аудио (и, возможно, текстового) журнала того, что говорил человек в поле зрения камеры. Затем пользователи могут задавать AI вопросы, например, что человек ABC сказал во время перерыва на кофе в определенный день. Facebook еще не детализировал меры защиты от, казалось бы, массового вторжения в частную жизнь своего проекта. В Ray-Ban Stories уже подверглись тщательной проверке из-за их способности переходить в режим ползучести. А с таким умным ИИ, как Ego4D, будет гораздо больше забот, связанных с конфиденциальностью.

С положительной стороны, проект Ego4D дает очень четкое представление о чего Facebook хочет достичь с помощью метавселенной, по крайней мере, когда речь идет о помощи пользователям в их повседневной жизни. И активное применение дополненной реальности для достижения этих целей является признаком того, что Facebook будет идти ва-банк на AR, и более продвинутые носимые устройства определенно находятся в разработке. Но самый большой вопрос в том, будет ли пользователям комфортно с Facebook иметь более личный доступ к своей жизни с помощью видео от первого лица, учитывая отрывочное прошлое компании со скандалами, связанными с конфиденциальностью.

Источник: Facebook

FTC готова принять меры в связи с фальшивыми отзывами, предупреждает сотни компаний

Об авторе