Facebook은 1인칭 시점에서 AI를 훈련하고 있습니다. 그것은 똑똑하고 놀라운 것입니다

페이스북 에서 캡처한 비디오를 사용하여 AI 모델을 훈련시키는 것을 목표로 하는 Ego4D라는 새로운 연구 프로젝트를 발표했습니다. 인간의 관점에서 과거의 로그에 액세스하여 증강 현실 신호를 사용하여 안내를 제공합니다. 녹음. 소셜 미디어 거인의 최신 AI 중심 연구 프로젝트는 이미 일부 사용자에게 사용되고 있는 컴퓨터 비전 기술을 전면에 배치합니다. 전자 상거래에서 유사한 목록을 가져오기 위해 이미지를 연구하는 Google 렌즈 및 기타 몇 가지 기타 쇼핑 도구와 같은 제품의 범위 플랫폼.

회사는 최근 새로운 AI 기반 시각적 검색 및 제품 검색 도구 인스타그램에서 쇼핑 경험을 향상시킬 것입니다. 앞으로 사람의 사진을 탭하기만 하면 의류 품목의 온라인 목록이 표시됩니다. 자체 상품 인식 시스템이 고도화되어 플랫폼에서 "비슷한 도트 무늬 셔츠를 찾아라"와 같은 모호한 텍스트 기반 쿼리에도 관련 상품을 불러옵니다. 그러나 이러한 모든 물체 인식 시스템은 주로 3인칭 시점에서 캡처한 사진과 비디오로 훈련된 컴퓨터 비전 시스템을 기반으로 합니다.

Facebook은 Ego4D AI의 일부로 1인칭 관점을 사용하여 훈련 데이터의 관점을 사이드라인에서 곧바로 행동의 중간으로 변경함으로써 한 걸음 더 나아가고 있습니다. 프로젝트. 가능성은 끝없이 유익하고 약간 무서운 것처럼 보입니다. 교육 데이터를 수집하기 위해 Facebook은 9개국의 13개 기관과 제휴하여 700명 이상의 참가자를 모집하여 더 많은 기록을 남겼습니다. 식료품 쇼핑, 식기 세척, 드럼 연주와 같은 일상 활동을 기록한 2,200시간 이상의 1인칭 영상 약간의. 목표는 활동을 캡처하고 개인의 관점에서 시나리오를 평가하는 것입니다. 페이스북의 레이밴 스토리 선글라스.

AR이 중심에 있는 메타버스의 첫인상

회사는 그것을 자기 중심적 인식이라고 부르며 따라서 Ego4D라는 이름이 붙습니다. 비디오를 전사하고 주석을 달아 개체에서 동작에 이르기까지 프레임의 모든 것을 설명하여 전 세계의 연구원들이 컴퓨터 비전 시스템을 개발하고 AI 개발의 새로운 물결을 촉진하는 데 사용할 수 있는 데이터 세트입니다. Wendy는 최근 Google Cloud와 제휴하여 주방과

햄버거를 뒤집을 시간을 요리사에게 알려주세요.. 그러나 Facebook의 Ego4D 프로젝트는 분석을 훨씬 넘어서 실제로 사용자의 행동을 예측하는 영역으로 들어가는 AI 기능에 AR 스핀을 적용합니다.

이를 위해 페이스북은 AI가 달성해야 하는 자기중심적 인식이 달성해야 하는 5가지 벤치마크를 제시했다. 첫 번째는 인간의 기억과 같은 방식으로 작동하는 에피소드 기억입니다. 예를 들어 사용자가 TV 리모컨을 어디에 놓았는지 잊어버린 경우 AI는 과거 1인칭 비디오에 액세스하여 사용자가 남긴 위치를 확인한 다음 AR 큐를 사용하여 해당 위치로 안내합니다. 애플 지도와 약간 비슷. 두 번째 벤치마크는 사용자가 수행하려는 작업을 예측하고 필요한 경고를 제공하는 예측입니다. 따라서 사용자가 이미 카레에 후추를 추가하고 다시 후추 가루 병에 손을 뻗으면 AI는 임박한 조치를 인식하고 해당 성분이 이미 사용되었음을 사용자에게 즉시 경고합니다. 추가했습니다.

유사하게, '손과 물건 조작' 벤치마크는 AI가 이벤트의 올바른 순서를 기억하기를 원합니다. 이는 AR 신호가 녹화된 교육 비디오의 단계를 보여주기 때문에 학생들이 도움이 될 것입니다. 네 번째 벤치마크는 사회적 상호작용이며, 다섯 번째 벤치마크는 가장 놀라운 것입니다. 시청각 분할. 여기에는 카메라 보기에 있는 사람이 말한 내용의 오디오(텍스트 기반도 가능) 로그를 저장하는 작업이 포함됩니다. 그런 다음 사용자는 특정 날짜에 커피를 마시는 동안 ABC가 말한 것과 같은 AI 질문을 할 수 있습니다. Facebook은 아직 프로젝트에 대한 대규모 개인 정보 침해 시나리오에 대한 보호 장치를 자세히 설명하지 않았습니다. NS Ray-Ban Stories는 이미 조사를 받고 있습니다. 완전한 크립 모드로 전환할 수 있기 때문입니다. 그리고 Ego4D만큼 똑똑한 AI를 사용하면 개인 정보 관련 걱정이 훨씬 더 많아질 것입니다.

긍정적인 측면에서 Ego4D 프로젝트는 페이스북이 메타버스로 달성하고자 하는 것, 적어도 일상 생활에서 사용자를 돕는 것과 관련하여. 그리고 이러한 목표를 달성하기 위해 증강 현실을 많이 적용하는 것은 Facebook이 AR에 올인할 것이며 더 발전된 웨어러블이 확실히 파이프라인에 있다는 신호입니다. 그러나 가장 큰 문제는 사용자가 페이스북 개인 정보 관련 스캔들로 회사의 간략한 과거를 감안할 때 1인칭 비디오를 통해 자신의 삶에 더 개인적으로 접근할 수 있습니다.

원천: 페이스북

FTC는 가짜 리뷰에 대해 조치를 취할 준비가 되어 있으며 100개 회사에 경고합니다.

저자 소개