מצלמת שרשרת זו יכולה לשמוע פקודות קוליות שקטות

במה שעשוי להתגלות כפריצת דרך גדולה בתחום הנגישות, עוזר פרופסור בקורנל יצר מכשיר לביש בהשראת שרשרת מַצלֵמָהשיכול לעקוב אחר תנועת העור על הצוואר והפנים ללא קלט קול ממשי. המכשיר הוא למעשה חידוש מהדור השלישי שמתבסס על שני פרויקטים מדהימים אחרים. הראשונה הייתה C-Face, אוזניה החוקרת את קווי מתאר הלחיים כדי לעקוב אחר הבעות פנים, ומתרגמת אותן לאמוג'י תלת מימד ולפקודות דיבור. מופע הראווה של C-Face לשנת 2020 כמכשיר למעקב הבעות פנים מפריע למינימום, מלווה באוגוסט בשנה שעברה המצאה מגניבה נוספת בשם NeckFace.

NeckFace היה מכשיר חישה לביש מסוג שרשרת שפרס מצלמות IR כדי ללכוד תמונה של הסנטר והפנים מתחת לצוואר. הרעיון היה לפרוס את טכנולוגיית הליבה שלה עבור יישומים כגון השתתפות בסרטונים ללא מצלמה קדמית, זיהוי דיבור שקט ומעקב אחר הבעת פנים במציאות מדומה. הרעיון נשמע דומה לאוזניות ה-AR/VR השמועות של אפל שלפי הדיווחים יאפשרו למשתמשים להשתתף בשיחות FaceTime באמצעות דמות ה-Memoji שלהם. כעת, המוח מאחורי C-Face ו-NeckFace חזר עם עוד מכשיר מבטיח.

SpeeChin הוא מכשיר לזיהוי דיבור שמוציא את היבט הקול מפקודות קוליות. פרי מוחו של צ'נג ג'אנג, עוזר פרופסור למדעי המידע במחקר קורנל אן ס. Bowers College of Computing and Information Science, SpeeChin מאמצת את עיצוב השרשרת ומסתמכת על מצלמת IR כדי ללמוד את העיוותים המופיעים על הפנים והצוואר כאשר אדם מדבר. אפל מעסיקה גם א

מצלמת אינפרא אדום במערכת TrueDepth שלה באייפון כדי ליצור מפת פנים תלת מימדית לאימות ויצירה של Animojis.

מאופק, אבל בעל משמעות

המטרה העיקרית של SpeeChin היא שהוא מאפשר לאדם עם ליקוי קולי פשוט לחקות את המשימה של אמירת פקודה קולית, והמכשיר למעשה יעקוב אחר התנועות כדי להבין את הנאמר ללא קול קֶלֶט. "למכשיר הזה יש פוטנציאל ללמוד את דפוסי הדיבור של אדם, אפילו עם דיבור שקט," ג'אנג מציין. תרחיש שימוש נוסף הוא כאשר אדם רוצה לזמן את סירי לבצע משימה, אך הסביבה אינה מתאימה לדבר בקול רם לטלפון או לרמקול. מה שבאמת מרשים הוא שג'אנג בנה את המכשיר לבד בבית תוך שהוא מטפל בתפקידים אקדמיים מרחוק. מדהים לראות שטכנולוגיה מבטיחה כזו יכולה להיות כל כך פשוטה בהנדסה, ועלולה להיות זולה יותר, בהשוואה לאלפי דולרים שגאדג'טים אוהבים. אוזניות Project Cambria של פייסבוק או אוזניות ה-AR/VR של אפל עומדות להיטען.

SpeeChin מגיע עם מצלמת IR המודבקת לפלטפורמת שרשרת מודפסת בתלת מימד, ומטבע הוצמד לבסיס ליציבות נוספת. היבט מבטיח נוסף בעיצוב של SpeeChin הוא הפרטיות. בניגוד ל-Snap's Spectacles או משקפי Ray-Ban Stories של פייסבוק שמתעדים הכל (וכל אדם) בתצוגת המצלמה, כיוון התלייה של SpeeChin מתאים רק לתיעוד הבעות הפנים של האדם העונד את השרשרת החכמה. במבחנים, SpeeChin זיהה פקודות אנגלית ומנדרינית בדיוק של 90.5% ו-91.6%, למרות שהדיוק ירד כשהנבדק הלך. אין מילה אם ג'אנג מצא שותף למסחר את הרעיון, או אם הפרויקט עומד להיות בקוד פתוח, אבל מַצלֵמָהמכשיר מבוסס הוא גאוני ויהנה מההפצה רחבה.

מָקוֹר: קורנל

אחות אומרת ש-Apple Watch הזהיר מפני בעיות בריאות חודשים לפני האבחנה

על הסופר