לכידה ושחזור של פנים אנושיות והבעותיהן בזמן אמת זו כבר לא יכולת השמורה רק לסרטי מדע בידיוני או מעבדות מחקר. בשנים האחרונות נחשפנו לכמה טכנולוגיות ביתיות שמסוגלות להתמודד עם האתגר ברמות שונות של הצלחה. מצלמות יותר פשוטות מהקינקט, כאלה שמשולבות במחשבים ניידים, גויסו כבר לפני שלוש שנים כדי ללכוד הבעות פנים של שחקנים ולתרגם אותן אל פני הדמויות שהם מגלמים בעולמות משחק המוניים כמו זה של EverQuest 2, שם תקשורת בין שחקנים היא מעמודי התווך של החוויה. שם, המעבר מקול בלבד ומבחר הבעות מצומצם לטווח מלא של הבעות אנושיות, היא צעד משמעותי קדימה. אפילו מצלמות טלפון חכם כבר נמצאות בדרכן לתמיכה ביכולות ניתוח עומק משוכללות.
לאור האמור לעיל, בניית דגם תלת-ממד מפורט של פני המשתמש בשלושים עדכונים לשניה על מחשב אישי, כפי שעשו באוניברסיטת דרום קליפורניה, הוא לא חידוש מזהיר בפני עצמו. ברם, העניין בפיתוח החדש מגיע מהבעיה אותה לקחו על עצמם החוקרים לפתור, והיא – איך ללכוד את הבעות פניו של המשתמש כאשר החלק העליון של הפנים מכוסה כמעט לחלוטין במשקפי מציאות מדומה.
אם המציאות המקיפה שמבטיחים לנו מוצרים כמו האוקולוס Rift או מוצרים מתחרים, כמו פרוייקט מורפיאוס של סוני ו-SteamVR של Valve אכן תתפוס את השוק ההמוני ותהפוך בשנים הבאות לדבר הקרוב ביותר שיש לנו לכניסה פיזית אל המרחב הקיברנטי, תצטרך להימצא דרך ללכוד גם את חלקי פניו של המשתמש שמכוסים על ידי הקסדה.
הדרך שמציעים אנשי אוניברסיטת דרום קליפורניה מבוססת על אלגוריתם שיודע לשלב בין מידע שהוא מקבל ממצלמת עומק, האחראית לקריאת החלקים הגלויים לאור, לבין מידע מחיישני מגע המספקים ביומטריקה מאזורי הפנים המכוסים. החוקרים חיברו מצלמת תלת-ממד סטנדרטית של אינטל לאוקולוס כדי שתספק את המחצית האופטית של המידע, ובעבור המחצית השניה שילבו בריפוד של משקפי המציאות המדומה שמונה חיישנים.
אלה קוראים את עוצמת המתיחה של עור הפנים בנקודות בו הם נמצאים במגע איתו וכך יכולים להשלים את המידע שמקבל המחשב לגבי תנועות עיניים, גבות ומצח. כאשר מוסיפים לשני מקורות המידע האלה, שמסתמכים זה על זה כדי ליצור תמונת פנים מדויקת יותר, כמו גם את היכולת של האוקולוס לעקוב במדויק אחר תנועות ראש, מקבלים מערכת שמסוגלת ליצור דגם פנים ממוחשב בדרגת פירוט וחיות גבוהה. השיער שלנו יצטרך בשלב זה להסתפק באיכות הדמיה סמלית.
