تبدیل بسته چیپس به ابزار شنود+تصاویر

این میکروفون دیداری قادر به شناسایی و بازسازی کلام قابل‌ استراق‌ سمع با تحلیل ارتعاشاتی از اقلامی مانند بسته چیپس و شیشه ضدصوتی است که 4.5 متر از دوربین فاصله دارد.

علاوه بر بسته‌بندی غذایی، دانشمندان دریافتند این الگوریتم می‌تواند سیگنال‌های شنیداری را از تصاویر ویدیویی کاغذ بسته‌بندی فویل آلومینیوم، سطح یک لیوان آب و برگ‌های گیاه بازسازی کند.

الگوریتم ابداعی با اندازه‌گیری ارتعاشات شیئی عمل می‌کند که در ویدیو ضبط شده است. درست همان طور که ویدیو می‌تواند چگونگی حرکت شخص یا شی را در داخل فریم ذخیره و بازسازی کند، تیم دانشگاه ام‌آی‌تی دریافت یک ویدیوی با پهنای باند کافی و فریم می‌تواند ارتعاشات تولیدشده توسط صدا را ضبط کند و الگوریتم نیز آن‌ها را بازسازی می‌کند. زمانی که صدا به شیئی می‌خورد، موجب مرتعش‌شدن آن می‌شود و حرکت این ارتعاش سیگنال دیداری بسیار ظریفی ایجاد می‌کند که معمولا برای چشم غیرمسلح نامرئی است.

توانایی تبدیل اشیا به میکروفون‌های دیداری دارای کارکردهای زیادی در حوزه اطلاعات، علم اعمال قانون و عملیات نظامی است . تیم علمی معتقد است این فناوری می‌تواند دارای کاربردهای پزشکی مانند اندازه‌گیری نبض یک نوزاد تازه‌متولدشده با استفاده از اسکن ویدیویی از مچش باشد.

یافته‌های تیم علمی طی نشست سنگاپور در سال جاری میلادی ارائه خواهد شد.

 بازسازی صدا از تصویر ویدیویی یک برگ