هوش مصنوعی با شنیدن صدا عکس می سازد
گردو دانلود: سیستم هوش مصنوعی جدید تصاویری با دقت بالا را بر طبق کلیپ های صوتی از خیابان ها می سازد.
به گزارش گردو دانلود به نقل از نیواطلس، اکنون سیستم های هوش مصنوعی جلوه های صوتی برای تصاویر ساکن از خیابان های شهر و اماکن دیگر می سازند اما یک تکنولوژی آزمایشی جدید برعکس این پروسه را انجام می دهد. «یوهائو کانگ» و همکارانش در دانشگاه تگزاس «مدل انتشار صدا به تصویر» (Soundscape-to-Image Diffusion Model) را بر طبق مخزن داده ای از کلیپ های صوتی و تصویری ۱۰ ثانیه ای آموزش دادند. این کلیپ ها شامل تصاویر ثابت و صداهای محیطی از ویدیو های یوتیوب مربوط به خیابان های شهری و حومه ای در آمریکای شمالی، آسیا و اروپا بودند. پژوهشگران با بهره گیری از الگوریتم های یادگیری عمیق نه فقط به سیستم آموزش دادند چه اصواتی به چه آیتم هایی در تصاویر مرتبط می باشد، بلکه چه کیفیت اصواتی با محیط های بصری مطابقت دارد. بعد از تکمیل آموزش به سیستم فرمان داده شد تصاویری را فقط بر طبق صدای محیطی ضبط شده از ۱۰۰ ویدئو چشم انداز خیابان بسازد. این سیستم به ازای هر ویدئو یک عکس ساخت. در مرحله هریک از عکس ها همراه ۲ تصویر تولید شده از خیابان های دیگر به پنلی از داوران انسانی نشان داده شد و همزمان صدایی که عکس ها بر طبق آن تولید شده بودند نیز پخش گردید. هنگامیکه از داوران خواسته شد ۳ عکس در رابطه با صدای شنیده شده را شناسایی کنند، آنها با دقت متوسط ۸۰ درصد این کار را انجام دادند. همین طور هنگامیکه تصاویر تولید شده با کامپیوتر تحلیل شدند، شباهت نسبی آسمان، سرسبزی محیط و ساختمان ها نیز به شدت با نمونه هایی در ویدیو های اصلی بودند، همخوانی داشت. در حقیقت حتی در خیلی از موارد تصاویر شرایط روشنایی در منبع ویدئویی مانند آب وهوای آفتابی، ابری یا آسمان شب را نشان می داد.
منبع: gerdoodl.ir
این مطلب را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب