توسعه و یادگیری صوتی و تصویری

ما ابتدا تصور می کنیم که کسی از نظر صوتی و تصویری دارای پایه صفر است و هرگز دانش مربوط به پردازش سیگنال دیجیتال را یاد نگرفته است. اساس ریاضیات در سطح دبیرستان است ، اما او با توسعه C / C ++ آشنا است ، حداقل با تدوین و اشکال زدایی IDE تحت یک سیستم خاص آشنا است.

تمرکز خود را بر روی دو پروژه منبع باز ffmpeg و webRTC بگذارید و عمدتا به بخش ویدیویی ffmpeg و قسمت صوتی webRTC نگاه کنید.

اول از همه، با رمزگشایی ویدئو شروع کنید. این ساده ترین است. کد اصلی برای فراخوانی رمزگشایی ویدئویی ffmpeg فقط حدود 100 خط است. رمزگشایی ویدئو فقط نیاز به درک h.264 دارد ، 80٪ + صحنه در این قالب رمزگذاری وجود دارد ، درک اساسی H.264 sps pps NAL و سایر مفاهیم قالب فایل را درک می کند ، اصل قالب تصویر YUV را درک می کند و تبدیل YUV به RGB را درک می کند ، بنابراین می توانید رندر تصویر را انجام دهید ، می توانید به یک پخش کننده فیلم ساده برسید. (اساساً در مرحله اول)

سپس ، برای کسب اطلاعات در مورد کدگذاری ویدئو ، توصیه می شود با x264 شروع کنید ، یک تماس ساده با کد رمزگذاری x264 کمتر از 100 خط است. رمزگذاری پیچیده تر از رمزگشایی است زیرا رمزگشایی به هیچ پارامتری برای پیکربندی نیاز ندارد و رمزگذاری تعداد زیادی پارامتر دارد که باید پیکربندی شوند. در ابتدا ، فقط چند مفهوم اساسی مانند نرخ فریم ، روشهای کنترل جریان معمول ABR CRF ، GOP ، I / B را به ترتیب معنی کنید. (با رمزگذاری X264 دوباره آشنا هستید)

کدک قسمت صوتی مشابه ویدئو است. در مرحله اولیه ، فقط باید دو رمزگذار EAAC + و Silk را درک کنید ، مفاهیم کانال صدا ، میزان نمونه برداری و غیره را درک کنید و قالب فایل Wave را درک کنید. می تواند یک پخش کننده صوتی ساده باشد. (پخش کننده صوتی بسازید)

قسمت پیچیده صوتی کدک نیست ، بلکه جلوه صوتی است. به ماژول پردازش صدا در webRTC نگاهی بیندازید و مفاهیم زیر را بفهمید: بی صدا کردن NS ، AEC برای لغو اکو ، VAD با شناسایی بی صدا ، کنترل خودکار کنترل AGC و وبRTC داخلی. اگرچه الگوریتم بهترین نیست اما می تواند 90٪ از مشکلات را حل کند و ارزش یادگیری را دارد. (آموزش پردازش صوتی webrtc)

بعد از یادگیری این موضوع ، لازم است در مورد یک سوال فکر کنم ، آیا می خواهم یک مسیر مهندسی انتخاب کنم یا یک مسیر الگوریتمی. اگر یک مسیر الگوریتمی است ، پس من باید ریاضیات را یاد بگیرم. پشت پردازش سیگنال دیجیتال ، تعداد زیادی از نظریه های اساسی ریاضی قرار دارد. اگر این یک مسیر مهندسی است ، بنابراین شما باید برنامه توسعه چند پلتفرمی را یاد بگیرید ، جمع آوری ، پخش و پردازش صدا و تصویر را در چندین سیستم عامل یاد بگیرید و بهینه سازی زبان اسمبلی را در چندین سیستم عامل یاد بگیرید. (بستر های نرم افزاری مربوط)

صوتی و تصویری یک زمینه بسیار عمیق است ، و شما هرگز در طول عمر یادگیری را به پایان نخواهید رساند ، اما این زمینه این مزیت را دارد که سرعت به روزرسانی دانش نسبتاً کند است ، حذف چیزهایی که آموخته شده آسان نیست و انباشت تجربه بسیار مهم است