Як витягти характеристики з аудіосигналів для класифікації акустичної сцени?

Вступ до класифікації акустичної сцени та обробки аудіосигналу

Класифікація акустичної сцени має на меті класифікувати контекст навколишнього середовища аудіозапису, наприклад визначити, чи це парк, вулиця чи приміщення. Він має застосування в різних сферах, включаючи спостереження, аудіоіндексування та доповнену реальність. Успішна класифікація ґрунтується на виділенні інформативних характеристик із звукових сигналів.

Обробка аудіосигналу є ключовим компонентом класифікації акустичної сцени, що передбачає маніпулювання та аналіз аудіосигналів для отримання відповідної інформації. Це може включати такі завдання, як виділення ознак, зменшення шуму та розпізнавання образів.

Вилучення функцій із аудіосигналів

Вилучення ознак із аудіосигналів передбачає процес захоплення важливої ​​інформації з необроблених вхідних даних. У контексті класифікації акустичної сцени ця інформація складається з дискримінаційних атрибутів, які можуть ефективно диференціювати різні контексти середовища. Це важливо для створення надійних моделей класифікації.

1. Функції часової області

Функції часової області виводяться безпосередньо з представлення звукового сигналу в часовій області. Загальні функції часової області включають:

• Середньоквадратична енергія (RMS): Розраховується як квадратний корінь із середнього квадрата значень амплітуди за певне часове вікно, RMS енергія є мірою загального рівня сигналу.
• Швидкість переходу через нуль: вказує на швидкість, з якою сигнал змінює полярність, часто пов’язану з рівнем шуму сигналу.
• Коефіцієнти автокореляції: описує схожість сигналу з його затриманою версією, надаючи інформацію про періодичність і висоту тону.

2. Функції частотної області

Характеристики частотної області отримують після перетворення звукового сигналу в частотну область за допомогою таких методів, як перетворення Фур’є. Загальні функції частотної області включають:

• Кепстральні коефіцієнти Mel-Frequency (MFCC): використовують нелінійний інтервал частот слухової системи людини для представлення спектральної обвідної звукового сигналу.
• Спектральний центроїд: представляє центр мас спектру та надає інформацію про