Диссертация (Моделирование речи на основе гармонического звукоряда для воспроизведения на разных скоростях с сохранением тембра)
Описание файла
Файл "Диссертация" внутри архива находится в папке "Моделирование речи на основе гармонического звукоряда для воспроизведения на разных скоростях с сохранением тембра". PDF-файл из архива "Моделирование речи на основе гармонического звукоряда для воспроизведения на разных скоростях с сохранением тембра", который расположен в категории "". Всё это находится в предмете "физико-математические науки" из Аспирантура и докторантура, которые можно найти в файловом архиве СПбГУ. Не смотря на прямую связь этого архива с СПбГУ, его также можно найти и в других разделах. , а ещё этот архив представляет собой кандидатскую диссертацию, поэтому ещё представлен в разделе всех диссертаций на соискание учёной степени кандидата физико-математических наук.
Просмотр PDF-файла онлайн
Текст из PDF
САНКТ–ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТНа правах рукописиМорозов Петр ДмитриевичМоделирование речи на основе гармонического звукорядадля воспроизведения на разных скоростях с сохранением тембраСпециальность 05.13.18 —математическое моделирование, численные методы и комплексы программДиссертация на соискание ученой степеникандидата физико-математических наукНаучный руководительдоктор физ.-мат. наук, доцентС.Е. МихеевСанкт–Петербург2017ОглавлениеВведение51. Актуальность темы исследования . . . .
. . . . . . . . . . . . . . . .52. Степень разработанности . . . . . . . . . . . . . . . . . . . . . . . . .83. Цель и задача диссертации . . . . . . . . . . . . . . . . . . . . . . . .114. Научная новизна . . . . . . . . . . . . . . . . . . . . . . . . . . . . .115. Теоретическая и практическая значимость . . . . . . . . . . . . . . .116. Методы исследования . . . .
. . . . . . . . . . . . . . . . . . . . . . .117. Положения, выносимые на защиту . . . . . . . . . . . . . . . . . . .118. Степень достоверности и апробация результатов . . . . . . . . . . .129. Основные идеи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121. ПРОБЛЕМА ИЗМЕНЕНИЯ СКОРОСТИ ВОСПРОИЗВЕДЕНИЯ ЦИФРОВОГО ЗВУКА С СОХРАНЕНИЕМ ТОНАЛЬНОСТИ14§1.1.
Особенности человеческой речи . . . . . . . . . . . . . . . . . . . .14§1.2. Особенности восприятия звука человеком . . . . . . . . . . . . . .16§1.3. Цифровой звук . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18§1.4. Структура WAV-файла . . . . . . . . . . . . . . . . . .
. . . . . .19§1.5. Связь преобразования Фурье с реальными гармониками . . . . .22§1.6. Вейвлетное преобразование . . . . . . . . . . . . . . . . . . . . . .26§1.7. PSOLA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30232. ЗАДАЧА ГАРМОНИЧЕСКОЙ АППРОКСИМАЦИИ32§2.1. Критерий качества . . . . . . . . . . . .
. . . . . . . . . . . . . . .32§2.2. Частотно-амплитудный детектор . . . . . . . . . . . . . . . . . . .34§2.3. Модификация частотно-амплитудного детектора . . . . . . . . . .46§2.4. Последовательная оптимизация . . . . . . . . .
. . . . . . . . . . .512.4.1. Переход к оптимизации по периодам . . . . . . . . . . . . .522.4.2. Градиентный спуск для фиксированного периода . . . . . .532.4.3. Минимизация вычислительной погрешности при градиентной оптимизации для фиксированного периода . . . . . . .542.4.4. Стабилизация фаз . .
. . . . . . . . . . . . . . . . . . . . . .572.4.5. Оптимизация периодов . . . . . . . . . . . . . . . . . . . . .583. СИНТЕЗ62§3.1. Сглаживание скачков . . . . . . . . . . . . . . . . . . . . . . . . .62§3.2. Заполнение пропущенных отсечек . . . . . . . . . . . . . . . . . .633.2.1. Квазиэрмитовы кубические сплайны. . . . .
. . . . . . . .643.2.2. Построение КЭК-сплайна . . . . . . . . . . . . . . . . . . . .653.2.3. Свойства КЭК-сплайнов . . . . . . . . . . . . . . . . . . . .663.2.4. Линейная интерполяция . . . . . . . . . . . . . . . . . . . . .683.2.5. Оптимизация дополнительных сэмплов . . .
. . . . . . . . .72§3.3. Восстановление звукового давления . . . . . . . . . . . . . . . . .764. ОПИСАНИЕ ВЫЧИСЛИТЕЛЬНОГО АЛГОРИТМА78§4.1. Анализ входного потока . . . . . . . . . . . . . . . . . . . . . . . .78§4.2. Синтез выходного потока . . . . . . . . . . . . . . . . . .
. . . . .835. ЭКСПЕРИМЕНТЫ86§5.1. Инструментарий . . . . . . . . . . . . . . . . . . . . . . . . . . . .86§5.2. Структура экспериментов . . . . . . . . . . . . . . . . . . . . . . .874§5.3. Визуализация экспериментальных результатов . . . . . . . . . . .89ЗАКЛЮЧЕНИЕ . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112Список условных обозначений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112Список литературы . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116Приложение 1. Программная реализация алгоритма NetPeriodFilling . . . . . . . 123Приложение 2. Программная реализация алгоритма PhaseShift. . . . . . . . . . . . .124Приложение 3. Программная реализация алгоритма Scanner .
. . . . . . . . . . . . . . 125Приложение 4. Программная реализация алгоритмаOptimisationOfPeriod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126Приложение 5. Программная реализация алгоритма InitialAnalysis .
. . . . . . . . 129Приложение 6. Программная реализация алгоритма RegularAnalysis . . . . . . . 131Приложение 7. Программная реализация алгоритма Averaging . . . . . . . . . . . . . 132Приложение 8. Программная реализация алгоритма Synthesis . . . . . . . . . . .
. . . 133ВВЕДЕНИЕ1. Актуальность темы исследованияСущественной проблемой на радио и телевидении является фиксированностьвремени отдельных передач. В особенности это касается размещения рекламных роликов. Высокая цена эфирного времени заставляет избегать даже секундных пауз вещания. Но при этом некоторые передачи, например такие, какпоследние известия, должны начинаться в строго фиксированное время, поэтому плавающий формат отдельных передач вступил бы в противоречие с требованием непрерывности вещания. Если для относительно длительных передачподгонка ее времени воспроизведения в заданные рамки может быть сделанане очень серьезным сокращением/увеличением контекста, то для рекламныхроликов такая подгонка весьма затруднительна. Дело в том, что планирование программы передач идет иерархически.
Вначале почасно, затем поминутно (последние известия, начало кинофильмов, авторские передачи, рекламныепаузы). Общая длительность рекламной паузы должна составлять целое количество минут, и в нее должно попасть целое количество рекламных сообщений.Поэтому стандартной длительностью радиорекламы выбирается такая, чтобыв минуте уложилось целое количество сообщений. Считается, что менее чем за15 секунд нельзя передать по радио полноценную рекламную информацию, адлящиеся более полуминуты радиоролики до конца дослушает крайне малоеколичество людей. Поэтому 15 секунд приняты на радио за время стандартнойрекламной единицы, и рекламные сообщения должны быть ей кратны. Большая часть аудиороликов в радиорекламе имеет длительность 15 и 30 секунд.56При этом при предоставлении рекламодателем ролика нестандартной длины,например, 25 секунд, либо ему будет отказано, либо будут взяты деньги как за30-секундный ролик.На телевидении в силу того, что задействуется видеоканал, минимальная длительность сообщения, которое еще воспринимается, доходит до пятисекунд.
Поэтому на телевидении приняты форматы, кратные пяти секундам: 5,10, 15, 20, 30 сек. При этом требование к длительности чрезвычайно жестко: онадолжна быть соблюдена до сотой доли секунды. Весьма распространены роликипродолжительностью 5 или 10 секунд. Они носят, как правило, динамическийхарактер, картинка в них создается отдельно от сопровождающей озвучки, иклипмейкеру приходится прилагать немалые усилия, чтобы при создании такихроликов на видеоряд была правильно наложена звукозапись.
Соответственно,озвучивающим текст диктору/актерам нередко приходится перезаписыватьсядля синхронизации аудиопотока с видео.Таким образом, проблема непрерывности передач перекладывается на плечи рекламодателей. Им приходилось (и по сей день приходится) идти на различные ухищрения: заставлять нанятых дикторов/актеров ускоренно зачитыватьрекламный текст, урезать в нем количество слов, уменьшать паузы и просто менять текст. С приходом эпохи компьютеризации и цифрового звука появилисьновые возможности подгонки рекламной длительности к требуемым значениям.Посредством программно-аппаратного вмешательства в оцифрованный исходный материал.
При этом требования к ускорению могут быть от долей процентадо десятков процентов относительно длительности оригинала.Помимо подгонки аудиопередач к заданной длительности, интерес имееттакже и вещание на повышенных в 1.5-2 раза скоростях. К этому располагаетсуществование большого количества грамотных людей, обладающих способностью чтения “про себя” со скоростью в 5-6 раз большей, чем чтение вслух.Большой практический интерес также есть и в значительном (в 1.5 и бо-7лее раза) замедлении воспроизведения.
Так, при изучении иностранного языкапользователь смог бы замедлить интересующий его участок аудиофразы длялучшего усвоения фонетических особенностей произношения или просто осознания смысла записанной речи. При этом было бы желательно сохранить тональность и интонацию диктора такими же, что и в оригинале.Также потребность в значительном замедлении имеют передачи, нацеленные на пожилых людей с проблемами в аудировании вследствие ухудшениячастотных характеристик слуха и пониженной скорости восприятия.Собственно, управление темпом воспроизведения записанного звука происходило с момента изобретения звукозаписи. В запатентованном Эдисоном фонографе темп воспроизведения задавался скоростью вращения рукоятки и выбирался таким, чтобы сохранился тембр записанного голоса или не появлялосьощутимой фальши в музыкальном воспроизведении.Последующие изобретения в области аналоговой звукозаписи были нацелены не на изменение длительности воспроизведения по отношению к записи, ана максимальную близость частотного спектра воспроизведения к спектру записи.
