Теги
Компьютерный синтез и клонирование речи
- Подробности
- июля 12, 2014
- Просмотров: 48144
Компьютерный синтез и клонирование речи
От голоса робота - к персональному клону голоса человека
- Подробности
- июля 15, 2014
- Просмотров: 10156
Из всего живого только человека Создатель наградил даром речи, благодаря чему ему удалось столь значительно развить свои интеллектуальные способности и, по мнению многих философов, стать человеку человеком. Осмелимся предположить, что нечто подобное происходит на наших глазах и с компьютером, интенсивно овладевающим широким спектром речевых технологий от работы со звуковыми файлами до синтеза, распознавания и понимания речи. В этой статье мы коснёмся лишь одного аспекта речевых технологий, а именно, синтеза речи, как наиболее близкого её авторам.
Общие сведения о языке и речи
- Подробности
- июля 15, 2014
- Просмотров: 14579
Общие сведения о языке и речи Язык определяется как совокупность фонетических, лексических и грамматических средств для выражения мыслей и чувств человека. Язык образует органическое единство с мышлением и служит важнейшим средством общения между людьми. Национальный язык представляет собой явление социальное и связан в своём возникновении и развитии с конкретным коллективом (народом).
Система фонем русского языка
- Подробности
- июля 16, 2014
- Просмотров: 32283
Под фонемой в лингвистике понимается наименьшая смыслоразличительная единица речи [19] . Вопрос о существовании каждой отдельной фонемы решается положительно, если она участвует в смысловом противопоставлении слов языка. Другими словами, данный звук является фонемой, если найдутся слова, различающиеся только этим звуком. Например, фонемы /м/ и /в/ существуют, поскольку существуют слова МОЛ и ВОЛ.
Оттенки фонем и система аллофонов русской речи
- Подробности
- июля 16, 2014
- Просмотров: 15152
Описанные выше артикуляторные признаки места и способа образования характеризуют систему фонем русского языка в статическом виде. В потоке речи в зависимости от конкретных условий акустико-артикуляторные характеристики фонем изменяются, что 30 приводит к появлению оттенков фонем, или аллофонов. Аллофоны подразделяются на позиционные и комбинаторные.
Особенности преобразования «буква-фонема» (ПБФ) для русского языка
- Подробности
- июля 18, 2014
- Просмотров: 7127
Орфографическое письмо по своей природе консервативно и отражает, как правило, произносительную форму языка в период становления письменности, в отличие от фонематической записи, которая должна отражать норму произношения, сложившуюся к настоящему времени.
Просодические характеристики русской речи
- Подробности
- июля 18, 2014
- Просмотров: 3747
Интонация синтагмы складывается последовательным соединением начальной, серединной и конечной акцентных единиц, на каждой из которых в соответствии с требуемым интонационным типом формируются необходимые контуры мелодики, ритмики и энергетики.
Акустические характеристики речи
- Подробности
- июля 18, 2014
- Просмотров: 11796
Основы акустической теории речеобразования достаточно подробно изложены в монографиях Г. Фанта и Д. Фланагана. Схематическое изображение генерации речи человеком приведено на рис. 1.7.
Информационная и модуляционная структура речевого сигнала
- Подробности
- июля 18, 2014
- Просмотров: 8199
Общепризнано, что речевой сигнал является по своей природе полиинформативным, что проявляется в многообразии типов информации, передаваемой с помощью речи.
Методы персонализированного синтеза речевого сигнала
- Подробности
- июля 19, 2014
- Просмотров: 4094
В данной главе рассматриваются принципиальные различия в методах обработки текста и генерации речевого сигнала, важные с точки зрения передачи индивидуальности голоса и речи.
Основные характеристики артикуляторного метода синтеза речи по тексту
- Подробности
- июля 19, 2014
- Просмотров: 5175
Исторически первым получил развитие артикуляторный метод, использующий физическую модель, основанную на детальном описании физиологии речеобразования.
Основные характеристики формантного метода синтеза речи по тексту
- Подробности
- июля 19, 2014
- Просмотров: 6418
При формантном методе, в отличие от артикуляторного, моделируются не физиологические процессы образования речи, а результат этих процессов: акустические характеристики речевой волны.
Основные характеристики компиляционного метода синтеза речи по тексту
- Подробности
- июля 19, 2014
- Просмотров: 5604
Основным отличием компиляционного, или иначе конкатенативного метода, от двух описанных выше является использование при синтезе речи элементарных отрезков естественной речевой волны.
Основные характеристики корпусного метода синтеза речи по тексту
- Подробности
- июля 20, 2014
- Просмотров: 3395
Последний из рассматриваемых подходов – корпусный – так же, как и компиляционный, использует БД естественной речи.
Выбор метода синтеза речи по тексту для передачи индивидуальности голоса и манеры чтения
- Подробности
- июля 20, 2014
- Просмотров: 3401
Особенности различных методов синтеза речи по тексту, показанные в разделах 2.1.1 – 2.1.4, позволяют утверждать, что наиболее подходящими для передачи индивидуальных характеристик речи являются компиляционный и корпусный методы синтеза.
Методы моделирования просодических характеристик речи
- Подробности
- июля 20, 2014
- Просмотров: 3196
Просодика играет важную роль как при восприятии смысла речи, так и при восприятии индивидуальности голоса и дикции личности.
Автосегментная просодическая модель
- Подробности
- июля 20, 2014
- Просмотров: 3311
АМ-модель представляет интонацию как линейную последовательность уровней основного тона.
Просодическая модель IPO
- Подробности
- июля 20, 2014
- Просмотров: 3517
IPO-модель, так же, как и АМ-модель, представляет интонацию как последовательность дискретных событий.
Суперпозиционная просодическая модель
- Подробности
- июля 20, 2014
- Просмотров: 3125
СП-модель основана на физиологической модели речеобразования, объединенной с иерархической теорией просодической фонологии, и представляет интонацию как последовательность событий с перекрывающимися областями.
Непрерывная параметрическая просодическая модель
- Подробности
- июля 20, 2014
- Просмотров: 2980
НП-модель интерпретирует частоту основного тона в акустической области, описывая интонацию в терминах движения F0 во времени. Одной из наиболее удачных реализаций НП-моделей является модель Tilt.
Просодическая модель портретов акцентных единиц
- Подробности
- июля 20, 2014
- Просмотров: 3637
ПАЕ-модель основана на представлении интонации фразы последовательностью просодических портретов акцентных единиц (ПАЕ).
Методы выбора базовых речевых единиц для синтеза речи
- Подробности
- июля 21, 2014
- Просмотров: 4645
В процессе синтеза речи по тексту тип базовых речевых единиц влияет на формирование текстовых и речевых корпусов, на методы сегментации и маркировки сигнала и на степень сохранения индивидуальных речевых характеристик в персонализированной речевой БД.
Методы формирования речевых и текстовых корпусов для создания индивидуализированных речевых баз данных
- Подробности
- июля 21, 2014
- Просмотров: 6052
Обоснованное формирование текстового и речевого корпусов, наряду с лингвистически обоснованной классификацией и выбором базовых сегментов для синтеза речи, во многом определяет степень разборчивости и естественности синтезируемой речи.
Методы сегментации и маркировки естественного речевого сигнала
- Подробности
- июля 21, 2014
- Просмотров: 5760
Сегментация речевого сигнала на фонетические элементы применяется в различных областях речевых технологий, в частности, в системах синтеза речи, в фонемно-ориентированных системах распознавания речи, в системах идентификации и верификации диктора.
Экспериментальные исследования фонетико-акустических и просодических характеристик речи
- Подробности
- июля 21, 2014
- Просмотров: 2890
Данная глава посвящена описанию экспериментальных исследований, направленных на выявление особенностей реализации фонетико-акустических и просодических явлений в естественной речи различных дикторов.
Исследование внутрисловных и межсловных фонетико-акустических явлений в русской речи
- Подробности
- июля 21, 2014
- Просмотров: 2832
Современные требования, предъявляемые к синтезаторам речи по тексту, делают актуальной задачу высококачественного воспроизведения слитной речи не только для полного стиля речи, но и для стиля, близкого к разговорному.
Методика эксперимента
- Подробности
- июля 21, 2014
- Просмотров: 2732
Для проведения исследования был создан специальный набор отдельных слов и набор пар слов, которые должны наиболее полно отображать внутрисловные и межсловные фонетико-акустические явления.
Гласные в сочетаниях «гласная-гласная»
- Подробности
- июля 21, 2014
- Просмотров: 3545
В отличие от внутрисловной позиции, где сочетания «гласная-гласная» встречаются достаточно редко, в позиции на стыках слов это явление проявляется весьма часто (например, на стыках с часто употребляемыми служебными словами: на, о, и, не и др.).
Гласные в сочетаниях «согласная – гласная», «гласная - согласная»
- Подробности
- июля 25, 2014
- Просмотров: 3717
На рис. 3.3 приведены примеры реализации акустических характеристик гласной, следующей после согласной, внутри слова (а, в) и на стыке двух знаменательных слов (б, г).
Акустические характеристики согласных
- Подробности
- июля 25, 2014
- Просмотров: 3197
Как показали исследования, акустические характеристики согласных внутри и на стыках слов различаются, в отличие от гласных, в значительно меньшей степени, так что межсловный переход не приводит к появлению сколько-нибудь значимых для восприятия специфических аллофонов.
Исследование фонетико-акустических особенностей сегментации последовательности слов на слоги
- Подробности
- июля 28, 2014
- Просмотров: 3598
С точки зрения образования слог представляет собой звук или несколько звуков, произносимых одним выдыхательным толчком.
Исследование межъязыковых и междикторских различий просодических характеристик речи
- Подробности
- июля 28, 2014
- Просмотров: 2839
Исследование проведено в рамках создания многоголосой системы синтеза речи по тексту на славянских языках.
Методика создания мелодических портретов акцентных единиц
- Подробности
- июля 28, 2014
- Просмотров: 3357
Для создания речевого материала нескольким русскоязычным и польск язычным дикторам предлагалось начитать тексты приблизительно одинакового научного содержания.
Результаты исследования межъязыковых различий
- Подробности
- августа 07, 2014
- Просмотров: 2812
Специфика исследуемого интонационного стиля – чтение научного текста – такова, что главное внимание было уделено наиболее «массовым» явлениям в речи – интонационным типам незавершённости и завершённости.
Результаты исследования междикторских различий
- Подробности
- августа 07, 2014
- Просмотров: 2918
Изображенные на рис. 3.16 интонационные портреты получены на базе анализа фонограмм чтения описанных выше текстов 3-мя русскоязычными и 3-мя польскоязычными дикторами.
Исследование персональных особенностей синтагматического членения речи
- Подробности
- августа 07, 2014
- Просмотров: 2893
Под синтагмой, как уже было сказано ранее, понимаются элементы фразы, которые обладают определенной самостоятельностью, а также определенной ритмической и мелодической структурой, и которые допускают некоторую паузу после того, как они были произнесены.
Методика эксперимента
- Подробности
- августа 07, 2014
- Просмотров: 2686
Проведение эксперимента осуществляется в несколько этапов.
Статистические характеристики синтагматического членения
- Подробности
- августа 07, 2014
- Просмотров: 3319
Статистическая обработка результатов экспериментальных исследований фонограмм речи проводилась с целью получения некоторых количественных характеристик, полезных с точки зрения персонализации синтагматического членения синтезируемой речи.
Обсуждение результатов эксперимента
- Подробности
- августа 13, 2014
- Просмотров: 3312
Приведенные на рисунках 3.23-3.25 статистические характеристики особенностей синтагматического членения устной речи для 3-х дикторов показывают, что речь диктора Ю. Сенкевича обладает ярко выраженными отличиями от речи 2-х других дикторов.
Компьютерная модель мультиволнового синтеза речи по тексту
- Подробности
- августа 13, 2014
- Просмотров: 2847
Описываемая в данной главе компьютерная модель синтеза речи базируется на результатах многолетних исследований авторов по созданию лингво-акустических основ синтеза речи по тексту.
Структура синтезатора речи по тексту
- Подробности
- августа 13, 2014
- Просмотров: 4192
Синтез устной речи по тексту осуществляется на основе лексико-грамматического анализа входного текста путём моделирования процессов речеобразования с учётом правил произношения звуков и интонирования, свойственных данному языку.
Текстовый процессор
- Подробности
- августа 13, 2014
- Просмотров: 2926
Текстовый процессор (рис. 4.2) включает два основных блока, которые поддерживаются соответствующими базами данных, словарями и правилами.
Блок предварительной обработки
- Подробности
- августа 13, 2014
- Просмотров: 4347
Структура блока предварительной обработки показана на рис. 4.3.
Блок морфологической и акцентной маркировки слов
- Подробности
- августа 13, 2014
- Просмотров: 6302
Структура блока морфо-акцентной маркировки слов представлена на рис.4.5.
Просодический процессор
- Подробности
- августа 13, 2014
- Просмотров: 4173
Синтез речи по тексту предполагает наличие автоматической процедуры формирования текущих контуров мелодии, силы звука, фонемной длительности и длительности пауз на основе анализа определенных свойств входного текста и его просодической разметки.
Блок членения текста на предложения, пунктационные и лексические синтагмы
- Подробности
- августа 13, 2014
- Просмотров: 7017
Структура блока членения входного текста на предложения, пунктуационные и лексические синтагмы представлена на рис. 4.9.
Блок членения ПС и ЛС на синтаксические синтагмы и их разметка на акцентные единицы
- Подробности
- августа 13, 2014
- Просмотров: 4491
Даже после разбиения предложения на ПС и ЛС их длина может оказаться слишком большой.
Блок маркировки интонационного типа синтагм
- Подробности
- августа 13, 2014
- Просмотров: 5608
Структура блока интонационной маркировки синтагм в предложении представлена на рис. 4.10.
Фонетический процессор
- Подробности
- августа 14, 2014
- Просмотров: 3382
Задачей фонетического процессора является преобразование орфографического текста в последовательность аллофонов, которая используется на этапе акустической обработки при синтезе речевого сигнала.
Блок преобразования слов – фонетических исключений
- Подробности
- августа 14, 2014
- Просмотров: 2874
На вход процессора подаётся орфографический текст синтагмы с пометами словесных ударений и границ акцентных единиц.
Блок преобразования буква-фонема
- Подробности
- августа 14, 2014
- Просмотров: 5053
На следующем этапе по стандартным правилам осуществляется преобразование буква – фонема, учитывающее произносительные особенности для русского языка.
Блок преобразования фонема-аллофон
- Подробности
- августа 14, 2014
- Просмотров: 6790
Преобразование фонема-аллофон осуществляется в два этапа. На первом этапе происходит преобразование фонем в позиционные аллофоны, на втором – преобразование позиционных аллофонов в позиционно-комбинаторные.
Акустический процессор
- Подробности
- августа 14, 2014
- Просмотров: 2820
Общая структура акустического процессора представлена на рис. 4.15.
Блок синтеза акустико-просодических характеристик речевого сигнала
- Подробности
- августа 14, 2014
- Просмотров: 3851
Функциональная схема блока синтеза просодических характеристик речи представлена на рис. 4.16.
Блок синтеза акустико-фонетических характеристик речевого сигнала
- Подробности
- августа 14, 2014
- Просмотров: 3988
Структура блока синтеза акустико-фонетических характеристик речевого сигнала представлена на рис. 4.18.
Алгоритм просодической обработки речевого сигнала в акустическом процессоре
- Подробности
- августа 14, 2014
- Просмотров: 4398
В соответствии с текстом текущей синтагмы из БД звуковых волн выбирается требуемая последовательность аллофонов и (или) мультифонов, осуществляется их последовательное соединение (конкатенация).
Функциональная схема системы
- Подробности
- августа 16, 2014
- Просмотров: 4173
Функциональная схема, входные и выходные данные, взаимодействие блоков системы синтеза речи представлены на рис 4.35. В системе реализованы описанные выше алгоритмы обработки текста и речевого сигнала.
Пользовательский интерфейс системы «Мультифон»
- Подробности
- августа 16, 2014
- Просмотров: 2888
Пользовательский интерфейс системы «Мультифон» (рис. 4.36) включает следующие блоки:
Оценка разборчивости синтезированной речи
- Подробности
- августа 16, 2014
- Просмотров: 4002
Для оценки разборчивости синтезируемой речи решаются следующие задачи:
Компьютерное клонирование индивидуальных характеристик речи
- Подробности
- августа 16, 2014
- Просмотров: 3031
Данная глава посвящена вопросам компьютерной реализации технологии клонирования индивидуальных характеристик в системе синтеза речи по тексту, базирующейся на теоретических и экспериментальных результатах, описанных в предыдущих главах.
Факторы вариативности речевого сигнала
- Подробности
- августа 16, 2014
- Просмотров: 4336
Устная речь имеет двойственную природу: семантическую и акустическую. С одной стороны, она является результатом интеллектуальной деятельности говорящего, использующего средства языка для общения с другими членами данного языкового коллектива.
Основные этапы компьютерной технологии клонирования фонетико-акустических характеристик речи
- Подробности
- августа 16, 2014
- Просмотров: 3095
К основным этапам реализации компьютерной технологии клонирования речи следует отнести следующие:
Выбор и подготовка текстовых и речевых корпусов
- Подробности
- августа 16, 2014
- Просмотров: 3471
Формирование корпусов должно удовлетворять следующим основным требованиям:
Разметка речевого корпуса на фонетические и просодические сегменты
- Подробности
- августа 16, 2014
- Просмотров: 5788
В основу классификации речевых сегментов положено понятие аллофона – позиционного и комбинаторного оттенка фонемы.
Автоматическая сегментация и маркировка речевого сигнала
- Подробности
- августа 18, 2014
- Просмотров: 4570
В разделе 2.5 проанализированы существующие методы автоматической сегментации и маркировки речевого сигнала и обоснован выбор метода анализа через синтез с использованием математического аппарата динамического программирования (ДП-метод).
Создание оптимального набора элементов компиляции
- Подробности
- августа 18, 2014
- Просмотров: 2834
В результате работы автоматической системы сегментации и маркировки речевого корпуса генерируются множественные наборы описанных выше фонетических сегментов – аллофонов и мультифонов.
Алгоритмы автоматического создания БД фонетических элементов компиляции
- Подробности
- августа 18, 2014
- Просмотров: 2817
Как уже было отмечено в разделе 5.2.4, процесс создания БД элементов компиляции реализуется с использованием следующих процедур:
Алгоритмы «отсекающего отбора» речевых сегментов
- Подробности
- августа 18, 2014
- Просмотров: 2917
Задача отбора речевых сегментов возникает по следующим причинам:
«Селекция» речевых сегментов
- Подробности
- августа 18, 2014
- Просмотров: 2826
Количество экземпляров одного и того же фонетического сегмента, прошедших операцию «отсекающий отбор», зависит от исходного количества таких экземпляров в корпусе, от качества их произношения диктором и от точности аллофонной разметки.
«Диагностика» и «коррекция» сегментов
- Подробности
- августа 18, 2014
- Просмотров: 2760
Использование создаваемых сегментов в качестве элементов компиляции при персонализированном синтезе речи по тексту накладывает требование особой точности, прецизионности разметки.
«Размножение» элементов компиляции
- Подробности
- августа 18, 2014
- Просмотров: 2690
При «размножении» элементов компиляции учитывается известный факт [183] идентичности слухового восприятия аллофонов некоторых гласных русской речи в безударных позициях, а именно:
Функциональная схема системы «ФоноКлонатор»
- Подробности
- августа 18, 2014
- Просмотров: 3248
Функциональная схема, входные и выходные данные, взаимодействие блоков системы представлены на рис 5.6. В системе реализованы описанные выше этапы создания БД элементов компиляции.
Пользовательский интерфейс системы «ФоноКлонатор»
- Подробности
- августа 18, 2014
- Просмотров: 3336
Пользовательский интерфейс системы «ФоноКлонатор» (рис. 5.7) включает следующие основные блоки:
Результаты практического использования системы «ФоноКлонатор»
- Подробности
- августа 20, 2014
- Просмотров: 2768
Система «ФоноКлонатор» использовалась для получения компьютерных клонов голосов пяти дикторов: трёх женщин и двух мужчин.
Функциональная схема и алгоритмы работы системы
- Подробности
- августа 20, 2014
- Просмотров: 4481
Функциональная схема, входные и выходные данные, взаимодействие блоков системы представлены на рисунке.
Пользовательский интерфейс системы «ИнтоКлонатор»
- Подробности
- августа 20, 2014
- Просмотров: 2604
Пользовательский интерфейс системы «ИнтоКлонатор» (рис. 5.19) включает следующие блоки:
Результаты практического использования системы «ИнтоКлонатор»
- Подробности
- августа 20, 2014
- Просмотров: 2638
Система «ИнтоКлонатор» работает на базе специально разработанного текстового корпуса, включающего «мини-текст» для создания основного набора просодических портретов и «макси-тексты» для создания расширенного набора просодических портретов русской речи (см. Приложение 1).
Оценка правдоподобия синтезированного речевого клона
- Подробности
- августа 20, 2014
- Просмотров: 3951
Для оценки правдоподобия синтезированного речевого клона решаются следующие задачи:
Последние
Отзывы о компании vps-хостинга Serv-tech
Какие аксессуары нужны для экшн-камеры GoPro
7 тенденций веб-дизайна на 2023 год
Обзор камеры iPhone 14 Pro: маленький шаг, огромный скачок
