
arXivの新着から、音声合成に関する論文をAIが要約・紹介します。要約には誤りが含まれる可能性があります。正確な内容は原文をご確認ください。開発者は @jojonki
Joined August 2026
- Tweets129
- Following1
- Followers69
- Likes12
MedSonor: Learning to Use Clinical Audio in Medical LLMs
MedSonorは医療知識・音声対話・臨床音声理解を統合した医療対話モデルで、7つの医療ベンチマークで汎用音声言語モデルを上回ったと報告している。
arxiv.org/abs/2610.22405
Too Emotional to Be Fake? Intra-Utterance Emotion Shifts Expose Failure Modes in Speech Deepfake Detectors
感情変化を含む合成音声がディープフェイク検出器の失敗を引き起こすことを示したベンチマーク研究。
arxiv.org/abs/2610.22832
DriftTTS: One-stage Single Step Text-to-Speech via Generative Drifting
DriftTTSは生成ドリフティングを音声合成に初適用し、単一デコーダ呼び出しでマルチステップ相当の品質を実現する手法である。
arxiv.org/abs/2610.22960
Adaptive Duration Model for Text Speech Alignment
本論文は、テキストから音素レベルの継続時間分布を予測する新しい枠組みを提案し、ゼロショットTTSの頑健性を向上させた。
arxiv.org/abs/2507.22612
AT-ADD: A Benchmark and Challenge for Robust and All-Type Audio Deepfake Detection
音声・環境音・歌声・音楽を含む全タイプの音声ディープフェイク検出ベンチマークAT-ADDを提案し、チャレンジ結果を分析した論文。
arxiv.org/abs/2608.23437
PEDBench: Can Speech Models Detect Phonetic Errors?
音素誤り検出のベンチマークPEDBenchを提案し、13の音声モデルが音素誤りを信頼性高く検出できないことを示した。
arxiv.org/abs/2610.20830
Zero-Shot Spoken Language Understanding with SLAM-ASR: What Do Monolingual ASR-Trained Linear Projectors Enable?
📌 EMNLP 2026
SLAM-ASRフレームワークにおいて、単言語ASR訓練済み線形プロジェクタがゼロショット音声言語理解にどの程度寄与するかを調査した。
arxiv.org/abs/2610.20844
Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics
17のニューラル音声コーデックを7つの特性で分析し、特性ごとに符号化されるコードブックの深さが異なることを示した。
arxiv.org/abs/2610.20955
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
CoSTAは、音声対話モデルの生成と合成のトークン空間を分離し、圧縮表現を導入することで、品質を保ちつつ生成速度とスループットを向上させるフレームワークである。
arxiv.org/abs/2610.21143
VoxTurn: Answering Several Turn-Taking Questions in One Pass with One Model
VoxTurnは、複数のターンテイキング判断を1回のフォワードパスで行う0.8Bの音声LLMである。
arxiv.org/abs/2610.21150
Full-Duplex Interaction with Speech, Expressions and Gestures
ELLSA 2は音声・表情・ジェスチャーを統合した全二重対話モデルで、音声対話とストリーミングジェスチャー生成を同時最適化する。
arxiv.org/abs/2610.21452
ELARSpeech: A 30K-Hour Dataset Across 675 Underrepresented Languages for Long-Tail Multilingual Speech Technologies
ELARSpeechは675の少数言語にわたる30,202時間の音声データセットで、ASRとTTSの拡張を支援する。
arxiv.org/abs/2610.19388
Long-Prompt Zero-Shot TTS: Benchmarking Prosody Reproduction Beyond Voice Cloning
長い音声プロンプトを用いて話者固有の韻律を再現するゼロショットTTSタスクとベンチマークLP-TTS-Benchを提案し、参照システムLPTTSで韻律次元の改善を示した。
arxiv.org/abs/2610.19774
Noise-Aware Lombard Speech Synthesis via Flow-GRPO for Intelligibility Optimization
📌 TASLP
NIL-TTSは、FiLMとFlow-GRPOを用いて雑音に適応するLombard音声を合成し、明瞭度を向上させるフレームワークである。
arxiv.org/abs/2610.20181
Speech event detector: Timestamped detection of non-verbal vocalizations and background sounds for rich speech transcription
非言語音声と背景音を40msごとに54クラスで検出し、タイムスタンプ付きイベントとしてWhisper転写に統合する5.
arxiv.org/abs/2610.14232
GAMW: Generation-Aware Mel-Domain Watermarking for TTS Traceability
TTS生成過程に透かしを統合し、複合摂動下でも高い復号精度を実現するGAMWを提案した。
arxiv.org/abs/2610.15082
Prime-EVC: One-Step Expressive Emotional Voice Conversion via Emotion-Primed Flow Matching
感情プライミング付きフローマッチングにより、1ステップで高品質な感情音声変換を実現するPrime-EVCを提案。
arxiv.org/abs/2610.16036
The NVVSpeech Challenge 2026: Overview and Lessons for Speech Understanding and Generation with Nonverbal Vocalizations
NVVSpeech Challenge 2026の10システムを分析し、非言語発声の認識・生成における課題と評価の重要性を示した。
arxiv.org/abs/2610.16076
What Matters in Preference Post-Training of Continuous Autoregressive Speech Language Models
連続自己回帰音声言語モデルの選好後学習において、バックボーン更新がヘッドのみの適応より報酬改善に有効であり、音響サンプリングと自己回帰条件付けの両方を考慮する…
arxiv.org/abs/2610.16276
What Makes Codec Tokens Effective for Target Speaker Extraction? A Semantic-Acoustic Disentanglement Perspective
コーデックトークンを用いた目標話者抽出において、意味・音響の分離表現とタスク特化型フレームワークを提案し、dWERを改善した。
arxiv.org/abs/2610.16858