Pinned Tweet
テックブログを公開しました。
「Scaling Speech AI」の下、1Bから3Bへと音声言語モデルをスケールさせた際のTTS性能へ影響を検証しました。
日本語特有の読みや表記揺れ、表現の広がりがみられるに加え、現状の課題についても整理しています。
日本語音声生成・SpeechLM・TTSに関心のある方はぜひご覧ください。
blog.dubguild.com/melte/llm-…
1B/3Bモデルの構築にあたって実施した、データ前処理・事前学習・事後学習の詳細も、今後順次公開していく予定です。
続報もお待ちいただければ幸いです。
Real-world noise makes speech tokens unstable.
We train a neural codec to recover clean speech from degraded audio through augment-and-denoise training.
Our new blog is here！！
blog.dubguild.com/melte/nois…
DubGuild retweeted
面白い記事！とても参考になります。
テックブログ事後学習編公開！
概要編、前処理編、事前学習編に続き、音声言語モデルのTTSへの事後学習に関する知見をまとめています。
blog.dubguild.com/melte/post…
・SFT＋RLによってJ-HARDのCERと話者類似度を改善
・報酬設計次第では発話が不自然に長くなり、声質がほぼ女性側へ偏る
・BF16では、vLLMとTransformers間のトークン対数確率の差がFP16の約8倍に拡大
テックブログ事後学習編公開！
概要編、前処理編、事前学習編に続き、音声言語モデルのTTSへの事後学習に関する知見をまとめています。
blog.dubguild.com/melte/post…
・SFT＋RLによってJ-HARDのCERと話者類似度を改善
・報酬設計次第では発話が不自然に長くなり、声質がほぼ女性側へ偏る
・BF16では、vLLMとTransformers間のトークン対数確率の差がFP16の約8倍に拡大
テックブログ第3弾公開！
概要編、前処理編に続き、日本語音声言語基盤モデルの事前学習に関する知見をまとめています。
・ASRとのマルチタスクより、TTSのみを学習する構成の方がTTSタスクでは高性能（1B）
・テキストデータの混合はモデル規模で効果が異なり、3Bでは10%混合が最良
是非ご覧ください！
blog.dubguild.com/melte/pret…
DubGuild is looking for exceptional talent based in Japan.
You don’t need to speak Japanese — English is enough. We also support visa and permanent residency applications, housing, and other essentials for living in Japan.
If you’re interested in building the future of Speech AI with us, please apply here:
frequent-crowley-6fb.notion.…
DubGuildは、シードラウンドの資金調達を完了いたしました。
あわせて、国家プロジェクト「GENIAC」第4期に採択されました。
調達・各種支援の累計額は約21億円となります。
加えて、音声情報処理を専門とされている名古屋大学戸田智基教授にアドバイザーとして着任いただきました。
これらを弾みに、DubGuildは「Scaling Speech AI」のミッションのもと、大規模な音声言語基盤モデルの研究開発を、よりいっそう加速させてまいります。
詳細はこちらをご覧ください。
prtimes.jp/main/html/rd/p/00…
テックブログ第2弾公開！
概要編に続き、日本語音声の前処理パイプラインを公開しました。
・faster-whisper、Sidonにおけるチャンキングの工夫と高速化
・SkyPilotによるスケールアウト
・パイプライン化による高速化
大規模な前処理を行っている方、是非ご覧ください
blog.dubguild.com/melte/prep…
DubGuildでは、1B/3Bにとどまらず、今後は8B、20Bと大規模音声言語基盤モデルをスケールさせていく予定です。
さらに、音声基盤モデルを対話や同時通訳といったタスクにチューニングも行い、実社会への応用を進めていきます。
採用ページはこちらから
→frequent-crowley-6fb.notion.…
DubGuild retweeted
TTSモデルを1Bから3Bまでスケールさせました！
よかったら読んでみてね〜
テックブログを公開しました。
「Scaling Speech AI」の下、1Bから3Bへと音声言語モデルをスケールさせた際のTTS性能へ影響を検証しました。
日本語特有の読みや表記揺れ、表現の広がりがみられるに加え、現状の課題についても整理しています。
日本語音声生成・SpeechLM・TTSに関心のある方はぜひご覧ください。
blog.dubguild.com/melte/llm-…
1B/3Bモデルの構築にあたって実施した、データ前処理・事前学習・事後学習の詳細も、今後順次公開していく予定です。
続報もお待ちいただければ幸いです。
会社HPを更新しました。
株式会社DubGuildでは、「Scaling Speech AI」を掲げ、大規模音声言語基盤モデルの開発に取り組んでいます。
会社ページはこちらから→dubguild.com/
ソフトバンク様の支援プログラム「AIFS」に関するプレスリリースはこちら→prtimes.jp/main/html/rd/p/00…