@4wavetech

音声合成を勉強しています。歌声合成に特に興味があります。音声合成に関わる全ての人に尊敬と感謝を。業界の外の人ですが、絡んでくれると喜びます。

github.com/wavtechyukky
Joined February 2022
  • Tweets1.1K
  • Following385
  • Followers641
188Media
歌声合成用のF0モデルを公開しました！ ・楽譜情報不要で、音声と音素ラベルのみから学習可能です。 ・抑揚とビブラートを別々に学習・生成するので、抑揚とビブラートの強さをそれぞれ調節できます。 ・リポジトリ内にCLIベースのSVSを内包しており、MusicXMLで配布ウェイトからすぐ生成を試せます。
2
20
1
85
9,771
調声パネルの動作。色んなソフトを参考にした。実際に調声やってる人の意見を聞きたいところだが…。
1
3
27
945
完全にCPUで駆動する前提で作っていたけれど、GPU環境ではGPU使ったライブラリに比べた遅さが気になってきますね。GPUで使うためのガイドなどがあっても良かったかもと反省…。
しまじろう@はかせちゃれんじ@shimajiroxyzOct 19
ソラミミックビデオで使っている、VOICEVOXとPrettyPitchを組み合わせて、いい感じに歌声合成する方法について記事にしました！ 【歌声合成】VOICEVOXの苦手音域をPrettyPitchでカバーする qiita.com/shimajiroxyz/items… #Qiita

【歌声合成】VOICEVOXの苦手音域をPrettyPitchでカバーする - Qiita

背景 歌詞やメロディから動画を生成するSoramimic Videoで、VOICEVOXの歌声合成を使っています。VOICEVOXはライセンス面で利用しやすく、環境構築も簡単で、歌声の品質も気に入っています。 一方、実際にいろいろな曲を歌わせると、音域によって音程が外れた...

qiita.com
2
6
911
【ごあいさつ】 この度「株式会社神楽音楽出版」という会社を設立し、2007年から個人で行っていた業務のほとんどを今後は新会社で承りたいと思います！ 基本的には何も変わらないので、末永くよろしくお願い致します。サイトも見て欲しいな↓ kagura-music.jp
🪈作曲家🪗 中迫酒菜 Nakasako Sakana
@Nakazako22h
初任給が振り込まれた！ （37にして人生初の給料です！）
11
84
2
521
20,322
GTSinger教師データに追加したらむしろ悪化した。音質以前に指定の音素を発音しなくなった。あれ絶対音素ラベリング適当やって…。
ゆっきー@音声合成@4wavetechOct 19
韓国語の多話者音響モデル作ってるが、男性の方はそこそこ良さそうなのに女性の方の発音が悪い…。5人に増やして回してみてるけど追加データの音質が良くないから改善の望み薄かもしれない。いい韓国語モデルを作ってみたいのだが…。
1
10
850
韓国語の多話者音響モデル作ってるが、男性の方はそこそこ良さそうなのに女性の方の発音が悪い…。5人に増やして回してみてるけど追加データの音質が良くないから改善の望み薄かもしれない。いい韓国語モデルを作ってみたいのだが…。
1
1
1
9
1,582
自作SVSの進捗。CPUでも軽く、高速にブラウザで動作します。GitHub Pageから無料で開放する予定です。パラメータのカーブによる調声やAIリテイクなど、高度な機能を備えています。そして何より、独自のF0モデルや音響モデルにより、デフォルトでもかなり歌が上手いです。興味を持っていただければ…！
2
23
1
205
9,760
配色自由に変えれるようにしたけど、なんかどれもダサい気がするんですよね…。デザインセンスくれ
619
データセットの内容たいして確認せずに英語の多話者音響モデル作ったらGTも生成結果も音質が酷かった…。とはいえ研究用途に使えるだけコーパスの製作者の方には感謝です。綺麗な音のデータセットが欲しいが、ひとまずちゃんと英語を喋れそうだとは言えそう(GT→fakeの順に再生)
1
3
13
876
Claudeに「こんな感じがいいな」ってSynthVのスクショ渡したら、かなりアカン感じの叩き台を出してきた。ほぼTypeScriptで作られていて、Webページとして公開できるように作る予定です。
2
5
101
11,152
LeapSinger色々調整して全体的に公開版より話者再現性が良くなった(比較されてるdecay_15も公開版より良いやつ)。子音の発音はまだ改良したいけど来週には更新できると思う。
10
450
16stepの教師モデルを蒸留して、1step、GANなしでほぼ同じ結果が出せるのが分かった。melの周期的成分に少しドット欠けみたいなのが入るだけで音質悪くなるんで、x_tのノイズの強度や周期的成分の形状を吟味した。(やっぱmelって特徴量として微妙なんですかね…)
13
662
LeapSingerのハイパーパラメータ等は適当に決めてたので大量にA/Bテストをしてる。ボコーダーと違って一回の学習が速いのが救い
1
12
753
不満だった声質の再現性は少し改善できそうだと思う。x_tに十分なエントロピーを与えるとGANなしでも人間っぽいmelになってきた。子音の明瞭さに不満がまだ残っています…。
203
ゆっきー@音声合成 retweeted
탄산소다수/ソーダすぅ@SODAsodasooOct 15
#SODAsoo_UTAU LeapSinger라는 최신 AI SVS 엔진을 제 데이터로 훈련시켜봤어요 (5개 스타일, 118분 분량, 9000스텝) 훈련 스텝도 짧고 데이터가 거의 자동라벨링 돌린 거라 잡음 약간에 자음이 씹히는데 디프싱어에 비해 훈련 속도도 렌더도 압도적으로 빨라서 저는 더 파볼거같음 흥미롭다
3
27
4
124
4,320
ゆっきー@音声合成 retweeted
逆瀬川
@gyakuseOct 14
speech.cpp v0.8.5リリースしました🚀 音声合成 / 音声認識どちらもﾒｯﾁｬ速くなりました。 いろいろべんりにしているので、ぜひ使ってみてください！ github.com/nyosegawa/speech.… ■speech.cppの特徴 ・AIアシスタント向けでTTSのfirst audioが速い ・エンジンが軽くてサクッとインストールできる ・Coldからの起動時間が速い ・PythonもCUDAも不要
4
62
17
416
32,466
ゆっきー@音声合成 retweeted
SB Intuitions
@sbintuitionsOct 13
📢プレスリリースのお知らせ 国産生成AI「Sarashina」を利用できる「Sarashinaサービス」の無償ベータ版を提供開始 〜6つのAIモデルを利用できるAPI機能とチャット機能を一般公開〜 詳しくはこちら プレスリリース：sbintuitions.co.jp/news/pres… Sarashinaサービス：sarashina.ai #SBIntuitions

国産生成AI「Sarashina」を利用できる「Sarashinaサービス」の無償ベータ版を提供開始 | プレスリリース | SB Intuitions株式会社

国産生成AI「Sarashina」を利用できる「Sarashinaサービス」の無償ベータ版を提供開始

sbintuitions.co.jp
46
1,061
466
4,480
1,693,747
自作のSVS、軽いのでやろうと思えばGitHub Pageで金かけずに歌声合成ソフトが作れるらしい。今のところ面白い機能とかないからやる意味ないけど、PythonもGPUもなしに動くとこはちょっと見たいかもしれん
1
12
588
アプリ自体すごく良くできてるんだけど、それよりめっちゃ歌上手くない…？　VOICEVOXソングの波音リツってこんなに完成度高いんだ…。
しまじろう@はかせちゃれんじ@shimajiroxyzOct 11
Soramimic Videoを更新しました！ ・自作の単語リストを保存・編集 ・高音・低音でも歌声が乱れにくく ・入力歌詞の発音推定を強化 ・小文字カナ使用時の生成エラーを修正 ・音源解析の精度を向上 video.soramimic.com/

Soramimic | 替え歌動画メーカー

曲と単語リストを選ぶだけ。空耳で置き換えた替え歌動画を作れます。

video.soramimic.com
8
529
日本語の歌唱音源を歌詞付きで自動採譜するPythonライブラリを公開しました。 J-POP 9曲の評価では、音符と歌詞の読みを合わせた精度が、比較した既存実装の最高値の約1.8倍でした お試しください！ github.com/soramimic/soramim…

GitHub - soramimic/soramimic-score: Evidence-preserving singing transcription and score contracts

Evidence-preserving singing transcription and score contracts - soramimic/soramimic-score

github.com
2
5
1
16
870
Soramimic Videoを更新しました！ ・自作の単語リストを保存・編集 ・高音・低音でも歌声が乱れにくく ・入力歌詞の発音推定を強化 ・小文字カナ使用時の生成エラーを修正 ・音源解析の精度を向上 video.soramimic.com/

Soramimic | 替え歌動画メーカー

曲と単語リストを選ぶだけ。空耳で置き換えた替え歌動画を作れます。

video.soramimic.com
2
5
1
11
1,212
Load more