調声パネルの動作。色んなソフトを参考にした。実際に調声やってる人の意見を聞きたいところだが…。

韓国語の多話者音響モデル作ってるが、男性の方はそこそこ良さそうなのに女性の方の発音が悪い…。5人に増やして回してみてるけど追加データの音質が良くないから改善の望み薄かもしれない。いい韓国語モデルを作ってみたいのだが…。

配色自由に変えれるようにしたけど、なんかどれもダサい気がするんですよね…。デザインセンスくれ

自作SVSの進捗。CPUでも軽く、高速にブラウザで動作します。GitHub Pageから無料で開放する予定です。パラメータのカーブによる調声やAIリテイクなど、高度な機能を備えています。そして何より、独自のF0モデルや音響モデルにより、デフォルトでもかなり歌が上手いです。興味を持っていただければ…！

データセットの内容たいして確認せずに英語の多話者音響モデル作ったらGTも生成結果も音質が酷かった…。とはいえ研究用途に使えるだけコーパスの製作者の方には感謝です。綺麗な音のデータセットが欲しいが、ひとまずちゃんと英語を喋れそうだとは言えそう(GT→fakeの順に再生)

Claudeに「こんな感じがいいな」ってSynthVのスクショ渡したら、かなりアカン感じの叩き台を出してきた。ほぼTypeScriptで作られていて、Webページとして公開できるように作る予定です。

LeapSinger色々調整して全体的に公開版より話者再現性が良くなった(比較されてるdecay_15も公開版より良いやつ)。子音の発音はまだ改良したいけど来週には更新できると思う。

16stepの教師モデルを蒸留して、1step、GANなしでほぼ同じ結果が出せるのが分かった。melの周期的成分に少しドット欠けみたいなのが入るだけで音質悪くなるんで、x_tのノイズの強度や周期的成分の形状を吟味した。(やっぱmelって特徴量として微妙なんですかね…)

不満だった声質の再現性は少し改善できそうだと思う。x_tに十分なエントロピーを与えるとGANなしでも人間っぽいmelになってきた。子音の明瞭さに不満がまだ残っています…。

LeapSingerのハイパーパラメータ等は適当に決めてたので大量にA/Bテストをしてる。ボコーダーと違って一回の学習が速いのが救い