PJS の中の人 株式会社コルグとはなんの関係もございません
🦏👵
Joined February 2015
- Tweets34.4K
- Following1K
- Followers1K
- Likes2.7K
コルグチ retweeted
Sakana AI初のモバイルアプリのテスターを募集します🐟
現在開発中の「Sakana AI App（仮）」のβテストにご協力いただけるテスターの方を募集しています。
皆さまからのフィードバックを元に、より使いやすく、便利なアプリへと改善していきたいと考えています。ぜひ、ご参加ください。
▼ 応募は こちらから（申込締切：11月15日23:59）
forms.gle/kKJNaks1ocMqGC698 🐡
コルグチ retweeted
産総研で音声音楽AI研究に一緒に取り組むメンバー募集！
FRONTia事業では，CMU 渡部晋治(@shinjiw_at_cmu) のもと，音声AIや音楽AIのためのオープンな基盤モデル構築に取り組んでいます
ご興味のある方は，個人HPとGoogle ScholarのURLを添え以下にご連絡ください
M-frontia-aud-join-ml@aist.go.jp
コルグチ retweeted
書いた論文が早期公開されました。内容は
[無音区間A][発話区間B][無音区間C][発話区間D][無音区間E]
っていう音声があったときにAとEだけでも取り除きたいよね？という感じです。
doi.org/10.1587/transinf.202…
コルグチ retweeted
【重要】日本学術振興会電子申請システムへの不正アクセスについて
このたび、電子申請システムにおいて、不正アクセスを確認しました。現時点では個人情報等の漏えいは確認されていません。利用者の皆様にお詫び申し上げます。詳細はリンク先をご確認ください。
jsps.go.jp/j-news/2026/shins…
コルグチ retweeted
VSL Just Released an AI Orchestra... youtu.be/LW3npZc8VXk?si=Onwz… @YouTubeより
なんじゃこら！
コルグチ retweeted
Can you reconstruct the shape of a human vocal tract just from hearing their voice? Crazily, the answer is yes!! Eric and Jin Woo built a "differentiable renderer" for the human voice! It reproduces well-known properties of human phonetics, such as the distribution of formants :) (1/n)
コルグチ retweeted
Voice Remixing is now live in Gemini 3.8 Flash TTS.
Fine-tune voices without starting from scratch. Pick from over 2K preset library voices or custom designed voices in @GoogleAIStudio and the Gemini API to dial in timbre, pitch, pace, and accent using simple prompts.
How it works:
✅ Start from any preset or designed voice
✅ Prompt adjustments for pitch, pace, accent, or timbre (like "soften the delivery")
✅ Audition three generated takes and save your favorite
Try "Remix this voice" in @GoogleAIStudio today.
コルグチ retweeted
RE-USE が話題ですが，東大 猿渡研の関くんが「TTS前処理としてどの音声強調を使えばよいかを，完全自動化しよう」的な研究をしていました．よろしければどうぞ．
初出は 2023 年なので先見の明はあったはず．
arxiv.org/abs/2506.15614
コルグチ retweeted
11月3日文化の日、iZotope Photonをリリースします🤘
『置くだけで、ほどける』ような"GPU処理"による時間効率重視のシンプル・オーディオプロセッサー。
izotope.jp/jp/products/photo…
RXとは異なる特徴を続きでお伝えします↓
コルグチ retweeted
『コード理論大全』『一般音楽論』著者の清水響です。
新刊『和声×対位法 大全』第1〜2巻、11/24発売予定。
クラシック音楽の和声法・対位法を学ぶ教本です。
音楽の公開授業を発信中。高崎・オンラインで個人レッスンも行っています。
著書・レッスンのご案内
kyoshimizu.com/
コルグチ retweeted
Honored that our team received two awards at the DCASE 2026 Workshop! 🏆🏆
🏆 Judge's Award for Task 4
🏆 Best Paper Award for DOOM-SED
Congratulations, Shun!
Also, many thanks to our team members, including @cornedb47447485, and collaborators @imotts and @onishi_masaki!
コルグチ retweeted
一応注意喚起, 少なくともvLLM v0.30でFA4を使うと本来出る速度の0.4倍ぐらいの速度しかでなくなってしまうので, version up推奨です
github.com/vllm-project/vllm…
![[Bug]: FA4 ignores `num_splits` on SM90 in v0.30.0 causing upto 48% slower decode · Issue #59362 ·...](https://pbs.twimg.com/card_img/2117972250733559808/kkJ55B3C?format=jpg&name=800x419)
FlashAttentionの速度が明らかにおかしくてこれ多分バグだろvLLMにコントリビュートチャンスと思ったら2026/09/08に既にPRは投げられており, 2週間前にclose, それを昨日気づいて車輪の再発明をしたという形だった。vLLM contributeチャンスを逃し悔しい
github.com/vllm-project/vllm…
![[Attention] Enable FA4 sparse MQA decode on Blackwell by simon-veitner-redhat · Pull Request #55866...](https://pbs.twimg.com/card_img/2117952424119848960/dLmmMCkO?format=jpg&name=800x419)
コルグチ retweeted
Core contributions of MIDI-REPA (midi-repa.vaclis.net/) by my RA @vaclis_:
1. AMTFlow: instrument tagger + MuScriptor for transcription
2. JamendoMIDI: audio data with transcribed MIDI
3. MIDI-REPA: align DiT hidden states with MIDI
4. TTM trainable on an RTX 3090 in 1.5 days
1/4
Introducing MIDI-REPA: improving text-to-music generation through symbolic representation alignment.
Melody can be represented compactly in symbolic form, so why do models still learn it from audio alone?
Paper: arxiv.org/abs/2610.20967
Demo & Code: midi-repa.vaclis.net
コルグチ retweeted
Wei Zeng, Anvay Mathur, Ye Wang, "Gangqinpu: A Multi-Genre, Multi-Task Piano Dataset with Aligned Audio, MIDI, and Musical Scores" arxiv.org/abs/2610.34694
コルグチ retweeted
Google DeepMind researchers have developed:
AudioFM, a self-supervised framework for general-purpose audio representations.
How it works: a student sees time- or frequency-masked spectrograms, predicts the masked patch representations, and has to pick the matching full-view EMA-teacher target from candidates in other recordings. Plus weaker supervision from masked temporal neighbors.
Results: on linear probing it achieves the best or joint-best performance on 10 of 12 tasks.
Something particularly interesting: beats prior audio SSL on heart murmur (+4.7 F1) & sleep apnea subtype (+3.2 F1) classification! (audio FMs are very important in medical AI!)
コルグチ retweeted
1/12 Introducing Music Lenses!
Something cool you can do with our recent sparse-inversion work is prompt a dense music space for concept-conditional similarity. You want similar vocal character, rather than just similar songs? Well, now you can!
pliploop.github.io/sparse-st… 🧵
Happy to share our #ISMIR2026 paper on steerable music retrieval with sparse autoencoders 🎛️🎧
Dense retrieval is great at finding similar tracks,
But once you have a query, what if you want to modify one concept inside it?
More piano,
More intimate,
Less gritty.
1/n
コルグチ retweeted
高精度耳コピエンジン、JIT-MPEに関する論文をarxivで公開してみました。MITライセンスのオープンソース・オープンモデルです。
arxiv.org/abs/2610.33113
スマホでも動く約8.6万パラメータの軽量マルチF0推定モデルで、即時に推定結果を出しつつ160msまで段階的に更新して、評価実験では50ms時点でのF1で80.83%。ほぼ即時（50ms後）の推定なのに録音全体を使う（即時推定ではない）既存の公開オフライン方式との45比較中38で有意に上回る性能です。
気軽に出すつもりがAIがあるとほぼ労力なくいくらでも追加実験ができてしまうこともあり、当初の予定よりはだいぶ時間をかけてしまいました(^^;
このテクニックは既に公開中のEffeTune Note Spectrogramで使っているので、どのくらいの性能化はアプリで今すぐ簡単に試せます。PythonとJavaのライブラリ（EffeTune DSP Library）もあります。JIT-MPEは論文用に条件をシンプルにしているので、Note Spectrogram搭載版の方がさらに1%くらい高精度です。
コルグチ retweeted
プリプリントを公開しました！劣化音声とクリーン音声のペアを必要としない音声強調学習手法NyTTの出力の分布をDriftingモデルのアイデアを使ってクリーン音声の分布に近づけます。ペアデータは不要のままです😁
Yoshiki Masuyama, Dominik Klement, Christoph Boeddeker, Julius Richter, Kohei Saijo, Gordon Wichern, Takahiro Edo, Jonathan Le Roux, "Noisy Target Training Meets Drifting for Weakly-Supervised Speech Enhancement" arxiv.org/abs/2610.32870