フクロウ好きの現役エンジニア。楽しく技術を学べるブログ『はやぶさの技術ノート』書いてます。画像処理 / 制御 / 機械学習 / 統計モデリング / Python / C++ / Go / OpenCV / Pyxel / UML / AWS /マシュマロ：https://xitter.cf/t.co/zcwvp0MNmv
Joined July 2016
- Tweets5.3K
- Following430
- Followers1.8K
- Likes6.9K
Pinned Tweet
画像処理の基礎からCNN設計まで学べる記事を書きました！大変だった！！
#画像処理 #深層学習 を学びたい！という人にオススメしたい記事なので、RTお願いします！
【深層学習入門】画像処理の基礎(画素操作)からCNN設計まで cpp-learning.com/operate_pix…
はやぶさ@技術ノート retweeted
電通や博報堂の全社員研修にしても良いのではレベルです。いや、マジです。
※無料です。
プロ仕様のTVメタデータを使って319.5億円のテレビ効果をMMMで分析できる、とんでもなくガチなMMM演習はこちらのnoteです。
※無料です。
note.com/ogataka/n/n480d7da2…
はやぶさ@技術ノート retweeted
執筆した書籍『ビジネス課題を解決する技術』が出版されます！
数理最適化、数理モデル、そしてデータを統合的に活用してビジネス課題を解決する方法を解説しています。
データサイエンスを使ってビジネス価値を生み出したいすべての人に届くことを願っています！
amzn.asia/d/gepRF4G
すごく久しぶりにブログを書きました。
vscode で以下のcsv編集を楽々実現する方法を紹介しています。ご参考までに。
1. csvファイルを開く
2. 任意データ抽出
3. 編集
4. 上書きor 別ファイルに保存
CSV編集に役立つVSCodeの拡張機能３選 - はやぶさの技術ノート cpp-learning.com/vscode-csv/
はやぶさ@技術ノート retweeted
UMAPのざっくり解説スライドアップロードしました。
speakerdeck.com/kaityo256/ov…
はやぶさ@技術ノート retweeted
後半のMCPの説明のところ、完全に同意です qiita.com/jw-automation/item…
はやぶさ@技術ノート retweeted
おしゃべりできるようになった娘ちゃん3歳が、くるるのことを「くるるさん」って呼ぶのがおもしろい😍
もふみー（フェレット黒）
もちおー（フェレット白）
くるるさん！！！
なぜくるるだけがさん付けなのか…威厳？
はやぶさ@技術ノート retweeted
Pythonで全文検索アプリをつくる -StreamlitとFessを活用- - はやぶさの技術ノート cpp-learning.com/python-stre… @Cpp_Learningより
はやぶさ@技術ノート retweeted
この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。
sakana.ai/taid-jp
私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移させる新しい知識蒸留手法「TAID (Temporally Adaptive Interpolated Distillation)」を開発しました。この手法では、小規模モデルの学習進度に合わせて大規模モデルの知識を転移させることで、効果的な知識転移を実現します。この研究は機械学習分野の国際会議ICLR 2025に採択されました。
論文: arxiv.org/abs/2501.16937
GitHub: github.com/SakanaAI/TAID
そして、TAIDを用いて32BパラメータのLLMから約1/20の大きさの1.5Bパラメータの小規模言語モデルへ知識転移を行い、同規模のモデルの中で最高性能となる日本語モデル「TinySwallow-1.5B」を作り出すことに成功しました。 小規模サイズである「TinySwallow-1.5B」は、外部APIなどを介さずお手元のスマートフォンやPCで完結したチャットが可能です。下記のウェブアプリのリンクから、ブラウザ上で動作するチャットアプリをお試しいただけます。
デモ: pub.sakana.ai/tinyswallow/
GitHub: github.com/SakanaAI/TinySwal…
モデル: huggingface.co/collections/S…
はやぶさ@技術ノート retweeted
Microsoftがえっぐいの出してるじゃん
Microsoft公式が「generative-ai-for-beginners
」という生成AI初心者向けの講座をgitHubに超丁寧にまとめてる!!!
初心者が生成AIをキャッチアップすることを主眼として、あのMicrosoft公式が本気出して作ってるから網羅性と完成度がえぐい...
しかも解説動画もふんだんに含まれてる、
<コース内容(一部抜粋)>
-Generative AIとLLMの解説
-プロンプトエンジニアリングの基礎
-高度なプロンプトの作成
-テキスト生成アプリケーションの構築
-チャットアプリケーションの構築
-ベクトルデータベースを使用した検索アプリ構築
- AIエージェント
-Generative AIアプリケーションのセキュリティ
-RAGとベクトルデータベース
などなど、全21コースあるのよ
やっぱ、このリポジトリすごすぎるって、何たってMicrosoft公式がエンジニア向けに解説してくれてるしMicrosoftで第一線で活躍してる超一流エンジニアが丁寧に解説してくれてるのを無料で勉強できるってすごい時代だな、本当….
この動画は少しでも生成AIについて興味がある人は絶対みるべき神動画だからぜひ見てみて！！
はやぶさ@技術ノート retweeted
DeepSeek-R1の論文を分かりやすく解説する記事を書きました！
論文内の知見と示唆が多すぎて、ボリュームが多いですが、皆さんの理解の手助けになれば幸いです！
私自身、めっちゃ勉強させてもらいました！
DeepSeek-R1の論文読んだ？【勉強になるよ】｜asap zenn.dev/asap/articles/34237… #zenn
出力層に近い層の方が、モデル出力値に対する依存度が高い層、要するに特化した層になってるという理解しています。
#マシュマロを投げ合おう
marshmallow-qa.com/messages/…
はやぶさ@技術ノート retweeted
進化計算の新し目のパラダイム「Quality-Diversity」を活用したLLM開発の研究を公開しました！多様性を持たせるようにLLMの集団をモデルマージさせてゆくことでエージェント系タスク向けの複数スキルの両立と忘却の抑制を実現します。
Sakana AIはLLMエージェントの集団を生み出す新技術「CycleQD」を開発しました。CycleQDは多様性に着目した進化的計算とモデルマージに基づいており、知識やスキルを忘却せず蓄積していく「生涯学習」の実現への第一歩です。
ブログ → sakana.ai/cycleqd-jp/
論文 → arxiv.org/abs/2410.14735
はやぶさ@技術ノート retweeted
以前より個人的には
ChatGPT（GPT-3.5）の頃はプロンプトエンジニアリングが大切で〇〇式など種々手法が出ましたが、
GPT-4 レベルになると、十分に賢いから変な小手先のプロンプトの工夫はしない方が良いと感じると言っていました
その定量的なサポート論文？になります
arxiv.org/abs/2411.10541
はやぶさ@技術ノート retweeted
日本語の文書画像解析、OCRに対応したPythonパッケージ「YomiToku」を公開しました。
独自に学習したAIが搭載されており、ローカルサーバーでPDFや文書画像の解析、OCRや表の構造解析、レイアウト解析が可能です。結果はHTMLやCSV, JSON, Markdownといった形式でエクスポート可能です。
github.com/kotaro-kinoshita/…
