東京都
Joined July 2007
Akira Sakamoto retweeted
A map for your machine learning needs: bit.ly/3lEZkj4
7
180
5
792
85,040
【新着記事🧠】 Transformerの「計算量増加問題」に対する革新的なアプローチ! 「Sparse Transformers」を解説します🔥 メモリの使用量をどれくらい抑えられるのか? 有用性や仕様について、記事で詳しく解説します🧑‍🏫 ai-scholar.tech/articles/tra…
13
2
87
12,429
Akira Sakamoto retweeted
AI Agents Learning to Model the World w/ Language -Agent learns a multimodal world model that predicts future texts & images -It learns to act from its imagined rollouts -Can be pretrained on text, video, or both to further improve agent task performance arxiv.org/abs/2308.01399
3
127
10
440
48,693
CLIC is a multi-modal SLAM algorithm, supporting various sensor combinations and ensuring real-time performance, even with complex continuous-time formulations. CLIC Continuous-Time Fixed-Lag Smoothing for LiDAR-Inertial-Camera SLAM github.com/APRIL-ZJU/clic
13
76
7,091
最近のAI研究の動向がまとめられている資料(全277ページ) 人工知能研究の新潮流2〜基盤モデル・生成AIのインパクト〜 jst.go.jp/crds/report/CRDS-F…
1
129
4
605
66,938
ViT(Transformerを使った画像認識モデル)のべき乗則について。M:MLPの次元数、D:深さ、W:幅(内部表現次元数)とした時、M≈Θ(D^1.5), D≈Θ(W^1.5)と増やし、また訓練データ量を10倍にした時にパラメータ数は7倍にするのが最適。広いタスクで成り立つarxiv.org/abs/2305.13035
42
1
279
28,528
生成AIなども含め,最近のAI開発の潮流についてまとまった凄い資料です "人工知能研究の新潮流2 ~基盤モデル・生成 AI のインパクト~" jst.go.jp/crds/report/CRDS-F… 生成AI以外の分野も含めたAI分野全体のトレンドがまとまっており,大変参考になります (私ではないですが研究室の人も執筆に協力してます)
4
316
11
1,643
176,793
Akira Sakamoto retweeted
Tracking Anything in High Quality paper page: huggingface.co/papers/2307.1… Visual object tracking is a fundamental video task in computer vision. Recently, the notably increasing power of perception algorithms allows the unification of single/multiobject and box/mask-based tracking. Among them, the Segment Anything Model (SAM) attracts much attention. In this report, we propose HQTrack, a framework for High Quality Tracking anything in videos. HQTrack mainly consists of a video multi-object segmenter (VMOS) and a mask refiner (MR). Given the object to be tracked in the initial frame of a video, VMOS propagates the object masks to the current frame. The mask results at this stage are not accurate enough since VMOS is trained on several closeset video object segmentation (VOS) datasets, which has limited ability to generalize to complex and corner scenes. To further improve the quality of tracking masks, a pretrained MR model is employed to refine the tracking results. As a compelling testament to the effectiveness of our paradigm, without employing any tricks such as test-time data augmentations and model ensemble, HQTrack ranks the 2nd place in the Visual Object Tracking and Segmentation (VOTS2023) challenge.
3
167
10
779
119,292
Akira Sakamoto retweeted
Paper: Video-LLaMA, a multi-modal framework that empowers Large Language Models (LLMs) with the capability of understanding both visual and auditory content in the video arxiv.org/pdf/2306.02858.pdf
6
146
3
568
104,321
長期記憶が持たないことはChatGPTの大きな弱点の一つ サービスを作ろうとしても、日本語だと3000字くらいの記憶能力しかなく、開発できるものの幅が狭まる 対策として情報をベクトル化する、などがあるが、それらいくつかの手法を検証した記事 チャットアプリ作るなら必見 qiita.com/shyamagu/items/43e…
138
10
883
175,595
Could a Large Language Model be Conscious? David J. Chalmers による大規模言語モデルが意識を獲得するまでのロードマップ考察.大規模言語モデルがマルチモーダルLLMに進化することで,グローバルワークスペースを獲得し,意識を獲得するかもしれない.株式会社アラヤの論文が引用されている "すでに人々はこれらのモデルを意識と結びつけ始めています.Yoshua Bengio氏と彼の同僚たちは,複数のニューラルモジュール間のグローバルワークスペースのボトルネックが,遅い意識的な推論の特異な機能を果たすことができると主張しています.Arthur Juliani氏, 金井良太氏, 笹井俊太朗氏による最近の素晴らしい論文では,マルチモーダルシステムの1つであるPerceiver IOが,自己注意と交差注意のメカニズムを通じてグローバルワークスペースの多くの側面を実装していると主張しています.だからこそ,ここには興味深い研究プログラムが存在します" xitter.cf/davidchalmers42/…
30
2
140
31,463
Akira Sakamoto retweeted
【再掲】【決定版】プログラマーが情報収集で必ず確認するべきWEBサイト 8選(2022年10月時点) 情報収集で困っているなら、本記事で紹介しているWEBサイトにアクセスしてください。 #駆け出しエンジニアと繋がりたい #今日の積み上げ #プログラミング zenn.dev/nameless_sn/article…
17
213
23,075
事前学習済みの言語モデル(LLaMa)から,たった1000個の「良いプロンプトとレスポンス」でfine tuningするだけで,そこそこの性能になったらしい.ChatGPTみたく強化学習とか評価モデルとか何も使わないでもOK. arxiv.org/abs/2305.11206
How do you turn a language model into a chatbot without any user interactions? We introduce LIMA: a LLaMa-based model fine-tuned on only 1,000 curated prompts and responses, which produces shockingly good responses. * No user data * No mode distillation * No RLHF
24
123
31,516
For a one-stop resource on detecting data drift with hypothesis testing, bookmark @MichalOleszak's clear, easy-to-follow guide. buff.ly/3BCSVxE
8
32
8,619
Akira Sakamoto retweeted
Meta-In-Context Learning in LLMs -In-context learning abilities can be recursively improved via in-context learning itself -Meta-ICL adaptively reshapes LLM priors & modifies learning strategies -On real-world regression: competitive w/ traditional algos arxiv.org/abs/2305.12907
46
1
218
20,180