@okdtsk_dev

Data Engineer / Python & Distributed System / Main:@okdtsk

 Tokyo, Japan
Joined November 2020
  • Tweets134
  • Following141
  • Followers73
5Media
okdtsk_dev retweeted
Akira Ajisaka@ajis_kaSep 10
遅くなりましたがCommunity Over Code 2026 Asiaの発表資料を公開
LINEヤフー Tech
@lycorptech_jpSep 10
Community Over Code Asia 2026で発表した「Scaling Beyond the Exabyte: Lessons from Hadoop Integration and Operations at LY Corporation」の資料を公開しました。 ぜひご覧ください。 speakerdeck.com/lycorptech_j…

Scaling Beyond the Exabyte: Lessons from Hadoop Integration and Operations at LY Corporation

2026年8月7-9日に開催されたCommunity Over Code Asia 2026の発表資料です。
 Community Over Code Asia 2026 https://asia.communityovercode.org/

speakerdeck.com
3
20
1,396
HiveのKubernetes対応進んでる！！ #otfsg_tokyo
1
1
1
8
1,164
mag
@kcelhlFeb 7
66
1,753
172
18,095
955,768
okdtsk_dev retweeted
okada@ocadarumaFeb 12
Apache Kafka Meetup Japan第17回、2/24(火)に開催です！ 弊社からはKRaft移行/ロールバック検証で遭遇した問題についての発表があります。 このAI時代、あえてミドルウェア運用の泥臭い話も楽しいと思います、ぜひご参加ください！ ちなみに配信無しで会場限定開催です kafka-apache-jp.connpass.com…

Apache Kafka Meetup Japan #17 @LINEヤフー オフライン/ (2026/02/24 19:00〜)

## 運営からのお知らせ #### 本イベントは現地開催です * 今回はオフライン開催です。会場はLINEヤフー株式会社になります。 * 今回は懇親会も予定しています。参加者の人数を把握したいので、参加申し込み時のアンケートの回答をお願いいたします。 ## 日時 2026/2/24 (火) OPEN 18:45 START 19:00 ## 概要 Kafka Meetup Japanの第17...

kafka-apache-jp.connpass.com
2
3
435
okdtsk_dev retweeted
otfsg@otfsg_tokyoJan 29
OTFSG Tokyo Meetup #5 (現地開催) を公開しました！ otfsg-tokyo.connpass.com/eve… #otfsg_tokyo

OTFSG Tokyo Meetup #5 (現地開催) (2026/02/13 19:00〜)

# Live配信は予定していません🙏 Live配信はないですが、アーカイブ配信の予定はOTFSGのYouTubeにて計画してます。ただ、失敗する可能性もあるので、現地参加をオススメします。 SNS等におけるハッシュタグは#otfsg_tokyoでお願い致します。 # イベント概要 Open Table Format Study Group Tokyo (OTFSG Tokyo)はHudi、...

otfsg-tokyo.connpass.com
1
6
4
2,564
okdtsk_dev retweeted
otfsg@otfsg_tokyoFeb 6
OTFSG Tokyo Meetup #5 (現地開催) otfsg-tokyo.connpass.com/eve… #otfsg_tokyo 当日の発表内容を更新しました！ 発表1 - マイクロアドでのHive→Iceberg移行事例紹介 発表2 - Open Table Formatにおけるストレージ抽象化の比較 発表3 - Apache Iceberg MetricsReporter 活用のススメ

OTFSG Tokyo Meetup #5 (現地開催) (2026/02/13 19:00〜)

# Live配信は予定していません🙏 Live配信はないですが、アーカイブ配信の予定はOTFSGのYouTubeにて計画してます。ただ、失敗する可能性もあるので、現地参加をオススメします。 SNS等におけるハッシュタグは#otfsg_tokyoでお願い致します。 # イベント概要 Open Table Format Study Group Tokyo (OTFSG Tokyo)はHudi、...

otfsg-tokyo.connpass.com
1
1
3
2
975
okdtsk_dev retweeted
やっさん🍶
@yassan168Feb 6
どれも面白そう。 OTFSG Tokyo Meetup #5 #otfsg_tokyo
otfsg@otfsg_tokyoFeb 6
Replying to @otfsg_tokyo
OTFSG Tokyo Meetup #5 (現地開催) otfsg-tokyo.connpass.com/eve… #otfsg_tokyo 当日の発表内容を更新しました！ 発表1 - マイクロアドでのHive→Iceberg移行事例紹介 発表2 - Open Table Formatにおけるストレージ抽象化の比較 発表3 - Apache Iceberg MetricsReporter 活用のススメ

OTFSG Tokyo Meetup #5 (現地開催) (2026/02/13 19:00〜)

# Live配信は予定していません🙏 Live配信はないですが、アーカイブ配信の予定はOTFSGのYouTubeにて計画してます。ただ、失敗する可能性もあるので、現地参加をオススメします。 SNS等におけるハッシュタグは#otfsg_tokyoでお願い致します。 # イベント概要 Open Table Format Study Group Tokyo (OTFSG Tokyo)はHudi、...

otfsg-tokyo.connpass.com
1
1
193
okdtsk_dev retweeted
Akira Ajisaka@ajis_kaFeb 12
OTFSG Tokyo Meetup #5 (現地開催) otfsg-tokyo.connpass.com/eve… #otfsg_tokyo 明日開催です！ Apache Icebergの話とそれ以外のOTFの話もあります。よろしくおねがいします

OTFSG Tokyo Meetup #5 (現地開催) (2026/02/13 19:00〜)

# Live配信は予定していません🙏 Live配信はないですが、アーカイブ配信の予定はOTFSGのYouTubeにて計画してます。ただ、失敗する可能性もあるので、現地参加をオススメします。 SNS等におけるハッシュタグは#otfsg_tokyoでお願い致します。 # イベント概要 Open Table Format Study Group Tokyo (OTFSG Tokyo)はHudi、...

otfsg-tokyo.connpass.com
2
1
6
1,764
2019年からiceberg使われているのがすごい #Iceberg本発売記念
1
3
186
okdtsk_dev retweeted
aki@Aki_laid_back15 Nov 2025
#Iceberg本発売記念 (オライリー翻訳)いろいろトーク のスペースが開催中です! 引用ツイートのツイートのアカウントのかたが スペースでお話しされています。 (食事で退出するので後で聞きたい!!)
佐野千紘（さのちひろ）@IQ_Bocchi15 Nov 2025
📕11/12にインプレス社より発売となった「Apache Iceberg活用入門」 原著はオライリーの「Apache Iceberg The Definitive Guide」 本日のスペースでお話ししているのはこちらの本についてです。 #Iceberg本発売記念 amazon.co.jp/dp/4295023159

Apache Iceberg活用入門 オープンテーブルフォーマットによるデータレイク&データレイクハウス

現代のビッグデータ基盤は、前処理の複雑さやツールへの依存といった多くの課題を抱えています。こうした問題を解決するために登場したのが、オープンソースのテーブルフォーマットApache Icebergです。本書は、Icebergの基礎から実践的な応用までを網羅したガイドブックです。Icebergの仕組みや使い方を学ぶことで、インタラクティブな分析、バッチ処理、機械学習、ストリーミング処理を効率的...

amazon.co.jp
1
2
278
Replying to @IQ_Bocchi @okdtsk_dev
帰り道の運転しながらになりそうですが、楽しみです〜☺️
1
1
2
123
今夜20時より、 #Iceberg本発売記念 のいろいろトークをやります🎙️ 日本語版の事例記事を寄稿いただいた @okdtsk_dev さんも登場✨ 私からは、技術的にすごいことは話せませんが、翻訳PJの思い出話に付き合ってくれる方はぜひご参加ください。 xitter.cf/i/spaces/1vAGRQbpdegKl

1
3
1
6
1,160
発表でも紹介いただいた通り、Kafka Iceberg SinkコネクタはASFに寄贈後UPSERT機能が削除されており、DBからのCDCの観点ではやや悩ましい状況にあります。昨日その辺りの背景をブログにまとめました #iceberg_jp bering.hatenadiary.com/entry…

Kafka Iceberg Sink ConnectorによるRDBMSからIcebergへのCDCの現状と留意点 - Bering Note – formerly 流沙河鎮

本エントリでは、RDBMSからIcebergへのCDCユースケースでの活用が期待されるIceberg Sink Connectorの現状と留意点を整理します。 このコネクタを活用する際には、Tabularから寄贈された歴史的経緯によって２つの実装が存在しており、両者に差分がある点を理解しておくことが重要です。

bering.hatenadiary.com
5
22
5,199
さっき説明があった docket compose ですぐ使える all-in-one のドキュメントはこちらですね。 docs.confluent.io/platform/c… #iceberg_jp
3
3
905
Iceberg Sink Connector はTabular 版と寄贈された先のIceberg版で仕様に差があるので、その辺はベリングさんのブログがあるので一緒に読むと理解が深まります！ bering.hatenadiary.com/entry… #iceberg_jp

Kafka Iceberg Sink ConnectorによるRDBMSからIcebergへのCDCの現状と留意点 - Bering Note – formerly 流沙河鎮

本エントリでは、RDBMSからIcebergへのCDCユースケースでの活用が期待されるIceberg Sink Connectorの現状と留意点を整理します。 このコネクタを活用する際には、Tabularから寄贈された歴史的経緯によって２つの実装が存在しており、両者に差分がある点を理解しておくことが重要です。

bering.hatenadiary.com
3
7
842
触ってみて感じたのは、「適切に設計されていれば必要な実装スキルは新卒程度でよい」「規模が大きくなると実装の手数が線形以上に増えるので短期間で手数を多く打てる体力が生産性にめっちゃ効く」ということであり、逆に言うと「実装スキルなんてものは人間が思ってるほど重要じゃない」ってこと
伊藤 祐策(パソコンの大先生)
@ito_yusaku16 Jun 2025
Claude Code君、手数は多いけどスキルは新卒エンジニア程度なので、この子がプログラミング上手いと感じてるなら自分のスキルレベル上げた方が良いと思われます。
2
317
81
2,010
617,009
プレスリリースも公開になりました。 Tech-Verseまであと10日。 lycorp.co.jp/ja/news/release…

技術カンファレンス「Tech-Verse 2025」を開催｜LINEヤフー株式会社

AIとSecurityをメインテーマに、2日間で12領域128セッションを実施。事前登録後、公式サイトよりオンライン視聴が可能

lycorp.co.jp
2
3
698
LINEヤフーの技術カンファレンス「Tech-Verse 2025」を6/30（月）-7/1（火）の2日間で開催します。 #LINEヤフー #Tech_Verse
11
4
18
11,760
タイトルがアレだったので、「データ基盤について話そう」と名付けておきました。 データ基盤を作ったり提供したりは、エンジニア的にだいぶ楽しい（けど苦しい）と思うので、多分楽しい夜になる。 Apache Icebergに手を出そうとしてる猛者も来るといいと思う。 data-analytics-idobata.connp…

Data & Analytics 井戸端会議 「データ基盤について話そう」 (2025/04/25 19:00〜)

# 概要 テック企業各社に、いわゆる「Data Platform」や「データ分析基盤」と呼ばれる社内基盤を抱える企業は多いと思われます。 この基盤に従事するデータエンジニアやアナリティクスエンジニアの抱える業務や課題感は各社異なると思いますが、深く密な相談・議論の場を設けてお互いの知見共有や業界全体のデータエンジニアリングスキルを強化可能にするのがこのイベントの趣旨です。 Data &...

data-analytics-idobata.connpass.com
1
4
373
最近の仕事について書きました caddi.tech/2025/03/18/164347

キャディでの Apache Iceberg 活用事例 - CADDi Tech Blog

こんにちは。Drawer Growth グループの江良です。 キャディが「製造業 AI データプラットフォーム」の構想を打ち出してから半年ほどが経ちました。 caddi.com このコンセプトの実現にあたっては、「AI」の部分だけでなく、「データ」の部分を支える仕組みづくりも重要になってきます。今回は、私が携わっている…

caddi.tech
1
17
40
12,418
Load more