Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

FluentdでURL付きツイートを漏れなく収集する方法

Twitterで言及されている様々な記事のURLを収集したいと考えた時、次の方法が選択肢となります。

  • 定期的にAPIを叩く
  • ストリーミングAPIを使う

前者の方法では単位時間毎のAPIコール制限を容易に超えてしまうので避けたいところですね。
そこでストリーミングAPIを使いたい所ですが、URLのトラッキングを行う方法がわかりにくかったので調べてみました。

続きを読む