「外部リンクほぼゼロで始めたサイトの最初の1ヶ月」の集計・作図スクリプト 実行:scripts/ に移動して python3 figs.py / figs2.py / fig6.py / fig9.py(図)、python3 latency.py(公開から取得までの表) (analyze.py は共通の読み込み処理で、figs.py・figs2.py から読み込まれる) 必要なもの:Python 3、matplotlib、shapely(地図の区境)、Noto Sans CJK フォント 入力ファイル(input/ に置く。herahin.net の分は公開していない) - crawler_logs.csv:アクセスログ。列は id, accessed_at(UTC), user_agent, path, bot_name, status, ip, method bot_name はミドルウェアで UA から付けた名前(googlebot, bingbot, claudebot など。該当なしは other) - chome-ledger.csv:丁目ページの台帳。使う列は url, batch(公開回), published_at ※ 実際の台帳には検証の群の割り当てが入っているため公開しない。スクリプトは群の列を使っていない - rings.json:丁目の境界ポリゴン(地図の図のみ) - b1_neighbors.json:手動リクエストした50丁目と境界を接する丁目の URL の一覧(区ごとの図のみ) 公開している集計データ - ../data/daily_chome_pages_by_bot.csv:日ごと・クローラごとの丁目ページ数(重複を除く)と全リクエスト数。日本時間