はじめにYahoo!ニュースからの流入を増やすために、内部リンクのCTRを改善する取り組みを行いました。Pythonでスクレイピングを行い、内部リンクの分析と最適化を実施したところ、2週間でCTRが5.2%から5.9%に向上しました。この記事では、具体的な実装方法と、得られた知見を紹介します。1. Yahoo!ニュースにおけるトラフィックバックの仕組みYahoo!ニュースから自社サイトへの流入を獲得する仕組みは、以下の2つの要素で構成されています。Yahoo!ニュース上での記事PV数記事内の内部リンクCTRつまり、以下の式で流入数が決まります。自社サイトへの流入数 = Yahoo!ニュース上のPV × 内部リンクのCTR例）Yahoo!ニュース上のPV：10,000内部リンクのCTR：5%自社サイトへの流入数：500この流入数を増やすため、私たちはCTRの改善に取り組みました。2. 内部リンクのスクレイピング方法現状を把握するため、まずPythonを使って内部リンクの情報を収集しました。実装手順1.必要なライブラリをインストールpip install beautifulsoup4 requests pandas2.スクレイピング用のスクリプトを作成import requestsfrom bs4 import BeautifulSoupimport pandas as pddef scrapeyahoonews_links(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') links = [] for link in soup.find_all('a', href=True): if 'your_domain.com' in link['href']: links.append({ 'text': link.text, 'url': link['href'] }) return pd.DataFrame(links)3.収集したデータをスプレッドシートに整理リンクテキストURL記事カテゴリPV数クリック数CTRこのスクリプトにより、Yahoo!ニュース上の記事から内部リンクの情報を自動で収集できるようになりました。3. 比較対象を決めるスクレイピングしたデータを分析したところ、タイトル冒頭の【】内の表記に2つのパターンがありました。パターン1：【写真】パターン2：【PHOTO】そこで、タイトル冒頭の【】内の表記の違いがCTRに影響を与えているのではないか、という仮説を立てました。この仮説を検証するため、2つのパターンで以下の指標を比較することにしました。CTR滞在時間直帰率4. 効果測定の結果（CTR5.2%→5.9%）2週間の比較測定で、以下の結果が得られました。【写真】を使用した記事CTR：7.5%【PHOTO】を使用した記事CTR：3.0%この結果を受けて、全記事のタイトル冒頭を【写真】に統一しました。施策実施後の効果CTR：5.2% → 5.9%（11%改善）想定効果：月間100万PVの場合、約7,000クリック増加5. 気づき今回の施策から、3つの重要な知見が得られました。スクレイピングの活用 通常は取得が難しい内部リンクのテキストデータも、スクレイピングを使えば収集・分析が可能です。日本語表記の効果 【写真】という日本語表記の方が、ユーザーにとって馴染みがあり、CTRが向上しました。共通要素最適化の重要性 タイトルの【】表記のような全記事共通の要素は、一度の改善で大きな効果が得られます。今回の取り組みを通じて、データに基づいた小さな改善でも、大きな効果を生み出せることが分かりました。皆さんも、ぜひ自社のコンテンツで試してみてください。