AdSense とクローラー
見ればおわかりかと思いますが、先日のリリースで広告枠をいれまして。
全部 Google AdSense と Amazon です。
で、リリース時には Mixi のいくつかのコミュとブログで告知したので、当日は多少 PV ( ページビュー ) が上がるだろうと思っていました。
ちょっと期待しながらその日のログ集計を見たら … PV も UU ( ユニークユーザー ) も 3 ～ 4 割増！（＾.＾；）
ていうか、これはどうも不自然だぞ … ということでログを直に解析してみました。
前日とリリース当日の生ログを見てみる。
なにやら見慣れない文字列がびっしりで、一目瞭然。
Cookie に、DLDB じゃ使っていない文字列が大量にあった。
しかも 1 アクセスあたりに何個もくっついている。
__utma=142812192.270655128.1153931714.1153931714.1153931714.1
多分 Google か Amazon かで、クリックしたユーザーを特定するための材料でしょう。
まあ広告回すんだから仕方ない、ログ集計のロジックを変えましたよ。
それで再度集計 … それでもまだ怪しい数字に。
むむぅ … とばかりに、また生ログとにらめっこ。
また見慣れない文字列があって。
UserAgent ( ブラウザとか OS を表す文字列 ) のところに
Mediapartners-Google/2.1
↑こんなのが。
まちがいなく Google のものだろうけど、いつものクローラーじゃないみたいだし。
ということで、Google のことは Google 先生にお伺いしてみると、いくつかそんなコトを書いているブログを見つけた。
どうやら AdSense って、表示されたらそのページを上記クローラーが見に来て、ページ内容にふさわしい広告に頻繁に調整するというロジックらしい。
なるほど、だからリリース直後と今日では表示されている広告のジャンルが違うんだな。
公開直後は英語の広告が回ってたけど、今見てみると各ページにそれっぽい広告が表示されてるし。
とりあえずこいつも集計対象から外しても再度集計 … すると今度はだいたい納得できる数字が出た。
しかし Googlebot といい Mediapartners-Google といい、クロールする頻度がすごいですね。
検索結果・広告枠の最適化の精度は、頻繁に情報収集して随時調整しているからなんだよなー。
「 Google はベースのオペレーション業務がコアコンピタンス ( 他には無い、武器になりうる特徴 ) だ 」
って誰かが言ってたようなな気もする。
華やかなコンテンツが目を引くけど、ウラのこういう部分がマネできないから、他社に差をつけることができたんでしょうね。
やっぱ裏方のお仕事は大事だね。
これからもコツコツ精進だ。
[ 似たテーマのWebデザインブログ ]
さてさて、3連休でしたがみなさんどのようにお過ごしでしたでしょうか。毎日往復5時間の通勤時間の鬱憤をはらすかのように、開発に没頭したカッペでございます。そりゃ奥さんのお付き合いも適度にしてますが…。先日プレリリースした新コンテンツですが、大きなバグもないようなので、このへんでリリースします。このDLDBのメニューの右端に加えましたよ。
■デザインフィードデータベース
http://feed.designlinkdatabase.net/
コツコツ休日開発を。
このブログを RSS で読んでいる方はもうお気づきと思いますが、今度は RSS に一工夫です。
「 RSS 」 ってバージョンによって呼び方が変わりますが、最後の 「 S 」 はどの呼び方でも 「 Summary ( サマリー ) 」 の頭文字。
なのでデイリーで出せる、ちょっとしたサマリーを毎度出力しようかと。
とりあえずラフプログラム。
昨日思いついたシステムを、大体で組んでみたんです。
RGB のカラースライダーがあって、その混合色が表示されていて。
TOPページの画面を平均したときの色と、混合色とだいたいマッチするサイトが下に表示される ( いまはまだタイトルだけ ) カンジかと。
スライダーをドラックするので、検索ボタンとかでポストさせるのはナンセンスだろ … ということで Ajax で考えてます。
どもです。
Webデザイン活動の一滴のエッセンスとして、このDLDBを役立つツールにしたい … と、久しぶりにまっとうに考えたワケですよ。
最近は 「 デザイン 」 的なネタを作ってなかったので、そろそろいかんなぁ、と。
そんな時、会社で後ろの席の S さんに呼ばれて見せられたサイト。
よく最近ある、Webカラーの組合せをシミュレート出来る、ツールっぽい手のサイトで。
ボクと違ってSさんは、デザインが本業の方。
ここらへんにまとまって紹介されているようなサイトだったんですが、よく使うらしいんですよね。
たとえばそういった UI でカラーシミュレートして、その色の組合せで 「 サイトの制作例 」 みたいなものも一緒に表示されたとしたら … むむっ、スゲー便利かも。
あー、やれやれ。
先日ふれたページングの部分で、クローラーが拾ってくれない件について。
.NETのフレームワークがやってくれるページングをやめて、独自でページングの機構を実装。
んで、引数がだらだらつくと、Googleさんが拾いにくいらしいので、フォルダ構成のように見せかける手でやってみる。
http://www.designlinkdatabase.net/datas/10/10/0/0001_01/0/-1/0/0/0/0/1/search.aspx ← こんなんです。
すごくふか～い階層になっているように見えるけど、実は全部引数になってます。
地味に手間かかった～。
