クローリングハック

Webアプリケーション、Webサービスを開発・運用する エンジニアは、HTML/HTTPやWebサーバなどWeb技術の 仕組みや基礎的な知識をおさえておかなければなりません。 本書では、実サービスでの大規模なWebクローラーの 開発・運用経験をもとに、クローラーを支える、HTTP、 文字コード、HTML、認証、Ajax/JSONなど、Webエンジニアが おさえておくべきポイントやテクニックを学びます。 クローラーから見たWebサイトの仕組みとその実情に加えて、 現実に即した実践的かつ効率的なクローリングの方法論に ついても解説します。 ○実例をもとにHTTPやHTMLなどWebの仕組みを深く知ることができる ○大規模なクローラーの開発・運用ノウハウを知ることができる ○Webサイトの運営者(クロールされる側)もクローラーに関する知見を得ることができる