【スクレイピングツール】面倒な情報収集はGoogle Spreadsheetにやらせよう！

最終更新日：2021/01/26

※追記 2020年3月
DAINOTE編集部で、Pythonによるスクレイピングの方法について、無料チュートリアルを公開しました。未経験の方でもブログからデータを自動抽出できるチュートリアルなので、ぜひ試してみてください！

スクレイピングを無料で学びたいなら

毎日同じような作業でこのように思っている人はいないでしょうか。

そんな人に朗報です。今回は、プログラムをかけない人でも、ネットから情報を自動収集する方法をまとめます。

今回使うのは、Google Spreadsheetという、エクセルに似たWeb上のアプリケーションです。実はネット上の情報を自由に取得（スクレイピング）できるツールだとは知られていません。そんな裏の使い方を今回は説明したいと思います。

必要なのは、データを収集したいページのURLとGoogle Spreadsheetだけ

まず、Googleのアカウントを取得して、Google Spreadsheetを開いてください。MicrosoftのExcelとほとんど同じですが、クラウド上で使えるGoogleの純正無料ソフトです。

あとは、データを取り出したい情報を集めます。僕の場合は、自分がNews Picksにアップロードした記事が何ピックされたか調べたいので、今回は自分のNews Picksの記事のURLを準備しました。

データを取りたいURLを列挙します。

下の画像みたいな感じです。

今度は自分の取得したい情報が存在するページを開きます。そしてF12ボタンを押すと、自なにやら小難しそうな画面が出てきます。右側のコードが書いてあるページをクリックして、ctrf + fを押してキーワードを検索します。

僕の場合はtitleがほしかったので、titleと検索するとタイトルが入っている部分のコードが見つかります。

このtitleというところを右クリックすると、

Copy > Copy Xpathをクリックします。これを押すと、この情報が存在する住所データがクリップボードに保存されます。これで、準備完了です。

あとは、SPREADSHEETにIMPORTXML関数を使ってやれば、簡単にデータをスクレイピング可能です。セルにIMPORTXML(URLが存在するセル、Xpath)と指定してあげればできます。

僕の取得したTITLEの場合はこうです。

=IMPORTXML(B2,"/html/head/title")

これで入力を終えると、自動でデータを取得してくれます。

下までだだだーと伸ばしていくと・・・・

全部タイトルが取得できました！やったね！

どうせならタイトルとピック数を見てみたいですね。今度はPicks数を探します。

この1608 picksという数字がとりたいです

このピック数、すべての記事でとってみましょうか。

さっきみたいな感じでとります。

ctrl + fで検索すると、その住所データが出てきます。

これを右クリックして、Copy > Copy Xpathを取得します。

あとは全く同じようにやってみます。

=IMPORTXML(B2,"/html/body/div[2]/div[2]/div[2]/div/div[1]/div[3]")

そうすると全部のピック数を取得してくれます。もちろんスプレッドシートもエクセルと同じように使えるので、フィルタを使って並び替えたりもできます。

自分で更新しなくても、SPREADHSHEETを開くたびにスクレイピングしてくれます。

プログラミングを覚えなくても、全然できるので重宝します。

DAINOTEは、プログラミングの基礎から応用までを網羅したプログラミング教材です。
初心者や非エンジニアの方でも、Twitter分析のWEBアプリ、LINE Bot開発、業務の自動化などをゼロから学習することができます。

上記のような多くのコースの中から自分にぴったりのコースをお選びいただけます。特に今回のスクレイピングの内容を実践したい方は、業務自動化コースがおすすめです。

LINE＠に登録した方限定でチュートリアルが見れるようになっているので、ぜひ一度覗いてみてください！

PythonやGoogle Apps Scriptでオリジナルアプリを作りましょう