Octoparseの評判、口コミは?実際に利用してみた感想を紹介
「Octoparseっていうスクレイピングツールあるって聞いたけど、実際使いやすいの?」
この記事を読んで分かること
- Octoparseとは何か
- Octoparseの基本的な使い方
- Octoparseで具体的にできることは何か
- Octoparseの無料プランと有料プランでできることの違い
- Octoparseでスクレイピングをする際と、自分でコードを書いてスクレイピングをする際の違い
3分ほどで読めるようになっているので、ちょっとスクレイピング試してみたい!という方必見です。
※結論から言うと、Octoparseはプログラミング未経験の人が数十時間かけて勉強しなければいけない内容をすべてスキップして、クリックだけでスクレイピングができるかなり便利なツールでした。
目次 (PRも含まれます)
Octoparseとは?
Octoparseは、Octopus Data Inc.が運営しているWebスクレイピングツールです。
※スクレイピングとは、Webページの情報を取得することができる技術のことで、画像やWeb上のデータの取得、保存を自動化することが可能です。
Octoparseでできることとは?
Octoparseはスクレイピングのツールなので、Web上のデータ取得をすることができるのですが、具体的には以下のようなデータを取得することが可能です。
- ECサイトの検索結果や、商品詳細などのデータ
- メディアやニュースサイトなどの記事データ
- SNSの投稿データ
Octoparseがおすすめな人
- Python技術を持っていないけど、素人でもすぐに使えるスクレピング技術がほしい人
- 毎日、指定のWebサイトからのデータ収集を手動で行っていて、面倒くさいな〜と思っている人
- 毎回クラウドソーシングでデータ収集の依頼をしているが、さくっとコードを書かずに作れるようになりたいなと考えている人
微妙にコードを書かないといけないのが、スクレイピングでは大変なんですが、簡単な求人サイトなら、5分くらいでサクッと全データを収集できました。
Octoparseの使い方は?
Octoparseを使う際には、大きく分けて以下の2つの使い方があります。
日本語化して使うことも可能?
Octoparseを実際に体験してみての感想
ここからは実際に体験してみた結果をもとに、Octoparseを徹底レビューをしていきます。
簡単なWeb上のデータなら、スクレイピング のコードを書かずとも実装できる
まず、実際に体験して一番のメリットだったのは、プログラミング未経験者でもコードを書かずにスクレイピングをすることができる点です。
- HTML、CSS、JavaScriptなどの基礎学習をする
- Pythonの基礎学習、PC上での環境構築などを行う
- Pythonのライブラリーや、サーバー周りの基礎学習をする
※スクレイピングをする際には、Rubyなど他の言語ですることも可能ですし、Google スプレッドシートやGoogle App Scriptなどを用いた簡易的なスクレイピングをやる方法もあります。
ですが、Octoparseでスクレイピングをすると以下のようなことができるため、正直めちゃくちゃ楽になりました。
- プログラミングの事前学習や、PCの環境構築などがいらず、ソフトウェアをインストールするだけでいい。
- UI上でどのデータを取得したいかをクリックだけで指定することができる。
- 取得したデータは、CSVなど自分が好きなファイル形式で保存できるため、データ分析などもやりやすい。
Octoparseのメリット、実際の口コミ、評判は?
Ocoparseのメリットとしては、以下の3つがあります。
- プログラミング未経験でも使え、しかも無料
- 複雑なデータ収集を、画面上でできるカスタマイズモードがある
- 初心者でもわかりやすい!自動でHTMLを判別してくれる機能
- TwitterやInstagramなど普段よくスクレイピングしたいサイトがテンプレートから楽々スクレイピング
①プログラミング未経験でも使え、しかも無料
前述した通り、プログラミング学習をせずとも、クリックだけデータ取得をすることができることは大きな魅力ですね。
https://twitter.com/cabin_sweet/status/1393825876370882565
無料ですぐに使うことができるため、ちょっとスクレイピングを試してみたいという方にも評価されています。
https://twitter.com/miki_apreciar/status/1262204529358987265
②複雑なデータ収集を、画面上でできるカスタマイズモードがある
例えば、Webサイトにログインして、特定のボタンをクリックして、モーダルからテキストやテーブルを取得したい!といったような、少し複雑なスクレイピング を実装するとなると、Pythonを使って実装するとかなり大変ですよね。(私自身、SeleniumのようなHeadless Browserを利用するライブラリを利用して実装していましたが、毎回HTMLの読み込みなどをするのが非常に面倒くさかったです)
Octoparseなら、ワークフローを組め、ログインなどの認証から、ボタン操作まで、非常にやりやすいです。
(引用:Octoparse チュートリアル)
③初心者でもわかりやすい!自動でHTMLを判別してくれる機能
一般的なスクレイピングだと、
- 全記事のデータを取得→検索結果から、「次へ」ボタンを抜き出して、最後のページまで実行
のような処理をしていく必要があるのですが、Octoparseを利用すると、自動でHTMLのパーツを理解してくれるので、全件取得した場合も簡単にデータ収集することができます。
引用元:Octoparse | レッスン1:自動識別機能でデータを抽出する
④TwitterやInstagramなど普段よくスクレイピングしたいサイトがテンプレートから楽々スクレイピング
一般的に、SNSサイトのデータを収集する場合、IPブロッキングなどが多いのですが、Octoparseでは
- Yahooショッピング
- ヤフオク
- メルカリ
- ZOZOTOWN
- 楽天市場
- 食べログ
- iタウンページ
- Googleマップ
- マイナビ転職
- リクナビnext
- SUUMO
などのスクレイピング テンプレートがすでに用意されています。利用ケースが多いサイトがあらかじめテンプレートを選ぶだけで簡単にデータが収集できるので、非常に魅力的です。
⑤指定時間の定期実行が可能
指定時間で、定期実行が可能です。
毎朝、決まった時間にデータを更新したいタイミングなど、非常に重宝します。
Octoparseのデメリット、実際の口コミ、評判は?
Octoparseのデメリットとしては、以下の3つがあります。
- 無料だと一部機能制限がある
- 無料版では、有料版よりもクロールのスピードが遅い
無料だと一部機能制限がある
データの取得を定期実行したい場合や、APIアクセスなど、一部の機能は無料版では制限があります。
前にTLにながれてきたOctoparseを試してみた。
とりあえずスクレイピングは成功してる?
ただ、スケジュール機能は有料やから別の方法をとったほうがいいかもしれん。
(3, 4年前になろうをPythonでスクレイピングしたみたいに) pic.twitter.com/pEXi5KDknv— ルチルさん (@Rutile_Darkness) May 19, 2021
無料版では、有料版よりもクロールのスピードが遅い
利用した感想で、無料版だとデータ取得のスピードが遅いという感想を持っている方もいます。
オクトパースを使えば、ノンプログラマーな僕でもスクレイピングし放題なことに気づいた。
無料で1万URLクロールできるのでプライベートで使うならお金かからない。ただし、無料版はクロールスピードが遅いです。仕事で使うなら有料版のほうが良さそう。https://t.co/ycyYicaRNA
— Ryohei Sakai (@sakai_ryohei) June 3, 2019
Octoparseの登録方法
- 「Octoparse」の公式サイトにアクセスして、画面右上の「無料トライアル」をクリック
- ユーザー登録と、メールアドレスの承認を行う
- 無料版か有料版のトライアルを選択できるので、好きな方を選ぶ
- WindowsかMacに合わせて、ダウンロード
- ダウンロードしたソフトウェアをインストールして完了
①「Octoparse」の公式サイトにアクセスして、画面右上の「無料トライアル」をクリック
②ユーザー登録と、メールアドレスの承認を行う
③無料版か有料版のトライアルを選択できるので、好きな方を選ぶ
④WindowsかMacに合わせて、ダウンロード
⑤ダウンロードしたソフトウェアをインストールして完了
無料版との違い:有料版プランなら、API経由でデータの収集ができる
また、有料版も試してみたのですが、個人的にはAPI経由でデータの取得ができるようになるのがかなり便利だなぁと思いました。
API経由でデータの取得ができると、以下のようなことができるようになります。
- 各種ログインが必要なサービスからデータを取得する
- 申し込みのデータなどを取得して、特定のプロダクトにインポートする
同じことを自分でコードを書いてやろうとすると、以下のようなことが必要になります。
- 仮想ブラウザを用意する
- ブラウザを自動操作するスクリプトを自分で用意する
- 書いたコードが定期実行されるように設定する
上記をプログラミング未経験の方が、自分でゼロから学習をしていくのはかなり時間がかかりそうですよね。
まとめ
というわけで、Octoparseをレビューしました。
まとめると、以下になります。
- Octoparseはプログラミング未経験でもスクレイピングができる
- 無料でもかなり機能が充実してる
- 企業などで利用する際は、有料版をつかうこともありそうだが、個人であれば基本的には無料版で足りる。