出会い系掲示板のデータ集め(スクレイピング)について

RPAってご存知ですか？

Robotic Process Automationの略称でAI、ロボットブームで最近流行りなのですが、人のやる作業を自動化する技術の事です。

このサイトでは、データの収集にこの技術を使っていて、大量の掲示板データを取得してデータベース化しています。

これまで、phantomjsというのを使っていたのですが、selenium というライブラリが使いやすくて気に入っています。

実行すると、自動でブラウザが立ち上がって、勝手に操作してくれるのを見てるだけで良いので、楽チンです。

もう少し発展させると、プロフ画像が拾い物かどうかをgoogle画像検索で自動検索して、素人さん判定の精度をあげたりできそうです。