WEBサイト情報やURLを一括取得や抽出する方法やツール

こんにちは、シバヨシです。

「サイト内のURL一覧」をまとめてほしいと顧客からいわれることもあるかと思います。

いちいちURLをコピーして貼付けるのはとても大変であり、効率が悪いですよね。
一気にまとめて書き出せるようにどうにか効率化したいものです。

そこで今回は、サイト内のURL一覧を取得したいときに役立つサービスを紹介します。
CSV形式やテキスト形式など、何でも良いのですが、特定のhtmlページにリンクされているURL先を
一括取得できるツールがあると便利ですよね。

海外のサイトなので英語なのですが、簡単に扱えます。
「リンク（内部）のみ」という制限はあります。

ブログや、小・中規模のサイト。そうでなくてもサイトマップをしっかり作っているサイトなら、
この「Sucuri SiteCheck」で問題なくURLを取得できますね。

サイトページ一ページ取得一覧

URLを入力するとそのページの同ドメイン以下のリンク一覧を取得するプログラムを開発しましたのでシェアします。たとえば、URLDepthに1以上を設定すると、同ドメイン以下のリンクをたどって更にリンク一覧を取得します。

これを繰り返すことによって、同ドメイン以下のページを網羅することができます。
リンク切れなどがあれば、エラー表示されます。

Firefoｘでページを右クリックして [ページの情報を表示] → [リンク] でリンクの一覧を取得できます。

名前、URL、種類などが表示されますが、このダイアログの表のヘッダの
一番右の部分をクリックすると表示項目を増やしたり減らしたりすることができました。

Webサイトリニューアルのドキュメントづくりや、ページの一括チェックなどに、ぜひ使ってみてください。