ExcelVBAによるウェブスクレイピングの基礎

1. はじめに

ウェブスクレイピングは、ウェブサイトからデータを抽出する技術だったり行為だったりを言います。Excel VBAは、WebページのHTMLコードに簡単にアクセスでき、データの抽出が可能で、さらに皆さんが使い慣れたExcelで抽出したデータを取り扱えるため、Webスクレイピングのツールとして利用可能です。今回は、Excel VBAを使ったWebスクレイピングをステップバイステップで解説します。

2. ウェブスクレイピングの基礎知識

ウェブスクレイピングとは、ウェブページのHTMLコードを解析することで、ウェブサイトからデータを抽出することです。ウェブスクレイピングを始める前に、HTMLとCSSの基本的な理解をしておくことが重要です。HTML（Hypertext Markup Language）はウェブページのコンテンツをの構造を定義し構成するために使用され、CSS（Cascading Style Sheets）はウェブページのレイアウトと外観を定義するために使用されます。

本記事ではこのHTMLとCSSの解説は範囲外とします。

3.Excel VBAによるWebスクレイピングの実装

Excel VBAでWebスクレイピングを実施するためには、以下の手順が必要です：

1.ウェブブラウザでスクレイピングしたいウェブページに移動する。

2.(Edgeの場合)ページ上で右クリックし、「ページのソース表示」を選択して、ウェブページのHTMLコードを解読する。

3.抽出したいデータが含まれているHTMLタグを特定する。

4.ウェブページに移動し、必要なデータを抽出するVBAコードを記述する。

以下は、ウェブページからタイトルと本文を抽出するVBAコードの例です：

Sub ScrapeWebpage()
'Declare variables
Dim webpage As Object
Dim title As Object
Dim bodyText As Object

'Create a new instance of Internet Explorer
Set webpage = CreateObject("InternetExplorer.Application")

'Navigate to the webpage
webpage.navigate "https://www.example.com"

'Wait for the webpage to load
Do While webpage.readyState <> 4
    DoEvents
Loop

'Extract the title and body text
Set title = webpage.document.getElementsByTagName("title")(0)
Set bodyText = webpage.document.getElementsByTagName("body")(0)

'Output the results to the worksheet
Range("A1").Value = title.innerText
Range("A2").Value = bodyText.innerText

'Close the Internet Explorer window
webpage.Quit

'Release memory
Set webpage = Nothing
Set title = Nothing
Set bodyText = Nothing

End Sub

【コード解説】

このVBAコードは、Webページからタイトルと本文を取得してExcelのワークシートのA1とA2セルに書き込むためのものです。

まず、Sub ScrapeWebpage()は、Excel VBAのマクロを開始するための宣言です。

次に、変数webpage、title、bodyTextを宣言しています。変数は、後で使うために値を格納するために使います。

その後、CreateObject("InternetExplorer.Application")で、Internet Explorerのインスタンスを作成します。この後、webpage.navigateで、ウェブページを指定します。

次に、Do Whileループを使用して、ページが完全に読み込まれるのを待ちます。完全に読み込まれると、Do Whileループが終了し、titleとbodyTextを設定します。

最後に、結果をExcelワークシートに書き込み、webpageを終了させ、メモリを解放します。

4.ウェブスクレイピングの注意点・留意点

なお、ウェブスクレイピングは、状況により法的および倫理的な懸念を引き起こす可能性があります。ウェブサイトの利用規約に違反していたり、取得した情報を二次利用した入りすることで、法的な問題を起こさないとも限りません。また、技術的視点でもあまりに頻繁に、あるいは積極的にスクレイピングを行うと、ウェブサイトのサーバーに負担をかけ、パフォーマンスに影響を与える可能性があります。

実際に行う際には十分にこれらの点に配慮した上で実施してください。

5.まとめ

Excel VBAを使ったWebスクレイピングは、データ収集の時間を短縮し、効率を上げることができます。この記事で紹介する手順で、ウェブサイトからデータをスクレイピングしてExcelスプレッドシートに出力する方法の基礎を習得しました。