トップ > 備忘録 > Webスクレイピング 2:Documentオブジェクトの操作とポイント

Webスクレイピング 2Documentオブジェクトの操作とポイント

VBAからIEの起動は前記事でおこなったので、次は情報取得と操作である。
Webサイトの情報取得には、IE等ブラウザに読み込んだWebページのドキュメント(記録物、文書)を操作するのが一般的。 ドキュメント(以下Document)はHTML情報のかたまりであり、そこから必要とする情報を取得する。
[Webスクレイピング] ウェブサイト上の情報を取得し、それを加工して新たな情報を生成すること

ポイント

・ページソースの表示
・HTMLコードの取得
・要素の取得
・属性を組み合わせての要素取得

サンプルファイル

記事に載せてあるコードサンプルのファイル  ダウンロード


Documentの取得とポイント

1.ページソースの表示

WebページはHTML情報で構成されている。ページソース(HTMLコード)を見ると、下図のようなコードが表示される。このようなHTML情報から、必要な情報を取得する。
ページソースは、ブラウザがアクティブな状態で「 Ctrl 」+「 U 」を押すと表示される。


2.HTMLの簡易説明

サンプルページを作成した。サンプルページ
サンプルページのHTMLコードは次のとおりである。


このような<head>や<body>など、< > ひとまとまりのものをタグ(Tag)と呼び、多くのタグは開始タグと終了タグで構成されている。
例:<head>~</head>、<body>~</body>、<p>~</p>

このような、開始タグ~終了タグのひとかたまりを要素と呼ぶ。
例:body要素:<body>~</body> 、 p要素:<p>~</p>

要素の中に要素が含まれる構成がほとんどである。その場合、外側の要素を親要素、内側の要素を子要素と呼ぶ。
例:<body>~<p>~</p>~</body>
参考サイト:HTMLのタグと要素


3.Documentの取得と操作

DocumentはIEオブジェクトのメンバーであり、操作の書式は次のようになる。
IEオブジェクト.Document.操作内容(プロパティ/メソッド)
次の「Sample8」コードは、前記事「Sample5」に、Documentの操作を追加したものである。コードを実行すると、サンプルページの<html>~</html>のHTMLコードが、イミディエイトウィンドウに出力される。
読み込みページは、サンプルページに変更

#If VBA7 Then   'Excel2010以上の場合
    Declare PtrSafe Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As LongPtr)
#Else           'Excel2007以下の場合
    Declare Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As Long)
#End If

Sub Sample8() 'Documentオブジェクトを操作し、HTML情報を取得 Dim datWait As Date 'Date型変数(日付と時間用) Dim objIE As New InternetExplorer 'インスタンス生成 objIE.navigate "https://excel.syogyoumujou.com/memorandum/dl_file/sampleHTML.html" 'ページ読込 datWait = Now() + TimeValue("00:00:10") '10秒後の時間を格納 Do 'Do-Loop間で読込待機。 If datWait < Now() Then End '10秒以上経過したら強制終了 Call Sleep(50) '0.05秒処理を中断 Loop Until objIE.Busy = False And objIE.readyState = READYSTATE_COMPLETE objIE.Visible = True 'IEを表示 '///以下が追加したコード Debug.Print objIE.document.all.tags("html")(0).outerHTML 'HTML要素の書き出し End Sub

●「Sample8」の実行結果

document.allプロパティは、ページのコンテンツ全体を返す。
そのコンテンツに含まれるタグ群の中で"html"タグを対象として、その要素を取得し出力する。
tags(タグ名)(0)の添え字(0)は、何番目の要素かを指定するもの。1番目の要素が(0)になる。2番目は(1)、3番目が(2)のように指定する。

「Debug.Print objIE.document.all.tags("html")(0).outerHTML」の部分を
「Debug.Print objIE.document.all.tags("h3")(2).outerHTML」のように書き換えると、下図の通り、"h3"タグ群の中で3番目のものを対象として、要素を取得し出力する。


要素の取得には、上記のサンプル以外にも属性毎のプロパティを用いることができる。


4.指定できる属性

HTML要素の取得には、タグを含め、次の属性が指定できる。

属性指定取得要素数プロパティ
ididgetElementByID("id")
namenamegetElementsByName("name")
tagタグ名getElementsByTagName("タグ名")
classクラス名getElementsByClassName("クラス名")

「id」は一意を表すものなので、一般的にはページ内に1つである。そのため要素の順番を指定する添え字は必要ない。ページによっては複数使われている場合もあるが、その場合、最初の要素が取得される。


5.各属性の指定例

準備したサンプルページのHTMLを対象とした、各属性の指定例と結果をまとめる。
サンプルページのHTMLコード


●「id」での指定例
objIE.document.getElementById("mokuji").outerHTML
結果
<div id="mokuji">
      <h3>目次</h3>
      <ul>
        <li>ファイルのパス取得</li>
        <li>フォルダのパス取得</li>
        <li>ブックや各種パス取得</li>
      </ul>
    </div>

●「name」での指定例
objIE.document.getElementsByName("dir")(0).outerHTML
結果
<h3 class="subT" name="dir">フォルダのパス取得</h3>

●「タグ名」での指定例
objIE.document.getElementsByTagName("li")(2).outerHTML
結果
<li>ブックや各種パス取得</li>

●「クラス名」での指定例
objIE.document.getElementsByClassName("text")(1).outerHTML
結果
<p class="text">
      フォルダのパスを取得する際に使用するFileDialogプロパティ。<br>
   <a href="https://excel.syogyoumujou.com/memorandum/filedialog.html">参考ページ</a>
    </p>

6.属性を組み合わせての要素取得

サンプルページHTMLコード、3番目の「p」要素内の、1つ目の「a」要素を取得するといった場合は、次のように属性指定を組み合わせる。

●属性に組合せ例
objIE.document.getElementsByTagName("p")(2).getElementsByTagName("a")(0).outerHTML
結果
<a href="https://excel.syogyoumujou.com/memorandum/get_path.html">参考ページ</a>

7.取得内容プロパティ

ここまでouterHTMLプロパティを用いてきたが、取得する情報の内容によって、よく使われるプロパティを載せる。実行対象は次のサンプルHTMLである。

サンプルHTML
<p>Excel Tips for Teachers <a href="#">トップ</a></p>
サンプルVBA
objIE.document.getElementsByTagName("p")(0).@@@
@@@部のプロパティ実行結果
outerHTML<p>Excel Tips for Teachers <a href="#">トップ</a></p>
inneerHTMLExcel Tips for Teachers <a href="#">トップ</a>
outerTextExcel Tips for Teachers トップ
innnerTextExcel Tips for Teachers トップ
※outerTextとinnerTextは、実質同じ情報を返す。

ページトップへ戻る
Copyright(C) 2009- 坂江保 All Rights Reserved.