Skip to content

Python+Selenium+Chromeのウェブスクレイピングでは,by_class_nameでスペースが入った要素を取得することができませんので,取得できる手法を紹介します.

by_css_selectorを使用

メソッドをby_class_nameではなくby_css_selectorにして,取得します.

また,by_css_selectorでは,要素の頭と間にあるスペースに「.」を入れる必要があります.

修正前

python
elem_sample = driver.find_elements_by_class_name("a-link-sample a-text-normal")

修正後

python
elem_sample = driver.find_elements_by_css_selector(".a-link-sample.a-text-normal")

ただし,僕の場合,上記の手法で複数要素を取得しようとすると,100個の要素の内10個しか取得されないような,漏れが発生しました.

そこで,僕は次の手法を主に使っています.

by_xpathを使用

by_css_selectorで複数要素を取得しようとすると,漏れが発生しましたので,by_xpathを利用した手法も紹介します.

修正前

python
elem_sample = driver.find_elements_by_class_name("a-link-sample a-text-normal")

修正後

python
elem_sample = driver.find_elements_by_xpath('//div[@class="a-link-sample a-text-normal"]')

まとめ

by_class_nameでスペースが入った要素を取得するために,by_css_selectorとby_xpathを利用した2つの手法を紹介しました.

これでPython+Selenium+Chromeのウェブスクレイピングもまた,使いやすくなると思います.


参考サイト

seleniumでby_class_nameでスペースが入った要素が取得できずエラーになる時の対処法
<Python, selenium> 空白のあるクラス名を選択するには、、