Grab: различия между версиями
Содержимое удалено Содержимое добавлено
Oleg4280 (обсуждение | вклад) |
DannyS712 (обсуждение | вклад) м <source> -> <syntaxhighlight> (phab:T237267) |
||
Строка 34:
= Примеры =
<
from grab import Grab
g = Grab(log_file='out.html')
g.go('yandex.ru')
</syntaxhighlight>
Разбор программы
Строка 48:
== Поиск на странице ==
<
from grab import Grab
g = Grab(log_file='out.html')
g.go('yandex.ru')
g.search(u'яндекс')
</syntaxhighlight>
Если текст будет найден, то ответ будет True.
== Получаем текст ==
<
from grab import Grab
g = Grab(log_file='out.html')
g.go('yandex.ru')
print g.xpath_text('//*')
</syntaxhighlight>
В результате вы получите весь текст со страницы Yandex.<br>
<
print g.xpath_text('//title')
</syntaxhighlight>
Получите title страницы.
Строка 77:
XPath расшифровывается как XML Path Language.
<
print g.xpath_text('//*')
</syntaxhighlight>
Звёздочка означает импортировать весь текст.
<
print g.xpath_text('//div')
</
После двух слешей, вы можете указать из какого конкретно элемента импортировать. Если элемент пуст, то появится ошибка. Это не должно вас пугать, это не значит, что вы неправильно прописали синтаксис, это значит, что просто элемент пуст. Также еще важный момент xPath действует интеллектуально, он ищет элемент по всей странице. Найдёт даже если он в конце вебстраницы.
Вы можете конкретизировать элемент. Эта та самая часть, которая путает многих начинающих.
<
print g.xpath_text('//h1')
print g.xpath_text('//h3')
Строка 96:
print g.xpath_text('//div[@id="post_140164"]')
print g.xpath_text('//a[@class="post_title"]')
</syntaxhighlight>
После двух слешей вы указываете сам элемент, ухо указывает на атрибут элемента. Например, в html коде написано так:
<
<div id="post_115825">
</syntaxhighlight>
А в Грабе следовательно надо написать так:
<
print g.xpath_text('//div[@id="post_115825"]')
</syntaxhighlight>
Если мы имеем дело с линком, значит вместо div пишем a. Если он имеет какой-то класс, то конкретизируем.
<
print g.xpath_text('//a[@class="post_title"]')
</syntaxhighlight>
Значительную помощь нам оказывает [[w:Firebug|Firebug]] или встроенный модуль анализа элементов в браузерах.
Строка 121:
Если приведённый пример не сработает, это значит, что grab не может найти класс линка. Они часто меняются. Чтобы узнать новый класс, надо поставить расширение для браузера firebug. Правой клавишей становитесь на линк и выбираете Inspect element with Firebug.
<
from grab import Grab
import logging
Строка 128:
g.go('python.org')
print g.xpath('//a[@class="reference external"]').get('href')
</syntaxhighlight>
Мы получим первый линк из класса reference external. <code>>>> /psf/license/</code><br>
Строка 136:
Допустим у вас есть уже несколько сохранённых веб-страниц, вам нужно их распарсить.
<
data = open('my-file.html').read()
g = Grab(data)
</syntaxhighlight>
== Сообщения об ошибках ==
| |||