[Python] mechanize заполнение веб формы

[wiom]

Не получается заполнить форму на сайте. Нашел пример

Код: [Выделить]

import cookielib
from mechanize import ParseResponse, urlopen, Browser
response = urlopen("https://account.cyberghostvpn.com/en/login")
forms = ParseResponse(response, backwards_compat=False)
form = forms[0]
print (form)с одним сайтом это получилось. я увидел поля формы и потом смог заполнить ее и отправить. но вот с другим сайтом (он указан в параметре urlopen) такой трюк не проходит вылетает ошибка 403. Как я понял, нужно просто указать headers в запросе, а как это сделать я не смог найти. во всяком случае для urlopen. Подскажите пожалуйста что мне делать?))

[symon2014]

Конкретно не подскажу, но обычно ошибка 403 - это отказ в доступе(недостаточно прав).

[wiom]

symon2014, вы правы, 403 Forbidden означает что доступ к документу запрещен. И я уже даже выяснил причину. Вот так работает

Код: [Выделить]

import cookielib
from mechanize import Browser

br = Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
res  = br.open('https://account.cyberghostvpn.com/en/login')
print res.read()а работает потому что указаны headers. но мне нужно сделать это с urlopen. чтобы оттуда я спарсил форму авторизации. хотя, быть может кто то знает как еще можно получить список форм и полей, то я буду очень признателен)
Пользователь решил продолжить мысль [time]11 Июль 2015, 09:18:35[/time]:
в общем вот что получилось

попытка с mechanize

Код: [Выделить]

import cookielib
from mechanize import Browser

br = Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
br.open('https://account.cyberghostvpn.com//en_us/login')
for f in br.forms():
    print f.nameв ответ ничего.

попытка с grab

Код: [Выделить]

from grab import Grab

g = Grab(log_file='out.html')
g.go('https://account.cyberghostvpn.com//en_us/login')
g.set_input_by_xpath(".//*[@id='loginForm']/input[1]","логин")
g.set_input_by_xpath(".//*[@id='loginForm']/input[1]","пароль")
g.submit()
в ответ

(Нажмите, чтобы показать/скрыть)

ERROR:root:Call to deprecated function set_input_by_xpath. Use grab.doc.set_input_by_xpath instead.
Traceback (most recent call last):
  File "grabTest.py", line 8, in <module>
    g.set_input_by_xpath(".//*[@id='loginForm']/input[1]","логин")
  File "/usr/local/lib/python2.7/dist-packages/grab/util/misc.py", line 26, in new_func
    return func(*args, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/grab/deprecated.py", line 331, in set_input_by_xpath
    return self.doc.set_input_by_xpath(xpath, value)
  File "/usr/local/lib/python2.7/dist-packages/grab/document.py", line 535, in set_input_by_xpath
    if parent.tag == 'form':
AttributeError: 'NoneType' object has no attribute 'tag'

подскажите как мне поля заполнить на этом сайте?