会话超时网页
你好,
这对我来说是新的,但我希望在Python编程方面获得一些帮助!!
我目前正在为网站编写刮擦,但不幸的是,每次我复制并将链接粘贴到python并使用Python访问该页面时,它会返回"会话超时"错误...我不确定该语言是什么在网站后面,也许是JavaScript,因为" JSession"与会话ID命名约定有关.
我已经尝试使用urllib2.urlopen("网站")获取会话ID,然后将其合并到链接中,然后再次通过,但存在相同的问题.
我还使用了win32com.dispatch(Internet Explorer.Application)来模拟通过网页浏览的用户,但没有成功.
任何人都可以帮助或建议克服这个问题的方法吗?
提前谢谢了!
干杯
# 回答1
您是否使用所有www-stities收到相同的超时消息?
也许防火墙会阻止您的Python应用程序?
您是否使用所有www-stities收到相同的超时消息?
也许防火墙会阻止您的Python应用程序?
# 回答2
我很确定Python可以访问所有端口.
采用以下链接:
http://www.yellowpages.com.au/browse/listingsSearch.do?sbs=&headingCode=29025&sortByAlp habetical=false&sortByClosestMatch=false&sortByDis tance=false®ion=australia&sortByDetail=true&saf eLocationClue=All+States&stateId=9¤tLetter=
当您打开此链接时,会话已经过期了....您也可以尝试自己.....从黄页面网站进入任何类别,然后使用Python打开与您要查看的相同链接即...您可以立即得到答复,说该链接已经过期了... ..
这很烦人...我需要迭代页面.
我很确定Python可以访问所有端口.
采用以下链接:
http://www.yellowpages.com.au/browse/listingsSearch.do?sbs=&headingCode=29025&sortByAlp habetical=false&sortByClosestMatch=false&sortByDis tance=false®ion=australia&sortByDetail=true&saf eLocationClue=All+States&stateId=9¤tLetter=
当您打开此链接时,会话已经过期了....您也可以尝试自己.....从黄页面网站进入任何类别,然后使用Python打开与您要查看的相同链接即...您可以立即得到答复,说该链接已经过期了... ..
这很烦人...我需要迭代页面.
# 回答3
与Python一起浏览该页面可能很难
您必须将cookie与python一起使用(因此会话ID将保存到cookie中),我不知道该怎么做,也许有一个简单的解决方案,Google It; d; D
尝试一下:如果您禁用浏览器的cookie并转到黄页网站,请在那里冲浪一点,您将看到现在会话cookie不能保存到cookie中,因为它是禁用的,现在会话ID在您的URL地址中,类似的东西" jsessionId = 70D2F96D52EA769F6A6DDF9FC4593277.YPS305 _22122"
因此,您有两个选择:
使用Python模块的cookie
不知何故将该会话ID包括在您的URL地址中
与Python一起浏览该页面可能很难
您必须将cookie与python一起使用(因此会话ID将保存到cookie中),我不知道该怎么做,也许有一个简单的解决方案,Google It; d; D
尝试一下:如果您禁用浏览器的cookie并转到黄页网站,请在那里冲浪一点,您将看到现在会话cookie不能保存到cookie中,因为它是禁用的,现在会话ID在您的URL地址中,类似的东西" jsessionId = 70D2F96D52EA769F6A6DDF9FC4593277.YPS305 _22122"
因此,您有两个选择:
使用Python模块的cookie
不知何故将该会话ID包括在您的URL地址中