Java通过selenium自动化爬去数据
2018-06-21 06:52:26来源:未知 阅读 ()
Selenium,作为一个Web应用程序测试的工具。
1,配置selenium的路径和浏览器,我用的是firefox
webdriver.firefox.bin=D:/tools/firefox/firefox.exe
webdriver.gecko.driver=D:/project/geckodriver.exe
分别为firefox的安装路径和firefox的驱动路径,这个驱动主要是驱动firefox自动打开,点击按钮等操作。
2,
public class Selenium{ private static String driver = ""; private static String fireFox = ""; static { //读取配置文件中关于Selenium的配置 Properties properties = new Properties(); InputStream in = Object.class.getResourceAsStream("/selenium.properties"); try { properties.load(in); //驱动路径 driver = properties.getProperty("webdriver.gecko.driver"); //浏览器路径 fireFox = properties.getProperty("webdriver.firefox.bin"); } catch (Exception e) { e.printStackTrace(); } finally { try { in.close(); } catch (IOException e) { e.printStackTrace(); } } } WebDriver webDriverPC = new FirefoxDriver();
public static void main(String[] args) { String content = webDriverPC.get("http://www.baidu.com") } }
这样就可以得到请求后的HTML,在用
Jsoup处理
Document doc = Jsoup.parse(content);
可得到里面的内容。
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- 国外程序员整理的Java资源大全(全部是干货) 2020-06-12
- 2020年深圳中国平安各部门Java中级面试真题合集(附答案) 2020-06-11
- 2020年java就业前景 2020-06-11
- 04.Java基础语法 2020-06-11
- Java--反射(框架设计的灵魂)案例 2020-06-11
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash