博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python使用xslt提取网页数据
阅读量:7144 次
发布时间:2019-06-29

本文共 520 字,大约阅读时间需要 1 分钟。

在python网络爬虫内容提取器一文我们详细了解了核心部件:可插拔的内容提取器gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第一部分,实验了xslt方式一次性提取静态网页内容并转换成xml格式。

用lxml库实现网页内容提取
Lxml是python的一个库,可以迅速,灵活地处理XML Path Language(XPath)和Extensible Stylesheet Language Transformation (XSLT),并且实现了常见的ElementTree API.
这2天测试了在python中通过xslt来提取网页内容,记录如下:
1.抓取目标
假设要提取论坛的帖子标题和回复数,要把整个列表提取出来,存成xml格式
2.源代码1:只抓当前页,结果显示在控制台
Python的又是是用很少两代码就能解决一个问题,请注意下面的买吗看起来很长,其实python函数调用没有几个,大篇幅被一个xslt脚本占去了,在这段代码中,只有一个好长的字符串而已,至于为什么选择xslt,而不是离散的xpath或者让人挠头的正则表达式,我们期望通过这个构架,把程序员的时间节省下来一大半。

转载地址:http://lswgl.baihongyu.com/

你可能感兴趣的文章
关于Redis的启动过程
查看>>
Android 按二次后退键退出应用程序
查看>>
Springboot监控之一:SpringBoot四大神器之Actuator之2--springboot健康检查
查看>>
[唐诗]秋夜喜遇王处士-王绩
查看>>
一个简单多任务内核实例的分析【转】
查看>>
WPF 3D 小小小小引擎 - ·WPF 3D变换应用
查看>>
又一道简单题&&Ladygod(两道思维水题)
查看>>
golang笔记——函数与方法
查看>>
Linux LVM硬盘管理及LVM扩容
查看>>
针对某个数据库error做systemstate dump
查看>>
iOS开发--SWRevealViewController
查看>>
JSP--百度百科
查看>>
TCP/IP详解学习笔记(2)-数据链路层
查看>>
VMware+Windgb+Win7内核驱动调试
查看>>
initWithFrame、initWithCoder、awakeFromNib的区别和调用次序 & UIViewController生命周期 查缺补漏...
查看>>
客户端请求新页面
查看>>
VMware安装CentOS时,无法以图形界面安装解决办法
查看>>
SpringMvc文件资源防止被外链链接
查看>>
Spring 4 官方文档学习(十一)Web MVC 框架
查看>>
使用 Spring Boot 快速构建 Spring 框架应用--转
查看>>