python爬虫之bs4解析和xpath解析_from bs4 import beautifulsoup xpath-程序员宅基地

技术标签: 爬虫  python  xpath  开发语言  

bs4解析

原理:

  • 1.实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
  • 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

如何实例化BeautifulSoup对象:

from bs4 import BeautifulSoup
BeautifulSoup(参数一,参数二)
参数一为文件描述符,参数二为解析器,一般为’lxml’
一对象的实例化:

  • 1.将本地的html文档中的数据加载到该对象中
fp = open( './test.html','r',encoding='utf-8')
soup=BeautifulSoup(fp,'lxml')
  • 2.将互联网上获取的页面源码加载到该对象中
page_text =response.text
soup=BeatifulSoup(page_text,'lxml')

soup指初始化的BeautifulSoup对象

用于数据解析的方法和属性:

1.soup.tagName:返回的是文档中第一次出现的tagName对应的标签
2.soup.find():

(1).find( ‘tagName’):等同于soup.tagName
(2).属性定位:soup.find(‘div’,class_/id/或者其他属性=‘song’)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_52656075/article/details/122896071

智能推荐

QT基于RFID管理系统(可应用于大多数RFID管理系统)_rfid读卡qt设计-程序员宅基地

文章浏览阅读1.5k次,点赞3次,收藏16次。本系统由QT编译,可应用于大多数基于RFID的管理系统,可进行端口设置,进出系统物品查询等基本功能!系统实现:将RFID技术引入柜台贵重物品管理系统,为贵重的柜台商品绑定RFID标签,结合安装在柜台上的RFID识别设备用来监测、控制和跟踪贴标的贵重物品,实现快速盘点、实时跟踪及销售的智能管理。从而对柜台贵重物品产品的进出和销售过程进行全方位的跟踪和记录,用自动化和准确高效的新方法取代了繁琐和低效的人工管理和条码扫描模式。并能做到短距离离开柜台(3~5米)报警,未能取得授权情况下,破坏或解除RFID标签与贵重_rfid读卡qt设计

具体数学 递归问题1.1 从河内塔/汉诺塔开始_任意起始的汉诺塔问题:共有m()根柱子可以用来移动盘子。起始时,在m根柱子上总-程序员宅基地

文章浏览阅读652次。河内塔问题在经典河内塔问题中,有3根柱子和N个不同大小的穿孔圆盘,盘子可以滑入任意一根柱子。一开始,所有盘子自上而下按从大到小依次套在一根柱子上,现在想将所有的圆盘按照原来的位置从一根柱子移动到另一根柱子上,移动过程需要遵守一些规则:1.每次只能移动一个盘子2.盘子只能从柱子顶端滑出移动到下一根柱子3.盘子只能叠在没有盘子的柱子或者比它大的盘子上聚焦河内塔问题。河内塔的规则,限定了较大的圆盘要先转移到目标柱子(选择的任意一根柱子)上,这时直接转移是不可行的,一定要利用其他柱子。问题中只有3根柱_任意起始的汉诺塔问题:共有m()根柱子可以用来移动盘子。起始时,在m根柱子上总

学习MSP432M0手册——第一节GPIO输出功能_mspm0是干什么用的-程序员宅基地

文章浏览阅读419次,点赞5次,收藏5次。利用寄存器编程编程,实现如下功能:通过寄存器编程,实现PB22控制G3507开发板蓝灯的亮灭控制_mspm0是干什么用的

服务Service的基本用法_用服务-程序员宅基地

文章浏览阅读6.4k次,点赞2次,收藏2次。作为 Android四大组件之一, 服务也少不了有很多非常重要的知识点,那自然要从最基本的用法开始学习了。定义一个服务:public class MyService extends Service { /** * onBind是继承Service后唯一的一个抽象方法所以必须要重写的一个方法 */ @Override public IBinder onBin_用服务

java学习总纲-程序员宅基地

文章浏览阅读2.5k次。一、java基础 1、String类为什么是final的。从设计安全上讲:1)确保它们不会在子类中改变语义。String类是final类,这意味着不允许任何人定义String的子类。换言之,如果有一个String的引用,它应用的一定是一个String对象,而不可能是其他类的对象。2)String一旦被创建是不能被修改的,因为java设计者将String为可以共享的。从效率上讲:1)设计成fina...

raw data_raw data rate csdn-程序员宅基地

文章浏览阅读453次。1. posterization any 'histgram stretch'may produce posterization because the limited levels has to fill abroader range than origin. Some empty bins will be created. mostlythe posterization happe_raw data rate csdn

随便推点

不是python中用于开发用户界面的第三方库-Python计算生态习题(50题)-程序员宅基地

文章浏览阅读6k次,点赞3次,收藏36次。1、Python网络爬虫方向的第三方库是A. requestB. jiebaC.itchatD.time答案:A2、Python网络爬虫方向的第三方库是A、numpyB、scrapyC、ArcadeD、FGMK答案:B3、Python数据分析方向的第三方库是A、BokehB、dataswimC、scipyD、Gleam答案:C4、Python数据分析方向的第三方库是A、PlotlyB、PyQtDa..._python第三方库习题

线程的状态-Thread的状态包括:New、Runnable、Blocked、Waiting、Timed Waiting和Terminated_thread terminated-程序员宅基地

文章浏览阅读544次。在Java程序中,一个线程对象只能调用一次start()方法启动新线程,并在新线程中执行run()方法。一旦run()方法执行完毕,线程就结束了。因此,Java线程的状态有以下几种:New:新创建的线程,尚未执行; Runnable:运行中的线程,正在执行run()方法的Java代码; Blocked:运行中的线程,因为某些操作被阻塞而挂起; Waiting:运行中的线程,因为某些操作在等待中; Timed Waiting:运行中的线程,因为执行sleep()方法正在计时等待; Termina_thread terminated

【AI视野·今日CV 计算机视觉论文速览 第259期】Tue, 3 Oct 2023_humannorm: learning normal diffusion model for hig-程序员宅基地

文章浏览阅读543次。AI视野·今日CS.CV 计算机视觉论文速览Tue, 3 Oct 2023 (showing first 100 of 167 entries)Totally 100 papers上期速览更多精彩请移步主页Daily Computer Vision PapersGPT-Driver: Learning to Drive with GPT Authors Jiageng Mao, Yuxi Qian, Hang Zhao, Yue Wang我们提出了一种简单而有效的方法,可以将 O_humannorm: learning normal diffusion model for high-quality and realistic 3d

vivado仿真器文件没有针对VCS的,这个时候将ip文件夹下的sim 和simulation文件夹给到VCS就可以_vivado不支持vcs-程序员宅基地

文章浏览阅读1k次。这个时候将ip文件夹下的sim 和simulation文件夹给到VCS就可以_vivado不支持vcs

【python】多维list(非对齐数据)填充,可视化,colorbar操作_多维list展平-程序员宅基地

文章浏览阅读723次。读取非对齐数据到list,数据填充。可视化,colrbar_多维list展平

Python机器学习零基础理解随机森林算法_随机森林零基础-程序员宅基地

文章浏览阅读3.6w次。大家好,我是Mr数据杨。今天,我想让大家跟我一起回到历史的烟云之中,探索“随机森林”的奥秘,其实,这与三国演义中的一段经历颇有相似之处。记得那时曹操曾经在建邺遇到了大问题,他需要找出敌人刘备的真正意图。这就如同在大数据中找寻答案,需要用随机森林这一工具理解并预测未来。这如同曹操手下的谋士郭嘉,用他的聪明才智,协助曹操一步步揭示真相。_随机森林零基础

推荐文章

热门文章

相关标签