返回顶部
首页 > 资讯 > 后端开发 > PHP编程 >php如何只抓取网页头
  • 353
分享到

php如何只抓取网页头

php 2019-01-18 19:01:43 353人浏览
摘要

php只抓取网页头的方法:1、使用get_headers()函数;2、使用http_response_header方法;3、使用stream_get_meta_data()函数;4、使用php CURL来获取网页头即可。

本文操作环境:windows7系统、PHP7.1版、DELL G3电脑

php如何只抓取网页头?

php获取网页header信息的4种方法

php获取网页header信息的方法多种多样,就php语言来说,我知道的方法有4种, 下面逐一献上。

方法一:使用get_headers()函数

推荐指数: ★★★★★

get_header方法最简单只要两行代码即可搞定。如下:

$thisurl = "Http://www.lao8.org/";
print_r(get_headers($thisurl, 1));

得到的结果为:

Array
(
    [0] => HTTP/1.1 200 OK
    [Cache-Control] => max-age=86400
    [Content-Length] => 76102
    [Content-Type] => text/html
    [Content-Location] => http://www.lao8.org/index.html
    [Last-Modified] => Fri, 19 Jul 2013 03:52:30 GMT
    [Accept-Ranges] => bytes
    [ETag] => "50bc48643384ce1:5cb3"
    [Server] => Microsoft-IIS/6.0
    [X-Powered-By] => asp.net
    [Date] => Fri, 19 Jul 2013 09:06:39 GMT
    [Connection] => close
)

方法二:使用http_response_header

推荐指数: ★★★

http_response_headerf方法也很简单,仅三行:

$thisurl = "http://www.lao8.org";
$html = file_get_contents($thisurl ); 
print_r($http_response_header);

得到的结果为:

Array
(
    [0] => HTTP/1.1 200 OK
    [1] => Cache-Control: max-age=86400
    [2] => Content-Length: 76102
    [3] => Content-Type: text/html
    [4] => Content-Location: http://www.lao8.org/index.html
    [5] => Last-Modified: Fri, 19 Jul 2013 03:52:30 GMT
    [6] => Accept-Ranges: bytes
    [7] => ETag: "50bc48643384ce1:5cb3"
    [8] => Server: Microsoft-IIS/6.0
    [9] => X-Powered-By: ASP.net
    [10] => Date: Fri, 19 Jul 2013 09:06:41 GMT
    [11] => Connection: close
)

方法三:使用stream_get_meta_data()函数

推荐指数: ★★★

使用stream_get_meta_data()代码也只需三行:

$thisurl = "http://www.lao8.org/";
$fp = fopen($thisurl, 'r'); 
print_r(stream_get_meta_data($fp));

得到的结果为:

Array
(
    [wrapper_data] => Array
        (
            [0] => HTTP/1.1 200 OK
            [1] => Cache-Control: max-age=86400
            [2] => Content-Length: 76102
            [3] => Content-Type: text/html
            [4] => Content-Location: http://www.lao8.org/index.html
            [5] => Last-Modified: Fri, 19 Jul 2013 03:52:30 GMT
            [6] => Accept-Ranges: bytes
            [7] => ETag: "50bc48643384ce1:5cb3"
            [8] => Server: Microsoft-IIS/6.0
            [9] => X-Powered-By: ASP.NET
            [10] => Date: Fri, 19 Jul 2013 09:06:41 GMT
            [11] => Connection: close
        )
    [wrapper_type] => http
    [stream_type] => tcp_Socket
    [mode] => r+
    [unread_bytes] => 1086
    [seekable] => 
    [uri] => http://www.lao8.org/
    [timed_out] => 
    [blocked] => 1
    [eof] => 
)

第四种方法: 使用php的高级函数 CURL()来获取

推荐指数: ★★★★

上面的三种方法能获取一般的网页header信息,如果想要获取更详细的header信息比如网页是否启用了GZip压缩。这时候可以用php的高级函数curl()来获取。

使用curl获得header可以检测GZip压缩

先贴出代码:

<?php
$szUrl = 'http://www.lao8.org/';
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $szUrl);
curl_setopt($curl, CURLOPT_HEADER, 1);  //输出header信息
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  //不显示网页内容
curl_setopt($curl, CURLOPT_ENcoding, ''); //允许执行gzip
$data=curl_exec($curl); 
if(!curl_errno($curl))
{
    $info = curl_getinfo($curl);
    $httpHeaderSize = $info['header_size'];  //header字符串体积
    $pHeader = substr($data, 0, $httpHeaderSize); //获得header字符串
    $split   = array("rn", "n", "r");  //需要格式化header字符串
    $pHeader = str_replace($split, '<br>', $pHeader); //使用<br>换行符格式化输出到网页上
    echo $pHeader;
}
?>

输出结果如下:

HTTP/1.1 200 OK
Cache-Control: max-age=86400
Content-Length: 15189
Content-Type: text/html
Content-Encoding: gzip
Content-Location: http://www.lao8.org/index.html
Last-Modified: Fri, 19 Jul 2013 03:52:28 GMT
Accept-Ranges: bytes
ETag: "0268633384ce1:5cb3"
Vary: Accept-Encoding
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Fri, 19 Jul 2013 09:27:21 GMT

可以看到使用curl获取到的header信息多了这行:Content-Encoding: gzip,网页启用了GZip压缩。

--结束END--

本文标题: php如何只抓取网页头

本文链接: https://www.lsjlt.com/news/278.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • PHP网页抓取之抓取百度贴吧邮箱数据代码分享
    百度贴吧大家都经常逛,去逛百度贴吧的时候,经常会看到楼主分享一些资源,要求留下邮箱,楼主才给发。对于一个热门的帖子,留下的邮箱数量是非常多的,楼主需要一个一个的去复制那些回复的邮箱,然后再粘贴发送邮件,不是被折磨死就是被累死。无聊至极写了一 ...
    276
    2023-03-24
    贴吧 取之 邮箱
  • 怎样使用CSS实现一只鸭子头
    这篇文章将为大家详细讲解有关怎样使用CSS实现一只鸭子头,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。代码解读定义dom,容器中包含4个元素:/spa ...
    459
    2023-03-24
    css
  • Python抓取网页内容
    import urllib.requestresponse=urllib.request.urlopen("http://www.baidu.com")print(response.read()) ...
    928
    2023-03-24
    网页 内容 Python
  • Python之抓取网页元素
    import urllib.requestfrom bs4 import BeautifulSoupurl = "http://www.wal-martchina.com/walmart/store/14_hubei.htm"user_ag ...
    330
    2023-03-24
    元素 网页 Python
  • 利用python抓取网页图片
    近期在家想看华为官方的【IP,图话技术,微图】系列文档,奈何家里是长宽,基本打不开页面,刷新多次,心力憔悴。▎下图感受下:    突然想起上次华为云大会送了台云服务器,一直被我用来做linux实验机。于是,突发奇想,利用python下载图片 ...
    514
    2023-03-24
    网页 图片 python
  • Python抓取网页图片难点分析
    没想到python是如此强大,令人着迷,以前看见图片总是一张一张复制粘贴,现在好了,学会python就可以用程序将一张张图片,保存下来。今天网上冲浪看到很多美图,可是图片有点多,不想一张一张地复制粘贴,怎么办呢?办法总是有的,即便没有我们也可以创造一个办法 ...
    675
    2023-03-24
    Python抓取网页图片 Python抓取图片 Python抓取网页
  • Python:网页的抓取、过滤和保存
    Python:网页的抓取、过滤和保存环境:Python 2.7.3,win10一、抓取目的地是ZOL笑话大全 地址:http://xiaohua.zol.com.cn/new/2.html 网址的组成要灵活点,这个网站的地址后面是可变的,比 ...
    834
    2023-03-24
    网页 Python
  • PHP的cURL库功能简介 抓取网页、POST数据及其他
    本文介绍了PHP的cURL库的几个使用方法。cURL是一个功能强大的PHP库,可以用于获取网页内容,获取网页内容以及取一个XML文件并把其导入数据库等等。 ...
    177
    2023-03-24
    PHP cURL库
  • android 封装抓取网页信息的实例代码
    代码如下:package cn.mypic;import java.io.BufferedInputStream;import java.io.BufferedReader;import java.i ...
    799
    2023-03-24
    封装 Android
  • python 抓取的网页默认是bytes
    python 抓取的网页默认是bytes的,要转码.查看网页源码可以看到,我本次抓取的网页的编码方式是utf-8的.req = urllib.request.Request(url=myurl,headers = myheaders)dat ...
    600
    2023-03-24
    网页 python bytes
  • php curl 怎么只获取数据
    php curl获取数据的方法:1、通过“function http_curl($url, $type = 'get', $data = ''){...}”方法获取数据;2、分别用POST和GET获取数据即可。 ...
    241
    2023-03-24
    php curl
  • Phantomjs抓取渲染JS后的网页(Python代码)
    最近需要爬取某网站,无奈页面都是JS渲染后生成的,普通的爬虫框架搞不定,于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库(如果有,请告知小编),漫步了一圈,发现只有pyspider提供了现成 ...
    733
    2023-03-24
    代码 网页 Phantomjs
  • python访问抓取网页常用命令总结
    python访问抓取网页常用命令简单的抓取网页:import urllib.requesturl="http://google.cn/" response=urllib.request.urlopen(url)#返回文件对象 ...
    240
    2023-03-24
    网页 常用命令 python
  • python抓取网页中图片并保存到本地
    在上篇文章给大家分享PHP源码批量抓取远程网页图片并保存到本地的实现方法,感兴趣的朋友可以点击了解详情。#-*-coding:utf-8-*- import osimport uuidimport urllib2import coo ...
    351
    2023-03-24
    并保存 网页 图片
  • php头编码实例设置方法及代码
    在本篇文章里小编给大家整理的是一篇关于php头编码实例设置方法及代码,有兴趣的朋友们可以学习参考下。 ...
    739
    2023-03-24
    php 头编码
  • php怎么只匹配数字和字母
    在PHP中,可以利用正则表达式和“preg_match()”函数来匹配数字和字母,该函数用于执行一个正则表达式的匹配,语法为“preg_match("/^[a-zA-Z0-9]+$/u", 需要匹配的字符串)”。 ...
    605
    2023-03-24
    php
  • php的数组只支持数字下标吗
    不是,php数组的下标(索引值)可以是一个字符串,也可以是一个数字。下标为字符串的数组为关联数组,是一种具有特殊索引方式的数组;下标为数字的数组为索引数组,其下标值必须为整数,且从0开始以此类推。 ...
    218
    2023-03-24
    php 数组 下标 关联数组 索引数组
  • Node.JS利用PhantomJs抓取网页入门教程
    前言当想用 nodejs 抓取一些网页 , 我第一反应想到的就是使用 http 模块 , 比如抓取百度首页:var http = require('http');var req = http.request('http://www.ba ...
    556
    2023-03-24
    入门教程 网页 Node
  • php怎么让数组只保留键名
    两种实现方法:1、使用array_keys()函数获取数组全部键名,语法“array_keys(数组)”;如果想要保留指定值的键名,则可设置第二和第三参数,语法“array_keys(数组,指定值,类型是否一致)”。2、利用foreach循环和一个空数组来获取数组全部键名,语法“foreach($arr1 as $k=>$v){$arr2[]=$k;}”。 ...
    392
    2023-03-24
    php数组 php
  • javascript如何只获取日期
    这篇文章主要介绍“javascript如何只获取日期”,在日常操作中,相信很多人在javascript如何只获取日期问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”javascript如何只获取日期”的疑惑有所 ...
    335
    2023-03-24
    javascript
热门问答
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作