最新公告
  • 欢迎来到UU学院,我们坚信学习是最好的投资,在这里您可以边学习边赚钱!立即加入我们
  • php爬虫教程

    正文概述 UU校长   2020-11-14   7

     

    回到顶部

    v   一、总结(点击显示或隐藏总结内容)

    一句话总结:用的爬虫框架,却是用的自己的例子(因为网站结构的变化,作者的例子不一定好用)

    爬虫框架 自己例子

    1、发现自己的运行效果和作者的不一样怎么办?

    耐下性子快速阅读全部文档

    作者的文档很有可能是之前写的,不一样正常,但是看文档的时候尽量全部文档都看一下,否则只看前面几个因为各种原因(比如例子年久失修)例子可能运行不出来

    回到顶部

    二、爬虫使用流程

     

    1、下载爬虫框架

    owner888/phpspider: 《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序
    https://github.com/owner888/phpspider

    php爬虫教程

    2700+Star,用用不亏

     

    我下载的发布版2.1.6

    php爬虫教程

    点开

    php爬虫教程

    下载好的

    php爬虫教程

    然后解压

     php爬虫教程 

     

     

    2、配置php环境(非必须,为了方便)

    在电脑的系统环境变量配置里面,在path变量里面添加了一条php,可以发现我的php版本是7.0.12

    不会配置电脑系统变量的自己百度去,和配置java的jdk类似

    php爬虫教程

     

     

    3、用我的例子(例子的功能是获取博客园里面文章的标题)

    在demo文件夹下新建一个名为firstDemo_2.php的php文件

    php爬虫教程

    如下

    php爬虫教程

    文件里面的代码如下:例子的功能是获取博客园里面文章的标题

    复制代码
     1 <?php
     2 // composer下载方式
     3 // 先使用composer命令下载:
     4 // composer require owner888/phpspider
     5 // 引入加载器
     6 //require './vendor/autoload.php';
     7 
     8 // GitHub下载方式
     9 require_once __DIR__ . '/../autoloader.php';
    10 use phpspider\core\phpspider;
    11 
    12 /* Do NOT delete this comment */
    13 /* 不要删除这段注释 */
    14 
    15 $configs = array(
    16     'name' => '博客园',
    17     'log_show' => false,
    18     'domains' => array(
    19         'www.cnblogs.com'
    20     ),
    21     'scan_urls' => array(
    22         'https://www.cnblogs.com/Renyi-Fan/p/10570492.html'
    23     ),
    24     'fields' => array(
    25         // 抽取内容页的文章标题
    26         array(
    27             'name' => "article_title",
    28             'selector' => "//*[@id=\"cb_post_title_url\"]",
    29             'required' => true
    30         )
    31     ),
    32     'export' => array(
    33         'type'  => 'sql',
    34         'file'  => './data/cnblog_fry.sql',
    35         'table' => '数据表',
    36     ),
    37 
    38 );
    39 
    40 $spider = new phpspider($configs);
    41 $spider->start();
    复制代码

    具体代码什么意思看官方文档:地址如下:

    概述 · phpspider开发文档
    https://doc.phpspider.org/

     

     

    4、具体运行例子过程

    在刚刚下载好的phpspider-2.1.6\demo的文件夹下打开命令行

    运行:php -f firstDemo_2.php

    php爬虫教程

     

    运行效果:

    php爬虫教程

     

     

    5、运行的结果

    在如下路径下打开cnblog_fry.sql即可查看爬虫效果

    php爬虫教程

     

    效果如下:

    php爬虫教程

     

     


    UU学院 » php爬虫教程

    常见问题FAQ

    UU学院资源教程能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到我想要的内容怎么办?
    请第一时间联系UU校长帮忙寻找
    链接地址失效怎么办?
    请带上资源链接地址联系客服,工作时间内我们看到后将第一时间回复。

    发表评论

    发表评论