PHP实现抓取百度搜索结果，并分析数据结构

推荐：《PHP视频教程》

PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构

百度的搜索引擎有反爬虫机制，我先直接用guzzle试试水。代码如下：

<?php /**  * Created by Benjiemin  * Date: 2020/3/5  * Time: 14:58  */ require ('./vendor/autoload.php'); use QLQueryList; //进入网页 $jar = new GuzzleHttpCookieCookieJar; $client = new GuzzleHttpClient(['cookies' => true]); $ql = $client->request('GET', 'https://www.baidu.com', [     'cookies' => $jar ]); if($ql->getStatusCode()!=200){     echo '网站状态不正常';die; } echo  $ql->getBody();

百度直接拦截了，进了跳转页面，我试试加个浏览器头文件，再试试。

修改后的header如下：

$ql = $client->request('GET', 'https://www.baidu.com', [     'cookies' => $jar,     'headers' => [     'Accept-Encoding' => 'gzip, deflate, br',     'Accept'     => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',     'Accept-Language'      => 'zh-CN,zh;q=0.9,en;q=0.8',     'Cache-Control'      => 'no-cache',     'Connection'      => 'keep-alive',     'User-Agent'      => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', ] ]);

我测试了下，网站打开了。

我们继续，输入关键词，并搜索,结果发现被安全拦截了，所以我感觉直接用GuzzleHttp搞不动，于是我继续我的神器：jaeger/querylist和jaeger/querylist-puppeteer。

安装步骤：

1.安装依赖

在这之前，要先启用php的proc_open函数，否则无法安装完整

composer install jaeger/querylist composer install jaeger/querylist-puppeteer

2.安装nodejs

yum install nodejs

3.安装npm

4.安装@nesk/puphpeteer

npm install @nesk/puphpeteer

5.PHP启用proc_open

代码如下：

<?php /**  * Created by Benjiemin  * Date: 2020/3/5  * Time: 14:58  */ require ('./vendor/autoload.php'); use QLQueryList; use QLExtChrome; $ql = QueryList::getInstance(); // 注册插件，默认注册的方法名为: chrome $ql->use(Chrome::class);  $ql->chrome(function ($page,$browser) {     $page->goto('https://www.baidu.com');     // 这里故意设置一个很长的延长时间，让你可以看到chrome浏览器的启动     sleep(3);     //输入关键词     $wd = '简庆旺博客';     $page->type("input[id='kw']",$wd);     sleep(1);     //点击搜索     $page->click("input[type='submit']");     //等待搜索结果     sleep(3);     //获取结果     $html = $page->content();     //用jquery选择器抽取结果     $rules = array(         'title'=>['#content_left h3 a','text'],//标题         'url'=>['#content_left h3 a','href'],//跳转网址         'description'=>['div .c-abstract','text'],//描述     );     $ql = QueryList::html($html);     $rt = $ql->rules($rules)->query()->getData();     //如果有需要，可以把$rt入库，以及做其他操作     sleep(10);     $browser->close();     // 返回值一定要是页面的HTML内容     return $html; },[     'headless' => false, // 启动可视化Chrome浏览器,方便调试     'devtools' => false, // 打开浏览器的开发者工具 ])->find('title')->text();

$rt是我的结果集合，打印下，如下