您现在的位置是:首页 >技术杂谈 >php通过cURL爬取数据(2):CURLINFO_HTTP_CODE返回0网站首页技术杂谈

php通过cURL爬取数据(2):CURLINFO_HTTP_CODE返回0

漏刻有时 2024-08-19 00:01:04
简介php通过cURL爬取数据(2):CURLINFO_HTTP_CODE返回0

一、项目说明

小鹅通是一款提供直播、录播、短视频等在线视频服务的平台。近期在对接其API常见的问题包括:

  1. 授权问题:在使用小鹅通API前,需要进行授权验证,确保访问API的合法性。如果授权信息出现错误或失效,会导致API请求失败。

  2. 参数错误:调用小鹅通API时需要传入相应的参数,如果参数错误或缺少必填参数,会导致API请求失败。

  3. 网络连接问题:由于网络问题,可能会出现API请求失败的情况。

  4. 频率限制问题:小鹅通对API请求频率有一定的限制,如果频繁调用API,可能会被小鹅通限制API调用或者关闭API访问权限。

  5. API返回异常:小鹅通API请求返回的数据格式、内容或状态可能会出现异常,需要对异常情况进行处理。
    在这里插入图片描述

二、curl_getinfo返回异常

1.小鹅通SDK

    public static function curlGet($url, $queryparas = array(), $timeout = 5, $header = array(), $proxy = array())
    {
        if (!empty($queryparas)) {
            if (is_array($queryparas)) {
                $postData = http_build_query($queryparas);
                $url .= strpos($url, '?') ? '' : '?';
                $url .= $postData;
            } else if (is_string($queryparas)) {
                $url .= strpos($url, '?') ? '' : '?';
                $url .= $queryparas;
            }
        }
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        if (!empty($header) && is_array($header)) {
            curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
        }

        if (!empty($proxy)) {
            curl_setopt($ch, CURLOPT_PROXYAUTH, 1);
            curl_setopt($ch, CURLOPT_PROXY, $proxy['ip']);
            curl_setopt($ch, CURLOPT_PROXYPORT, $proxy['port']);
            curl_setopt($ch, CURLOPT_PROXYTYPE, 0);
        }

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, FALSE);
        curl_setopt($ch, CURLOPT_AUTOREFERER, TRUE);
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
        curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);

        $output = curl_exec($ch);
        if (is_array(json_decode($output, true))) {
            $output = json_decode($output, true);
        }

        $result['status_code'] = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        $result['body'] = $output;

        curl_close($ch);
        return $result;
    }

 curl_getinfo($ch, CURLINFO_HTTP_CODE);在使用过程中偶尔出现,会导致token掉包,无法更新用户信息。

2.CURLINFO_HTTP_CODE为0的原因有哪些?

当使用 PHP 中的 cURL 函数发送 HTTP 请求时,返回的 CURLINFO_HTTP_CODE 为 0 可能有以下几种原因:

  1. cURL 不能连接到服务器

如果服务器无法连接,可能是由于网络故障或服务器不可用造成的。在这种情况下,cURL 返回的 http code 为 0。

  1. 请求超时

cURL 可能会因为请求超时而无法完成请求,这可能是由于服务器响应时间过长或网络通信错误造成的。在这种情况下,cURL 返回的 http code 为 0。

  1. 服务器返回的 HTTP 响应代码为 0

如果您的服务器返回了一个异常的响应状态代码(如 000),则 cURL 的响应状态代码可以设置为 0。

  1. cURL 选项设置问题

如果您在使用 cURL 时,没有正确设置必需的选项,则它可能无法正确处理链接。 您应该确保 URL 正确,HTTP 请求正确设置,不要遗漏任何必需的选项,例如 CURLOPT_RETURNTRANSFER、CURLOPT_HEADER、CURLOPT_USERAGENT 等等。

以上是可能导致 curl_getinfo 返回的 CURLINFO_HTTP_CODE 为 0 的一些原因,需要根据具体情况进行排查。

3.返回CURLINFO_HTTP_CODE=0的解决方案

同病相怜传送门
在这里插入图片描述
host no found,找不到主机?在项目中,主要是和小鹅云curl验证的token,在人员集中使用的时候会出现这种情况,而换台服务器是正常的,最大的原因应该就是使用的服务器的问题。

4.请求超时和服务器配置,CPU的使用率有关系吗

请求超时和服务器配置、CPU 的使用率之间有一定的关系。

当服务器的 CPU 使用率很高时,服务器可能会处理请求的速度变慢,从而导致请求超时。这是因为在处理请求时,服务器需要使用 CPU 处理逻辑,如果服务器的 CPU 使用率过高,可能会导致处理请求的速度变慢,从而导致请求超时。

另外,服务器配置的不当也可能会对请求超时产生影响。例如,当服务器配置不足时,服务器可能会无法处理大量并发请求,从而导致请求超时。所以,为了避免请求超时问题,需要根据服务器负载和需要处理的请求量,调整服务器配置,确保服务器可以稳定运行和高效处理请求。

总之,请求超时和服务器配置、CPU 的使用率之间有关系,需要注意合理调整服务器配置,确保服务器可以满足请求的处理需求,并提高服务器的性能和稳定性。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.结论

  • 从小鹅云返回日志来看,cURL时通;
  • 正式环境服务器不能正常对接时,测试服务器的获取是正常的;
  • 查看运行日志和不同的时间节点来,应该是流量峰值导致的服务器处理请求的速度变慢,请求超时;

三、阿里云短信发送延迟后而集中发送

1.发送集中原因原因分析

  1. 短信发送频率限制

阿里云短信服务有发送频率限制,如果用户在短时间内向同一目标手机号发送大量的短信,阿里云短信服务可能会将这些短信缓存起来,等待一定时间后再发送。这样就会导致短信发送延迟且集中发送。

  1. 服务器负荷

如果您使用的服务器负载过高,可能会导致短信发送延迟。由于短信发送通常需要与阿里云短信服务进行网络通信,如果服务器的负载过高,网络通信也会变慢,从而影响短信发送的速度。

  1. 阿里云短信服务故障

如果阿里云短信服务发生故障或者维护,可能会导致短信发送延迟,同时在恢复服务后,可能会出现一些集中发送短信的情况。

  1. 短信发送服务调用问题

如果您使用的短信发送 SDK 或者接口对阿里云短信服务进行调用时,出现调用问题,例如请求超时或者网络波动等,可能也会导致短信发送延迟。

2.结论

从小鹅通的API对接以及CPU运行日志来看,服务器承受不了这么大流量。

升级服务器吧!


@漏刻有时

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。