您现在的位置是:首页 >技术杂谈 >php通过cURL爬取数据(2):CURLINFO_HTTP_CODE返回0网站首页技术杂谈
php通过cURL爬取数据(2):CURLINFO_HTTP_CODE返回0
CURLINFO_HTTP_CODE返回0
一、项目说明
小鹅通是一款提供直播、录播、短视频等在线视频服务的平台。近期在对接其API常见的问题包括:
-
授权问题:在使用小鹅通API前,需要进行授权验证,确保访问API的合法性。如果授权信息出现错误或失效,会导致API请求失败。
-
参数错误:调用小鹅通API时需要传入相应的参数,如果参数错误或缺少必填参数,会导致API请求失败。
-
网络连接问题:由于网络问题,可能会出现API请求失败的情况。
-
频率限制问题:小鹅通对API请求频率有一定的限制,如果频繁调用API,可能会被小鹅通限制API调用或者关闭API访问权限。
-
API返回异常:小鹅通API请求返回的数据格式、内容或状态可能会出现异常,需要对异常情况进行处理。
二、curl_getinfo返回异常
1.小鹅通SDK
public static function curlGet($url, $queryparas = array(), $timeout = 5, $header = array(), $proxy = array())
{
if (!empty($queryparas)) {
if (is_array($queryparas)) {
$postData = http_build_query($queryparas);
$url .= strpos($url, '?') ? '' : '?';
$url .= $postData;
} else if (is_string($queryparas)) {
$url .= strpos($url, '?') ? '' : '?';
$url .= $queryparas;
}
}
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
if (!empty($header) && is_array($header)) {
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
}
if (!empty($proxy)) {
curl_setopt($ch, CURLOPT_PROXYAUTH, 1);
curl_setopt($ch, CURLOPT_PROXY, $proxy['ip']);
curl_setopt($ch, CURLOPT_PROXYPORT, $proxy['port']);
curl_setopt($ch, CURLOPT_PROXYTYPE, 0);
}
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, FALSE);
curl_setopt($ch, CURLOPT_AUTOREFERER, TRUE);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
$output = curl_exec($ch);
if (is_array(json_decode($output, true))) {
$output = json_decode($output, true);
}
$result['status_code'] = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$result['body'] = $output;
curl_close($ch);
return $result;
}
curl_getinfo($ch, CURLINFO_HTTP_CODE);在使用过程中偶尔出现,会导致token掉包,无法更新用户信息。
2.CURLINFO_HTTP_CODE为0的原因有哪些?
当使用 PHP 中的 cURL 函数发送 HTTP 请求时,返回的 CURLINFO_HTTP_CODE
为 0 可能有以下几种原因:
- cURL 不能连接到服务器
如果服务器无法连接,可能是由于网络故障或服务器不可用造成的。在这种情况下,cURL 返回的 http code 为 0。
- 请求超时
cURL 可能会因为请求超时而无法完成请求,这可能是由于服务器响应时间过长或网络通信错误造成的。在这种情况下,cURL 返回的 http code 为 0。
- 服务器返回的 HTTP 响应代码为 0
如果您的服务器返回了一个异常的响应状态代码(如 000),则 cURL 的响应状态代码可以设置为 0。
- cURL 选项设置问题
如果您在使用 cURL 时,没有正确设置必需的选项,则它可能无法正确处理链接。 您应该确保 URL 正确,HTTP 请求正确设置,不要遗漏任何必需的选项,例如 CURLOPT_RETURNTRANSFER、CURLOPT_HEADER、CURLOPT_USERAGENT 等等。
以上是可能导致 curl_getinfo 返回的 CURLINFO_HTTP_CODE
为 0 的一些原因,需要根据具体情况进行排查。
3.返回CURLINFO_HTTP_CODE=0的解决方案
同病相怜:传送门
host no found,找不到主机?在项目中,主要是和小鹅云curl验证的token,在人员集中使用的时候会出现这种情况,而换台服务器是正常的,最大的原因应该就是使用的服务器的问题。
4.请求超时和服务器配置,CPU的使用率有关系吗
请求超时和服务器配置、CPU 的使用率之间有一定的关系。
当服务器的 CPU 使用率很高时,服务器可能会处理请求的速度变慢,从而导致请求超时。这是因为在处理请求时,服务器需要使用 CPU 处理逻辑,如果服务器的 CPU 使用率过高,可能会导致处理请求的速度变慢,从而导致请求超时。
另外,服务器配置的不当也可能会对请求超时产生影响。例如,当服务器配置不足时,服务器可能会无法处理大量并发请求,从而导致请求超时。所以,为了避免请求超时问题,需要根据服务器负载和需要处理的请求量,调整服务器配置,确保服务器可以稳定运行和高效处理请求。
总之,请求超时和服务器配置、CPU 的使用率之间有关系,需要注意合理调整服务器配置,确保服务器可以满足请求的处理需求,并提高服务器的性能和稳定性。
5.结论
- 从小鹅云返回日志来看,cURL时通;
- 正式环境服务器不能正常对接时,测试服务器的获取是正常的;
- 查看运行日志和不同的时间节点来,应该是流量峰值导致的服务器处理请求的速度变慢,请求超时;
三、阿里云短信发送延迟后而集中发送
1.发送集中原因原因分析
- 短信发送频率限制
阿里云短信服务有发送频率限制,如果用户在短时间内向同一目标手机号发送大量的短信,阿里云短信服务可能会将这些短信缓存起来,等待一定时间后再发送。这样就会导致短信发送延迟且集中发送。
- 服务器负荷
如果您使用的服务器负载过高,可能会导致短信发送延迟。由于短信发送通常需要与阿里云短信服务进行网络通信,如果服务器的负载过高,网络通信也会变慢,从而影响短信发送的速度。
- 阿里云短信服务故障
如果阿里云短信服务发生故障或者维护,可能会导致短信发送延迟,同时在恢复服务后,可能会出现一些集中发送短信的情况。
- 短信发送服务调用问题
如果您使用的短信发送 SDK 或者接口对阿里云短信服务进行调用时,出现调用问题,例如请求超时或者网络波动等,可能也会导致短信发送延迟。
2.结论
从小鹅通的API对接以及CPU运行日志来看,服务器承受不了这么大流量。
升级服务器吧!
@漏刻有时