4.
@hostei,分批处理,或者多线程,php你本来就设置了运行时间是30秒,别给他一个小时的任务
6.
@hostei,别想了,不可能有现成的函数可以做到的,因为每一次的线程都是有时间限制的,执行的超出了,超出部分就不会执行的了
7.
@hostei,如果跳转后的地址是没有规律的,那你就无法避免发几万个请求给服务器,然后问题就变成怎么实现效率比较高了。
如果只会302一次,用get_headers()可以减少一次请求。(设置curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1)
时,curl会请求跳转后的页面,虽然你并不需要那个页面,你从前一个页面就已经能得到跳转后的地址了。)
$h = get_headers('https://hu60.net/', 1);
echo $h['Location']; //可能是相对路径,可能没有域名,自己简单的补全一下就好
8.
@老虎会游泳,只有一次跳转,看网上说get_headers效率不高才用的curl,看来还是用get_headers慢慢循环吧。我是采集一个网站java游戏,现在java游戏的资源越来越少了,那个网站也转安卓了,关闭了java游戏的搜索,不一定哪天java游戏的下载也关闭了