java吧 关注:1,253,259贴子:12,742,142

回复:一只爬虫太慢,十个爬虫一起上。

只看楼主收藏回复

脉脉非法抓取新浪微博数据。。。。。。。


IP属地:山西来自Android客户端17楼2017-01-12 12:04
收起回复
    爬去视频的话,由于视频过大,很多网站看你连接时间过长会中断你的连接,视频下载也会中断,所以怎样才能在中断的地方重新进行连接下载而不是重头开始???


    IP属地:上海来自Android客户端18楼2017-01-13 08:32
    收起回复
      爬完来100个mapreduce


      IP属地:江苏来自iPhone客户端19楼2017-02-03 16:11
      回复
        领导。可以建个JAR包站。或者MAVEN库来玩玩


        IP属地:浙江20楼2017-03-17 15:52
        回复
          好羡慕 好崇拜 好激动


          IP属地:吉林21楼2017-03-18 20:33
          回复
            峰哥哪里的


            IP属地:浙江22楼2017-03-23 18:43
            回复
              干嘛的


              IP属地:河北23楼2017-03-26 14:51
              回复
                帮楼主顶帖


                来自Android客户端24楼2017-03-26 15:36
                回复
                  厉害了,能不能分享一下,想爬一些指定类型的图片有什么方法吗毕设要比较多的图片做数据集


                  IP属地:广东来自Android客户端25楼2017-03-27 01:52
                  回复
                    +1,能分享下吗


                    来自Android客户端26楼2017-03-27 08:04
                    回复
                      电脑自身资源不够开再多没用,况且你采用多线程根本就无需开多个。


                      IP属地:泰国来自Android客户端28楼2017-04-03 08:52
                      回复
                        我只想说楼主的电脑貌似配置很好


                        30楼2017-04-22 23:27
                        回复
                          我想问背景音乐是什么


                          31楼2018-08-12 09:43
                          回复
                            看不懂的默默路过.....


                            32楼2018-08-12 14:48
                            回复