如何使用SpiderListener ？

[anyonghua]

先上代码

// 保存抓取状态
final Integer[] crawlStatus = {0};

List<SpiderListener> listener = new ArrayList<SpiderListener>();
listener.add(new SpiderListener(){

    public void onSuccess(Request request) {
        crawlStatus[0] = (Integer) request.getExtra(Request.STATUS_CODE);               
    }

    public void onError(Request request) {
        crawlStatus[0] = (Integer) request.getExtra(Request.STATUS_CODE);
    }

});

spider.setSpiderListeners(listener);

// 抓取当前网页
spider.test(target);

发现抓取的目标网址不存在时，确实能返回404，但是正常成功抓取时 却没有返回200，或者在一些其他异常 比如域名不存在时，也没有status_code返回。

请问是SpiderListener 使用方式不对 还是Webmagic就是这么设计的？

[code4craft]

STATUS_CODE是后加的特性。
其实SpiderListeneronSuccess和onError之前的输入只是Request，Request的定位并不是结果只是请求。之前的处理有些问题，如果要拿到状态码在PageProcessor里根据Page拿会比较好。

[compasscailin]

STATUS_CODE是后加的特性。
其实SpiderListeneronSuccess和onError之前的输入只是Request，Request的定位并不是结果只是请求。之前的处理有些问题，如果要拿到状态码在PageProcessor里根据Page拿会比较好。

可是按照源码来看，如果不是200，就不会进PageProcessor，除非自定义AcceptStatCode，但是并不知道目标网站会返回什么鬼，所以这里有点尴尬……