Skip to content

ImportError: No module named 'sgmllib' #2

@Bluetooth503

Description

@Bluetooth503

你好。你的这个项目非常有意义,我也有相同的需求。
我是一个Python初学者。对于代码部分有些疑问。
我安装了Python3.5的版本,我暂时还没弄懂如何启动MongoDB,所以先先把结果保存为csv文件:
scrapy crawl google -o test.csv JOBDIR=app/jobs

但是我得到如下错误信息:
ImportError: No module named 'sgmllib'

我在网上查找原因,得知SgmlLinkExtractor & LinkExtractor都需要sgmllib的支持。而Python3.0不支持sgmllib。所以我是不是需要重新安装Python2.7的环境?还有别的替代方法吗?

另外我也很好奇,在Google Play “Viber”页面下,获取app id和下载次数后,爬虫又是如何去爬下一个App的,这个循环是如何实现的?
rules = [
Rule(LinkExtractor(allow=("https://play.google.com/store/apps/details", )), callback='parse_app',follow=True),
] # CrawlSpider 会根据 rules 规则爬取页面并调用函数进行处理
这一段代码看不明白。

我自己可以使用BeautifulSoup+Request爬取某一个App的名称和下载量信息,但是我做不到爬取所有App的一个循环,也没办法让任务中断后,可接着爬取,而不用重新开始。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions