Python爬虫没成功,出现进程已结束,退出代码为0?

使用多进程、多线程编写爬虫的代码能有效的提高爬虫爬取目标网站的效率。

引用廖雪峰的官方网站关于进程和线程的讲解:

进程:对于操作系统来说,一个任务就是一个进程(Process),比如打开一个浏览器就是启动一个浏览器进程,打开一个记事本就启动了一个记事本进程,打开两个记事本就启动了两个记事本进程,打开一个Word就启动了一个Word进程。

线程:有些进程还不止同时干一件事,比如Word,它可以同时进行打字、拼写检查、打印等事情。在一个进程内部,要同时干多件事,就需要同时运行多个“子任务”,我们把进程内的这些“子任务”称为线程(Thread)。

每个进程至少要做一件事,所以,一个进程至少有一个线程。

(3)主要爬取电影名跟评分,用来进行比对,所以数据方面就不过多的提取和保存,只简单的打印出来。

多线程爬取耗时5秒,部分结果如下图所示:

耗时跟网络的好坏也是有一定的关系,每次测出的数据结果也不一样。但理论上来讲,线程在I/O密集的操作性是要高于进程的。

}

问题是,将爬取的数据保存到数据库里,但是运行后数据只在运行窗口出现,而没有存储到数据库里

不知道是什么原因?数据库是连接上的,没有问题。在倒数第四行代码,没有注释的情况下直接错误

}

我要回帖

更多关于 Python代码 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信