2021-11-25 14:48
java搞爬虫不多,我用python爬取mzt等网站上的图片,用的也是mysql,单单是用来保存url的表里都好几千万行记录了, 最后爬取到的图片也有三四千万张, 中间为了解决数据库的瓶颈做了好多的优化调整, 最高峰时同时对三十多个网站启动了差不多200个线程去爬, 而且数据库还挺住了
2020-10-07 14:53
@zzutligang 我就是用jfinal的ActiveRecord做持久层, 用swt做ui来写桌面应用,虽然用到jfinal, 但只用到其中一部分
