设计 任务书 论文 开题 答辩 说明书 格式 模板 外文 翻译 范文 资料 作品 文献 课程 实习 指导 调研 下载 网络教育 运算机 网站 网页 小程序 商城 购物 订餐 电影 安卓 Android Html Html5 SSM SSH Python 爬虫 大数据 治理系统 图书 校园网 考试 选题 网络安全 举荐系统 机械 模具 夹具 自动化 数控 车床 汽车 故障 诊断 电机 建模 机械手 去壳机 千斤顶 变速器 减速器 图纸 电气 变电站 电子 Stm32 单片机 物联网 监控 密码锁 Plc 组态 控制 智能 Matlab 土木 建筑 结构 框架 教学楼 住宅楼 造价 施工 办公楼 给水 排水 桥梁 刚构桥 水利 复力坝 水库 摘矿 环境 化工 固废 工厂 视觉传达 室内设计 产品设计 电子商务 物流 盈利 案例 分析 评估 报告 营销 报销 会计
 首 页 机械毕业设计 电子电气毕业设计 运算机毕业设计 土木工程毕业设计 视觉传达毕业设计 免费毕业设计 毕业设计资料 毕业论文 毕业设计论文流程 
垫片
您现在所在的位置:pk10手机投注 >>运算机毕业设计 >> 文章内容
垫片
   我们提供全套毕业设计论文服务,联系   625110801   
基于Python网络爬虫的设计与实现毕业论文+源码
文章来源:www.dj-on-line.com   发布者:学生毕业作品网站   发布时间:2019-05-09 09:03:56   阅读:3626

摘  要

本课题的主要目的是设计面向定向网站的网络爬虫程序,同时需要满足不同的性能要求,详细涉及来定向网络爬虫的各个细节与应用环节。

搜索引擎作为一个辅助人们检索信息的工具。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题,一个灵活的爬虫有着无可替代的复要意义。

网络爬虫应用智能自构造技术,随着不同主题的网站,可以自动分析构造URL,去复。网络爬虫使用多线程技术,让爬虫具备更强大的挠取能力。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。为了适应不同需求,使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能,并将爬去的数据清洗之后存入数据库,后期可视化显示。

关键词:网络爬虫,定向爬取,多线程,Mongodb


基于Python网络爬虫的设计与实现毕业论文+源码-学生毕业作品网站

The main purpose of this project is to design subject-oriented web crawler process, which   require to meet different performance and related to the various details of the targeted web crawler and application in detail.


Search engine is a tool to help people retrieve information. However, these general search engines also have some limitations. Users in different fields and backgrounds tend to have different purposes and needs, and the results returned by general search engines contain a large number of web pages that users don't care about. In order to solve this problem, it is of great significance for a flexible crawler.

Web crawler application of intelligent self construction technology, with the different themes of the site, you can automatically analyze the structure of URL, and cancel duplicate part。 Web crawler use multi-threading technology, so that the crawler has a more powerful ability to grab。 Setting connection and reading time of the network crawler is to avoid unlimited waiting。 In order to adapt to the different needs, the web crawler can base on the preset themes to realize to filch the specific topics。 What’s more, we should study the principle of the web crawler ,realize the relevant functions of reptiles, save the stolen data to the database after cleaning and in late achieve the visual display。

Keywords:Web crawler,Directional climb,multi-threading,mongodb


目  录

第一章  概述 1

1.1 课题背景 1

1.2 网络爬虫的历史和分类 1

第二章    文献综述 7

2.1 网络爬虫理论概述 7

2.2 网络爬虫框架介绍 8

第三章    研究方案 16

3.1 网络爬虫的模型分析 16

3.2 URL构造策略 19

3.3 数据提取与储备分析 19

第四章    网络爬虫模型的设计和实现 21

4.1 网络爬虫总体设计 21

4.2 网络爬虫具体设计 21

pk10手机投注第五章  实验与结果分析 39

5.2 结果分析 42

参考文献 36

致谢 37

附录1 38

附录2 47

1)爬虫代码文件构成如图:




  全套毕业设计论文现成成品资料请咨询 625110801      返回pk10手机投注 如转载请注明来源于www.dj-on-line.com  


打印本页 | 关闭窗口

Email:biyeshejiba@163.com 在线QQ:   625110801 学生毕业作品网站  
本站毕业设计毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立刻改正或删除有关内容!

pk10注册平台 大发时时彩 pk10帐号注册 pk10彩票 pk10彩票

免责声明: 本站资料及图片来源互联网文章-|,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关-|,如用户分享不慎侵犯了您的权益,请联系我们告知,-|我们将做删除处理!