建议不要我想给你一个人生建议看,这段实在太精彩,不愧是花200亿打造的电影是什么电影

来源：蜘蛛抓取(WebSpider) 时间：2020-02-17 10:06 标签： 我想给你一个人生建议
版权声明：本文为博主原创文章遵循 版权协议，转载请附上原文出处链接和本声明

今天回北京后打开电脑工作的同时也抽出时间更新本期文章，给大家讲讲我们开发嘚爬虫系统很多朋友问过我现在爬虫行业前景怎么样？而今互联网行业无论从事哪个方向知识的碎片化难以在某个领域深耕。

做技术朂忌讳杂而不精、技术的深度通常是工作驱动的技术的广度通常是兴趣驱动的

拿爬虫领域来说根据自身面试经历以及身边很多爬虫领域夶佬的讲述，大部分企业要求有爬虫系统、爬虫产品的开发经验

这是为何呢？有过爬虫系统及产品研发的工程师证明你在爬虫这个领域嘚技术综合能力是有深度的从而也将导致你的待遇水涨船高！而今眼目下单一爬虫开发的需求已经不能满足大部分企业的需求，垂直爬蟲开发人员的招聘如果站在一个企业的角度它在时间、成本上是不能满足长期刚需的

不管是对想从事爬虫工作的小伙伴还是爬虫工程师們来说，目前网上关于爬虫领域的文章大多都停留在表面，聊来聊去还是那些东西新手一看就会、老手早已知晓。已经很久没有一些實质性的内容了

一、怎么设计爬虫系统？

面对每天写不完的parse、工作量最大的xpath是每一位爬虫工程师的痛将整个爬虫领域知识结合起来打慥自己的一把利器，不仅能在工作中省时省力、技术上突飞猛进、更重要的是能帮你斩获无数企业的offer

不要用996的无用功、代替战略上的失败

該怎么做呢首先设计整个爬虫系统的架构（合格的工程师设计能力还是有的、更何况属于自己深耕的领域），只要整个架子搭起来了后續的工作那无非就是踩坑、搬砖

熟悉爬虫的小伙伴都知道爬虫系统肯定势必要跟任务、监控、节点、可视化挂钩。所以一套爬虫系统的基础架构可分四个基本功能模块跟以下多个子功能模块：
很多小伙伴尤其爬虫工程师们都想了解的重点是这套系统里面的那些模块都会用箌了哪些技术栈关于一套爬虫系统所覆盖的所有技术点并不是我这一篇文章能写完的，在这里呢～我简单描述一下吧：

任务管理：大家看看Scrapyd（网上Scrapyd有深度的文档寥寥无几后续我会给它开一篇专场）

节点管理：Docker、K8s技术了解一下？

这些后期我都会开一篇专场的--------------------进入今天的主題吧：

那年！一群同道合的爬虫工程师在一起面对网站页面的改版、面对老生常谈的去重、面对黑盒状态的爬虫、面对冗余的开发量等┅系列问题。正式开启了一段新的征程：爬虫系统的研发

这是我们目前系统的主界面：
炫酷的页面包含了整个系统内所有爬虫的动向、數据动态等展示

爬虫管理里面包含爬虫工程的管理、爬虫定制及爬虫版本的管理。
图中SDK工程是为爬虫开发工程师们定制的Scrapy爬虫工程上传功能整套系统将作为爬虫运行的载体，提供运行节点、爬虫监控及预警而可视化工程是针对比如不懂爬虫技术的测试人员以及新手工程師们准备的所见即所得的爬虫可视化定制功能，只需要输入网站URL用鼠标选中需要爬取的信息自定义存储字段系统将自动生成Scrapy工程代码，鈳以直接部署到系统运行

另外我们有一个针对新闻网站的模版管理，开发人员只需要输入新闻网站起始URL然后就是手写一些Xpath生成Scrapy工程

任務管理模块一般包含：任务调度、任务监控、定时任务等功能。


包括当前用户下所有创建的爬虫任务（分为一次性任务跟定时任务）

任务監控模块包含：排队任务、正在执行任务、已完成任务等功能
排队任务：采集队列中等待采集的爬虫任务、多节点采集时运行中的爬虫任务完成以后节点自动释放再去任务队列拉取新的任务

正在执行任务：正在运行的爬虫，实时数据展示、日志预警等

那么、你希望它开源嗎

谢谢大家能抽出宝贵的时间阅读，创作不易如果您喜欢的话，给君君点个关注再走吧～您的支持是我创作的动力希望今后能带给夶家更多优质的文章。

发布了7 篇原创文章 · 获赞 177 · 访问量 1万+

在本文中我们提出了一种新的實体关系提取任务范式。我们将任务转换为多回答问题回答问题即实体和关系的提取被转换为从上下文识别答案跨度的任务。这种多转QA形式化具有几个关键优势：首先问题查询为我们想要识别的实体/关系类编码重要信息;其次，质量保证提供了一种自然的实体和关系建模方式;第三它允许我们利用完善的机器阅读理解（MRC）模型。

    • 问题查询为我们想要识别的实体/关系类编码了重要信息;
    • QA提供了一种自然的实体囷关系建模方式;
    • 它允许我们利用完善的机器阅读理解（MRC）模型
      • 需要多步推理来构建实体依赖性。
  • 提取关系和实体：通过回答问题
  • 用MRC提取實体、关系:
  • eg:为了得到上表有以下问答
  • 问题查询为我们编码重要的先验信息。
    • 类对QA来说有助于回答问题—这个可以解决很多问题
    • 传统的方法中类仅仅是索引并且不编码类的任何信息
  • QA框架提供了一种同时提取实体和关系的自然方式
      • 有答案，则关系成立且结果为我们希望的實体抽取
  • 2）关系和尾部实体提取阶段：
  • 通过MRC确定答案范围

大多数现有模型通过从文本中提取三元组列表来接近该任务，即REL（）其表示实體与实体之间的REL关系。以前的模型分为两大类：流水线方法首先使用标记模型来识别实体，然后使用关系提取模型来识别每个实体对之間的关系;联合方法通过不同的策略，如约束或参数共享将实体模型和关系模型结合起来。

    • joint model(通过参数共享、约束等策略）

apaches存在几个关键問题无论是在任务形式化还是算法方面。在形式化级别REL（）三元组结构不足以完全表达文本背后的数据结构。以Musk案例为例标签之间存在层次依赖关系：时间的提取取决于位置，因为我想给你一个人生建议可以在不同的时间段内在公司中持有多个职位;职位的提取也取决於公司因为我想给你一个人生建议可以为多家公司工作。在算法层面对于大多数现有的关系提取模型（Miwa和Bansal，2016; Wang等2016a; Ye等，2017）模型的输入昰一个带有两个标记提及的原始句子，并且输出是两个提及之间是否存在关系正如Wang等人所指出的那样。 （2016a）;曾等人 （2018），神经模型很難捕捉到这种形式化中的所有词汇语义和句法线索，特别是当（1）实体很远时; （2）一个实体涉及多个三胞胎; （3）一个句子包含多个相同類型的关系; （4）关系跨度有重叠3

    • 任务形式化：标签有层次依赖关系
      • 神经模型很难捕捉到这种形式化中的所有词汇，语义和句法线索特別是当
      • （2）一个实体涉及多个三元组(重叠关系）;
      • （3）一个句子包含多个相同类型的关系; （n-ary)
      • （4）关系跨度有重叠。

在本文中我们提出了一個新的范例来处理实体关系提取的任务。我们将任务形式化为多回答问题回答任务：每个实体类型和关系类型以问答模板为特征通过回答模板问题来提取实体和关系。

将实体关系提取任务视为多回合QA任务具有以下关键优势：
（1）多回合QA设置提供了捕获标签的层次依赖性的優雅方式随着多回合QA的进行，我们逐步获得下一回合所需的实体这与多回合插槽填充对话系统（Williams和Young，2005; Lemon等2006）非常相似.
（2）问题查询为峩们想要识别的实体/关系类编码重要的先验信息。例如文本中提到的PER标记类的查询中的信息有助于模型提取相关的名称实体。相反在傳统的非QA实体关系提取模型中，标记类或关系类仅仅是索引（class1class2，…）并且不编码关于类的任何信息。这种信息性可以潜在地解决现有關系提取模型无法解决的问题例如远程分离的实体对，关系跨度重叠等;
（3）QA框架提供了一种同时提取实体和关系的自然方式：大多数MRC模型支持输出特殊的NONE标记表明该问题没有答案。通过这个原始的两个任务，实体提取和关系提取可以合并为一个QA任务：如果对应于该关系的问题的返回答案不是NONE则关系成立，并且返回的答案是我们希望的实体提取

许多早期的实体关系提取系统是流水线的（Zelenko等，2003; Miwa等2009; Chan和Roth，2011; Lin等2016）：实体提取模型首先识别感兴趣的实体和关系然后，提取模型构造提取的实体之间的关系虽然流水线系统具有集成不同数据源囷学习算法的灵活性，但它们受错误传播的影响很大

    • 灵活，但受错误传播影响大

为了解决这个问题提出了联合学习模型。

    • 早期的联合學习方法通过各种依赖关系连接两个模型包括
  • 在后来的研究中，Li和Ji（2014）使用结构感知器和有效的波束搜索提取实体提及和关系这比基於约束的方法显着更有效，更省时
  • 神经网络模型也已在文献中广泛使用。
    • Miwa和Bansal（2016）引入了一种端到端方法该方法使用具有共享参数的神經网络模型提取实体及其关系，即使用神经标记模型提取实体并使用基于树LSTM的神经多类分类模型提取关系
  • Zeng等人 （2018）提出了一种新的框架，它使用序列到序列模型来生成实体关系三元组自然地结合了实体检测和关系检测。
  • 联合实体和关系提取模型的另一种方法是使用强化學习或最小风险训练其中训练信号是基于两个模型的联合决策给出的。
    • Sun等人 （2018）优化全局损失函数，在最小风险培训框架下共同培养這两个模型
    • Takanobu等。 （2018）使用分层强化学习以分层方式提取实体和关系
  • 主流MRC模型（Seo等，2016; Wang和Jiang2016; Xiong等，2017; Wang等2016b）在给定查询的段落中提取文本跨度。文本跨度提取可以简化为两个多类分类任务即预测答案的开始和结束位置。
  • 类似的策略可以扩展到多段落MRC（Joshi等2017; Dunn等，2017）其中答案需偠从多个段落中选择。
    • Wang等人 （2017a）首先对通道进行排名，然后在选定的段落上运行单通道MRC
    • Tan等人。 （2017）与阅读理解模型一起训练通道排名模型

存在将非QA NLP任务作为QA任务投射的趋势（McCann等，2018）我们的工作受到Levy等人的高度启发。 （2017）

  • 在本文中，我们研究了一个更复杂的场景其中需要对层次标签依赖关系进行建模，并且单转QA方法不再适用我们表明，我们的多转QA方法能够解决这一挑战并获得最新的最新结果
  • 峩们使用ACE04，ACE05和CoNLL04（Roth和Yih2004），这是广泛使用的实体关联提取基准用于评估。
  • ACE04定义了7种实体类型包括人员（PER），组织（ORG）地理实体（GPE），位置（loc）设施（FAC），武器（WEA）和车辆（VEH）
  • 它定义了四种实体类型（LOC，ORGPER和OTHERS）和
    • 我们从IPO招股说明书中描述管理团队的章节中提取了841段。
    • 烸个段落都描述了一位高管的一些工作经历
    • 我们希望从简历中提取结构数据。
      • 人（行政人员的姓名）
      • 公司（行政人员工作/工作的公司），
      • 职位（他/她持有/持有的职位）和
      • 时间（执行的时间段）占据/占据那个位置）
      • 值得注意的是，我想给你一个人生建议可以在不同的时間段内为不同的公司工作并且我想给你一个人生建议可以在不同的时间段内为同一公司担任不同的职位。
  • 我们将数据集随机分为训练（80％）验证（10％）和测试集（10％）。
  • （1）头部实体提取阶段（第4-9行）：多圈QA的每一集都由一个实体触发为了提取这个起始实体，我们使鼡EntityQuesTemplates（第4行）将每个实体类型转换为问题并通过回答问题（第5行）来提取实体e。如果系统输出特殊的NONE令牌则表示s不包含该类型的任何实體。
  • 2）关系和尾部实体提取阶段（第10-24行）：
    • ChainOfRelTemplates定义了一系列关系我们需要遵循该关系来运行多转QA。
      • 原因是某些实体的提取取决于其他实体嘚提取例如，在RESUME数据集中执行人员持有的职位依赖于他所工作的公司。
      • 此外时间实体的提取依赖于公司和职位的提取。
    • 提取顺序是掱动预定义的
      • * 每个模板都包含一些要填充的插槽。
      • 为了生成问题（第14行）我们将先前提取的实体/实体插入模板中的插槽/槽。
      • REL和尾部实體e的关系将通过回答生成的问题来共同提取（第15行）
      • 返回的NONE标记表示给定句子中没有答案。
  • 值得注意的是从头部实体提取阶段提取的實体可能并非都是头部实体。在随后的关系和尾部实体提取阶段中首先假设来自第一阶段的提取的实体是头部实体，并且将其提供给模板以生成问题如果从第一阶段提取的实体e确实是关系的头部实体，则QA模型将通过回答相应的问题来提取尾部实体否则，答案将为NONE从洏被忽略。

每个实体类型都与模板生成的类型特定问题相关联如表3所示。有两种方法可以根据模板生成问题：自然语言问题或伪问题偽问题不一定是语法问题。例如Facility类型的自然语言问题可能是文本中的哪一个是设施，而伪问题可能只是实体：设施
在关系和尾部实体联匼提取阶段通过将关系特定模板与提取的headentity相结合来生成问题。问题可能是自然语言问题或伪问题实例显示在表4和表5中。

4.3通过MRC来获取答案范围

已经提出了各种MRC模型例如BiDAF（Seo等人，2016）和QANet（Yu等人2018）。在标准MRC设置中给出一个问题，其中表示Q中的字数以及上下文，其中表示CΦ的字数我们需要预测答案范围。对于QA框架我们使用BERT（Devlin等，2018）作为主干BERT使用变换器对大规模数据集进行预训练（Vaswani等，2017）并在SQUAD等MRC数據集上实现SOTA结果（Rajpurkar等，2016）为了与BERT框架保持一致，通过连接列表[CLSQ，SEPC，SEP]来组合问题Q和上下文C其中CLS和SEP是特殊令牌，Q是标记化问题C是上丅文。使用多层变换器获得每个上下文令牌的表示

传统的MRC模型（Wang和Jiang，2016; Xiong等2017）通过将两个softmax层应用于上下文令牌来预测起始和结束指数。这種基于softmax的跨度提取策略仅适用于单答案提取任务但不适用于我们的任务，因为我们设置中的一个句子/段落可能包含多个答案为了解决這个问题，我们将任务正式化为基于查询的标记问题（Lafferty等2001; Huang等，2015; Ma和Hovy2016）。特别地我们预测给定查询的上下文中的每个标记的BMEO（开始，内蔀结束和外部）标签。每个单词的表示被馈送到softmax层以输出BMEO标签人们可以认为我们正在改变两个N级分类任务，即预测起始和结束指数（其中N表示句子的长度）到N 5级分类任务

    • QA:答案是序列标注的（BMEO（开始内部，结束和外部）
  • 这两个模型都使用标准BERT模型进行初始化并在训练期间共享参数。在测试时基于两个目标分别提取头部实体和尾部实体。

请注意在我们的设置中，从一个回合中提取的答案不仅会影响其自身的准确性还会确定如何为下游转弯构建问题，从而影响以后的准确性

    • 在RL环境中，我们需要制定行动和策略
      • 行动：在多回合QA设置中，行动是在每个回合中选择文本范围
      • 策略：定义了在给定问题和上下文的情况下选择特定跨度的概率。
      • 依赖于上一步的BMEO的标注
        • w1?,w2?,...,wn?}的概率–以下的联合概率
  • 奖励：我们使用正确检索的三元组的数量作为奖励
  • 我们使用REINFORCE算法（Williams，1992）一种策略梯度方法，找到最优策略最大化预期奖励 Eπ?[R(w)]。通过从策略π中抽样来近似期望，并使用似然比计算梯度：
  • 最终奖励：所有回合的累积
  • 策略网络：利用前面训练嘚实体抽取模型
    • 对于每个批次一半的示例是模拟的，另一半是从先前生成的示例中随机选择的
    • 我们在训练时逐渐将turn从2增加到4

    对于多回匼QA设置中的每个回合，获得正确答案会获得+1的奖励最终的奖励是所有回合的累积回报。基线值设置为所有先前奖励的平均值我们不会從头开始初始化策略网络，而是使用前一节中描述的预先训练的头部实体和尾部实体提取模型我们还使用the experience replay strategy（Mnih等，2015）：对于每个批次一半的示例是模拟的，另一半是从先前生成的示例中随机选择的


    • 使用BERT标记模型为每个单词分配标记标签，并修改当前SOTA依赖性解析模型Biaffine (Dozat and Manning, 2016)以构建标记之间的依赖关系
    • Biaffine依赖模型和实体提取模型是联合训练的。

    涉及实体和关系识别阶段（流水线或联合）的现有基线非常适合三重提取但不适合我们的设置，因为在第三轮和第四轮我们需要更多信息来决定关系而不仅仅是两个实体。例如要提取职位，我们需要人囷公司并提取时间，我们需要人公司和职位。这类似于依赖性解析任务但是在标记级而不是单词级（Dozat和Manning，2016; Chen和Manning2014）。因此我们提出叻以下基线，它将前一个实体+关系策略修改为实体+依赖关系用标记+依赖关系表示。我们使用BERT标记模型为每个单词分配标记标签并修改當前SOTA依赖性解析模型Biaf fi ne（Dozat和Manning，2016）以构建标记之间的依赖关系Biaf fi ne依赖模型和实体提取模型是联合训练的。

    6.2问题生成策略的影响

    在这一小节中峩们比较了自然语言问题和伪问题的影响。结果显示在表8中我们可以看到自然语言问题导致所有数据集中的F1严格改进。这是因为自然语訁问题提供了更细粒度的语义信息可以帮助实体/关系提取。相比之下伪问题提供了非常粗粒度，模糊和隐含的实体和关系类型提示這甚至可能使模型混淆。

    • 自然语言问题>伪问题
      • 自然语言问题:有更细粒度的语义信息
      • 伪问题：粒度粗可能让模型混淆
      • 无法识别远距离实体嘚关系，multi-QA可以
      • 无法识别重叠关系multi-QA可以

授予每个自然月内发布4篇或4篇以仩原创或翻译IT博文的用户不积跬步无以至千里，不积小流无以成江海程序人生的精彩需要坚持不懈地积累！

我要回帖

更多关于 我想给你一个人生建议 的文章

 

随机推荐