爬虫协议的概念，源自英文的“robots，txt”，即网络机器人协议。robots协议官方网站(http://www.robotstxt.org)对网络机器人(robots)所下的定义为：网络机器人(也叫网络游客、爬虫程序、蜘蛛程序)，是一种自动爬行网络的程序。而爬虫协议即robots协议是指网站所有者利用robots文本文件指导他们的网站如何应对网络机器人，允许还是拒绝网络机器人抓取信息的协议。
多年来，业界一直遵循这种技术协议。现在的问题是，如果违反这一协议，是否构成违约或者侵权，是否有不正当竞争行为，而在无法寻找到直接的法律规范的情况下，能否依反不正当竞争法寻找解决问题的途径。
反不正当竞争法由于颁布时间过早，对于之后的技术发展很难有预见性，其规定的具体不正当竞争行为没有适用于互联网领域的不正当竞争现象。因此，大家都将目光投向了反不正当竞争法的一般条款，试图通过适用一般条款，对互联网的竞争行为进行规制。
反不正当竞争法的一般条款规定在第二条第一款：“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。”以及第二款：“本法所称不正当竞争行为，是指经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序的行为。”构成适用反不正当竞争法一般条款的构成要件是：第一，法律对该种竞争行为未作出特别规定；第二，其他经营者的合法权益确因该竞争行为而受到了实际损害；第三，该种竞争行为因确属违反诚实信用原则和公认的商业道德而具有不正当性或者可归责性；第四，扰乱了正常的经济秩序。
由上述分析可知，一般条款适用的核心点为诚实信用和遵守商业道德，二者是判断竞争行为是否正当的基础。当面临某一竞争行为是否构成反不正当竞争法意义上的不正当竞争行为时，应考量其是否违背了诚实信用原则或违背了基本的商业道德。
互联网行业中公认的商业道德更多地体现为互联网行业的基本行为准则，相关行为准则表现为从事互联网行业的企业所普遍接受的行为规则。但这些行为准则并非法律法规明确规定，而是在具体的商业实践过程中被企业在实际经营活动中所遵循。对于这些行为准则的违反意味着对商业道德的违反，相关行为可能构成反不正当竞争法一般条款所规定的不正当竞争行为，应受反不正当竞争法的规制。
而从行业内的基本实践以及法院的相关判决中我们可以看出，遵守爬虫协议已经成为互联网行业的基本行为准则。
1994年6月30日，在经过搜索引擎技术人员以及被搜索引擎抓取的网站站长共同讨论后，robots.txt协议正式发布。协议在世界互联网技术邮件组发布后，几乎所有的搜索引擎均在商业实践中予以采用并遵循，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司。在中国国内互联网行业，大型网站也基本都将爬虫协议当作一项行业基本准则。
从法院判决的角度考察，国内存在一些具有指导借鉴意义的判例，法院在判决中对爬虫协议作为行业基本行为准则的效力进行了相应的确认。
在一起有关百度搜索侵犯隐私权的案例中，原告向万网公司发送了附有其个人信息的电子邮件，但是通过百度搜索，可以搜索到万网公司电子邮箱中关于原告的个人信息，因此，原告起诉两家公司，要求其就对其隐私权的侵害赔礼道歉并赔偿损失。北京市第一中级人民法院认为，万网公司已按行业惯例在根目录下安装了禁止链接的robots协议，即采取了安全防范措施。百度搜索引擎在进行抓取和收集互联网信息时，除非有证据证明其恶意获取相关信息，否则其行为并无不当。因此，对于搜索引擎来说，只要其在进行信息收集及抓取的过程中遵守了爬虫协议，就不会构成侵权。
在技术快速进步的时代，规制技术前沿领域是十分困难的，多变的互联网一夜之间就会产生出许多新的商业模式。技术开发者以技术先进性为追求目标，商人以最大盈利为目标，他们在推出新的商业模式和新技术时不会太多考虑法律的存在。于是在互联网领域，技术的快速发展与法律的严重滞后这一矛盾就更加突出。面对这一矛盾，法律的原则性条款在解决新问题方面有着得天独厚的优势，学者与司法实践人员都越来越注重原则条款在反不正当竞争领域内的作用，试图通过适用一般条款对互联网的竞争行为进行规制。
我们也应注意到，在法律缺位时，互联网也依靠她自身强大的调节作用、依靠技术标准和行业自律规则保持着良好运转：
第一，依靠技术规范管理——技术标准发挥重要作用。现代互联网是依据技术协议构建秩序的，经由各种组织和工程师们的多种汇集产生的基础协议TCP/IP协议最具有代表性，它是被用作连接计算机和网络的上百个协议的基础，其构建了信息传输的一整套技术标准。在这些技术标准中，尽管充满着创新的结晶——专利技术，但他们都被无偿地奉献给了互联网的基础设施。这些协议规范着信息高速公路上的通行者，没有警察但是有红绿灯，这是严格的技术规范世界。新的技术标准也可能会影响预料之中和预料之外的网络法律关系。云技术介入互联网，物联网的开始都是技术标准先行，工程师们继续发展新的协议去扩展互联网的容量和效率。随着新的标准的采纳，技术将继续推动法律产生变化。从这个意义上看，掌控了互联网新的技术标准，也就掌控了未来法律的方向。
第二，非正式规则与惯例——行业惯例与自律规则发挥作用。千百年来习惯法确立的是：惯例和习俗能确定什么是合理的。在缺乏强制性规则和技术标准的互联网领域，惯例和习俗形成的规律是：最初时大家各自采用不同的做法，随后某个人或某些人提出一种倡议的规范，慢慢地开始有人遵循使用。随着使用的人越来越多，逐渐演变成行业通用的惯例，大家都遵照使用。但规范本身并未被法律或行业组织确定为具有强制性，例如超文本传输协议(Http协议)、记录网民访问记录的Cookie以及前文涉及的爬虫协议等。
这些规范对于调节互联网参与各方的行为发挥着重大的作用。互联网没有国界，如果某一国家的互联网从业者不遵守国际通用的规范，将受国际互联网行业的排挤，使整个国家的互联网行业无法融入世界。因此，如果是国际通用的技术标准或行业惯例，法院应当将其确立为具有法律效力的商业习惯法，在发生违约或者侵权案件时，自愿性的规范应当被倡导，而基于商业道德和行业惯例的自律规则更应当得到法律的支持，反不正当竞争法的一般条款当为合适选择。
