南财合规周报(第155期):秘塔AI收到侵权告知函,不再收录知网...

1、限制爬虫网站激增,数据供求矛盾白热化近日,人工智能专家吴恩达在网站TheBatch上提及了一篇有关数据许可的研究,研究发现C4、RefineWeb、Dolma等开源数据集所爬取的各种网站正在快速在收紧他们的许可协议,从GPTBot出现(2023年中期)后,在robots.txt层面进行完全限制的网站数量激增。OpenAI、Anthropic和CommonCrawl的受限...

字节跳动爬虫机器人遭微博拉黑索赔1亿:一审获赔30万,终审败诉

仅针对“今日头条”进行限制,阻止“今日头条”的网络机器人(ToutiaoSpider)抓取上述网站中对公众和其他所有网络机器人完全公开并可以自由访问的网站内容,导致字节跳动公司无法及时、完整地获取微博网站的内容,降低字节跳动公司平台的良好用户体验,严重影响用户对字节跳动公司服务的市场评价,客观上增强微梦创科公司...

历时两年的微博与脉脉数据之争落幕,互联网公司请看好你家的爬虫!

摘要:对于数据的获取和使用,不再是一个技术问题、商业问题、道德问题,而是一个法律问题,所以,请看好你家的爬虫。历时两年的微博与脉脉之争终于有了结果:法院认定脉脉非法抓取、使用微博用户信息行为构成不正当竞争,一审判决脉脉停止不正当竞争行为,并赔偿原告经济损失等220余万元。两年前我有关注到微博与脉脉的数据之...

3个Python爬虫开源项目代码:微信、淘宝、豆瓣、知乎、微博...

2.DouBanSpider–豆瓣读书爬虫可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet,采用UserAgent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。3.zhihu_spider–...

700万粉丝网红被封号!曾拒向特斯拉道歉;王传福称比亚迪今年有信心...

8月31日消息,芯片厂商英伟达在本周提交给监管机构的一份文件中表示,美国限制英伟达向部分中东国家出口人工智能芯片。英伟达表示,这些限制措施主要影响到旨在加速机器学习任务的A100和H100芯片,但不会对公司业绩产生实质性影响。目前尚不清楚英伟达向部分中东国家出口芯片对美国构成什么样的风险。(网易科技)...