C# 使用AngleSharp 爬虫图片

2021-04-26 15:35

阅读:521

标签:.text   rest   .net   test   other   2-2   cells   text   first   

AngleSharp 简介

AngleSharp是基于.NET(C#)开发的专门解析HTML源码的DLL组件。根据HTML的DOM结构操作HTML,整个DOM已传输到逻辑类结构中。这种结构可以更好的操作DOM元素。

AngleSharp还带来了一些非常有用的扩展方法,它们跟jQuery和JavaScript中的用法类似。 使用命名空间AngleSharp可以访问Html,Css,Attr或Text等方法。 这些方法向给定的IHtmlCollection一样在给定的IEnumerable 上运行。 目的很简单:轻松修改给定的DOM元素。此插件最大的优势:支持输出JavascriptLinq语法、IDClass选择器、动态添加节点。

 AngleSharp是个开源项目, 主页地址。

参考

http://www.cnblogs.com/pandait/p/AngleSharp.html

https://www.cnblogs.com/liguobao/p/6130121.html

通过NuGet获取AngleSharp

将AngleSharp整合到您的项目中最简单的方法是使用NuGet。您可以通过打开软件包管理器控制台(PM)并输入以下语句来安装AngleSharp:

Install-Package AngleSharp

您也可以使用图形库包管理器(“管理解决方案的NuGet包”)。在官方的NuGet在线源中搜索“AngleSharp”将会找到这个库。

操作DOM示例
//创建一个(可重用)解析器前端
 var parser = new HtmlParser();
//html DOM节点
var source = "

Some example source

This is a paragraph element"; //解析源文件 var document = parser.Parse(source); //创建P标签 var p = document.CreateElement("p"); p.TextContent = "This is another paragraph."; //添加到DOM document.Body.AppendChild(p); //返回完整html var html = document.DocumentElement.OuterHtml; ViewData["html"] = html;

效果展示

技术分享图片

更改标签属性

  • 标签添加自定义属性
    var parser = new HtmlParser();
     //为以下源代码生成HTML DOM
    var document = parser.Parse("
    • First element
    • Second element
    • third
    • Last"); //获取所有li元素并将test属性设置为值测试 var elements = document.QuerySelectorAll("li").Attr("test", "test"); //元素仍然包含所有li元素 ViewData["html"] = document.DocumentElement.OuterHtml;

    效果展示

    技术分享图片技术分享图片

    爬取豆瓣美女图片

     新建个Belle类用于保存获取的图片信息

    /// 
    /// 解析html
    /// 
    public class Belle
    {
            /// 
            /// 标题
            /// 
            public string Title { get; set; }
            /// 
            /// 图片地址
            /// 
            public string ImageUrl { get; set; }
    }

    获取html并解析

    // 设置配置以支持文档加载
    var config = Configuration.Default.WithDefaultLoader();
    // 豆瓣地址
    var address = "https://www.dbmeinv.com/dbgroup/show.htm?cid=4";
    // 请求豆辨网
    var document =  BrowsingContext.New(config).OpenAsync(address);
    // 根据class获取html元素
    var cells = document.Result.QuerySelectorAll(".panel-body li");
    // We are only interested in the text - select it with LINQ
    List list = new List();
    foreach (var item in cells)
    {
         var belle = new Belle
    { Title= item.QuerySelector("img").GetAttribute("title"), ImageUrl= item.QuerySelector("img").GetAttribute("src") }; list.Add(belle);
    }
    ViewData["html"] = list;

    效果如下

    技术分享图片

    C# 使用AngleSharp 爬虫图片

    标签:.text   rest   .net   test   other   2-2   cells   text   first   

    原文地址:http://www.cnblogs.com/zzp0320/p/7883903.html


  • 评论


    亲,登录后才可以留言!