{
	‘source‘   : ‘来源网站‘,
	‘date‘     : ‘时间（长度8位，如20140501）‘, 
	‘contents‘ : {
			‘link‘    : ‘新闻详细内容页面的地址‘, 
			‘title‘   : ‘新闻标题‘,
			‘passage‘ : ‘新闻正文‘,
		     },
	‘comments‘ : {
			‘link‘ : ‘新闻对应的评论页面地址‘,
		     },
}

{
	‘source‘ : ‘来自哪个新闻网站‘,
	‘user‘ : ‘用户名‘,
	‘time‘ : ‘10位长度的时间戳‘, //转换成时间戳是为了方便以后排序
	‘content‘ : ‘评论内容‘
}

[
	{
		‘source‘ : ‘‘,
		‘user‘ : ‘‘,
		‘time‘ : ‘‘,
		‘content‘ : ‘‘
	},
	{
		‘source‘ : ‘‘,
		‘user‘ : ‘‘,
		‘time‘ : ‘‘,
		‘content‘ : ‘‘
	},
	{
		‘source‘ : ‘‘,
		‘user‘ : ‘‘,
		‘time‘ : ‘‘,
		‘content‘ : ‘‘
	},

	...
]

其实整个分析下来，我觉得腾讯的URL地址格式是最容易弄清楚的，对于下面的内容，打了黄色背景色的是一个分析说明，其中用了红色字体的代表这个地方是依据新闻的不同而变化的，聪明的你们一定一看就知道是什么意思了。在看下面的内容时，可以自己把这些URL敲到地址栏中尝试一下，其次是使用CHROME或者百度浏览器的同学，强烈建议安装“FeHelper”这个插件，地址是：https://chrome.google.com/webstore/detail/web%E5%89%8D%E7%AB%AF%E5%8A%A9%E6%89%8Bfehelper/pkgccpejnmalmdinmhkkfafefagiiiad?hl=zh-CN，这个东西的作用是能够直接将JSON格式的内容美化成很漂亮的非常容易读到的内容，例如这样：

这个是其中一个功能，还有很多非常赞的功能。

回到正文。

新闻（非专题类）地址格式   ：http://news.qq.com/a/8位日期/新闻ID.htm，例如：http://news.qq.com/a/20140113/012246.htm。

新闻页面获取评论数量的方法：http://coral.qq.com/article/评论页ID（即cmt_id）/commentnum?callback=_cbSum&source=1&t=随机数（怀疑是时间戳，但是好像没什么用），例如：http://coral.qq.com/article/1004703995/commentnum?callback=_cbSum&source=1&t=0，实际上这个用不到。

新闻的所有评论页面地址      ：http://coral.qq.com/评论ID（即cmt_id），例如：http://coral.qq.com/1004703995。

其中正常的评论链接格式如下：http://coral.qq.com/article/评论页ID（即cmt_id）/comment?commentid=起始ID&reqnum=显示数目&tag=&callback=mainComment&_=时间戳+3位随机整数（共10+3=13位），http://coral.qq.com/article/1004703995/comment?commentid=0&reqnum=20&tag=&callback=mainComment&_=1389623278900。实际上这个用不到。

热门评论的链接格式如下      ：http://coral.qq.com/article/评论页ID（即cmt_id）/hotcomment?reqnum=显示数目&callback=myHotcommentList&_=时间戳+3位随机整数（共10+3=13位），http://coral.qq.com/article/1004703995/hotcomment?reqnum=10&callback=myHotcommentList&_=1389617814425。

要注意的是，评论页ID是大于10^9的；新闻ID不是一个数字，注意真的不是一个数字！而是一个只包含数字的字符串

现在开始分析一下腾讯新闻评论中的字段，比起网易新闻的简直是太臃肿了，那么就直接说关心的内容了（请新建一个标签然后将上面热门评论的那条URL复制到你的地址栏，回车后查看结果，与这里比对）：

1. targetid就是新闻的id；
2. time就是时间戳，有了这个可以转换成公元时间；
3. content就是回复的内容（这位网友真是热心回复这么多）；
4. up就是人家给的赞的数量；
5. userinfo中的nick就是用户名了，后面竟然还有对应的腾讯微博的用户信息。

{
	id: "5828439023791190273",
	targetid: 1004703995,
	parent: "0",
	replyuser: "",
	replyuserid: 0,
	timeDifference: "01月13日 18:15:50",
	time: "1389608150",
	content: "很高兴看到中央军委日前印发《关于军队贯彻落实〈党政机关厉行节约反对浪费条例〉的措施》，规定今后所有公务用车采购国产自主品牌，其实不光是汽车，像电脑、打印机、扫描仪、复印机、服务器、网络设备、软件等产品更要带头采购国产自主品牌，防止军队内部机密资料遭受国外网络黑客攻击！希望中央军委、中国海陆空军队能够切实担负起捍卫国土、捍卫钓鱼岛的职责！其实中国的部队，大部分军官素质是好的，但也有相当一部分军官也十分腐败，作风腐化堕落，为人霸道欺负新兵，道德品质极差；艰苦奋斗、勤俭建军的思想有所淡化；革命意志、进取精神有所退化；铺张浪费、大手大脚现象有所抬头。加强军队的反腐倡廉建设对于巩固党的执政地位、树立中国军队的新形象、提升国防战斗力十分重要。要保卫好祖国国土完整，加强军队作风建设和反腐倡廉建设责任重大。“物必自腐，而后虫之”，如果任由各种腐败作风在军队系统漫延，将使中国军队的整体战斗力、中国军官的整体政治素质大大下降，后果不堪设想！希望中央军委一定要在全军大力开展创先争优活动，加强中国军人综合素质建设与作风建设，全面推广党风廉政建设巡视检查制度，大力清除军队内部的腐败分子，大力整顿军队内部的“吃喝玩乐嫖赌、卖官鬻爵收受贿赂违规提拔干部”等各类不正之风，营造“勤于学习、善于学习、钻研技术、廉洁从业”的良好氛围，铸造一支英勇善战、战斗力凝聚力号召力超强的中国军队！同时中国军队应该坚持人性化细节化管理，对于长期夫妻两地分居的军官、军人要免费发放性慰器，防止他们流入社会进入嫖娼卖淫场所影响中国军队形象！希望中国能够集国家和中华民族的坚强意志，大力加强自主创新型国家建设，努力攻克在大型民用飞机、军用飞机、导弹系统、航空母舰等制约国家核心技术的关键高端产业领域，早日使我国的民用与军用飞机、导弹、航空母舰早日上市，彻底摆脱对欧洲、美国、日本在先进技术上的制约，成为一个装备制造强国！中国不能搞、不会搞军事扩张但也绝不能太懦弱，一定要夯实军事装备，提升军队战斗力，保护好国土、海域的安全，捍卫民族尊严！",
	up: "91",
	rep: "0",
	type: "2",
	hotscale: "3",
	checktype: "2",
	checkstatus: "1",
	isdeleted: "0",
	tagself: "",
	taghost: "",
	source: "1",
	userinfo: {
		userid: "21059616",
		uidex: "ec52a391823814524e8446efa3bd6a48d9",
		nick: "炎黄子孙中国梦",
		head: "http://q1.qlogo.cn/g?b=qq&k=ACz0AuPMwiaSfHTmIGWbIOw&s=40&t=0",
		gender: "1",
		viptype: "0",
		mediaid: 0,
		region: "中国:安徽:宣城",
		thirdlogin: 0,
		wbuserinfo: {
			name: "cjppjc17",
			nick: "炎黄子孙中国梦",
			url: "",
			vip: 0,
			ep: 0,
			brief: "",
			identification: "",
			intro: "",
			liveaddr: {
				country: "1",
				province: "34",
				city: "18",
				area: ""
			},
			level: 0,
			classify: ""
		},
		commentnum: "283",
		commentednum: "168",
		upnum: "2108"
	}
},

还记得在“评论规范化”中定的格式吗？现在我们就从上面的json格式找到一个将其规范化的方法，假设热门评论连接中返回的json格式的变量名为js，i为遍历时的下标，那么用下面这个方法进行评论格式的规范化：

{
	‘source‘ : ‘tencent‘,
	‘user‘ : js[‘data‘][‘commentid‘][i][‘userinfo‘][‘nick‘],
	‘time‘ : js[‘data‘][‘commentid‘][i][‘time‘], //原格式就是10位时间戳了不用转换
	‘content‘ : js[‘data‘][‘commentid‘][i][‘content‘]
}

腾讯新闻的算是搞掂了。

新闻（非专题类）地址格式   ：http://news.163.com/年份/日期（四位）/数字/新闻ID.html，例如http://news.163.com/14/0114/19/9IISVTCG0001124J.html。

新闻页面获取评论数量的方法：查找"totalCount"就是评论数目，新闻ID就是"threadId"，讨论版面就是"boardId"，这个js是inline的，直接就放到网页中了：

新闻的所有评论页面地址：http://comment.news.163.com/boardId/新闻ID.html，例如http://comment.news.163.com/news_guonei8_bbs/9IISVTCG0001124J.html。关于boardId及新闻ID，请参见上面一项。

在该页面下评论数目为：很有可能在data变量的tcount中。即“data.tcount”

其中正常的评论链接格式如下：http://comment.news.163.com/cache/newlist/news_guonei8_bbs/9IISVTCG0001124J_1.html，但是会有乱码，评论之间通过"return tiePage.showPage(4);"

热门评论的链接格式如下：http://comment.news.163.com/data/boardId/df/新闻ID_1.html，例如http://comment.news.163.com/data/news_guonei8_bbs/df/9IISVTCG0001124J_1.html，这个评论页面有点不同，它返回的不是一个json文件，而是一个Javascript的变量，变量的值就是“=”号后面的内容，它是一个json，因此要更好地观察具体的内容，你应该新建一个文件（例如comment.json），然后把“=”之后，“;”之前的内容中复制出来粘贴到comment.json中，接着用浏览器打开comment.json文件。然后你会看到“热门评论”在‘hotPosts‘中（内容太长了使用Ctrl+f搜索一下hotPosts），而“精彩盖楼”在‘buildPosts‘中。评论之间通过"return tiePage.showHotPage(4);"来实现翻页，感觉页面是缓存起来的……一次全部下载完。网易的评论编码好像是UTF-8的，如果乱码那么可以对浏览器选择编码为UTF-8。在实际处理文本内容的时候注意好编码问题。

现在开始分析一下网易新闻评论中各个字段含义，我给出两个例子：

1. 前面的数字1表示1楼；
2. f是显示的内容，对应分别为“网易XX网友”，用户ID，用户IP，没有用户ID的就显示“网易XX网友”，连“网易XX网友”都没有的就显示IP地址，我猜的；
3. v是支持数量；
4. u不知道是什么粗略看一眼值全部都是‘u‘；
5. d是当前评论的新闻id；
6. t就是发表评论的时间啦；
7. b就是评论的内容；
8. a就是表示这个楼是不是最后一层楼的；
9. p就是上面那个div标签的id；
10. n怀疑是网易帐号或者用户名；
11. l不知道是什么；
12. ip就是ip了。

{
1: {
	f: "网易日本手机网友 ip：126.255.*.*：",
	v: "11014",
	u: "u",
	d: "9KUD5BUN00011229",
	t: "2014-02-13 03:34:08",
	b: "媽的，這傻逼幹嘛不索取精液流失費？",
	a: "0",
	p: "9KUDRCJ8",
	n: "chinese_cc@163.com",
	l: "0",
	ip: "126.255.*.*"
}
},

另外一个例子：

{
1: {
	f: "网易山东省济南市手机网友 [逗狗儿玩呵呵]： ",
	d: "9KUD5BUN00011229",
	b: "这么一搞这女的以后还能嫁出去?够阴的。",
	a: "0",
	n: "逗狗儿玩呵呵",
	l: "0",
	tsn: "8058245774",
	ip: "113.128.*.*",
	timg: "http://mimg.126.net/p/butter/1008031648/img/face_big.gif",
	v: "9219",
	u: "u",
	t: "2014-02-13 04:04:49",
	p: "9KUFJMLA",
	tid: "4983565181079566873"
}
},

有没有觉得网易新闻的评论内容中key都很短？而且几乎没有冗余信息。

接下来就是将上述的评论进行格式规范化，假设这个json变量名为js，i为遍历时的下标：

{
	‘source‘ : ‘netease‘,
	‘user‘ : js[‘hotPosts‘][i][‘1‘][‘n‘],
	‘time‘ : js[‘hotPosts‘][i][‘1‘][‘t‘], //原格式“%Y-%m-%d %H:%M:%S”，要转换成10位长度的时间戳
	‘content‘ : js[‘hotPosts‘][i][‘1‘][‘b‘]
}

要注意的是，上面的‘n‘不是一定存在的，因为如果有N楼，那么除了最后一层楼外，从1~N-1楼都是没有‘n‘标签的。呼，网易新闻的也搞掂了。

新浪（评论好像是GBK编码）

在新闻格式规范化里面提到了那个格式不是最终的格式，原因就在于实现http://reetseenews.duapp.com/（或者我以后直接叫吹水新闻……）功能的时候，当点击了新闻标题时，评论应该是实时获取的（不应该是爬取新闻一样一开始就使用爬虫下载下来），所以我们需要直接拿到评论的具体内容，不能通过评论页面去获取，而应该直接使用获取新闻评论的json接口（就是上面所有的返回数据格式为json的地址），那么就需要我们根据规则直接拼出接口的URL，这些URL中可能会有日期、新闻ID、评论ID、板块ID等不同的变量，所以我们不妨把它直接放到新闻格式规范化的结果中。为什么不直接等点击链接的时候再到新闻页面获取这些ID？因为这样网速会太慢了。

根据实际需求，腾讯、网易、新浪的新闻保存格式如下：

腾讯：

{
	‘source‘   : ‘tencent‘, 
	‘date‘     : ‘20140214‘, 
	‘newsId‘   : ‘015412‘, 
	‘cmtId‘    : ‘1004980094‘,
	‘contents‘ : {
			‘link‘   : ‘http://news.qq.com/a/20140214/015412.htm‘,
			‘title‘  : ‘哈尔滨一夜清查酒店洗浴等2700余家‘,
			‘passage‘: ‘正文内容‘
		     },
	‘comments‘ : {
			‘link‘ : ‘http://coral.qq.com/1004980094‘,
		     }
}

网易：

{
	‘source‘   : ‘netease‘, 
	‘date‘     : ‘20140214‘, 
	‘newsId‘   : ‘9L2525NG0001124J‘, 
	‘cmtId‘    : ‘9L2525NG0001124J‘,
	‘boardId‘  : ‘news_guonei8_bbs‘,
	‘contents‘ : {
			‘link‘    : ‘http://news.163.com/14/0214/14/9L2525NG0001124J.html‘,
			‘title‘   : ‘哈尔滨4800余警力一夜清查酒店洗浴等2700余家‘,
			‘passage‘ : ‘正文内容‘
		     },
	‘comments‘ : {
			‘link‘ : ‘http://comment.news.163.com/news_guonei8_bbs/9L2525NG0001124J.html‘,
		     },
}

新浪：

{
	‘source‘    : ‘sina‘, 
	‘date‘      : ‘20140214‘, 
	‘newsId‘    : ‘1-1-29471498‘, 
	‘cmtId‘     : ‘1-1-29471498‘,
	‘channelId‘ : ‘gn‘,
	‘contents‘  : {
			‘link‘    : ‘http://news.sina.com.cn/c/2014-02-14/142829471498.shtml‘,
			‘title‘   : ‘哈尔滨4800余警力一夜清查2700家酒店洗浴场所‘,
			‘passage‘ : ‘正文内容‘,
		      },
	‘comments‘  : {
			‘link‘ : ‘http://comment5.news.sina.com.cn/comment/skin/default.html?channel=gn&newsid=1-1-29471498‘,
		      },
}

上面的格式其实一看就是有问题的，因为扩展性太差了，这也是我第一次设计囿于时间、经验等造成的，各位自己设计的时候就可以设计得更加好。

这篇东西敲了好久，我想想怎么把文字表述转换一下……使它看起来比较书面一些……然后放到论文中凑凑字数什么的……

过一段时间还会有一篇将毕业设计的设计过程的，那篇也存了草稿很久了，有空再看什么时间弄一弄。

祝大家五一节快乐！放假期间还在看这篇博文的人，都是宅男啊。（那写这篇东西的我呢！？我了个去）