【www.shanpow.com--工作总结】
gephi篇1:从《你的名字》学做“网络关系图”——Gephi篇
从《你的名字》学做“网络关系图”——Gephi篇 2016-12-15 参天大葱 微生物生态 微生物生态微信号 microbial-ecology 功能介绍 总结国内外微生物生态领域最新文章、技术、方法等,由相关领域年轻硕博士执笔,以高水平文献为依据,秉承“走心”、“原创”、“严谨”、“实用”、“非盈利”的宗旨撰写每一篇文章。“Ideas worth spreading”感谢关注与分享~题外话:
前几天小圆和卢瑟菌合著的微文《16S多样性测序,到底该选啥引物》收到了较积极的回应,好多人都给我们留言,表示感兴趣。本葱打心里佩服。俗话说:三流企业卖产品,一流企业卖标准。本葱没有两位大觉主博学,写不出硬文,只能在这卖一个情怀了。
前段时间有一部很火的电影《你的名字》,本葱也是非常的喜欢。
“聚拢,成形,捻转,回绕,时而返回,暂歇,再联结。这就是组纽。这就是时间。这就是……”咦?这不就是网络嘛!
言归正传
网络关系图(network analysis)是一款比较火的分析,最近频繁出现在微生物生态研究的各大论文里。其实单纯看网络关系的话,只是一种数据分析的手段,很早就应用在其他领域。然而到了2006年,Proulx等科学家在TRENDS ECOL EVOL(IF=16.74)发文,提出网络关系也可以作为一种分析手段应用在生态领域(Proulx et al. 2006)。到了2012年,Barberán等科学家在ISME发文,通过构建土壤中微生物的网络关系来研究其共生模式(Barberán et al. 2012)。
图1. 土壤微生物网络关系
随后,网络关系在微生物生态领域的研究论文如雨后春笋,出的哗啦哗啦(原谅本葱没文化)在,海洋中(Beman et al., 2011; Steele et al., 2011),在淡水中 (Eiler et al., 2011; Kara et al., 2012) ,在土壤中(Barberán et al. 2012),微生物的共发生网络关系都引起了科学家们的广泛关注。随后越来越多的微生物生态学研究开始使用网络关系。这不前几天,Trends in Microbiology 也发文,对近几年微生物组学中的网络关系研究进行了综述总结(Layeghifard et al. 2016),看来这个热潮还要继续下去哇。
小圆:在评论回复 “network”或“网络关系”,可下载上述几篇网络关系相关研究论文喔)
但是呢,网络关系图作为测序公司的高级分析,收费也是不菲啊!(宝宝没钱,宝宝心里苦,可是宝宝不能说只能自己做)
以下是干货,高亮高亮
网络关系图的绘制其实很简单!Gephi和Cytoscape是两款比较好用的网络图绘制工具。本文中将简述Gephi的使用方法,让大家对网络关系图的绘制能够快速了解。
本葱之前用的Gephi版本是0.8.2,现在新版本的是0.9.1,两版略有不同,本文将以0.9.1做介绍。
Gephi开发平台:Netbeans平台
开发语言:Java
可视化引擎:OpenGL
1 下载安装
下载链接:https://gephi.org/
之前遇到不少人反映gephi安装后打不开,本葱也遇到过类似的情况,有可能是电脑Java版本较高,重新下载一低版本Java安装,就可轻松解决。
2 数据准备
本文使用《你的名字》中几个人物之间的关系作为材料,本葱在人物关系上比较迟钝,所以请大家不要深究。
gephi导入数据文件格式为.csv,分为边表格和节点表格,根据人物关系整理数据格式如下:
边表格:
#第一行为标题,其中“source”和“target”为必须(其他可以导入后再行添加,但导入后修改比较麻烦,不适合大数据修改)
“source”是“源”,“target”是目标,之间关系如下图;
“type”为“边”类型,“undirected”为无向线段,“directed”为有向线段(箭头),没有填写默认为“directed”;
“weight”为“边”的宽度,数值越大,宽度越大,没有填写默认为“1”;
其他参数也可添加进入,例如“label”标签,或自定义名称。
节点表格:
#节点表格比边表格简单的多,导入后可对节点进行分组等操作。
3 软件使用
在欢迎界面点击“新建工程”
点击“数据资料”-“输入电子表格”
依此导入“边表格”和“节点表格”
在“概览”窗口就可以对数据进行预览
我们可以通过“外观”和“布局”操作窗口对边和节点的颜色、大小及布局进行优化。
在“图”窗口下方还可以对节点标签进行编辑
当当当当,于是一个网络关系图就做成了,是不是很简单~
虽然这个图有点丑,但是可以修改优化~
#因为,一个软件真正强大的地方,在于它无数的插件,
在官网https://marketplace.gephi.org/plugins/ 有很多不同功能的插件可以下载,
#如更改节点的形状、样式:
添加新的节点布局模式:
等等……
更多教程可参考:
Gephi官网:http://gephi.github.io/
Gephi的视频介绍:http://v.youku.com/v_show/id_XMjU5MDUwMjg4.html
Gephi API帮助文档:https://gephi.org/docs/api/
GephiToolkit: http://gephi.github.io/toolkit/
Gephi 论坛: https://forum.gephi.org/
参考文献:
Proulx S R, Promislow D E L, Phillips P C.Network thinking in ecology and evolution[J]. Trends in Ecology &Evolution, 2005, 20(6): 345-353.
Barberán A, Bates S T, Casamayor E O, et al.Using network analysis to explore co-occurrence patterns in soil microbialcommunities[J]. The ISME journal, 2012, 6(2): 343-351.
Layeghifard M, Hwang D M, Guttman D S.Disentangling Interactions in the Microbiome: A Network Perspective[J]. Trendsin Microbiology, 2016.
Beman J M, Steele J A, Fuhrman J A.Co-occurrence patterns for abundant marine archaeal and bacterial lineages inthe deep chlorophyll maximum of coastal California[J]. The ISME journal, 2011,5(7): 1077-1085.
Eiler A, Heinrich F, Bertilsson S. Coherentdynamics and association networks among lake bacterioplankton taxa[J]. The ISMEjournal, 2012, 6(2): 330-342.
Kara E L, Hanson P C, Hu Y H, et al. A decadeof seasonal dynamics and co-occurrences within freshwater bacterioplanktoncommunities from eutrophic Lake Mendota, WI, USA[J]. The ISME journal, 2013,7(3): 680-684.
Steele J A, Countway P D, Xia L, et al. Marinebacterial, archaeal and protistan association networks reveal ecologicallinkages[J]. The ISME journal, 2011, 5(9): 1414-1425.
PS: 本葱在这也只是抛砖引玉,希望可以对大家的数据分析有点帮助,如有不对请大家多多批评指教。如果喜欢的话,欢迎在左下角点赞喔~
长按二维码向我转账
受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。 阅读
微信扫一扫关注该公众号
gephi篇2:!!!!!使用Gephi绘制图表汇的网络地图
上一篇博文《网罗图表汇》介绍了使用Gephi绘制的图表汇网络地图,有童鞋就问了,图表汇赶快分享制作教程啊!OK,接下来就系了。
Gephi简介|
Gephi是一个构建在NetBeans平台上用于各种网络和复杂系统,动态和分层图的交互可视化与探测的开源工具。可用作:探索性数据分析,链接分析,社交网络分析,生物网络分析等。号称是“数据可视化领域的Photoshop”,操作简单,功能强大,界面优美,支称插件,支持中文操作。
绘图步骤|
收集数据。将图表汇的网络信息分成新浪博客平台、辅助平台、网络搜索、网站收录、博文热帖、信息图翻译等六个分类,每一篇博文/微博/帖子/搜索结果对应一个末端节点。
数据映射。将收集的原始数据转换成Gephi可识别的数据格式,在Gephi中,只存在两格式的数据形式,即点(Node)和边(Edge),在Excel中两种数据的正确格式如下所示(保存成.csv格式文件):
导入数据。打开Gephi,在「数据资料」界面中,单击「输入电子表格」,选择上述数据文件,分隔符选择“分号”,数据类型对应“节点表格”或“边表格”,数据格式为“UIF-8”。然后依次点击“下一步”、“完成”等步骤,完成数据的导入。
数据分析。在「概览」界面中,可以看到刚导入的数据图形如下图,是不是与最后的效果图相差甚远呢?没有关系,接下来的步骤就比较好玩了。
在「流程」对话框中的下拉菜单中选择相应的数据分析算法,比如“Force Atlas”,点击“运行”并实时调试各种参数,直至各组数据达到理想的分布效果;也可以通过下载插件扩展多种算法。
节点数据表(.csv文件)里的“Modularity Class”这列数据是对节点数据进行分组,就是为了这一步的分组填色(见下图)。
通过「预览」窗口,看到的效果如下图。节点的大小可依次通过运行「统计」中“边概述”的“平均路径长度”和「排序」中节点下拉菜单中的“Betweenness Centrality”来调整。还可以通过“改变大小”和“编辑”两个工具手动调整。
注释文本可以在Gephi软件中添加,或导出".svg"格式文件,导入CD/AI等矢量编辑软件中再进行添加。最终效果图如下图所示:
Gephi相关链接|
Gephi官方网站:http://gephi.org/
Gephi快速教程:Quick Start
Gephi官方教程:Learn how to use Gephi
Gephi中文教程:Learner Ooof
Gephi官方论坛:Gephi forums
Gephi项目展示:Screenshots
Gephi数据库:Datasets
gephi篇3:用gephi自动分析网站链接方式
Gephi是个非常好的用于各种网络和复杂系统,动态和分层图的交互可视化与探测开源工具。上篇介绍了基本情况,其实Gephi有一个非常酷的效果,可以自动分析浏览网站之间的链接关系。
首先需要下载一个Gephi的插件,Http gephi,下载地址在https://gephi.org/plugins/http-graph/
下载的文件是一个以nbm为后缀的gephi插件文件,在gephi的主界面的工具---插件中,选择下载的插件,然后按照提示安装就可以了,在这里还可以更新很多插件。
安装成功后,在文件---生成---可以看到http gephi就可以了
然后配置浏览器的代理服务器设置,设置为与http
gephi的proxy listening端口设置的一样就可以了,默认是8088,设置完毕后就可以看到效果了。
首先访问站点,点击gephi的http
gephi就可以看到已经自动生成了图形,然后再浏览器的操作都可以再gephi界面中动态反应出来,非常cool.
实际效果是中间过程比较慢,完全达不到视频演示的效果,还是结果还是不错的。







