在JavaOne 2008的会议上,著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲,目前这两个演讲的PPT已经可以下载了。下载地址如下:
需要注册才可以下载,能下载PDF版本。
LinkIn开发者透露LinkedIn 99%都是用java写的,除了缓存通过C++实现。
下面是详细架构图:
可以看一下LinkedIn网站的基本情况: 1、2千2百万用户 2、每个月4百万独立用户访问 3、每天4千万page view 4、每天2百万搜索流量 5、每天25万邀请发送 6、每天1百万的回答提交 7、每天2百万的email消息发送
这是一个世界顶尖级别流量的网站了,看看LinkedIn的系统架构: * 操作系统:Solaris (running on Sun x86 platform and Sparc) * 应用服务器:Tomcat and Jetty as application servers * 数据库:Oracle and MySQL as DBs * 没有ORM,直接用JDBC No ORM (such as Hibernate); they use straight JDBC * 用ActiveMQ在发送JMS.
(It’s partitioned by type of messages. Backed by MySQL.) * 用lucene做搜索Lucene as a foundation for search * Spring做逻辑架构Spring as glue
下面是随着流量增加,LinkedIn的架构演化:
2003-2005 1、一个整体的web程序, 2、一个核心数据库, 3、在Cloud中缓存所有network图,Cloud是用来做缓存的独立server。 4、用lucene做搜索,也跑在Cloud中。
2006年 1、复制另外一个数据库,减少直接load核心数据库,另外一个server来管理非只读数据库的数据更新 2、把搜索从Cloud中移出来,单独一个server跑搜索 3、增加Databus数据总线来更新数据,这是通过分布式更新的核心组件,任何组件都需要Databus
2008年 1、WebApp不再任何事情都它自己做,把业务逻辑分成很多部分,通过server群来做。WebApp仍然提供用户界面给用户,但是,通过server群来管理用户资料,小组等等。 2、每个服务有自己的域数据库 3、新的架构允许其他应用链接LinkedIn,比如增加的招聘和广告业务。
The Cloud 1、Cloud是整个架构最重要的部分,整个LinkedIn的网络图都缓存在Cloud里面 2、Cloud大小:22M nodes, 120M edges 3、需要12GB RAM 4、在生产环境要跑40个实例 5、从硬盘重建Cloud一个实例需要8个小时 6、Cloud通过databus实时更新 7、关闭时持久化到硬盘 8、缓存通过C++实现,用JNI调用,LinkedIn选择C++而不是Java有两个原因:
1)尽可能的减少RAM的使用 2)垃圾收集暂停会杀死整个系统,LinkedIn用了最新的GC程序,也就是就是说java的的垃圾搜集性能不太好 9、将所有东西放在缓存里面是一种限制,但是LinkedIn指出,分割业务图将更麻烦 10、Sun提供了2TB的RAM
Communication Architecture交流架构包括:
Communication ServiceCommunication Service是用来提供永久信息的,比如收件箱里面的消息和email 1、整个系统通过JMS异步通讯 2、客户端用JMS发送消息 3、消息通过路径服务器来到达相应的邮箱或者直接放到email进程中 4、消息发送:同时使用Pull主动寻求信息(如用户需要信息)和Push发送信息(如发email) 5、使用Spring和LinkedIn专业Spring插件完成,使用HTTP-RPC
Scaling Techniques 1、通过功能来划分:发送,接受,文档等。 2、通过类别来划分:用户信箱,访问者信箱等 3、等级划分:用户ID等级,Email等级等 4、所有的操作都是异步的。
转自 http://www.wokaoo.com/2008/06/%E8%91%97%E5%90%8D%E7%A4%BE%E4%BA%A4%E7%BD%91%E7%AB%99lin
分享到:
相关推荐
介绍著名社交网站LinkedIn的Java架构技术
linkedin社交网站的架构
LinkedIn系统的架构设计和架构描述,详细分析了LinkedIn的大数据处理流程和模式。给大数据架构设计和开发工程师一个很好的参考。
LinkedIn Java 库 这个库的目标是用一个更小、更快、更高效的 javalinkedin 库替换linkedin-j。 使用 scribe 进行 oauth-heavy 提升和 gson 进行 json 解析。 另一个目标是避免大多数这些库的一个常见问题,即它们...
Linkedin社交媒体网站模板是一款企业风格的社交媒体工作招聘交流网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。
WikiPedia 技术架构学习分享 Tailrank 网站架构 LinkedIn 架构笔记 Yahoo!社区架构 Craigslist 的数据库架构 Fotolog.com 的技术信息拾零 Digg 网站架构 Amazon 的 Dynamo 架构 财帮子(caibangzi.com)网站架构
社交网站LinkedIn的最新版本中,将导航栏做了最大程度的简化,不仅加强了广告效果同时更好体现了网站本身的功能。
Samza是由LinkedIn开源的一个分布式流...近日,LinkedIn资深SRE(网站可靠性工程师)JonBringhurst发表了这篇博文,阐述LinkedIn是如何利用Samza与Yarn、Kafka进行扩展的。ApacheSamza是一个开源框架,可以帮助开发者
你将学到如何获取、分析和汇总散落于社交网站(包括Facebook、Twitter、LinkedIn、Google+、 GitHub、邮件、网站和博客等)的数据,以及如何通过可视化找到你一直在社交世界中寻找的内容和你闻所未闻的有用信息。...
Facebook、Twitter和LinkedIn产生了大量宝贵的社交数据,但是你怎样才能找出谁通过社交媒介正在进行联系?他们在讨论些什么?或者他们在哪儿?这本简洁而且具有可操作性的书将揭示如何回答这些问题甚至更多的问题。你将...
2018 ArchSummit大会现场分析材料 胡新-Dec4-ArchSummit+2018_+Platformize+LinkedIn+Feed+To+Improve+Product+Iteration+Velocity
Java非对称加密源程序代码实例,本例中使用RSA加密技术,定义加密算法可用 DES,DESede,Blowfish等。 设定字符串为“张三,你好,我是李四” 产生张三的密钥对(keyPairZhang) 张三生成公钥(publicKeyZhang...
她是全球性信息架构组则The information architecture institute的创办人和首任主席,著名信息架构网站Boxes and Arrows的创办者。现任世界最大的专业人士社区网站LinkedIn的首席产品经理。此前曾经在Yahoo!任高级...
你将学到如何获取、分析和汇总散落于社交网站(包括Facebook、Twitter、LinkedIn、Google+、GitHub、邮件、网站和博客等)的数据,以及如何通过可视化找到你一直在社交世界中寻找的内容和你闻所未闻的有用信息。
助推器 此Chrome扩展程序可帮助您在社交网络LinkedIn中添加新联系人 下载 您可以从Chrome官方网站上的链接下载此扩展程序。
LinkedinSpider, Linkedin爬虫,根据公司名字抓取员工的linkedin信息
linkedin 是国外的一个职业社交网站,在哪里可以查看注册用户的个人简历信息,但是如果想要实现开发任务,则需要模拟浏览器进行操作