虽然我们可以从讨论社交网络的APIs, schemaless的设计，或者许多其它的事开始， 但是让我们直接进入一些介绍性的例子，以此来说明去收集和分析社交网站的数据。这是一篇入门章节，目的是激发你的兴趣，让你思索一些问题，而余下的章节会涉及到细节。我们将先将开发环境搭建个，然后马上开始收集个分析一些twitter的数据。
安装Python开发环境
这本书的示例以用python语言来写的，如果你已经安装了新版本的python和easy_install在你的系统上，那你可以跳过本节。如果你没有安装python,坏消息是你可能不是一个python hacker。但是不用担心，你很快就是了，因为python很容易上手。用户在任何的平台都能去下载和安装python在：http://www.python.org/download/,但是强烈建议windows用户安装ActivePython,它自动将python加入到你的系统路径下并且已经带有easy_install。本书的代码在python2.7上测试的。
一旦安装好了python, 你就可以在命令行敲下python, 启动其交互模式。尝试以下示例1－1
示例1－1，第一个python交互会话
>>> print "Hello World"
Hello World
>>> #this is a comment
...
>>> for i in range(0,10): # a loop
... print i, # the comma suppresses line breaks
...
0 1 2 3 4 5 6 7 8 9
>>> numbers = [ i for i in range(0,10) ] # a list comprehension
>>> print numbers
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> if 10 in numbers: # conditional logic
... print True
... else:
... print False
...
False
另外一个工具easy_install,类似linux上的安装包管理工具， 它能让你很方便安装python的库，而不用去下载，编译，再安装。你可以下载最新的版本在http://pypi.python.org/pypi/setuptools, 针对不同的平台有相关的介绍。一般来说，*nix用户可能要用sudo easy_install在安装，使很系统中所有用户都能用到安装的库，而windows用户，如果按照建议安装了ActivePython， 只需要用easy_install命令就好了。
你配置好了easy_install后，就可以用它来安装NetworkX了--用来构建和分析图的工具，整本书都会用到它。安装时能看到类似的输出：
$ easy_install networkx
Searching for networkx
...truncated output...
Finished processing dependencies for networkx
有了NetworkX后，你可能用在解析器下直接引入它，但有可能会出错：
>>> import networkx
Traceback (most recent call last):
... truncated output ...
ImportError: No module named numpy
示例1－2, 用networkx来创建一个图的点和边
>>> import networkx
>>> g=networkx.Graph()
>>> g.add_edge(1,2)
>>> g.add_node("spam")
>>> print g.nodes()
[1, 2, 'spam']
>>> print g.edges()
[(1, 2)]
现在，你已经安装了一些核心的python开发工具了，准备好去做一些有趣的任务了。如果你觉得这一节有多要学的，那么很有必要去看看官网的python介绍， 在进入下一节之前。
收集和运用twitter的数据
几乎不可能你不知道twitter, 它是一个社会化的微博服务，你可能输入140个字符以下的信息，这些信息被称作tweets。不像社交网络如Facebook和LinkedIn, 在那里连接是双向的，twitter有一个不对称的基础框架，叫做“朋友”和“粉丝”。假设你有一个twitter账号，你的朋友是你正关注的人，而你的粉丝是那些关注你的人。当然，你可以去关注所有那些关注你的人，然而，这一般是不会发生的，因为你仅仅想让你的Home Timeline中包含你感兴趣的内容。twitter作为一个重要的现象，因为它庞大的用户数量，以及作为市场动向分析工具，和大量的第三方客户端。它提供了广泛的APIs,虽然你可以用其中的很多，而不用注册，但是它会更有趣去建立和挖掘你自己的社交网络。发点时间去看看twitter的 服务条款，API文档，以及API的约束条件。这本书余下的部分假设你有一个twitter的账号，并且有足够多的朋友和粉丝来作为数据去挖掘。
注：这本书的twitter账号是＠SocialWebMining
运用twitter的API
twitter的一小部分网络API包装在一个名为twitter的包中，可以通过easy_install来安装：
$ easy_install twitter
Searching for twitter
...truncated output...
Finished processing dependencies for twitter
这个包还包含一个方便的命令行工具以及网络聊天机器人， 因此当你安装了这个模块后， 你就可以在shell中敲入“twitter"来得到使用帮助。然而，我们将主要关注python的交互解释器。我们将操作几个实例，但是请注意，你可以跳过文档，因为可以用pydoc再次查看这些文档。＊nix用户可以简单的敲入pydoc twitter.Twitter来查看Twitter类的文档，而widows用户需要用python -mpydoc twitter.Twitter.如果你发现你经常查看某个模块的文档， 你可以选择传递一个-w选项给pydoc,这样就可以输出为HTML文件来保存或由浏览器收藏为书签。当然，也可以在解释器中键入help来完成同样的功能，如help(twitter.Twitter).
该进入主题了， 我们来找出人们正在谈论什么， 利用twitter的搜索api来观察趋势。让我们先准备好解释器，初始化一个搜索。尝试示例1－3，如果有疑问，用help()来查看相关文档。
示例1－3，检索twitter的搜索趋势
>>> import twitter
>>> twitter_search = twitter.Twitter(domain="search.twitter.com")
>>> trends = twitter_search.trends()
>>> [ trend['name'] for trend in trends['trends'] ]
[u'#ZodiacFacts', u'#nowplaying', u'#ItsOverWhen', u'#Christoferdrew',
u'Justin Bieber', u'#WhatwouldItBeLike', u'#Sagittarius', u'SNL', u'#SurveySays',
u'#iDoit2']
得出SNL是一个趋势，下面就是去获取一些关于它的搜索结果，用twitter的搜索api来探索包含SNL的tweets,然后以json的格式将它们打印出来，如示例1－4描述的：
示例1－4，分页显示twitter的搜索结果
>>> search_results = []
>>> for page in range(1,6):
... search_results.append(twitter_search.search(q="SNL", rpp=100, page=page))
以上代码获取和存储结果为5个连续的片断（页），每页100条记录。它是很有意义的去看一个相应的REST查询 http://search.twitter.com/
search.json?&q=SNL&rpp=100&page=1。在REST API和twitter模块之间的映射使得我们很容易用python代码来和twitter服务交互。在执行完这个搜索后，search_results包含了5个对象，每个有100条结果记录，你能够将这些结果用易读的形式打印出来，用python 2.6以后自带的json模块，如示例1－5：
示例1－5，易读的twitter数据以json格式
>>> import json
>>> print json.dumps(search_results, sort_keys=True, indent=1)
[
{
"completed_in": 0.088122000000000006,
"max_id": 11966285265,
"next_page": "?page=2&max_id=11966285265&rpp=100&q=SNL",
"page": 1,
"query": "SNL",
"refresh_url": "?since_id=11966285265&q=SNL",
"results": [
{
"created_at": "Sun, 11 Apr 2010 01:34:52 +0000",
"from_user": "bieber_luv2",
"from_user_id": 106998169,
"geo": null,
"id": 11966285265,
"iso_language_code": "en",
"metadata": {
"result_type": "recent"
},
"profile_image_url": "http://a1.twimg.com/profile_images/809471978/DSC00522...",
"source": "<a href="http://twitter.com/">web</a>",
"text": " ...truncated... im nt gonna go to sleep happy unless i see @justin...",
"to_user_id": null
}
... output truncated - 99 more tweets ...
],
"results_per_page": 100,
"since_id": 0
},
... output truncated - 4 more pages ...
]
注意，据2010年下半年的通知，在搜索结果中from_user_id字段不对应真实的twitter用户id,查看Twitter API Issue #214得到更多细节，这个缺点到本书的章节没有任何影响，但是如果你要自己创建一些应用就要注意这点了（值得特别关注）
到本书的后面才会仔细推敲这些结果中的细节（请看第5章），这时候要注意的是返回的结果以results作为关键字，我们能提取这500个tweets的文本到列表中，用下面的方法。示例1－6
用一个双列表推导式，缩进以表明它与嵌套循环没什么区别。
示例1－6， 一个简单的python列表推导式
>>> tweets = [ r['text'] \
... for result in search_results \
... for r in result['results'] ]
列表推导式被经常用到在这本书中，虽然它们很容易产生迷惑如果写在一行，但是将它们以嵌套循环打印出来意思就明了了。这个结果tweets相当于定义一个空的列表tweets,然后调用tweets.append(r['text'])在嵌套循环中。参见“Data Structures"一节在python的官网教程中。列表推导是非常有用的，它们有时候能提供更高的效率比嵌套循环，且更简洁。
频率分析和词汇多样性
对于非结构化文本一个最直接的度量就是词汇丰富性（lexical diversity),即不重复的单词数除以总的单词数目。如示例1－7
示例1－7， tweets的词汇丰富性
>>> words = []
>>> for t in tweets:
... words += [ w for w in t.split() ]
...
>>> len(words) # total words
7238
>>> len(set(words)) # unique words
1636
>>> 1.0*len(set(words))/len(words) # lexical diversity
0.22602928985907708
>>> 1.0*sum([ len(t.split()) for t in tweets ])/len(tweets) # avg words per tweet
14.476000000000001
自然语言工具集（NLTK）是一个非常受欢迎的模块，这本书中我们将经常用到。它包含大量的文本分析工具，如一般向量计算，信息提取，自然语言处理（NLP）等，虽然说它在商业上和学术上不是最先进的，但它提供了坚实的和广泛的基础，如果这是你第一次来尝试做自然语言处理的话。如果你的项目对质量或效率要求很高的话，NLTK不能满足你的需求，这种情况有三个选择,取决于你能花在这上面的时间和金钱: 1.从开源项目中找替代品，做大量的实验和测试来对比它们的性能 2.白手起家自己制造工具集 3.买一个商业的产品。 其中任何一种都不便宜（如果你相信时间就是金钱）或容易。
NLTK能通过easy_install来安装，但你需要重启解释器才能用它。你能够用cPickle模块来保存你的工作会话在重启前。如示例1－8
示例1－8， 保存数据
>>> f = open("myData.pickle", "wb")
>>> import cPickle
>>> cPickle.dump(words, f)
>>> f.close()
>>>
$ easy_install nltk
Searching for nltk
...truncated output...
Finished processing dependencies for nltk
人们正在谈论什么？
尝试去回答人们正在谈论什么是挖掘twitter数据最引人入胜的理由。一个最简单的技术用来解决这个问题的就是频率分析。NLTK简化了这个问题，它提供了文本分析的API,因此让我们减轻工作量，让NLTK来处理细节吧。示例1－9演示了这个查找过程，通过创建频率分布，找出50个最常用的和最不常用的词。
示例1－9， 用NLTK来执行最基本的频率分析
>>> import nltk
>>> import cPickle
>>> words = cPickle.load(open("myData.pickle"))
>>> freq_dist = nltk.FreqDist(words)
>>> freq_dist.keys()[:50] # 50 most frequent tokens
[u'snl', u'on', u'rt', u'is', u'to', u'i', u'watch', u'justin', u'@justinbieber',
u'be', u'the', u'tonight', u'gonna', u'at', u'in', u'bieber', u'and', u'you',
u'watching', u'tina', u'for', u'a', u'wait', u'fey', u'of', u'@justinbieber:',
u'if', u'with', u'so', u"can't", u'who', u'great', u'it', u'going',
u'im', u':)', u'snl...', u'2nite...', u'are', u'cant', u'dress', u'rehearsal',
u'see', u'that', u'what', u'but', u'tonight!', u':d', u'2', u'will']
>>> freq_dist.keys()[-50:] # 50 least frequent tokens
[u'what?!', u'whens', u'where', u'while', u'white', u'whoever', u'whoooo!!!!',
u'whose', u'wiating', u'wii', u'wiig', u'win...', u'wink.', u'wknd.', u'wohh', u'won',
u'wonder', u'wondering', u'wootwoot!', u'worked', u'worth', u'xo.', u'xx', u'ya',
u'ya<3miranda', u'yay', u'yay!', u'ya\u2665', u'yea', u'yea.', u'yeaa', u'yeah!',
u'yeah.', u'yeahhh.', u'yes,', u'yes;)', u'yess', u'yess,', u'you!!!!!',
u"you'll", u'you+snl=', u'you,', u'youll', u'youtube??', u'youu<3',
u'youuuuu', u'yum', u'yumyum', u'~', u'\xac\xac']
快速的扫一下示例1－9的结果，你会发现最常用的词比最不常用的词载有更多有用的信息。虽然进一步的工作是让机器来识别，但常用词涉及的实体如人，时间，事件，而不常用的词则大都是噪音其中得不出任何有用信息。
第一点你发现的关于常用词的可能就是SNL排在了第一位，既已知这是基于原始的搜索结果，这就不足为奇了。有趣之处上往后面的词看：有很多谈论是关于Justin Bieber， 有以下词为证，@justinbieber, justin, 和 bieber。任何人熟悉SNL的也应该知道“tina”和“fey"的出现决非巧合，鉴于Tina Fey和该节目的长期合作关系。也不难从这些词中推断出Justin Bieber是个有名的人，由于他要上周六晚上的节目，所以许多人非常激动的去搜索他。
这时候，你可能会想， “这样啊，那我可以浏览一些tweets,来推断出结论“， 也许的确可以这样，但你想7＊24小时来做这件事吧，或是雇佣别人来做。那么如果是在其他领域，仅靠浏览随机的几条文本是得不出可靠的结论呢？要点是频率分析是非常容易，也很有用的工具，它是如此显而易见而不应被忽略。另外，这种技术一个基本的作用就是能让你回答这个问题，"人们正在谈论什么？”
作为最后观察到的一点，“rt"的出现对于话题的继续是很重要的线索。词“RT”是一个特殊的符号，出现在一条tweet之前代表你正转发某人的tweet.从这个词的高频率，可以推断有大量重复的或是相近的tweet.事实上，这个观察是我们下面分析的基础。
从tweets中抽取关系
因为社交网络是第一个也是最重要的一个关于人们之的联系， 一个方便的存储社交网络数据的形式就是图。让我们用NetworkX来构建一个转发tweet的人们的关系图。我们将在图中直接表明信息的流向，更准确的来说，它是双向图。虽然twitter的API有一些能力去判别和分析转发的状态，但对于下面的例子不太适合，因为我们要向服务器作大量的请求，这将是对有限额的API请求的浪费。
除此之外，我们能通过tweet本身的线索以正则表达式来抽取这些信息。按规定，twitter的人名符号以@符号开头，仅能包含字母，数字和下划线。因此，按转发的规定，我们只需要探索下而的样式：
- RT 后接用户名
- via 后接用户名
示例1－10， 用正则表达式来找到转发者
>>> import re
>>> rt_patterns = re.compile(r"(RT|via)((?:\b\W*@\w+)+)", re.IGNORECASE)
>>> example_tweets = ["RT @SocialWebMining Justin Bieber is on SNL 2nite. w00t?!?",
... "Justin Bieber is on SNL 2nite. w00t?!? (via @SocialWebMining)"]
>>> for t in example_tweets:
... rt_patterns.findall(t)
...
[('RT', ' @SocialWebMining')]
[('via', ' @SocialWebMining')]
以防不太明显，调用findall返回一个元组列表，每一个元组包含一个匹配的字符串或是空字符串，注意这个正则表达式留一个空格在开头，可以很容易的用strip()来解决，如示例1－11。因为示例的tweets中没有一个包含这两种样式，因此，在每一个元组中包含一个空字符串。
已知，这些由twitter API返回的tweet数据结构中包含发tweet的人，以及上面所示获取转发人的方法，很容易将这些信息载入到NetworkX的图中。让我们创建一个图，结点代表用户，两个结点间的有向边代表一个用户转发的另一个用户的tweet,边本身包含tweet的id和tweet的文本。
示例1－11演示了图创建的过程，基本步骤是，首先概括出一个方法来抽取转发中的用户名，再将每一页的tweets数据放入一个列表中，最后，循环扫描每页的tweets并将边加入图中。虽然我们在后面能将图画出来，但即使不可视化它，我们也很从图的特性中得到很多东西。
示例1－11，建立和分析一个图表明了谁转发了谁的tweet
>>> import networkx as nx
>>> import re
>>> g = nx.DiGraph()
>>>
>>> all_tweets = [ tweet
... for page in search_results
... for tweet in page["results"] ]
>>>
>>> def get_rt_sources(tweet):
... rt_patterns = re.compile(r"(RT|via)((?:\b\W*@\w+)+)", re.IGNORECASE)
... return [ source.strip()
... for tuple in rt_patterns.findall(tweet)
... for source in tuple
... if source not in ("RT", "via") ]
...
>>> for tweet in all_tweets:
... rt_sources = get_rt_sources(tweet["text"])
... if not rt_sources: continue
... for rt_source in rt_sources:
... g.add_edge(rt_source, tweet["from_user"], {"tweet_id" : tweet["id"]})
...
>>> g.number_of_nodes()
160
>>> g.number_of_edges()
125
>>> g.edges(data=True)[0]
(u'@ericastolte', u'bonitasworld', {'tweet_id': 11965974697L})
>>> len(nx.connected_components(g.to_undirected()))
37
>>> sorted(nx.degree(g))
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
2, 2, 2, 2, 2, 2, 2, 3, 3, 3, 4, 4, 4, 5, 6, 6, 9, 37]
图1－1，分布图表明了图中结点的度数，揭露了图的联系
NetworkX内置了非常有用的功能去开始分析twitter数据，但有一点很重要，我们要记住这里分析的数据只很少的一部分关于SNL －－成千上万中的500个tweets。从这个图中我们知道， 有160个人转发过，但只有125条边，160／125（约1.28）是一个很重要的线索，告诉我们点的平均度数接近1，意味着虽然一些结点与另外多个结点有联系，但平均是约一个联系一个结点。
调用connected_components显示图中包含了37个子图，且不是完全连通的，输出的度数可能起初看起来有点神秘，但是它实实在在的证明了我们获得的一点：它能告诉我们图的联系性怎么样，而不必去渲染出这个图。在这个示例中，大部分的值是1，意味着大部分结点为的度数是1，即仅与另外一个结点为连接。一些值是在2到9之间，意味着与其他2到9个结点连接。特例是那个度数为37的结点。图中有没有任何连接的结点，也有一个度数为37的结点。图1－1以直方图来表明度数的分布。这条趋势线表明它近似幂律分布(Power Law)，有一个很长的“尾巴”。虽然这个长尾的特性在本书中没什么用处，但我们会发现我们建立的很多图中有这个特性，但是我强烈的建议你深入的去挖掘如果你有兴趣的话。一个好的出发点是齐普夫定律（Zipf's Law).
在这本书中，我们将发更多的时间来用自动启发式学习来分析数据。这章作为介绍来激发你的头脑，使得你来考虑用手边简单易行的办法来挖掘数据。来结束这章之前，让我们来可视化这个图，以此确保我们的直觉将我们引向了正确的方向。
虚拟tweet图
Graphviz是一个重要的工具在虚拟化社区。这一节介绍一个可行的方法来可视化tweet数据图：把它们导出为DOT语言，一个简单的文本格式，能够被Graphviz运用。Graphviz的二进制文件可以用于任意的平台，在它的官网上可以下载，无论什么平台其安装也是很方便的。当Graphviz被安装后，*nix用户就可以用easy_install pygraphviz来安装其python接口，windows用户安装PyGraphviz很困难，这里介绍一个简单的方法生成DOT格式输出。
示例1－12介绍了一个方法可用于任意平台
OUT = "snl_search_results.dot"
try:
nx.drawing.write_dot(g, OUT)
except ImportError, e:
# Help for Windows users:
# Not a general-purpose method, but representative of
# the same output write_dot would provide for this graph
# if installed and easy to implement
dot = ['"%s" -> "%s" [tweet_id=%s]' % (n1, n2, g[n1][n2]['tweet_id']) \
for n1, n2 in g.edges()]
f = open(OUT, 'w')
f.write('strict digraph {\n%s\n}' % (';\n'.join(dot),))
f.close()
DOT格式的输出如示例1－13
示例1－13， DOT语言的输出
strict digraph {
"@ericastolte" -> "bonitasworld" [tweet_id=11965974697];
"@mpcoelho" -> "Lil_Amaral" [tweet_id=11965954427];
"@BieberBelle123" -> "BELIEBE4EVER" [tweet_id=11966261062];
"@BieberBelle123" -> "sabrina9451" [tweet_id=11966197327];
}
有了DOT格式的输出，下一步就将它转换为图形了。Graphviz提供了各种布局算法来虚拟化所导出的图；circo, 一个工具能渲染图为圆形风格的布局，适用于辐射状的拓扑结图，有一个中心点与其它度数为1的结点为相连。*nix用户，可以用下面的命令将snl_search_results.dot从NetworkX导出为snl_search_results.dot.png，然后就可以用图形查看器找开了。
$ circo -Tpng -Osnl_search_results snl_search_results.dotWindows用户可以用GVedit来渲染这个文本，如图1－3.你可以读到更多的选项关于Graphviz在线上文档。图的可视化证实了我们前面的分析，且度数最高的结点是@justinbieber，这个最多讨论的话题。要明白一点的是，如果我们收集更多的tweets,我们将得到更多的内部相连的子图。进一步的分析留给积极的读者们了，这一章主要是准备好开发环境，并激发读者们探索有趣话题的欲望。
Graphviz会出现在本书的其他章节，如果你认为自己是一个数据分析科学家，它是一个你要掌握的工具。也就是说，我们也将用到其他可视化工具。接下来的章节，我们将涉及其它社交网络数据及分析技术。
综合：用Protovis来可视化转发的tweets.
一个关键的示例脚本综合了这一节的大部分内容，并且增加了一个可视化方法， 这就是这一节要做的。另外输出一些有用的信息到终端，它接受一个搜索关键字作为参数，获取，解析，并弹出浏览器来显示可视化数据作为一个可交互的基于html5的图。可以从这本书的官方代码中找到http://github.com/ptwobrussell/Mining-the-Social-Web/blob/master/python_code/introduction__retweet_visualization.py, 强烈建议你试一试。
我们将用再次提到Protovis －－这个示例中用到的可视化工具集，在这本书的后面几章中。图1－4是这个示例中Protovis的输出，这只是一个开始，你可以用它做更多。
结束语
这一章是个开始，让你认识到它是多么容易用python的交互解释器来挖掘和分析twitter的数据。在进入下一章之前，它是很重要的让你感觉易于使用python的开发环境，并且强烈建议你熟悉twitter的API和Graphviz.如果你还想尝试其它的，推荐canviz, 一个项目目的是将Graphviz的图画到浏览器中。你可能也想调查一个IPython,一个更好的python解释器，提供tab补全，历史追综，以及其它更多功能。在这本书中许多的工作与可执行脚本有关，但是它是很重要的，你去多尝试新主意，去调试等等。
图1－2， Graphviz渲染的图形布局搜索结果
图1－3，windows用户用GVedit代替Graphviz
图1－4，一个可交互的Protovis图
