互联网是人类历史上最大的数据宝库!这个数据存储库非常庞大,以至于公司和科学家都在竭力了解和管理其规模。
我们可以使用许多不同的工具和来源来挖掘这些数据。当该数据与来自多个来源的数据相结合时,可以获得清晰且有价值的数据集和洞察力。这些数据可以证明在调查或目标侦察中非常有用。
大量数据的来源之一是社交网站 Twitter。每天有数百万人发送推文,其中包括政治家、商界人士、名人和美国总统。可以从这些推文中获取重要信息和见解。最近,开发了一个新的开源工具来从这个匿名命名为twint的平台上收集信息。它能够在不使用 Twitter API 甚至没有 Twitter 帐户的情况下从 Twitter 抓取数据。
让我们来看看这个工具是如何工作的。
步骤 #1 下载并安装
第一步是从github.com下载此工具及其依赖项。
kali > git 克隆https://github.com/twintproject/twint.git
获得代码后,我们需要下载其要求。
kali > cd twint
kali > pip3 install -r requirements.txt
现在我们已经在系统中安装了 twint,让我们看一下它的语法。
Twint 的语法相当简单。
twint -u <用户名> <选项>
选项包括;
- 下列的
--追随者
--收藏夹
-s <搜索字符串>
--year <将搜索限制在特定年份>
-o <输出> <file.txt 或 file.csv>
--database <sqllite 数据库名称>
步骤 #2 收集目标信息
让我们尝试使用此工具来收集一些关于来自佛罗里达州的狡猾的第二届国会议员 Matt Gaetz 的情报。盖茨以支持大屠杀否认者、白人民族主义和追随特朗普而闻名。
如果我们想抓取 Matt Gaetz 关注的所有 Twitter 帐户并将它们输出到 csv 格式的文件名“gaetzfollowing”,我们可以输入;
kali > twint -u mattgaetz --following -o gaetzfollowing --csv
如您所见,此工具将 Matt Gaetz 关注的每个帐户输出到屏幕并输出到 .csv 文件gaetzfollowing。
我们也可以通过进入来收割他的追随者;
kali > twint -u mattgaetz --followers -o gaetzfollowers --csv
如果我们想查看“trump”一词是否出现在 Matt Gaetz 的推文中,我们可以将 -s 开关与 trump 一词一起使用。
kali>twint-umattgaetz-s trump
现在我们可以看到众议员盖茨关于特朗普的所有推文,包括;
“我爱@realdonaltrump ”
2019 年 4 月 4 日。
我们现在拥有 Gaetz 先生的每条推文,其中他提到了“特朗普”。
如果我们向下滚动一点,我们可以看到盖茨先生并不总是喜欢特朗普。2011 年 4 月 17 日,他发推文;
@realdonaldtrump 正在竞选总统???现在我知道每次@alsharpton 运行#isthisreal时#Democrats 的感受
显然,盖茨先生在2011年将唐纳德特朗普和阿尔夏普顿牧师等同来。我不认为这是一个讨人喜欢的比较。
当你读到这篇文章时,Gaetz 先生可能已经删除了那篇旧的 Twitter 帖子,但我们会为所有后代保留它。
第 3 步:抓取推文并保存到数据库
通常,我们会想要收集这些推文,然后在数据库中保存和搜索它们。数据库搜索可以更有效、更快速,并且能够链接到其他数据库和表格以进行交叉引用。
让我们抓取 Matt Gaetz 的所有推文并将它们放入名为 mattgaetzDB 的数据库中。
kali > twint -u mattgaetz -- 数据库 mattgaetzDB
如您所见,twint 现在将抓取我们朋友 Matt Gaetz 的每条推文。
现在,我们已经有了 Gaetz 先生的所有推文,然后我们可以使用 Kali 内置的 sqllite 数据库浏览器打开。
打开 sqlite 浏览器后,只需转至文件--> 打开并选择mattgaetzDB文件。
它应该看起来像这样。
我们可以看到我们的数据库中有 8 个表。让我们关注他的推文而不是其他信息。当我们展开“推文”表时,我们可以看到该表中的所有字段。
现在让我们转到最右边(在本例中是多么合适)标记为“执行 SQL”的选项卡。
在这里我们可以创建 SQL 查询来搜索这些数据。让我们搜索 Gaetz 先生提到他的朋友“特朗普”的每条推文。
要构建此查询,我们可以输入;
选择tweet
来自推文
WHERE tweet LIKE '%trump%
当我们通过点击蓝色|>来执行这个查询时,我们可以在下方的窗口中看到结果。
概括
尤其是 Twitter,一般而言,开源情报可以成为一种不可思议的工具,可以收集我们在网络上可用的所有数据。Twint 是一个很棒的工具,与 sqlite 结合使用,可以匿名收集和分析我们通过 Twitter 可用的数据,而无需打开 Twitter 帐户。