什么是元数据？

我最近在华盛顿参加了一个安全会议，参加会议的有一些为一家大型企业合作伙伴工作的工程师。这些人在SIEM和日志数据方面有相当的专业知识，因此"大数据"这个主题出现了很多，特别是当我们探讨如何将有线和日志数据组合在一个系统中，从而对IT安全和网络运营都有利时。

两种数据源（有线和日志）实际上是相辅相成的，使用户能够以IP或用户名为中心，并在上下文中真正看到数据。

我们的讨论以企业为中心，不断出现的一个术语是"数据缩减"。这是相关的，因为捕获所有这些数据、通信量和日志并将其存储在一个位置将产生令人难以置信的洞察力，但会产生大量数据。存储和索引它几天所需的硬件可能非常昂贵，更不用说尝试、解释和理解它所需的专业技术了。能够看到"树上的木头"并快速理解您正在查看的数据是至关重要的。

我们还从许多客户那里听说，基于Netflow的工具对于解决问题非常有用，例如带宽问题，但在许多用例中缺乏深入和详细信息来"找到冒烟的枪"，在辞职、用户活动监视和故障排除之前删除/移动文件夹或下载客户数据库的用户名。但我们有时也会听到"基于DPI（Deep Packet Inspection）的解决方案既复杂又昂贵，没有比这更好的解决方案了"

一种选择是不要存储每个数据包，只存储最重要和有用的信息、可操作的数据和元数据。说起来容易做起来难，如何预测未来并决定要保留的信息或元数据，即将来有用的数据包？更不用说准确地检测应用程序以便重新组合流、提取和存储有用的细节了。例如，对于从因特网下载某物的用户，该元数据将包括用户名、域名、实际访问的页面或URI、观看的视频、日期和时间以及消耗的带宽。因此，人们可以回头说，你知道你正在观看的培训视频在这个链接上消耗了多少带宽吗？

NetFort通过倾听和与我们的客户合作解决了这个问题。例如，几年前，一位英国金融客户说

在使用LANGuardian时，我可以看到一个用户从内部Windows文件共享复制了大量数据。我可以看到IP地址、用户名、源端口和目标端口、时间和数据量，但我还真的需要看到实际的文件名，这可能吗？

我们开始研究SMB协议，将其分解并开发了一个follower或dissector。现在，对于某些关键协议，我们可以准确地识别、遵循并重新组装它们，以提取关键细节、Netfort元数据并存储它们，所有这些都是实时的。然后我们专注于开发一个"google类型的搜索"，GUI试图让输入查询和搜索所有这些数据变得容易。这可能比编写协议解码器更困难，可用性是一个巨大的挑战。

同样需要注意的是，由于元数据包含从数据包内容中提取的丰富的细粒度信息，并且长期存储在内置数据库中，因此对许多安全性非常有用，与用户相关的用例和网络取证。尽管如此，防御ddos策略，也存在访问所有数据包内容对完成图片或获取证据至关重要的用例。可能理想的组合是短时间、小时、天保留完整的数据包捕获数据，以及数周和数月的元数据？

此详细信息或元数据是特定于协议的，例如对于Windows文件共享，它包括文件名和操作，对于MS SQL，它包括SQL查询，开发每个剖析器所需的努力取决于协议，防御ddos虚拟主机，例如SMB V2不是微不足道的，但是对于我们的客户和NetFort来说，它绝对是值得的。所有这些都是因为"数据简化"和将智能构建到软件中。少即是多，免费防御ddos云，人人都赢。现在，我们的客户可以获得他们能够理解、长期保留并用于许多问题的元数据，路由器ddos防御过滤广播包，DDoS攻击的防御策略，包括网络操作、IT安全和网络/用户取证。NetFort获得了一个新的大部门，以中小企业为目标，因为现在他们可以选择负担得起的网络活动监控和取证解决方案，一个单一的参考点包含非常有用的细粒度信息，他们可以理解和采取行动。

John Brosnan

NetFort首席执行官