数据处理

数据处理常见问题

• 什么是数据处理?

  数据处理是指数据分析之前的一个阶段，包括数据收集和前期准备。虽然它也可能包括一个简短的分析，但主要重点在于收集数据的不同方法，而这些方法并非源自您的业务。数据处理涉及系统地或大量地收集数据。数据处理的重点是数据源，以及如何快速而不高的开销获得数据。

• 什么时候应该寻找数据处理服务?

  由于数据处理涉及收集和清理数据，因此需要这种服务的主要情况有两种。在第一种情况下，您可能没有回答业务问题所需的任何数据。例如，如果您计划进行市场调查，但还没有任何竞争对手或价格数据，您将需要数据处理来收集市场数据。第二种情况是，您有许多原始的、不整洁的数据，数据分析师无法轻松地处理这些数据。当这种情况发生时，外包初步数据处理可能是有意义的。

• 数据处理包括哪些服务?

  首先，数据处理服务包括通过web抓取、下载、通过API检索或查询数据库的方式收集数据。数据收集可以是一次性的操作，也可以是常规的程序。下一个重要步骤是数据清理，包括格式化、处理异常值和其他异常值、标准化和规范化，以及其他转换。在数据处理完成后，在您与卖方达成协议后，您可以获得数据处理程序的源代码和相关文档，以便以后自己使用。

• 你能处理哪些类型的信息?

  虽然没有限制，但数据处理服务市场呈现出一些趋势。大多数情况下，您需要营销数据，如联系信息、价格和产品评论。来自股票市场的列表和数据构成了另一组通常通过数据处理服务获得的数据。最后一类信息与媒体有关，包括博客内容、新闻文章和社会媒体。您可能会注意到，数据处理中涉及的大多数数据都可以在互联网上或通过开放数据库公开获得。

• 哪些数据处理技术是最流行的?

  数据收集可以手动和自动化。自动化方法使用编程语言，如Python、Ruby、PHP、Java、Javascript、R等。可以使用相同的语言进行数据清理、格式化和建模。另外，有多种工具可以用于数据处理，从初学者使用的Excel表格到更高级的工具，如MATLAB。在大多数情况下，您将需要可靠的数据存储:好的选择包括来自AWS家族或基于Apache技术的存储。最终结果通常以Excel、OpenOffice或谷歌中的电子表格形式提交。

• 你应该寻找什么样的专业技能?

  卖家可能使用不同的技术。根据您的目标或项目阶段，可以将与工具无关的专业知识分成若干组。在项目开始时，您需要数据提取、ETL(弹出-转换-加载)和格式方面的专业知识。SQL和NoSQL语言以及API集成在这里非常有用。对于下一步，您的卖家需要熟悉数据验证和规范化。最后一个阶段可能需要一些聚类和分类技术。根据工具的不同，数据处理专家可以在这些阶段使用公式、宏或函数。