钟啸灵

淘宝网数据平台与产品部数据产品总监赵昆有着一头艺术家式的飘逸长发。2009年6月加入这家中国最大的电子商务企业后，他逐步创立了淘宝自己的数据产品团队。他们的最新动作是，4月18日发布了面向卖家、第三方研究机构、媒体的消费者数据研究平台──“淘宝指数”，在这个平台上开放基于消费者搜索和交易行为的分析数据，供所有人免费使用。

淘宝目前拥有国内电子商务最大的交易数据量，总数据量已经超过30PB，并且还在以每月3PB的速度增加着，共有10亿多条产品信息和5亿多名用户的活动信息，每天超过8000万人次的独立访问。“淘宝拥有海量的数据，同时也必须面对数据分析带来的挑战。”赵昆说。

与他有同样想法的还有eBay中国研发中心分析平台与支付研发总监梁浒。梁浒所在的中国研发中心是eBay设在中国上海的技术支持中心，在这里，每天有上千人的团队为eBay全球提供技术支持，数据分析部门是其中最主要的团队。他认为，相比于B2C平台，淘宝和eBay这类C2C平台遇到的数据分析挑战更大，原因是“亚马逊和京东所有的商品数据都是自己的，可是在eBay，商品数据都在卖家那儿。”需要指出的是，两家公司的商品数据极为庞大，截至去年末，eBay的在线商品数目在3亿左右，淘宝的在线商品数则高达10亿，是国内拥有最庞大商品数的电商。

在淘宝所有数据里，有超过50%的数据属于非结构化/半结构化的数据，而在eBay，这一比例则高达95%以上。两家公司面临了相似的大数据处理问题，这迫使两家公司不得不关注它们对数据处理的能力。……