一、企业大数据如何起步：从小数据到大数据
目前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。
这个问题的答案重点在于大数据应该从小数据开始。因为现在很多企业面临的最大问题不是怎么用大数据，而是内部的一些小数据整合出现问题，或者小数据都没用好的情况下怎么用大数据。大数据应该是从小数据逐渐演变上去的，是一个正常的生态，而不是瞬间变化的。大数据这个概念跟自媒体的概念类似，需要企业自己去建设，而不是从一开始就想着依靠别人。很多企业在谈自媒体的时候，像谈别人的事情一样。比如一谈自媒体，就觉得那是第三方提供的一个平台，大家在那儿发发牢骚。自媒体是自己的媒体，企业自己也要参与进去。同样大数据不是别人的大数据，我们假设有一个第三方提供了大量的数据，有很多很多信息，CI、BI之类的很多模块化东西供我们来用。如果这样的话，你有，竞争对手也有，你能得到的东西，竞争对手也能得到的情况下，就不能称之为核心竞争力。大数据作为企业来说要变成自身的一个竞争力，企业必须得建立自己的企业级的数据。
要做大数据，首先要了解自己的企业，或者自己所在的行业的核心是什么。我们现在经常发现，有很多企业在竞争的过程中，最终不是被现在的竞争对手打败，而是被很多不是你的竞争对手所打败。很简单的一个例子，大家都认为亚马逊是做电商的，但这是错的,它现在最主要的收入来自于云(云服务)。也就是说企业需要找到自己的核心数据(价值)，这个是最关键的。只有在这个基础上，建立自己的大数据才有可能，才能做一些延伸。其次，要找到内部的一些外围相关数据，去慢慢地成长它。有点像滚雪球，第一层是核心，第二层是外围相关的数据。第三层是什么？就是外部机构的一些结构化数据。第四层是社会化的，以及各种现在所谓的非结构化的数据。这几层要一层一层地找到它，而且要找到与自己相关的有价值的东西。这样你的大数据才能建立起来。
第一步，找到核心数据。核心数据现在对很多企业来说实际上就是CRM，自己的用户系统，这是最重要的。第二步，外围数据。比如企业经常会在线上线下举办一些活动，在做活动的时候，消费者的信息只是简单地提供在表单里面，还是进入了CRM的系统里？第三步，常规渠道的数据。举例来说一个销售快销品的企业，能不能够得到沃尔玛的数据，家乐福的数据？很多国外大数据的案例，说消费者买啤酒的时候也会购买剃须刀之类，或者一个母婴产品的消费者她今天在买这个产品，预示着她后面必然会买另一个产品。这就有一个前期的挖掘。这些价值怎么来的，这就需要企业去找常规渠道里面的数据，跟自己的CRM结合起来，才能为自己下一步做市场营销、做推广、产品创新等建立基础。
第四步，外部的社会化的或者非结构化的数据，即现在所谓的社会化媒体数据。这方面信息的主要特征是非结构化，而且非常庞大。这对企业来说最大的价值是什么？当你的用户在社会化媒体上发言的时候，你有没有跟他建立联系？这里有个概念叫做DC(digital connection)。所谓的互联网实际就是一种DC，但是通常互联网上的那种DC是在娱乐层面。用到商业里面的话，就是企业必须得跟消费者建立这种DC关系，它的价值才能发挥出来。否则，你的数据以及很多的CRM数据都是死的。就像国外CRM之父Paul Greenberg写的四本CRM相关书籍，前面三本都是在讲数据库、系统之类的。第四本书的时候，就没有再讲那些东西，讲什么？讲互动，讲DC，讲怎么跟消费者建立关系。
有了这个数据库去进行数据挖掘，或者在建立数据的过程中，企业需要从什么方向去探索，也不是漫无目的的。首先应该跟着你的业务，业务现在有哪些问题，或者说这个行业里面主要的竞争点在哪里，这是很关键的。有了这个业务关系以后，再形成假设，也就是说未来的竞争点可能在哪里，大到未来的战略竞争，小到哪些方面。然后下一步要怎么做，这些形成一个假设，其次做一些小样本的测试。很多企业一看大数据就很恐怖，说我也买不起那些大数据，也雇不起那么专业的团队，怎么办？自己做一些小样本的测试，甚至通过电子表格Excel都可以做数据挖掘。不一定非要那么庞大、那么贵的数据。然后再做大样本的验证，验证出来的结果就可以应用到现实中去。
在大数据尤其是互联网时代还有一个最重要的点，就是失效预警。即你发现一个规律，在现实中应用了，但是你一定要设立一些预警指标。就是当指标达到什么程度的时候，之前发现的规律失效，那你就必须发现新的、相关的，否则也会造成一种浪费。笔者看到一篇文章，其中有一个重要结论。大家都在说大数据的价值很有用的时候，很多企业说我积累了多少TB，多少PB，但是你基于老的数据得出的很多结论实际是在浪费你的资源。你挖掘出来很多数据、很多规律，如果错了，明天按这个去做，就是浪费。因此需要有一个失效预警。在这样的过程中，最终你需要对应建立起内部团队，他们对数据的敏感度也才能培养起来。这时候你再去买大数据服务的时候才是有价值的。
所有这些工作作为企业来说是需要内部去做的，最终才能开花结果，有一些收获。企业大数据起步，要从小数据开始。
二、决策科学及大数据在金融行业的应用
今天我想和大家聊的题目有关金融、决策科学(Decision Science)和大数据，这就是我在美国多年的工作领域，不仅是我的初恋，而且还嫁的无怨无悔(哈哈)，今天在各位专家面前班门弄斧了，希望大家多多指教，想和大家讨论以下几个话题：(1)决策科学是什么、为什么重要、给我们的启示(2)如何理解并踏实地真正理解大数据(3)大数据在金融行业应用方面的案例分享
(1)决策科学：先说说决策科学吧，就是Decision Science，在美国大公司工作的朋友们对此应该都不陌生。顾名思义，它就是运用科学的理论和方法做决策，而非主观意识、完全凭经验。
听上去很简单，但是内容很多，在美国，它是高校单独的一个科目、一个系，它被称为跨学科专业(transdisciplinary major)，学生要学习一些统计、数学、工程、计算机语言等，同时又要学习管理、经济、行为学、甚至心理学。MIT、Carnegie Mellon University、George Washington University等都有决策科学专业，Harvard、Stanford有决策科学实验室，欧美国家都有自己的决策科学学会或机构。
在大学的网站上，想吸引生源的决策科学部门会问“Do you want to be a leader?”，就好像说想当领导者，一定要学决策科学，因为这是时代趋势，的确，在一年一度的美国国家大学协会和雇主工薪调查中，决策科学荣登了去年8大最高工薪的非传统高校专业排行榜。这个专业成为传统的工商管理和工程学的桥梁，满足了市场对综合能力、决策能力的需求。
人们渴望通过决策科学实现的是，在尊重经验、感知的前提下，把Science引荐到人文、社会、政治、商务、决策等领域，并让之可行可靠，推动决策的科学性、准确性、有效性、时效性等，最终的目的，是减少决策的风险，制定出好的、能创造巨大价值的决策。如同Computer Science一样，国外的Decision Science已经有了很长的历史，并且走人了各行各业。
美国一流金融公司决策科学的大规模开始，大约在1985年左右吧，从累加的逻辑规则飞跃到单一评估、模型的使用，再飞跃到贯通的、多元行为的分析，发展之迅猛令人感叹。今天，一流公司在做优化，各种优化软件、系统层出不穷，比如风险定价、offer设置，可以因人而异，公司的网页信息，可以根据登入信息不同而有不同呈现等等。在中国我的观察是各大公司也越来越注重数据分析、用科学方法判断风险、创造收益了。这与我十几年前离开中国的时候有了很大进
(2)大数据时代
不管我们是否已经准备好了，大数据时代已经到来了。最近大数据非常时髦，大家都在谈它，有人说：大数据到底是什么呢，它代表着一个时代，就是一个数据量已经到了大小超过了现有典型的数据库软件和工具的处理能力，而必须使用在数十、数百甚至数千台服务器上同时平行运行的软件来处理。
摩根大通近一两年已经调整了IT部门的组织架构，并投资进行系统更新。摩根大通使用的决策科学工具非常多，比如数据库解决方案用的是被誉为“商业并行处理的领导者”的Teradata系统，传统的数据分析平台是SAS，还有用户界面用Tableau，Cognos以及Qlikview等等。这些平台工具，使得数据分析、决策科学大放光彩。
然而求索的脚步是不会停歇的，在已经很前沿的基础上，国外一流公司进而在研究非传统性数据的采集、读取、录入，比如社交媒体数据、网络日志、语音视频数据等等，新时代的大数据平台要能够完美接受非结构化数据、使之可用，并实现数据实时性。比如现在机构都有了微信，大家在微信或facebook里讨论了一款产品，分析人员要去读取、输录、之后分析。未来这些信息可直接推送出结论，比如某产品差评过多，某产品引来市场热议等。
国内目前即使是很好的金融机构，可能不少还停留在有了数据库和存储数据能力，但是数据使用不多，工具不多，普及也不广的状态。同时我们每天又在各种新闻中体会着无比绚丽、神奇的未来，也有着时不待人的急迫感。所以我个人认为，当前，我们要心怀伟岸的梦想，脚踏实地的先做好最基础的工作，比如搭建数据分析平台，建立决策科学环境，利用现有数据，增加决策科学思维，“为飞奔的汽车换轮胎”，不断努力，不断进取。
我就带着这样的心怀梦想、脚踏实地的心态，回了家，今天能在早餐会上和这么多专家、精英们相识，特别荣幸，先感谢大家的支持、帮助、鼓励，希望和大家一起努力，踏实做些事情。
(3)大数据及决策科学在金融行业的应用和有四、五十年历史的美国知名的卡组织Visa、Mastercard一样，银联是中国的卡组织。在短短的十二年里，银联已经成为世界第二大的卡组织，40亿张卡片，400家发卡机构，140多个国家，1400多万商户，年交易100亿条以上，已经成为中国知名品牌，在世界上有着越来越大的影响力。这是宝贵的财富，尤其是我们自己的卡组织的宝贵财富。
银联的大数据，如果有效开发利用，可以带给中国政府、企业、银行、机构、商户等很大价值。比如Visa和Mastercard,他们利用美国市场的交易数据，做出各种零售消费分析，做类似美国政府的消费者信心指数，帮助没有实力搭建高端决策科学平台的小企业主做精准营销，极大的减少营销成本。
他们的防欺诈模型，通过对每一笔、每一次交易的行为、规律、时间、地点、用途、金额等多维度的规律的判断，来评估欺诈的风险。如果风险倾向高，那么防欺诈部门立刻行动，冻结这笔交易，电话客户验证客户身份。全程1-3分钟，通过验证则交易通过，否则交易失败。大数据良好的应用，最终使公司、消费者都受益。
我现在任职的公司，银联智策，是银联旗下的子公司，成立于2012年底，总部在上海浦东，是一家金融大数据咨询公司。大数据时代下的决策科学，需要符合三方面的条件，即以海量数据为支撑，有先进的数据分析平台为依托，有前沿的决策科学方法、技术力量和实战经验为核心。就好比做顿饭需要米、锅和巧媳妇！三者具备就可以转换数据为准确、快速、高效的可执行策略，转化大数据时代下的市场不确定性为可确定性，从而帮助客户实现客户管理的差异化，产品的创新化、渠道的多样化及服务的高效和人性化。我很高兴我的公司是具备这些能力的。http://www.cda.cn/view/16539.html
最近一个银行信用卡额度提升项目，成为该银行历史上第一次应用风险模型、消费量预测模型，并完美剔除了套现行为的突破，也是该行历史上第一次通过多元测试跟踪到准确活动效果，展示了交易额提升30%，盈利千万元的好项目。请允许我举最后一个决策科学应用实例，就是贷款的风险管理。
转载于:https://www.cnblogs.com/amengduo/p/9587692.html
相关资源：DirectX修复工具V4.0增强版