Tag: 大数据

论证交所推动大数据业务未来展望

文/邱志威 麦迪逊数据顾问公司总经理

金管会日前为面对国际政经情势变局,资本市场必须以变应变,巩固精进,持续提升竞争力,提出有必要於现有资本市场蓝图基础下,强化「创新、韧性及永续」等面向,证交所随即召开「证券市场新未来」记者会,揭櫫四大亮点,本文就所揭示的「大数据专案」提出评析及期许。

证交所是台湾证券市场的核心,证券市场的交易资讯在证交所汇集、产生和传播,证交所更拥有丰富的证券市场历史资料及上市柜公司揭露的各项资讯。做为证券市场资料的提供者,证交所一向致力於资料揭露的准确、即时及透明化:做为资料的消费者,证交所也寻求各项资讯技术以完善市场监管并精进市场服务。

随着大数据资料概念来临,资料的价值正在发生变化,利用大数据工具,以不同观点分析市场内产生的资料,抑或运用外界社群资讯与原有资料进行整合分析,都有可能为市场创造崭新的价值。

拥有丰富大数据4V元素的「证交所」,「大数据专案」便成为未来将推动的业务重点,笔者先从「证交所」大数据的4V谈起:

1.Volume(数量):证交所每日汇集全台投资人上亿笔交易量的资讯,将证券市场交易的全貌尽收眼底。

2.Velocity(速度):证券交易市场分秒必争,投资人对资料即时性的要求也不断增加,证交所极力协助主管机关及各利害关系人获取最即时的资料及数据。

3.Variety(多元的资料): 数据的多样性在数据驱动时代也极为重要。证交所业务广泛,囊括股票上市、市场监理、券商辅导等,将多样化的数据混合分析,产生精准洞见(Insight)。

4.Value(数据价值): 创造价值便是大数据的最终目的,也是证交所在创新时代中的首要任务之一。

面对丰富的大数据,如何发挥数据价值,是证交所董事长林修铭到证交所首要之务。到任後,宣示建立「以数据分析驱动业务创新的思维模式」,把大数据分析的能力深植每一个员工,成为员工的DNA。

以下分享笔者辅导大数据成功的企业的成功秘方:

1.Start Small& fall/success fast(从小做起,快速成功/失败):
在这个讯息万变的数位科技年代,高阶主管已经没有耐心去等待动辄超过一年的大数据建置专案,唯有「从小做起,快速产出数据洞见」的敏捷方式,方能在现今的数位年代生存,即使在这个过程中发现错误,也能快速应变,修正方向。

2.业务挂帅、技术相随:
大数据的成功来自於「跨部门的合作」,由业务单位负责大数据的需求与方向,IT协助提供必要的资料与平台,业务单位迈向「数据公民化」,自行分析数据。

3.让数据团队成为一个部门:
「数据」不只是IT技术支援的一部分,它更是决策支援的一部分,成立内部数据智能的核心单位的「数据」部门是组织推动大数据的要项。

4.先有BI(商业智能: Business Intelligence)才有AI(人工智慧: Artificial Intelligence):
迷信「AI是万能」是许多大数据专案失败的原因。须按部就班,业务单位开始使用「视觉化工具」搭配业务的know-how,从数据找到洞见(insight),从洞见设计可行方案,等累积了足够的洞见,才能透过机器学习将数据价值升级,挖掘更优质的数据价值。

证交所「从员工开始」,让数据成为员工的DNA,是一个非常正确(重要)的「基本功」。在培养员工学习数据能力的同时,以「Start Small」 的方式启动大数据专案,让业务单位担任领头羊的角色,寻找「数据应用」的需求;透过IT同仁的协助,了解证交所内的大数据4V,进行收集/分析资料,透过这种「做中学」的方式,逐步提升人员驾驭大数据的能力。

笔者期待证交所能充分利用大数据,让主管机关及市场相关参与者能享受更快速/多元性以及更有价值的数据。

>>订阅名家评论周报,关心全球财经大小事

数据分析人才行情看涨

文/杨梓青 商业发展研究院数位创新人才研究所所长

举例而言,当我们常使用网路购物时,所有资料皆会被长期收集分析,伴随而来的就是依个人需求喜好而寄发促销广告与折扣方案;当我们开车上路,Google Map会指引一条相对最快(但可能不是最近)的路径,所凭藉的就是不断收集众人的行车定位资讯、进而分析出的街道壅塞状况;当我们进入脸书时,也常会跳出交友建议或相关购物广告,原因就在於过去的模式、路径、习惯等数据早已被收集分析,并做出个人化的需求回应。当我们尝试购买廉航机票时,更常会发现报价瞬息万变,这也是因为系统会不断收集数据,根据群众的购买意愿、竞争状况、以及剩余票量等因素来机动决定当时票价。

商业数据分析是针对过去收集到的资料,藉由不同类型的工具进行统计分析,再套用合适模型以做出未来的预测,可以帮助管理者了解到那些产品销量将会更好、那些管道将会更有价值、如何更合理地布局销售方式、如何更精准的投放广告、如何更适当的管控预算等。「数据分析」是近几年来企业新增最多的数位职缺,其中以零售业、金融业与科技业为最大宗,一般数据分析师的技能需包含以下几个部分:

1、基本统计与分析:运用公式与函式作计算、统计、或基本枢纽分析,可使用Excel为入门工具。

2、整合多资料来源的视觉化分析报表:搭配自动化工具设定资料模式,以产生图像化的分析结果,可帮助主管驱动高效决策,此部分可搭配Power BI 或 Tableau等工具。

3、程式处理与分析:通常使用Python程式语言,简单易学且在资料分析领域功能相当强大,可进行更专业的深度分析。

4、网路爬虫:数据分析的源头是资料,资料的取得极为重要,网路爬虫是自动收集网站资料的技能,以Python搭配Numpy、Pandas及Matplotlib函式库可完成重要任务。

5、机器学习:深入应用人工智慧,以机器学习作为辅助手段,使企业从既有的资料与经验法则中,训练系统学习并找出运作模式,以进行自动化分类、警示、甚至预测,此部分可搭配Python的机器学习函式库Scikit-learn。

6、版本控管:程式开发一定会面临到版本控管的议题,为避免团队开发彼此覆盖或意外删档,以及确保任务分工後进行成果合体,可搭配目前最热门的Git作为版本控管工具。

7、网站流量统计与分析:分析网路使用者的反应是相当重要的行销议题,报表必须呈现使用者分布的地区、年龄层、使用载具、进入网站的热门时段、操作路径,以及於各网页的点击率、不同行销活动及广告来源的成效等多面向的视野,目前最常见的工具就是GA(Google Analytics),而数据分析师徵才条件中,最常出现的便是「熟悉GA操作」。

商研院於「产业新尖兵计画」所开办之「商业大数据分析人才养成班」,招收非本科系学员,受训期间仅需两个半月,结训学员就业率达86%以上,大学学历之平均薪资亦超过38K,可见数据分析的重要性已逐渐超越程式开发,印证数据分析人才的行情看涨。

>>订阅名家评论周报,关心全球财经大小事