在千锋大数据培训学习至今,已经有了比较基本的思维框架,大数据主要是通过对数据流进行数据处理,然后进行数据监控协调,在生活中基础的的实例,例如电商推荐系统:基于海量的浏览行为、购物行为数据,进行大量的算法模型的运算,得出各类推荐结论,以供电商网站页面来为用户进行商品推荐。广告推送系统:基于海量的互联网用户的各类数据,统计分析,进行用户画像(得到用户的各种属性标签), ﻪ然后可以为广告主进行有针对性的的广告投放。公司网站的运营情况分析:用户的数量的统计、用户活跃程度分析、新增用户、续费用户等等的分析。安全网:每个人每天的互联网行为都记录在案。这些都是大数据的具体应用,可想而知,在这个互联网时代,数据的意义非同凡响。
目前,我已在千锋大数据培训两个月的学习,已经学至Hadoop阶段。Hadoop是一种可靠的,可扩展的分布式计算开发软件。Hadoop的软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理海量数据。
Hadoop的模块可大致分为cluster,mapreduce,hdfs,yarn。mapreduce是一种分布式运算的框架,可以帮助我们来实现一些分布式运算,对数据进行分析和处理。ddfs的作用是在存储文件对大型文件进行切块,保存在服务器中的不同节点,然后当我们需要的时候来找到这些文件。搭建Hadoop的集群的时候要注意环境变量配置,着重的注意不要出现空格,中文,特殊符号。甚至连存储路径也尽量存放在全英文的路径下,尽可能的不要因为这些事情犯错。
总而言之,学习大数据的路还有很长,而目前自己掌握的技术还不够,所以在接下来的学习中要加努力让自己逐步强大起来!
相关文章
了解千锋动态
关注千锋教育服务号
扫一扫快速进入
千锋移动端页面
扫码匿名提建议
直达CEO信箱
Copyright 2011-2020
北京千锋互联科技有限公司
京ICP备12003911号-3
京公网安备 11010802030320号
HTML5
Java
Python
UI/UE设计
云计算
软件测试
大数据
智能物联网
Unity游戏开发
网络安全
短视频+直播电商
影视剪辑包装
游戏原画
区块链
