↓跳过正文
  1. 博客/
  2. 后端/
  3. 框架/

Big Data Questions

·1 分钟· ·
后端 框架 大数据

Recently I found that I’m kind of over talking when I speak with others, so I want to train my conclusion of solving problem. Here are some problems I meet when I read books of Big Data.

  • No 1. Why Spark does not use map-reduce?

Disk reading is too slow to complete big data analyze.Map-reduce is a shuffle which meanings parallizing.Spark just use memory to complete parallizing a huge problem.

  • No 2. How Hadoop to append data?

Just use

相关文章

千万级数据处理小结
·8 分钟
后端 框架 大数据
引言 # 这两个星期的工作主要是对千万文本数据的处理，由于我以前没有接触过类似的数据量，所以我就把我在处理这千万数据的过程中遇到的问题以及解决的方法总结一下
大数据学习小总结
·1 分钟
后端 框架 大数据
最近在学习大数据,书看了不少,但是总是觉得很迷茫,不知道怎么学下去,今天 突然想写点什么来 总结一下这些天.
Learning Scala From Java
·3 分钟
后端 框架 Java
Recently I had finshed reading one book : « Scala for The Impatient», I found a lot intrest thing during reading this book.Cause I had known Python and Java before, I can see mixed fetures of Scala between Python and Java.This blog is my thought of studying a new language from other learned language.
触摸Python的GIL
·18 分钟
后端 框架 Python
Python的GIL一直是被大家攻击其语言的一个弊端，每次在讨论语言特性的时候这点总是会被人们提起，但是这个东西好像就一个“污点”，大家都知道，但是大家都不了解为什么。本片博客就是好好的探索一下GIL，让我们不再畏惧它
如何让你的Python更快
·11 分钟
后端 框架 Python
引言 # 其实一开始没有想到写关于Python的加速，一开始只想好好了解一下C++这门语言，没想到最后研究来研究去，基本上把所以加速框架都试验了一下，这篇博客就谈谈我对Python加速的看法
从关系角度来看XPath
·5 分钟
后端 框架 Python
这段时间没有写博客，一个原因是由于刚毕业没了学校的学习动力反而下降，另外一个方面由于花了很长时间研究编译原理，然而自己却对它没有太多理解，所以也就没有整理自己的知识，现在慢慢稳定下来，会继续像以前一样更新博客