chashtable处理大数据

① Scala在大数据处理方面有何优势

我想大部分应用开发程序员，最关键是看有什么类库合适的方便特定领域的应用开发。就像ruby有rails做web开发，你可以去论证ruby优缺点，但实际上应用开发效率提升很大程度上依靠类库。现在Spark是大数据领域的杀手级应用框架，BAT，我们现在几个领域巨头的客户(有保密协议不方便透露)都全面使用Spark了，这个时候再谈Scala适不适合大数据开发其实意义不大。因为大家比的不只是编程语言，而是构建在这个编程语言之上的类库、社区和生态圈(包括文档和数据、衍生类库、商业技术支持、成熟产品等等)。那么反过来问，为什么Spark会选择Scala可能更有意义一点。Spark主创Matei在不同场合回答两次这个问题，思考的点稍微不一样，但重点是一样的，很适合回答题主的问题。

总结来说最主要有三点：1.API能做得优雅;这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。2.能融合到Hadoop生态圈，要用JVM语言;Hadoop现在是大数据事实标准，Spark并不是要取代Hadoop，而是要完善Hadoop生态。JVM语言大部分可能会想到java，但Java做出来的API太丑，或者想实现一个优雅的API太费劲。3.速度要快;Scala是静态编译的，所以和JRuby,Groovy比起来速度会快很多，非常接近Java。1.Scala的基准性能很接近Java，但确实没有Java好。但很多任务的单次执行的，性能损失在毫秒级不是什么问题；2.在大数据计算次数很多的情况下，我们全部写成命令式，而且还要考虑GC，JIT等基于JVM特性的优化。

② java如何表示数据结构

一、List接口，有序的Collection接口，精确地控制每个元素插入的位置，允许有相同的元素
1.链表，LinkedList实现了List接口，允许null元素，提供了get()、remove()、insert()方法。
[java] view plain
public void add() {
LinkedList List = new LinkedList();
List.add("link1");
List.add("link2");
List.add("link3");
Iterator it = List.iterator();
while (it.hasNext()) {
System.out.println(it.next());
}
it.remove();
Iterator it1 = List.iterator();
for (int i = 0; i < List.size(); i++) {
System.out.println(it1.next());
}
}

2.数组列表，ArrayList,可以动态变化容量的数组，数组列表中存放Object类型，在数组列表中存放的对象类型，以其原型的父类代替，提取其中的元素时要进行类型转换
[java] view plain
public static void main(String[] args)
{
ArrayList al=new ArrayList();
al.add("name");
al.add("value");
al.add("number");
for(int i=0;i<al.size();i++)
{
System.out.println(al.get(i));
}
}

二、Set接口，不包含重复元素的Collection接口
1.散列集，HashSet,实现了Set接口，非线性同步与链表和数组列表几乎类似，处理时链表进行数据处理花费时间更短，处理大数据时通常使用散列集
[java] view plain
public static void main(String[] args)
{
long time=0;
HashSet hs=new HashSet();
ArrayList al=new ArrayList();
long starttime=System.currentTimeMillis();
for(int i=0;i<10000;i++)
{
hs.add(new Integer(i));
}
System.out.println(System.currentTimeMillis()-starttime);
for(int i=0;i<10000;i++)
{
al.add(new Integer(i));
}
System.out.println(System.currentTimeMillis()-starttime);
}

2.树集，TreeSet,实现了Set接口，实现了排序功能，集合中的元素默认按升序排列元素。
三、Map接口，没有继承Collection接口，其提供key到value的映射，Map中不能包含相同的key，每个key只能映射一个value。
1.散列表类，HashTable，继承了Map接口，非空（non-null）的对象都可作为key或value，特点：无序的可以快速查找特定的元素

[java] view plain
public static void TableTest(){
Hashtable ht = new Hashtable();
ht.put("key1", "value1");
ht.put("key2", "value2");
String value1=(String)ht.get("key2");
System.out.println(value1);
}

2.散列映射类，HashMap,与HashTable类似，HashMap是非同步的，且允许null

[java] view plain
public static void Maptest(){
Map<string string=""> map=new HashMap<string string="">();
map.put("key1", "value1");
map.put("key2", "value2");
map.put("key3", "value3");
for(Map.Entry<string string=""> entry:map.entrySet()){
System.out.println(entry.getKey());
System.out.println(entry.getValue());
}
String value1=(String)map.get("key1");
System.out.println(value1);
}
</string></string></string>