大数据之Scala集合类型


集合

一、集合简介

Scala 中拥有多种集合类型,主要分为可变的和不可变的集合两大类:

  • 可变集合: 可以被修改。即可以更改,添加,删除集合中的元素;

  • 不可变集合类:不能被修改。对集合执行更改,添加或删除操作都会返回一个新的集合,而不是修改原来的集合。

二、集合结构

Scala 中的大部分集合类都存在三类变体,分别位于 scala.collection, scala.collection.immutable, scala.collection.mutable 包中。还有部分集合类位于 scala.collection.generic 包下。

  • scala.collection.immutable :包是中的集合是不可变的;
  • scala.collection.mutable :包中的集合是可变的;
  • scala.collection :包中的集合,既可以是可变的,也可以是不可变的。
1
2
3
val sortSet = scala.collection.SortedSet(1, 2, 3, 4, 5)
val mutableSet = collection.mutable.SortedSet(1, 2, 3, 4, 5)
val immutableSet = collection.immutable.SortedSet(1, 2, 3, 4, 5)

如果你仅写了 Set 而没有加任何前缀也没有进行任何 import,则 Scala 默认采用不可变集合类。

1
2
scala> Set(1,2,3,4,5)
res0: scala.collection.immutable.Set[Int] = Set(5, 1, 2, 3, 4)

3.1 scala.collection

scala.collection 包中所有集合如下图:

3.2 scala.collection.mutable

scala.collection.mutable 包中所有集合如下图:

3.2 scala.collection.immutable

scala.collection.immutable 包中所有集合如下图:

三、Trait Traversable

Scala 中所有集合的顶层实现是 Traversable 。它唯一的抽象方法是 foreach

1
def foreach[U](f: Elem => U)

实现 Traversable 的集合类只需要实现这个抽象方法,其他方法可以从 Traversable 继承。Traversable 中的所有可用方法如下:

方法 作用
Abstract Method:
xs foreach f 为 xs 的每个元素执行函数 f
Addition:
xs ++ ys 一个包含 xs 和 ys 中所有元素的新的集合。 ys 是一个 Traversable 或 Iterator。
Maps:
xs map f 对 xs 中每一个元素应用函数 f,并返回一个新的集合
xs flatMap f 对 xs 中每一个元素应用函数 f,最后将结果合并成一个新的集合
xs collect f 对 xs 中每一个元素调用偏函数 f,并返回一个新的集合
Conversions:
xs.toArray 将集合转化为一个 Array
xs.toList 将集合转化为一个 List
xs.toIterable 将集合转化为一个 Iterable
xs.toSeq 将集合转化为一个 Seq
xs.toIndexedSeq 将集合转化为一个 IndexedSeq
xs.toStream 将集合转化为一个延迟计算的流
xs.toSet 将集合转化为一个 Set
xs.toMap 将一个(key, value)对的集合转化为一个 Map。 如果当前集合的元素类型不是(key, value)对形式, 则报静态类型错误。
Copying:
xs copyToBuffer buf 拷贝集合中所有元素到缓存 buf
xs copyToArray(arr,s,n) 从索引 s 开始,将集合中最多 n 个元素复制到数组 arr。 最后两个参数是可选的。
Size info:
xs.isEmpty 判断集合是否为空
xs.nonEmpty 判断集合是否包含元素
xs.size 返回集合中元素的个数
xs.hasDefiniteSize 如果 xs 具有有限大小,则为真。
Element Retrieval:
xs.head 返回集合中的第一个元素(如果无序,则随机返回)
xs.headOption 以 Option 的方式返回集合中的第一个元素, 如果集合为空则返回 None
xs.last 返回集合中的最后一个元素(如果无序,则随机返回)
xs.lastOption 以 Option 的方式返回集合中的最后一个元素, 如果集合为空则返回 None
xs find p 以 Option 的方式返回满足条件 p 的第一个元素, 如果都不满足则返回 None
Subcollection:
xs.tail 除了第一个元素之外的其他元素组成的集合
xs.init 除了最后一个元素之外的其他元素组成的集合
xs slice (from, to) 返回给定索引范围之内的元素组成的集合 (包含 from 位置的元素但不包含 to 位置的元素)
xs take n 返回 xs 的前 n 个元素组成的集合(如果无序,则返回任意 n 个元素)
xs drop n 返回 xs 的后 n 个元素组成的集合(如果无序,则返回任意 n 个元素)
xs takeWhile p 从第一个元素开始查找满足条件 p 的元素, 直到遇到一个不满足条件的元素,返回所有遍历到的值。
xs dropWhile p 从第一个元素开始查找满足条件 p 的元素, 直到遇到一个不满足条件的元素,返回所有未遍历到的值。
xs filter p 返回满足条件 p 的所有元素的集合
xs withFilter p 集合的非严格的过滤器。后续对 xs 调用方法 map、flatMap 以及 withFilter 都只用作于满足条件 p 的元素,而忽略其他元素
xs filterNot p 返回不满足条件 p 的所有元素组成的集合
Subdivisions:
xs splitAt n 在给定位置拆分集合,返回一个集合对 (xs take n, xs drop n)
xs span p 根据给定条件拆分集合,返回一个集合对 (xs takeWhile p, xs dropWhile p)。即遍历元素,直到遇到第一个不符合条件的值则结束遍历,将遍历到的值和未遍历到的值分别放入两个集合返回。
xs partition p 按照筛选条件对元素进行分组
xs groupBy f 根据鉴别器函数 f 将 xs 划分为集合映射
Element Conditions:
xs forall p 判断集合中所有的元素是否都满足条件 p
xs exists p 判断集合中是否存在一个元素满足条件 p
xs count p xs 中满足条件 p 的元素的个数
Folds:
(z /: xs) (op) 以 z 为初始值,从左到右对 xs 中的元素执行操作为 op 的归约操作
(xs :\ z) (op) 以 z 为初始值,从右到左对 xs 中的元素执行操作为 op 的归约操作
xs.foldLeft(z) (op) 同 (z /: xs) (op)
xs.foldRight(z) (op) 同 (xs :\ z) (op)
xs reduceLeft op 从左到右对 xs 中的元素执行操作为 op 的归约操作
xs reduceRight op 从右到左对 xs 中的元素执行操作为 op 的归约操作
Specific Folds:
xs.sum 累计求和
xs.product 累计求积
xs.min xs 中的最小值
xs.max xs 中的最大值
String:
xs addString (b, start, sep, end) 向 StringBuilder b 中添加一个字符串, 该字符串包含 xs 的所有元素。start、seq 和 end 都是可选的,seq 为分隔符,start 为开始符号,end 为结束符号。
xs mkString (start, seq, end) 将集合转化为一个字符串。start、seq 和 end 都是可选的,seq 为分隔符,start 为开始符号,end 为结束符号。
xs.stringPrefix 返回 xs.toString 字符串开头的集合名称
Views:
xs.view 生成 xs 的视图
xs view (from, to) 生成 xs 上指定索引范围内元素的视图

下面为部分方法的使用示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
scala> List(1, 2, 3, 4, 5, 6).collect { case i if i % 2 == 0 => i * 10 }
res0: List[Int] = List(20, 40, 60)

scala> List(1, 2, 3, 4, 5, 6).withFilter(_ % 2 == 0).map(_ * 10)
res1: List[Int] = List(20, 40, 60)

scala> (10 /: List(1, 2, 3)) (_ + _)
res2: Int = 16

scala> List(1, 2, 3, -4, 5) takeWhile (_ > 0)
res3: List[Int] = List(1, 2, 3)

scala> List(1, 2, 3, -4, 5) span (_ > 0)
res4: (List[Int], List[Int]) = (List(1, 2, 3),List(-4, 5))

scala> List(1, 2, 3).mkString("[","-","]")
res5: String = [1-2-3]

四、Trait Iterable

Scala 中所有的集合都直接或者间接实现了 Iterable 特质,Iterable 拓展自 Traversable,并额外定义了部分方法:

方法 作用
Abstract Method:
xs.iterator 返回一个迭代器,用于遍历 xs 中的元素, 与 foreach 遍历元素的顺序相同。
Other Iterators:
xs grouped size 返回一个固定大小的迭代器
xs sliding size 返回一个固定大小的滑动窗口的迭代器
Subcollections:
xs takeRigtht n 返回 xs 中最后 n 个元素组成的集合(如果无序,则返回任意 n 个元素组成的集合)
xs dropRight n 返回 xs 中除了最后 n 个元素外的部分
Zippers:
xs zip ys 返回 xs 和 ys 的对应位置上的元素对组成的集合
xs zipAll (ys, x, y) 返回 xs 和 ys 的对应位置上的元素对组成的集合。其中较短的序列通过附加元素 x 或 y 来扩展以匹配较长的序列。
xs.zipWithIndex 返回一个由 xs 中元素及其索引所组成的元素对的集合
Comparison:
xs sameElements ys 测试 xs 和 ys 是否包含相同顺序的相同元素

所有方法示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
scala> List(1, 2, 3).iterator.reduce(_ * _ * 10)
res0: Int = 600

scala> List("a","b","c","d","e") grouped 2 foreach println
List(a, b)
List(c, d)
List(e)

scala> List("a","b","c","d","e") sliding 2 foreach println
List(a, b)
List(b, c)
List(c, d)
List(d, e)

scala> List("a","b","c","d","e").takeRight(3)
res1: List[String] = List(c, d, e)

scala> List("a","b","c","d","e").dropRight(3)
res2: List[String] = List(a, b)

scala> List("a","b","c").zip(List(1,2,3))
res3: List[(String, Int)] = List((a,1), (b,2), (c,3))

scala> List("a","b","c","d").zipAll(List(1,2,3),"",4)
res4: List[(String, Int)] = List((a,1), (b,2), (c,3), (d,4))

scala> List("a","b","c").zipAll(List(1,2,3,4),"d","")
res5: List[(String, Any)] = List((a,1), (b,2), (c,3), (d,4))

scala> List("a", "b", "c").zipWithIndex
res6: List[(String, Int)] = List((a,0), (b,1), (c,2))

scala> List("a", "b") sameElements List("a", "b")
res7: Boolean = true

scala> List("a", "b") sameElements List("b", "a")
res8: Boolean = false

五、修改集合

当你想对集合添加或者删除元素,需要根据不同的集合类型选择不同的操作符号:

操作符 描述 集合类型
coll(k)
即 coll.apply(k)
获取指定位置的元素 Seq, Map
coll :+ elem
elem +: coll
向集合末尾或者集合头增加元素 Seq
coll + elem
coll + (e1, e2, …)
追加元素 Seq, Map
coll - elem
coll - (e1, e2, …)
删除元素 Set, Map, ArrayBuffer
coll ++ coll2
coll2 ++: coll
合并集合 Iterable
coll – coll2 移除 coll 中包含的 coll2 中的元素 Set, Map, ArrayBuffer
elem :: lst
lst2 :: lst
把指定列表 (lst2) 或者元素 (elem) 添加到列表 (lst) 头部 List
list ::: list2 合并 List List
set \ set2
set & set2
set &~ set2
并集、交集、差集 Set
coll += elem
coll += (e1, e2, …)
coll ++= coll2
coll -= elem
coll -= (e1, e2, …)
coll –= coll2
添加或者删除元素,并将修改后的结果赋值给集合本身 可变集合
elem +=: coll
coll2 ++=: coll
在集合头部追加元素或集合 ArrayBuffer

参考资料

  1. https://docs.scala-lang.org/overviews/collections/overview.html
  2. https://docs.scala-lang.org/overviews/collections/trait-traversable.html
  3. https://docs.scala-lang.org/overviews/collections/trait-iterable.html
坚持原创技术分享,您的支持将鼓励我继续创作!