推荐答案
在 Spark SQL 中，可以通过以下方式创建 Dataset：
-- -------------------- ---- ------- ------ ----------------------------------- -------- -- -- ------------ --- ----- - ---------------------- --------------- --- --------- ------------------- -------------- -- ------ ------ ----------------- -- ------- ---- ----- ------------ ------- ---- ---- -- -------------- --- ---- - ------------------- ---- ------------- ---- -- ------ ------- --- --- --------------- - ----------- -- -- ------- -- ---------
本题详细解读
1. 创建 SparkSession
在 Spark SQL 中，SparkSession 是入口点，用于与 Spark 进行交互。通过 SparkSession.builder() 方法可以创建一个 SparkSession 实例。
val spark = SparkSession.builder()
.appName("Spark SQL Example")
.master("local[*]")
.getOrCreate()2. 导入隐式转换
为了使用 toDS() 方法将序列转换为 Dataset，需要导入 spark.implicits._ 隐式转换。
import spark.implicits._
3. 定义样例类
Dataset 是强类型的数据集合，通常使用样例类来定义数据的结构。样例类 Person 有两个字段：name 和 age。
case class Person(name: String, age: Int)
4. 创建序列并转换为 Dataset
通过 Seq 创建一个包含样例类对象的序列，然后使用 toDS() 方法将其转换为 Dataset。
val data = Seq(Person("Alice", 25), Person("Bob", 30))
val ds: Dataset[Person] = data.toDS()5. 显示 Dataset 内容
使用 show() 方法可以查看 Dataset 的内容。
ds.show()
输出结果如下：
+-----+---+ | name|age| +-----+---+ |Alice| 25| | Bob| 30| +-----+---+
通过以上步骤，你可以成功创建一个 Dataset 并对其进行操作。