现在运行

安装与“皮普”

pip安装pyspark美元

pyspark美元

df=火花。读。json(“logs.json”)df。在哪里(“年龄> 21”)。选择(“name.first”)。显示()

#每一个记录包含一个标签和特征向量df=火花。createDataFrame(数据,(“标签”,“特征”])#把数据分割成火车/测试数据集train_df,test_df=df。randomSplit((。80年,。20.),种子=42)#设置hyperparameters算法射频=RandomForestRegressor(numTrees=One hundred.)#适合该模型的训练数据模型=射频。适合(train_df)#测试数据集生成预测。模型。变换(test_df)。显示()

df=火花。读。csv(“accounts.csv”,头=真正的)#选择子集的平衡特性和过滤> 0filtered_df=df。选择(“AccountBalance”,“CountOfDependents”)。过滤器(“AccountBalance > 0 ")#生成汇总统计filtered_df。总结()。显示()

现在运行

码头工人——运行——rm apache /美元引发/ opt / / bin / spark-sql火花

spark-sql >

选择的名字。第一个作为first_name,的名字。去年作为last_name,年龄从json。“logs.json”在哪里年龄>21;

现在运行

码头工人——运行——rm apache /美元引发/ opt / / bin / spark-shell火花

scala >

瓦尔df=火花。读。json(“logs.json”)df。在哪里(“年龄> 21”)。选择(“name.first”)。显示()

现在运行

码头工人——运行——rm apache /美元引发/ opt / / bin / spark-shell火花

scala >

数据集df=火花。读()。json(“logs.json”);df。在哪里(“年龄> 21”)。选择(“name.first”)。显示();

现在运行

SPARK-HOME / bin / sparkR美元

df< -read.json(路径=“logs.json”)df< -过滤器(df,df美元年龄>21)头(选择(df,df美元name.first))

统一的大规模数据分析引擎

什么是Apache的火花™吗?