R语言学习丨数据存储文件格式知识,CSV,EXCEL,XML,JSON,MYSQL等

今天笔记的主要学习内容是R语言里文件相关知识,包含CSV、Excel、XML、JSON、MySQL等。

CSV文件

基本介绍

CSV(Comma-Separated Values,字符分隔值,分隔字符也可以不是逗号)是一种非常流行的表格存储文件格式,这种格式适合储存中型或小型数据规模的数据。

CSV 本质是文本,格式简单:数据一行一行的用文本保存,每条记录被分隔符分隔为字段,每条记录都有同样的字段序列。

  • 规则:

1 开头是不留空,以行为单位。

2 可含或不含列名,含列名则居文件第一行。

3 一行数据不跨行,无空行。

4 以半角逗号(即,)作分隔符,列为空也要表达其存在。

5 列内容如存在半角引号(即"),替换成半角双引号("")转义,即用半角引号(即"")将该字段值包含起来。包含逗号, 双引号, 或是换行符的字段必须放在引号内。

6 文件读写时引号,逗号操作规则互逆。

7 内码格式不限,可为 ASCII、Unicode 或者其他。

8 不支持数字

9 不支持特殊字符

注意: CSV 文件最后一行需要保留一个空行,不然执行程序会有警告信息。

读取方法

read.csv()函数来进行读取,返回的结果为数据框格式。

data <- read.csv("xxx.csv", encoding="UTF-8")
# encoding默认为操作系统文字编码GBK,这里统一为UTF-8防止出错。
print(data)

读取后可以对数据进行查看,例如查看行数、列数,查询某列最大值、指定值,筛选等操作。

#输出data中col列的最大值
max_number = max(data$col)
#输出data中cola列等于xx同时colb列小于mm的数据。
out_n = subset(data,cola == xx & colb < mm )

保存方法

write.csv(待输出文件,文件路径) 函数将数据保存为csv文件。待保存的数据最好是数据框形式。

write.csv(data,"data.csv",row.names = FALSE)
# 将data数据输出保存为csv文件
# row.names = FALSE 表示不添加行名,默认为TRUE,一般不需要开启。

Excel文件

基本介绍

Excel是我们熟知的一种数据文件格式,非常通用,R语言中读写 Excel文件需要安装扩展包"xlsx"。

install.packages("xlsx", repos = "https://mirrors.ustc.edu.cn/CRAN/")
library("xlsx")

几乎所有的 Excel 软件与大多数表格软件一样支持 CSV 格式的数据,所以完全可以通过 CSV 与 R 交互,没必要再使用 Excel。

读取方法

# 读取 xxx.xlsx 第一个工作表数据
data <- read.xlsx("xxx.xlsx", sheetIndex = 1)
print(data)

保存方法

write.xlsx(
x,  #data.frame格式的待保存文件
file,  #保存路径
sheetName="Sheet1",  #工作表名称
col.names=TRUE,  #列名
row.names=TRUE,  #行名
append=FALSE,  #续写状态,TRUE为在源文件上补充,反之为覆盖
showNA=TRUE #显示缺失值
)

想要将data1写da.xlsx的sheet1、data2写da.xlsx的sheet2中,如下:

write.xlsx(x, file, sheetName="sheet1")
write.xlsx(x, file, sheetName="sheet2",append=TRUE) 

XML文件

XML 是可扩展标记语言(eXtensible Markup Language),被设计用来传输和存储数据。R语言读写 XML 文件需要安装扩展包:

install.packages("XML", repos = "https://mirrors.ustc.edu.cn/CRAN/")

查看XML文件

查看节点数据,某一行使用 [ ], 指定的行和列使用 [[ ]][[]]

# 载入 XML 包
library("XML")
# 设置文件名
out_1 <- xmlParse(file = "xxx.xml")
# 提取根节点
r_n <- xmlRoot(out_1)
# 查看第 2 个节点数据
print(rn[2])
# 查看第 2 个节点的第 3 个数据
print(rn[[2]][[3]])

转换XML数据

  • 转化为列表
library("XML")
xml_data <- xmlToList(out_1)
  • 转化为数据框
library("XML")
xml_dataframe <- xmlToDataFrame("xxx.xml")

JSON 文件

JSON 是存储和交换文本信息的语法,类似 XML,但比 XML 更小、更快,更易解析,R语言读写JSON 文件需要安装扩展包。

install.packages("rjson", repos = "https://mirrors.ustc.edu.cn/CRAN/")
library("rjson")

载入数据

result <- fromJSON(file = "xxx.json")

查看数据:输出第5行使用 [5], 输出3行4列使用 [[3]][[4]]

# 输出第 1 列的结果
print(result[1])

# 输出第 2 行第 2 列的结果
print(result[[2]][[2]])

转化数据

as.data.frame() 函数能够把json文件转化为数据框类型,方便后续处理。

# 载入 rjson 包
library("rjson")
# 获取 json 数据
result <- fromJSON(file = "xxx.json")
# 转为数据框
out_data <- as.data.frame(result)

MySQL 文件

MySQL是最流行的关系型数据库管理系统,R 语言读写 MySQL 文件需要安装扩展包。

install.packages("RMySQL", repos = "https://mirrors.ustc.edu.cn/CRAN/") #原版
install.packages("RMariaDB", repos = "https://mirrors.ustc.edu.cn/CRAN/") #复制版本

读取数据

library(RMySQL)
# dbname 为数据库名
mysqlconnection = dbConnect(MySQL(), user = 'root', password = 'xxxx', dbname = 'test',host = 'localhost')
# 查看数据
dbListTables(mysqlconnection)

使用 dbSendQuery 来读取数据库的表,结果集通过 fetch() 函数来获取。
library(RMySQL)

# 查询 sites 表
result = dbSendQuery(mysqlconnection, "select * from sites")

# 获取前面两行数据
data.frame = fetch(result, n = 2)

参考资料:https://www.runoob.com/r

本文由mdnice多平台发布

你可能感兴趣的