|
. b2 R3 E& H2 i
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
) Y4 J w( }2 c5 W R/ ^% _9 a 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 8 }3 l$ o* Z8 i2 w$ A
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 5 o! ?4 `1 q0 @) g0 i
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
8 o- ^ [0 Q2 \. X0 {% y: ~% R 1. 数据类型的转换
U/ E1 `. T# F4 K 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 : A: A6 A* X$ ?( ^/ T- x
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
& P2 k, ?2 g; J' H$ u( e
7 e/ m+ ]: l& S3 D7 V; o7 K 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct , S+ t5 v$ `1 B# p2 s
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 & s4 t8 z2 U7 h( G/ N! K8 G
7 P% ^* l5 U5 d' W* J1 G8 _ 2. 字符串的对比 : y& I+ [7 W+ C# V1 x6 \
第二个经常需要处理的问题是，字符串的对比
9 {' N6 ^/ h1 T: E' X( E* m, b 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
l& G: B2 w# O& s' \ 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
# i8 d, o1 e+ k; F4 N' `7 L strcmp(abc,abc)
) W$ {) `- M. k4 f5 B 判断字符串中是否包含某种字符串，可以使用contains函数 ) F- @6 W: D7 ?7 i: v) b
contains(abc,ab) 4 ?$ V! L& z: A( h+ [( ^1 C1 f
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
8 H3 U+ V, ~( X% ]/ \ regexp(abac,a)
, d6 G8 b( v4 C* D 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 $ H9 j& T- u" c" @& P
a = strcmp(Cell_variable,abc);
5 Q& T7 w4 p% u3 S. n8 j b = find(a == 1) - n/ a0 {8 j$ Z( ?
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 - V$ t& ]9 H! }0 f( d( f
a = contains (Cell_variable,ab);
( F F% ~8 ?: v$ a9 s- X b = find(a == 1) 6 W) f% `( B o1 l- A1 V7 J* Z6 w
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
+ h+ M# M3 N* R( Q/ ~4 O8 m 3. 文件的读取写入 " d( D0 N# N& t F+ Y% H
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 4 |+ j) l9 f1 ^ k/ q' s7 q4 ]
mat, txt, excel是平时最常碰到的文件类型 ) |: a/ d9 V* d
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 + P: }( _7 B) m( M% k
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
6 q" z- Q7 U) N2 Z9 e txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 : R2 W+ a6 b6 E- e, h
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
; G7 u% ^+ B* r9 l' R% _0 y 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 b* f, q* a/ J. {7 S3 K1 v+ I4 D# |
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 ; b# s. b2 K& ~: ^5 x! F
& ]' x8 [' {( X, N0 E
% `# N- d8 A. r + ?; |4 o, w: Z& A* R, e2 M
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 ! D% R4 Y. N1 L- t7 R( E) [
fid = fopen(test.txt,wt);2 Z5 ~& C% G3 n" b2 L- A
fprintf(fid,test1\n);
% b% x+ J8 ^' }2 d2 C$ A fprintf(fid,test2\n);
1 `9 j1 x4 h0 M+ y/ m) Y2 c/ d fclose(fid); ' L& P! F1 N* T# G) s
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 8 ^' @" u7 i: \5 _6 }+ W7 ~
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 5 J5 j/ ]0 Z( W; J5 F% X$ j5 _
[num,txt,raw] = xlsread(filename,sheet,xlRange)
& U% \2 Z2 ^. ^2 n xlswrite(filename,A,sheet,xlRange)
; b) T1 s- m; _4 k 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
6 ?. S1 e$ `* m1 A2 k* W6 W T = readtable(filename)
9 z. W6 n" @9 ?8 A# Z) l7 S& F1 y writetable(T,filename)
- M. Y8 C5 I. h, Z5 J & w8 e3 z' Y3 x' M6 \& i- ?/ U
如果数据是cell元胞的话，替代的函数是readcell和writecell 8 ]0 l, D* m$ K# k4 `
T = readcell(filename)
A% }: n& ~% S( y writecell(T,filename)
4 v f" \" x. z9 ` 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
' |6 C8 K' m) K. p2 r 4. 数据可视化 0 M0 ]6 I1 R3 A2 a2 X$ p- s9 r9 \% S
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 , Q! E6 K7 ?9 G- o
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
2 m8 ?( P/ H3 ?0 l; R. q 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 9 @" K7 U- H4 }, @7 }0 j( _: P; U
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 # c Q: j" V; g: \5 h" G
3 u% Q; R' W. `1 w 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
+ B1 b' K( h: D" F& y# c 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
& [' _! a$ {7 I
0 R9 K8 t* E5 o+ E5 t + K6 T$ M) I$ s9 R9 n Y
! n8 T/ }/ K8 K
5. 数据处理的常用函数 + e4 T- r# ^; `1 Q+ V
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
) K( i! j' g; c6 Y* D# D9 u 再安利大家几个平时我在处理数据时最常用的几个函数
4 y, d9 k8 A2 \- {1 y" D2 R: s5 v" f 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 % Y9 Y k1 g8 E& A
C = unique(A)
1 H: P$ r( W0 o* Z7 T7 j0 h* ? unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 ( {( t0 B9 j. W4 _7 B9 n' w, h9 y
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
5 F- U7 W3 G! `5 z sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 1 ]: o+ @9 T" @; B
B = sort(A,dim,direction)
! f d z2 |: [, `' Y1 H sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
% \% U% i' s# h- D B = sortrows(A,column ,direction) $ i; J8 g5 Q% F4 g! ]
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 2 h- e% i1 ^, D; j3 x3 Z6 }5 c4 [
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
" h1 h8 A/ v- i0 @
. d( l1 B ?1 u' @. h, [ 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 - T6 b) C, f, t& w- c4 e
比如reshape，可以根据自己的需求对数组进行重构
4 c6 | P {2 v0 j0 E isequal，可以用来确定两个数组是否相等
% V& }1 b/ _# m; I M) W8 y datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 + r2 \& |3 o. g) |; J3 S
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
; _) [3 n) @6 `' Z- J# B
; T+ a0 `, O( F- A p 6. 数据爬取
5 a% N4 }7 W" |' v& m3 A# Y9 W3 Z 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
) R& n: u3 N( r4 w1 t7 I 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
# L( d$ h; V/ V+ }/ @ y 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
9 I z* R" g# G( {5 T 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
/ j/ W# B7 A3 k5 g data = webread(url) % h" Q d8 h; T, |. ]. d) u6 H
爬取到数据之后，再通过regexp函数正则法处理网页数据 ! C0 ^( b% b" i, K( ~2 |
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) " J( z/ q; z; B7 a% [9 D2 ^
7. 薅系列工具 5 I+ e, @2 a5 m
最后一部分要安利给大家的是，由我自己开发的薅系列工具 / ~* m; ]2 n5 v, g& D
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
2 H0 u* T0 y" c 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 6 n3 T8 K6 Y3 t O
$ F/ Q" E8 R; `: X5 |1 w3 j / V2 m5 z8 l1 ^4 R* a
( a. X! |4 m' c
% {1 T, p5 t# r G+ U& W 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 6 \ q4 d Q1 E3 q% Q: n
' J: V/ o- K9 U% [ 打浦桥程序员：背几段MATLAB代码就那么难吗？ 6 @. I# \- t0 b8 M4 i) K4 T
$ r; q; J+ M6 N* ^ . W1 p6 Y8 n3 g U7 \7 h
# \' o( H7 f9 z+ T6 @3 j
. u3 E1 i2 N1 H4 Z, t1 ?1 V
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
' y. T! g0 w' S8 P+ h3 m; c) P
* R3 G: e0 j1 O . G1 a6 t1 }( w* V) J
0 p1 o( e) P8 P
' v2 @( G, B0 a 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 . H% m% M0 _ j, J1 C; J
4 Q4 s5 o& _/ M8 s3 n 不知觉间，写了这么多字 ; U1 L9 {# a# J: q0 u, l; O
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 + L0 ~7 i% T2 u1 t+ k
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
; G; |7 v6 |7 k8 f! b 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” , ]1 S- J/ G l: b! V m0 c$ v8 A
/ _" `2 V) Y" t) z( n3 R ^8 W: q3 R% c( @ z
, A7 c6 T2 }; P) o% S
. |/ a$ q: h3 w; F | 
