|
5 \. N3 a Y7 w
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
% O" m( n% h8 z& x8 z" U& H7 } 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
6 N i P! ?* S" U# e 好嘛，举手之劳。
; m& A/ v9 ~! I
0 M- w% b" ]$ X ^8 V2 K3 T- M 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
" ]: A' S- \3 d6 ?) i$ r
! h9 ]/ f* Z2 V- V 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” * [* ?) W; {" K, B2 N4 K
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
5 @( B% }4 U( v9 I. H 先看这两张图 ! w) p6 n3 A! \: z; a& z
- y3 |& V2 S' U; D& S 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
1 Z* F6 W* e6 `: [) p) [ , C* `/ x: {1 V+ a, f
第二张是一张声呐图像，显示的是海底的一辆自行车。
: W; [, ]' u" r. m 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 7 ^/ `+ @- X5 _3 c- E
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 5 {9 f& }8 h, t# Q* g+ }
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 9 f: d; E3 x P+ y9 |' K
* F$ s7 ]3 Q- O; w8 H3 `' u: m3 m Z
你看这就是辆小汽车
* `7 F: V2 B) T
7 }, x' i5 }3 b8 b- H. v, @. C 这就是人工堤坝和沙坡 1 J3 B# w, g# F0 V- H* ^4 V
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 7 Q" h7 f7 e4 L# {' l5 h
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 1 d( D1 X- a+ B9 A6 `
, g( h, u1 h7 F4 m: n1 C1 c
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 7 A. i: h2 U# m: C1 o- H% H
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 2 I8 Z. d& l3 c+ h) ~+ G
7 z' C1 r+ t* R% X& j 大致就是这么个意思，你品，你细品。
D% C, y4 t& s) z; ^ d6 m 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
: h8 l v7 R" ^- S/ @! S' ` 2020“水下目标检测算法赛” . `% a8 c2 |3 a# r7 M5 |7 o1 n
水下目标检测算法赛（声学图像赛项） / 讨论区 0 D$ h: p2 q6 G3 L1 `
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
+ C: I, W; z3 i" R& E' |- d
: L& B( {8 R6 N 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
2 K' t5 Q7 X ^$ Q6 a$ |8 D# g 讲完图像之后，我们再来讲讲题该怎么做 & t% F6 ]/ @) ?
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
* y2 j& C3 _/ N w( I 举个例子：
9 R ]; y7 W; F3 s% f, k WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
6 Z! ^0 |. ]8 A+ u' j; ?8 G& x# s 老师给的论文中，使用的方法为CNN/FCN
e$ [' A/ ~5 z6 i+ x
6 x$ V0 P4 {9 { 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
- x* u( {" {4 v$ F9 \" ^7 {( e 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： 5 M5 x1 P A9 t w+ d5 D3 ?
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
" Q6 O& v3 j; U0 Y 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ' w8 w6 ~& Y% t3 P8 j( ~& Q# n
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
# s# x& }8 v5 N! M M+ v2 l$ D/ b/ f+ Y9 m
最后，要进行我们的传统项目，也是大家最最最期待的环节：
5 C8 W% P8 A/ q% y! \ 官方baseline公布! O* u- |) b& Y8 }; F+ x
使用Google Object Detection 完成水下目标检测 ; M! w+ I$ s6 j+ n- c! J$ }
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e , V+ F9 w( l! g6 C8 G0 B) ]
项目优雅介绍了baseline的使用全流程，欢迎大家试用 4 \6 v! L: O0 I* r/ s* V
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
8 f5 Y# g, N; \; r6 z* D* P 懒人版声学 Baseline
5 q: K4 g" c+ u. `' B T( p% c https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
0 I j: `: F, L |8 L0 n2 r 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
3 b& M: g% C, u6 E* | 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 \9 d( w* M6 K, t+ N0 b
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 $ p B3 X1 S& E* R5 e
2 K1 H3 r" J, X, u# z, y' N+ w/ G
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 1 S7 H% C! _% m+ ]! ^) v
你不算我不算，声呐图像怎么办？
6 u% Y* j; D3 |; \# v: _* S 你参赛我参赛，海底世界任我探！ $ Y! z4 e. v4 G5 F T, P/ k* A$ g
期待在排行榜上看到各位的大名。以上。
- G- V* ^+ t" r3 W! h 相关资料：
8 T3 e+ z" k1 m) X3 {" y 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. : f: N2 }6 @- x$ _. G& ^$ o; ~; i
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 2 Z4 B$ Z% z0 {8 p3 E) v$ G
# b+ Q6 w* W* M6 P1 I$ t3 h9 J0 C. e2 @0 m- M
) W6 z# |- F% ]4 V! o
& f, I+ b8 r' z. c8 P& A; y | 
