移动目标侦测：思考录

本篇章是移动目标侦测的研究笔记，来源于实际项目，记录整个过程的思考和历程。并解此对计算机视觉领域的部分前瞻性工作进行介绍。本章节栏目会持续更新，并详细介绍整个体系的知识，对后来的研究者提供一个研究基线，帮助开发者选择使用不同的算法来适配不同的项目需求。

移动目标侦测的概念

移动目标侦测所机器视觉体系下的一个子分支。MOD (Motion Detection or Moving Object Detection )称之为运动侦测，移动侦测。例如，在泊车时，周围有人或物体经过探测区域被检测到给驾驶员声音和视觉提醒，移动物体会被黄框标示，提醒驾驶员注意。被检测到的物体必须是移动物的，它不检测静止的物体。此外，移动目标侦测也常用于监控领域，当画面中有移动物体时触发录制或者拍照，这个在家庭监控中非常常见。
总之，移动目标侦测的目标是检测画面中是否有移动的物体，不管移动的东西是什么类别。实际上，移动目标检测的应用还和相机的运动状态有关，相机静止时和相机运动的时候，移动目标侦测的难度大大不同。相机静止状态时，相机位姿没有移动，背景也基本上是固定的，此时使用帧差法或者光流法都可以起到比较好的效果，或者使用背景建模的方法都可以起到比较好的效果。但是，相机处于运动状态时，这些算法的准确率都大打折扣，基本上都不能使用了，背景变化得稍微迅速一点，立刻就会产生许多误报。
很多机器视觉专业或者计算机视觉专业的同僚乍一看觉得，这个任务很简单(简单的原因是大家都觉得目标检测算法已经相当成熟)，其实最开始我也是这样认为的。但是仔细一想，发现问题并不简单。移动目标，并没有指定目标是什么，也就是它拥有无限的类别，无限的场景；其次，相机的运动是完全无规律的；再有，此类算法一般都有端侧的部署需求，神经网络在设计时就要考虑适配端侧的机器，后续的部署量化更是需要芯片厂的工具链支持，难以在短时间内把工程优化到可产品级。

​ more >>

使用OpenGL处理鱼眼图像信号

本篇章是OpenGL编程的一个经典应用，可以广泛使用在带有GPU的各种设备上。通过阅读本篇章，可以完全了解如何使用标定好的相机内参数据对鱼眼图像进行去畸变处理。

OpenGL

OpenGL是一套通用GPU编程接口，是操纵GPU进行图像处理的一套方法，抑或是渲染管线。

关于OpenGL的基础环境、基础原理，可以参考：主页 - LearnOpenGL CN (learnopengl-cn.github.io)

本篇章就不再赘述现代渲染管线的一些基础知识。

​ more >>

软件架构–六组份解析：嵌入式架构建议书

这份笔记是今年学习的时候开的坑，认真学习前辈的知识，温故知新。

1

软件架构这东西，众说纷纭，各有观点。什么是软件架构，我们能在网上找到无数种定义。比如，我们可以这样定义：软件架构是软件系统的基本结构，体现在其组件、组件之间的关系、组件设计与演进的规则，以及体现这些规则的基础设施。怎么定义一般来说，基本上不重要，我们不是在写学术书籍，关心软件架构能解决什么问题才是更重要的。软件架构不是制定出来的，而是产品和业务需求所决定的，架构师所做的，只是忠于需求，并合理的表达了需求。软件架构也从来都不是一成不变的。在产品或者产品线的整个生命周期中，随着业务和需求的变化，软件架构不断发展和变化，以适应新的需要。软件架构，也不是一个简单的项目问题，而是产品或产品线的技术战略问题。一个良好设计并推广的软件架构，能带来如下好处。最大限度地减少不必要的返工使嵌入式软件在宏观层面建立规划增强复用性，降低开发成本便于团队内部的技术培训使技术积累更加容易。经常看到的一个常见问题是，新手工程师，由于经历与知识不足，往往看不到项目全貌，很难深刻理解软件架构，他们往往要经过多年的专业训练，才能逐渐建立架构意识。但软件架构真的只是资深工程师和架构师的专利吗？这个也不见得。古人作文，讲究立意为先。今天工程师做项目和产品，也应该先立意。这个意，就是指要有高度。工程师入门能从软件架构的高度出发，看待软件问题，相信对软件的理解，会更加深刻一些。因此，总结了软件架构的六个步骤，供嵌入式工程师参考。

操作系统OS

这份笔记是在学习操作系统课程时候所记录的备案，希望能在以后的工作，生活中常常看看，温习复习，温故而知新。我学习的路线是南大蒋教授开设的春季班，欢迎大家到蒋教授的个人主页去观看和学习：蒋教授的主页
课程的讲义都放在了这个tag下面，整个章节全部一起，没有分P，直接食用。

​ more >>

ZhangSuen的细化算法实现

在二值化图像处理的时候，经常会需要提取特征的骨架，最常用的细化算法是ZHANG的算法
在OpenCV中有现成的接口，但是作为了解原理的起点，在此记录算法的实现过程
以下是代码，使用C++14
可以直接复制使用

计算机多视几何

最近在研究计算机几何学，拿到手确实晦涩难懂。
这让我想起以前听南邮的崔子冠教授讲数字图像处理，还有通信工程学院的另一个很温柔的女老师讲计算机几何。
这两门课总是有很多疑问，上到一半还总是打瞌睡，虽然考试成绩还不错。
但当时没机会动手好好实践，现在重新捡起来学习梳理一遍。
我找到了很难找的两本原书，现在这些资料都被各种翻版，很多概念都没有被完整记录和描述。
可以参考以下链接来下载。
中文版安徽大学出版社有出版，可以找一找。
英文版：计算机多视几何
附上第一章和第二章的总结
公式总结和整理下载
如果想在线预览请点击more

没啥用的小知识！

C++怎么在main之前print一个东西

在论坛上看到一个很搞的问题,正常程序执行都是从main函数开始，要在这之前执行print，哈哈哈。。。。只能想到构造器。

1
2
3
4
5
6
7
8
9
10
11
12

class TT {
public:
    TT() {
        std::cout << "print_a_line" << std::endl;
    }
};

TT t1;
int main(){
    std::cout<<"whats_up_man"<<std::endl;
    return 0;
}

智能座舱

##白皮书

最近在阅读关于智能座舱的行业现状，看到这个，遂发出来共享给大家。
个人看来，座舱域更需要关注的信息不是娱乐以及覆盖手机的功能，更应该提供给用户行车更好的体验
例如HUD的布局，传统仪表盘会慢慢淘汰这是事实，做性能车的就搞”科技感加持性能“，做家用车就搞”舒适和实用“。
此外，座舱域也可以集成一些实用的功能，舱泊一体是个好方案，将AVM、AVP、APA功能集成进座舱域以后一定有市场。娱乐功能没那么重要，真开车肯定要认认真真开的！！！下班停到地库抽支烟的功夫，也是抱着手机的居多。
PS：移动端如果看不到这个PDF的话，只能换电脑来看了，QAQ。
这个白皮书写得很不错，值得一看。
白皮书

鱼眼相机环视系统

此段笔记记录在对鱼眼广角相机标定、拼接的过程中遇到的问题和解决思路，并辅以相关的基础知识备忘。
源代码可以下载如下两个压缩包,1用锁实现了同步、2只是简单拼接。两者方法思路基本都是一致的，都可以作为了解原理的起点：
点击下载代码 1
点击下载代码 2
标定板的制作参考如下：
Camera Calibration Pattern Generator – calib.io
https://calib.io/pages/camera-calibration-pattern-generator
可以使用这个小软件来制作标定板

概念整理

先理清两个概念：
1、畸变系数

畸变系数，畸变主要分为径向畸变和切向畸变。
①径向畸变，沿着透镜半径方向分布的畸变；
产生原因：是由透镜质量引起的，光线在远离透镜中心的地方比靠近中心的地方更加弯曲。径向畸变主要包括桶形畸变和枕形畸变两种。
就好比把一个直线拉弯了，哈哈镜都玩过，一个原理
产生的原因是透镜形状和质量引起的，一般来说市场上的鱼眼相机是桶形畸变
②切向畸变，
切向畸变是由于透镜本身与相机传感器平面（像平面）或图像平面不平行而产生的。 切向畸变主要发生在相机传感器和镜头不平行的情况下；因为有夹角，所以光透过镜头传到图像传感器上时，成像位置发生了变化。

[k1, k2, p1, p2, k3]
如果是使用的opencv的接口做的标定的话，那么畸变向量的顺序是这个样子的
其中k指的是径向畸变radial distortion
p指的是切向畸变TangentialDistortion

该脚本用于对局部特征子图进行处理

参考广汽研究院发表的论文复现了其对应的算法并做了改进，由于在停车位识别方面，传统图像处理的算法效果并不好，真的要使用，还是要采用带有深度学习的方案

背景技术

这一章由于其特殊性和数学推导的复杂，很难写得很细。我在此只叙述实现的一些方法和一些意见。具体的工程，在附件中有多份深度学习的源码，可以研究和使用。
传统的方案是采取直线检测来做的，在AVM图像里，用二值化之后利用霍夫变换来对直线进行检测，可能还会用到聚类算法等，最后来拟合构成车位。
但是这一大类利用传统图像处理的方法准确率都偏低，很容易漏检或者混检。

利用深度学习的方法，缺点是必须要使用带算力的SoC，价格一定是相对昂贵的，不管是GPU还是NPU，严重依赖硬件加速，即使对模型进行量化压缩，想要高效又准确也是个难题。
并且各家都在主推自己的工具链，想要在激烈的市场竞争中分得最大的这一块蛋糕，地平线有天工开物，黑芝麻有华山，TI有TIDL，英伟达有TensorRT和CUDA等等。

深度学习的效果，经过实际的验证，确实比传统图像算法优秀得多，以往的方法都是使用人手工精心设计的特征，来进行提取和处理，
比如说利用频谱特征、小波变换、SIFT、ORB、HOG等，但不是所有问题都可以用深度学习来解决！
深度学习本质上强大在非线性拟合能力，用一个三层的神经网络能拟合出任意的函数，但具体问题具体分析，它并没有那么“智能”。

目前已有的空闲车位识别技术可以分为基于超声波雷达探测，基于视觉的空闲车位识别以及超声波与视觉相融合3 种基本模式。
得益于360°环视成像技术的成熟发展，基于环视图像的全视觉空闲车位线识别方法较为成熟了。
在其他学者既已提出的众多研究车位线自动识别方法中，可划分为依据线检测与依据角点检测定位车位两种基本思路。