做一个一直努力的人，青年向上走--cty
这个专栏将介绍如何使用高通的QNN SDK部署一个自己训练的端到端头部位姿估计模型。我使用的平台是高通的汽车级8775处理器，是面向下一代的舱驾融合平台。开发环境是Ubuntu 22.04。由于高通的部署工具链是闭源且门槛费高昂，参考的资料很少，所以本文将以自己的经验和理解为主，介绍如何使用QNN SDK部署一个端到端头部位姿估计模型，模型用于DMS/OMS等专用应用。
从2.3.4QNN SDK的手册来看:
使用HTP，是V73版本的架构，Hexagon SDK 版本为5.4.0
1 | # 1-创建虚拟python环境, qnn2.3.4版本只支持这个python版本，请注意 |
这里要注意了，因为是在国内，所以说高通提供的安装脚本非常慢并且基本是失败的。这时候需要修改高通QNN_SDK中环境配置的python脚本${QNN_SDK_ROOT}/bin/check-python-dependency，为其添加清华源，保证快速安装。
more >>
这个文档是 Linux 下代码性能分析手册，主要介绍一些常用的性能分析工具及其使用方法，并且给出实际的操作案例。
这个手册可以解决以下的几个问题：
1- 如何排查程序的性能瓶颈
2- 有哪些性能分析工具？适用于哪些场景
3- 举一个调优的实际案例
4- CPU利用率低的常见原因有哪些？
gprof 是 Linux 下一个开源的性能分析工具，它可以用来分析程序的性能瓶颈。
假设当前使用cmake来管理工程
cmake的时候添加编译选项，添加-pg，这样执行后会生成一个gmon.out文件，这个文件包含了程序的性能数据。
1 | cmake -DCMAKE_CXX_FLAGS="-pg" .. |
perf 是linux下性能分析的工具，可以查看cpu的指令统计，内存访问统计，以及cpu的负载情况。
第一次执行可能会遇到以下的情况，不是错误，而是Linux的保护机制，需要手动允许
1 | (base) cty@chentaoyang:~/self_project/dvr_sdk/bin$ perf record -e task-clock:u ./fisheye_orthodontics |
因为Linux系统的perf_event_paranoid参数设置较高，限制了对性能监控和观测操作的访问。要解决这个问题，可以尝试降低perf_event_paranoid的值，以允许更多类型的性能监控。
可以按照以下步骤操作：
首先，可以以root权限临时降低perf_event_paranoid的值，例如将其设置为2（允许用户空间的性能监控，但不允许内核空间的性能监控）：
1 | sudo sh -c 'echo 2 > /proc/sys/kernel/perf_event_paranoid' |
然后再次尝试运行perf record命令。
如果上述步骤能够解决问题，并且您希望更改永久生效，您可以将设置写入/etc/sysctl.conf文件中。打开该文件：
sudo nano /etc/sysctl.conf
在文件中添加一行：
kernel.perf_event_paranoid = 2
保存并关闭文件，然后运行：
sudo sysctl -p
这将使更改生效。
请注意，降低perf_event_paranoid的值可能会带来安全风险，因为它允许普通用户进行性能监控，因此在进行此更改时请确保您的系统安全。
当然在这里我没有直接运行，而是临时降低了这个值
执行：
1 | perf record -e task-clock:u ./fisheye_orthodontics |
valgrind 是 Linux 下一个开源的内存检查工具，可以用来检测程序的内存泄漏、内存访问越界等问题。
这个工具非常强大，并且可以结合可视化工具来进行分析
安装：
1 | sudo apt install valgrind |
valgrind是命令行的工具，kcachegrind是图形化的可视化工具,先执行上述的安装命令
使用：
首先使用valgrind命令来运行程序，然后使用kcachegrind命令来查看结果
1 | valgrind --tool=callgrind ./可执行程序 |
此时就会打开可视化界面，可以看到程序的性能数据，包括函数调用次数、函数调用时间、内存分配次数、内存分配大小等。
这个工具最强大之处在于可以帮助开发的时候检测代码的性能问题，比如内存泄漏、内存访问越界等问题。例如在数字图像处理领域，它可以针对整个程序进行性能分析并有可视化和百分比显示。通过排查函数调用的性能堆栈，可以很快的找到应该从什么方向甚至是什么点对整个程序进行优化，在android NDK层开发，通讯软件开发方面都有很大的帮助，这里我贴一张我自己使用的valgrind工具查看的例子，它帮助我将程序的性能瓶颈定位，将速度优化了10倍。
more >>
抬头显示起源于战斗机上的开火瞄准系统，抬头显示最早被大规模应用就在飞机上。
抬头显示（HUD）技术的综合分析，涵盖关键技术、技术方向、发展现状及主流产品形态
AR-HUD得到认可的根本
| 类型 | 显示方式 | 特点 | 代表车型/企业 |
|---|---|---|---|
| C-HUD | 独立树脂板投射 | 结构简单、成本低；视野小、强光下效果差，渐被淘汰 | 早期低端车型 |
| W-HUD | 挡风玻璃反射 | 成像面积更大（投影距2-4米），集成度高；当前主流（占比＞70%） | 丰田、理想L9（替代传统仪表） |
| AR-HUD | 虚实融合于远场路面 | 支持动态导航（如车道级指引）、ADAS预警；需高精度传感器支持 | 奔驰S级、问界M9、蔚来ES8 |
| 全景HUD | 覆盖整个挡风玻璃下部 | 多乘员共享信息，支持娱乐功能（观影、游戏） | 新兴方案（P-HUD） |
广视场角（＞10°）、远投影距（＞7.5米）、低延迟（＜100ms）
包括投影单元（PGU）、反射镜组、自由曲面镜、挡风玻璃（或独立介质）。
通过精密光学计算实现虚像投射，需解决虚像距离（VID）、视场角（FOV）、畸变矫正等问题。 AR-HUD需更复杂光路设计，以支持7-10米远距投影和大成像面积。 HUD的凹面镜和凸面镜之间需要足够的光路空间，才能满足FOV以及虚像VID的要求，因此HUD的体积甚至可以达到15L，是一个相对较大的汽车电子产品，并因此产生碰撞时的风险。未来的趋势是将整个光机系统小型化。
人眼看到的是虚像，图像由PGU单元产生，经由光源加强经过两次反射投到挡风玻璃上形成像，对于W-HUD来说，人眼和人脑通过自补足来产生清晰虚像。
目前国内做HUD行业的企业较多，最为突出的是华阳集团。华阳早在2012年就开始HUD研发，2018年完成AR-HUD的预研。华阳在HUD研发上的突破主要归功于三个领域的技术能力：激光运动（激光头单元）技术、微投影光学技术、汽车电子技术。华阳是全球最大的激光头制造商，提供全球三分之一的激光头单元产量。
华阳提供的AR-HUD的打包方案有两种：
根据这些信息，AR-HUD或者W-HUD本身典型结构就是光机+计算单元，光机指的是以发射头和反射镜为主体的一整个显示结构，计算单元是用于向光机输送信息的计算结构。主要的技术壁垒的发力点也在这两部分。
1 | AR-HUD的核心技术，包括 |
上述的概念中，描述了基本的硬件组件，实际上HUD这个产品本身有点像投影仪，只不过投影仪的成像平面是一块白布，而HUD的成像平面是一块玻璃并进行了几次反射。对于软件团队来说，HUD更像是一个外设。
《SAE J1757-2_201811 Standard - Optical System HUD for Automotive》
上述由美国机动车工程师协会发布，该SAE标准提供了在典型汽车环境照明条件下确定HUD光学性能的测量方法。它涵盖了室内测量和模拟室外照明，用于HUD虚拟图像的测量。该标准涉及的HUD类型包括w-HUD(挡风玻璃HUD)和c-HUD(组合器HUD)，根据需要作为增强现实(AR)HUD的参考
SAE J1757-2_201811 Standard - Optical System HUD for Automotive
上图展示了一个基本的W-HUD的实际效果，目前装车量最大也是成熟技术的HUD就是W-HUD，它可以将一些基本的信息投射到挡风玻璃上，在有限的范围内显示一些辅助驾驶的地图等信息，替代了仪表的部分功能，是仪表技术的延展。
为了直观的展示两种HUD的区别和技术上的差异点，可以先看实际的效果。
上图是华为(VID＞7.5m，FOV：13°X5°)的AR-HUD的效果，包括黑夜和白天，可以很明显的看到，AR-HUD由动态位置部分和非动态位置部分元素构成，固定的元素包括了速度和限速的显示，车道线提示和转向提示等，当然也可以包括车灯等元素。非动态位置的元素包括一个路线的指示标，它跟随实际的车道线进行移动，通过ADAS传来的数据实时调节HUD的显示。当然，AR-HUD还可以动态的显示更多AR元素，例如前车的轮廓和实时距离，左右两侧的建筑的名字，预警行人的路径。
从上图可以看到，AR-HUD和W-HUD两者在基本原理上并无巨大差距，真正的区别在于W-HUD只能将固定的元素投影到固定的虚像平面上，AR-HUD使用了复杂的3D坐标转换将元素投影到现实世界的视觉目标点上，同时兼顾了将固定元素投影到固定虚像平面上。假设现实中有那么一个物体A，那么人眼看到的A实像能与投影的shape S相重合或者类似贴合，则能给大脑一种“这个shape S是存在于真实世界表面”这种感觉。
这个图展示了不同HUD产品的FOV区别，从用户体验上来讲，AR-HUD与普通HUD是有一个大致的界限的。如果虚像是固定的平面，那么HUD的视场角则不需要做到那么大，仅仅覆盖某些范围以满足基本的信息显示即可，但是虚像需要贴合真实世界的某些物体，例如车道线、地面、障碍物等，这些物体的位置可能处于更远的视野投影点，则需要更大的FOV以满足显示的需求，AR-HUD的横向FOV至少是10度，虚像平面可控范围至少是7.5米，结合上面对于W-HUD和AR-HUD的区别点解释，可以很好的理解为什么要做大FOV。
目前一种量产的技术路线是双焦面HUD光机，要实现真正的AR-HUD，则像面不能只在一个虚像平面上，而是需要多个像面，第一个像面距离近，可以将一些直观的数据放在这个像面，在双焦面AR-HUD上，基本信息显示在近焦面，时速，电量等。把更丰富的道路信息，智能驾驶信息，导航，娱乐，ADAS警示等信息显示在远焦面。远焦面的虚拟相距要大，避免虚拟图像和真实对象(例如车道线和前方车辆)的深度匹配造成的视觉冲突，近焦面的虚像距深度要小，避免与真实世界对象重叠影响驾驶员。
双焦面HUD的PGU单元逻辑分为两个区域，处理数据也是分区进行处理的。
从系统功能的角度来说，HUD是一个信息展示的平台，具体输入给系统的信息，则可以分成以下的三类
1 | 1- 从车身总线上来的数据(CAN) |
这些数据一般经由MCU端管理的CAN总线送入，一般是动力域的数据和整车控制器上的车身信息。
1 | 2- 从上层应用来的数据 |
这些地图和定位数据是来自于专业的地图商和准确的GPS，北斗信号等，这些数据接入HUD的方式和仪表接入HUD的方式并无很大的区别。
1 | 3- ADAS系统来的数据 |
这些ADAS数据本身是有一定约定的，结构化的，容易解析的数据，同时，DMS的数据也可以视为ADAS数据的一部分，即使当前车辆没有辅助驾驶功能而单独有DMS，也可以使用这个数据来修正AR-HUD的显示，它与ADAS数据共存于一个中间件是可能的。
上图可以很轻易的看到，使用座舱域控制器，所有的信息都在座舱端进行融合和梳理，并由座舱的算力进行处理，HUD仅仅作为一个显示用的外设，和普通的座舱屏幕底层逻辑并没有很大的区别。但是，AR-HUD多出了许多动态显示的元素，比如说换道提示，障碍物提示，车位提示，道路岔口提示，这些元素的显示需要外部的算法提供数据，并由特殊的坐标转换算法投影到对应的位置。同时，由于汽车的运动产生的抖动，人眼睛抬头低头产生的位移，需要DMS系统检测人眼微姿态数据并依此实时修正投影的位置。
HUD的中间件与仪表类似,基本可以沿用仪表中间件的设计.
AR-HUD接收中间件数据之后,会再经过一层专用处理的信息聚合层,这一层的主要功能是将各个数据进行融合,并加载各种显示模型,实时计算投影矩阵和投影元素,最后将这些数据输出给HUD进行显示.这一层信息聚合层，也可以叫做AR-Creator。AR-HUD中间件的设计目标：低延迟，高性能；AR-Creator的设计目标是让HUD图像准确，清晰。
举个例子,如果有地图提示的变道提醒,那么中间件应该及时处理并将数据给到HUD处理端，减少延迟，同时，高精度定位或者ADAS数据会告知系统当前车子处于哪个车道，应该变到哪个车道。定位到车道的世界坐标系位置，即系统已知车道和车之间的相对关系，并使用这个相对位置关系将虚拟的变道车道线投影到相应的位置。
| 关键点 | 描述 |
|---|---|
| 1.HUD显示与车道线 matching | 在多车道的情况下，车辆在第几车道，会影响AR-HUD投影信息指示的正确性，故车辆本身须具备车道侦测的相关技术，提供目前在第几车道的信息，且侦测补正系统会有时间延时，因此必须加上提前预测算法。相关技术：影像识别 |
| 2. HUD显示与车头方向 matching | AR HUD显示的信息须避开前方车辆遮蔽，投影在路面上，故需侦测前方障碍物的位置，动态调整AR HUD显示的信息位置,且侦测补正系统会有时间延时，因此必须加上提前预测算法。相关技术：77Ghz毫米波雷达/影像识别。 |
| 3. HUD显示与前方障碍物标定 matching | AR-HUD虚拟图像与车外实景结合时，会因车主的坐姿差异产生视角的差异，故需侦测眼球位置，动态调整虚拟图像的投射角度变动。相关技术：DMS/影像识别 |
| 4. HUD显示与转弯路口 matching | HUD显示的转弯箭头要达到精准标定到实际道路的路口，精密地图：提供路口精准的经纬度位置；精准定位：提供车辆所在的精准经纬度与方向；车头晃动补偿：HUD显示必须补偿车头上下晃动的偏差；收集高精度地图与V2X及六轴向陀螺仪、影像识别、毫米波雷达、GPS等各类传感器，通过复杂数字演算，精确定位目前车辆的位置，精密度需要至10cm等级。 |
岚图追光豪华汽车，东风的高端产品的AVM/HUD/BEV标定车间。
这个是W-HUD的产线标定方法,可以看到整个标定是一个带反馈回环的参数优化系统,由光机投影出特定的形状,由相机模拟人眼拍摄HUD实际成像形状,通过调整光机输出,直到光机输出使得相机接收到的图像符合一定的约束,去掉畸变和歪斜,并计算出对应关系的像素投影关系.
主要步骤:
通过以上描述，可以把由挡风玻璃形成的畸变描述为一种几何失真，或称之为几何畸变，不同于鱼眼相机形成的畸变可以用某种约定的高次多项式展开来描述畸变，HUD的畸变是由多种原因共同构成的，包括光路的复杂性、玻璃的材料、玻璃的厚度、玻璃的反射率、光源的位置、光源的光束等，这些因素过于复杂，无法直接进行分解的数学描述，只能从发射源到接受源之间通过特定的约束来建立关系，并由此求解几何畸变。
1 | 几何畸变又可分为线性几何畸变和非线性几何畸变。通常情况下，线性几何畸变指缩放、平移、旋转等畸变。而非线性几何畸变是由成像面和物平面的倾斜、物平面本身的弯曲、光学系统的像差造成的畸变，表现为物体与实际的成像各部分比例失衡。 |
本篇章是移动目标侦测的研究笔记，来源于实际项目，记录整个过程的思考和历程。并解此对计算机视觉领域的部分前瞻性工作进行介绍。本章节栏目会持续更新，并详细介绍整个体系的知识，对后来的研究者提供一个研究基线，帮助开发者选择使用不同的算法来适配不同的项目需求。
移动目标侦测所机器视觉体系下的一个子分支。MOD (Motion Detection or Moving Object Detection )称之为运动侦测，移动侦测。例如，在泊车时，周围有人或物体经过探测区域被检测到给驾驶员声音和视觉提醒，移动物体会被黄框标示，提醒驾驶员注意。被检测到的物体必须是移动物的，它不检测静止的物体。此外，移动目标侦测也常用于监控领域，当画面中有移动物体时触发录制或者拍照，这个在家庭监控中非常常见。
总之，移动目标侦测的目标是检测画面中是否有移动的物体，不管移动的东西是什么类别。实际上，移动目标检测的应用还和相机的运动状态有关，相机静止时和相机运动的时候，移动目标侦测的难度大大不同。相机静止状态时，相机位姿没有移动，背景也基本上是固定的，此时使用帧差法或者光流法都可以起到比较好的效果，或者使用背景建模的方法都可以起到比较好的效果。但是，相机处于运动状态时，这些算法的准确率都大打折扣，基本上都不能使用了，背景变化得稍微迅速一点，立刻就会产生许多误报。
很多机器视觉专业或者计算机视觉专业的同僚乍一看觉得，这个任务很简单(简单的原因是大家都觉得目标检测算法已经相当成熟)，其实最开始我也是这样认为的。但是仔细一想，发现问题并不简单。移动目标，并没有指定目标是什么，也就是它拥有无限的类别，无限的场景；其次，相机的运动是完全无规律的；再有，此类算法一般都有端侧的部署需求，神经网络在设计时就要考虑适配端侧的机器，后续的部署量化更是需要芯片厂的工具链支持，难以在短时间内把工程优化到可产品级。
more >>
本篇章是OpenGL编程的一个经典应用，可以广泛使用在带有GPU的各种设备上。通过阅读本篇章，可以完全了解如何使用标定好的相机内参数据对鱼眼图像进行去畸变处理。
OpenGL是一套通用GPU编程接口，是操纵GPU进行图像处理的一套方法，抑或是渲染管线。
关于OpenGL的基础环境、基础原理，可以参考：主页 - LearnOpenGL CN (learnopengl-cn.github.io)
本篇章就不再赘述现代渲染管线的一些基础知识。
more >>
这份笔记是今年学习的时候开的坑，认真学习前辈的知识，温故知新。
1 | 软件架构这东西，众说纷纭，各有观点。什么是软件架构，我们能在网上找到无数种定义。比如，我们可以这样定义：软件架构是软件系统的基本结构，体现在其组件、组件之间的关系、组件设计与演进的规则，以及体现这些规则的基础设施。怎么定义一般来说，基本上不重要，我们不是在写学术书籍，关心软件架构能解决什么问题才是更重要的。软件架构不是制定出来的，而是产品和业务需求所决定的，架构师所做的，只是忠于需求，并合理的表达了需求。软件架构也从来都不是一成不变的。在产品或者产品线的整个生命周期中，随着业务和需求的变化，软件架构不断发展和变化，以适应新的需要。软件架构，也不是一个简单的项目问题，而是产品或产品线的技术战略问题。一个良好设计并推广的软件架构，能带来如下好处。最大限度地减少不必要的返工使嵌入式软件在宏观层面建立规划增强复用性，降低开发成本便于团队内部的技术培训使技术积累更加容易。经常看到的一个常见问题是，新手工程师，由于经历与知识不足，往往看不到项目全貌，很难深刻理解软件架构，他们往往要经过多年的专业训练，才能逐渐建立架构意识。但软件架构真的只是资深工程师和架构师的专利吗？这个也不见得。古人作文，讲究立意为先。今天工程师做项目和产品，也应该先立意。这个意，就是指要有高度。工程师入门能从软件架构的高度出发，看待软件问题，相信对软件的理解，会更加深刻一些。因此，总结了软件架构的六个步骤，供嵌入式工程师参考。 |
在二值化图像处理的时候，经常会需要提取特征的骨架，最常用的细化算法是ZHANG的算法
在OpenCV中有现成的接口，但是作为了解原理的起点，在此记录算法的实现过程
以下是代码，使用C++14
可以直接复制使用
最近在研究计算机几何学，拿到手确实晦涩难懂。
这让我想起以前听南邮的崔子冠教授讲数字图像处理，还有通信工程学院的另一个很温柔的女老师讲计算机几何。
这两门课总是有很多疑问，上到一半还总是打瞌睡，虽然考试成绩还不错。
但当时没机会动手好好实践，现在重新捡起来学习梳理一遍。
我找到了很难找的两本原书，现在这些资料都被各种翻版，很多概念都没有被完整记录和描述。
可以参考以下链接来下载。
中文版安徽大学出版社有出版，可以找一找。
英文版：计算机多视几何
附上第一章和第二章的总结
公式总结和整理下载
如果想在线预览请点击more
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true