Update from Sync Service

2026-07-31 15:28:08 +08:00
commit b8a78631a4
569 changed files with 193313 additions and 0 deletions
@@ -0,0 +1,16 @@
+1.  已经通过了DDAW(蔚来(ET7海外)、大通海外车型)，正在做E-NCAP；
+2.  RX5、哪吒U和U pro是在8155(cDSP上)做SDK，蔚来是orin做SDK；
+3.  smart上做到ASIL-B，计划年底量产，做整体的供应商，包括软件和硬件；
+4.  与上汽在谈一个低成本过DDAW的方案，目标成本400；
+5.  自研的推理框架；
+6.  视线检测可以做到点APP和点中控屏，；
+7.  儿童检测有视觉和雷达融合方案，Mini EYE认为纯视觉能拿1分，融合方案能拿3分；
+8.  算力占用，
+9.  2022和2023年的DDAW有区别，了解一下；
+10.  有座舱自标定系统，需要在座舱顶棚上有锚点，锚点不能被遮盖；
+11.  儿童可以做到正负3岁的误差；
+12.  手势识别可以做平面的动态手势，需要深度信息的不太好做；
+13.  计划明年Q2-Q3拿到功能安全ASIL-B的认证；
+14.  利用人脸关键点检测与HUD的投影范围做联动；
+15.  在蔚来做了云端的faceid的注册算法；
+16.  整体的高温测试，测试在高温下摄像头性能裂化时的算法情况；
@@ -0,0 +1,12 @@
+1.  未动的DMS算法需要检测整个时间窗口中所有信息；
+2.  若一路做正常检测，一路做插帧硬件资源无法支持；
+3.  未动有DMS监控方案；
+	1.  SOS侧算法向 MCU发送监控信息；
+	2.  只能检测SOC侧算法失效；
+	3.  DMS监控算法放在MCU侧安全岛；
+4.  错误码的保存，若DMs算法错误，TDA4也挂了，怎么办（系统会提供整体的方案检测）；
+5.  对外依赖都是硬件驱动，摄像头读取和CNN加速驱动；
+6.  Pse 52的接口需要内部确认→未动．
+7.  插帧对算法的影响
+8.   A核上开发环境是ap
+9.  确认工具链的授权
@@ -0,0 +1,8 @@
+1.  由于依赖上下文，单帧插入无法监控DMs软件问题
+2.  ADAs的感知算法也在非功能安全域运行
+3.  只把控制逻辑放到安全域，感知部分放到非功能安全域→需要确认
+4.  安全域的监控项都有什么？→提供清单  
+5.  安全域和非安全域的代码量比例→提供统计，数量级
+6.  提供软件架构图
+7.  评估pse52接口是否能支持控制逻辑及感知算法
+8.  是否能从安全运行时访问加速器
@@ -0,0 +1,5 @@
+1.  安全域中没有办法访问 openvx加速器
+2.  安全域和通用域有硬隔离
+3.  放在安全域中需要的依赖→评估
+4.  拆分的话，该如何拆分，能监控哪些失效
+5.  链路上比较关注的内容→与海霞姐沟通
@@ -0,0 +1,13 @@
+感知层
+
+- 生命特征感知
+- 慢病指标，心血管，糖尿病风险，酒精，抑郁症，心率不齐（待验证）
+- 实时亚健康指标
+- 实时心理指标
+
+应用层
+-  实时应用
+-  长程应用
+-  健康管理→健康关爱、健康干预、健康报告
+-  今年年底交付，明年5-6月量产
+-  明年一月有内部版本
@@ -0,0 +1,9 @@
+硅谷成立，国内独立运营
+
+大数据平台的部署问题
+
+  
+
+手环硬件定制
+
+数据来源为
@@ -0,0 +1,48 @@
+>这是原始记录，整理后的记录请见：
+>[[2023年2月10日商泰交流(整理)]]
+
+
+## DMS开发
+
+1. 人脸识别、疲劳、分神、视线追踪
+2. 情绪(几种)
+3. 年龄：
+4. 性别：
+5. 手势识别(几种)：
+	1. 静态：6钟
+	2. 动态：5种
+6. OMS(遗留物检测、宠物检测)
+7. 特征点：多少？
+8. FaceID：车外可以么？没做过
+9. 注视亮屏：视线落点？可以做
+10. 疲劳分几级，定义逻辑？2级，根据眼睛开合程度和打哈气次数；
+12. 年龄的精度？识别年龄段更有意义；
+13. 宠物种类，遗留物种类；
+14. 隐私保护；
+15. 人体生理指标？
+17. hard case识别
+18. 只剩一个眼睛？可以；
+19. 无响应的驾驶员识别？没做过
+20. 功能安全？没做过
+21. TI和xinqing的芯片；做过TDA4的AD产品；心擎的没做过；
+22. 移植到新平台大致需要3-6个月；
+23. 开源数据、自己采的数据、商业数据；有平台做预标注，人工调整（外包加自己）；几十万的数据量级；
+24. faceID支持多人种识别；
+25. 有驾驶员存在检测；
+26. 分神以头部姿态为主、辅以视线；
+27. 雷达(成本)：100-200元；
+29. 有没有海外认证经验；没有
+30. 有没有应用层的经验；有
+31. DMS支持的安装位置：
+	1. A柱；
+	2. 方向盘管柱；
+	3. 中控台上方；
+	4. 内后视镜；
+32. OMS支持的安装位置：
+	1. 内后视镜；
+	2. IVI屏幕上方
+	3. IVI屏幕下方；
+33. DMS和OMS融合的方案有么？
+34. 白盒范围：
+	1. 数据集？不包括
+	2. 标注平台？可以谈
@@ -0,0 +1,55 @@
+1. 与一汽合作：
+	1. 红旗展车，旗境舱更新(参与23年4月上海车展)；
+	2. 解放：卡车司机的健康管理方案；
+	3. 与商汤有合作；
+	4. 华为手机的相机卡路里识别、
+2. 技术介绍：
+	1. BTCM理论；
+	2. 健康档案(测评加报告)：
+		1. 线下，体检中心等；
+		2. 线上，传感器、智能穿戴等；
+		3. 问卷量表；
+	3. 千人千方案；
+	4. 执行反馈；
+3. 底层库可以每年重构，并按3-5年付费；
+4. 比亚迪也在做；
+5. 库可以以黑盒的方式部署到一汽云；
+	1. 部署；
+	2. 维护；
+6. 智能座舱解决方案：
+7. 生态资源；
+8. 健康管理：研究风险，不给出结论；
+9. 301医院，因为心脑血管疾病比较强；
+10. 心理指标缺乏统一的逻辑，准确性可能受限；
+11. 酒驾等可以放入异常状态的检测，但是可能无法准确地识别出是酒驾还是亢奋等情况；
+12. 分析用药和潜在疾病等信息对驾驶员的可能影响(与互联网医院等机构合作，获取可能的药物信息)；
+13. 健康推荐：
+	1. 膳食营养；
+	2. 运动健康；
+	3. 生活起居；
+	4. 医学体检；
+14. 心理类的推荐：
+	1. 自有音乐(自主研发的音乐信息)；
+	2. 调用外部库的时候需要匹配第三方的标签信息；
+	3. 科普文章；
+	4. 冥想；
+	5. 运动信息；
+15. 医疗辅助的服务费用是按次进行收费，有一个起订量；
+16. 微医、京东健康；
+17. 生态资源：
+	1. 康健数字化健康管理研究院；
+	2. 专家资源：曾强、武阳丰、王燕芳、闫爽；
+	3. 食物营养数据库(120w)；
+	4. 运动数据库；*高速堵车时做个娱乐的内容*
+	5. 特色理疗数据库(2247条)；
+	6. 科普知识数据库(10w+条)；
+	7. 健康风险评估模型；
+
+- 待办任务
+- [ ] 介绍材料(公司、方案介绍)
+- [ ] 聊一下感知部分的算法内容
+- [ ] 确定费用的方式
+- [ ] **汇报材料增加一个整体的方案介绍**
+- [ ] 构建数据中台、业务中台
+- [ ] 膳食指南查一下
+- [ ] 以车载环境为主
@@ -0,0 +1,4 @@
+1. 检测视网膜的信息检测心血管、脑部肿瘤、糖尿病等疾病风险；
+2. 设备已经通过二类医疗器械认证，算法拿到三类认证(医疗诊断级)；
+3. 用图标展示疾病风险的改变；
+4. 
@@ -0,0 +1,23 @@
+1. 总体情况：
+	1. 穿戴技术医疗化；
+	2. 传感技术生物化；
+2. 医疗级的可穿戴设备；
+3. (可穿戴设备)脉搏、血氧、心电、体温、血压和体成分；
+4. 心率变异性和老年痴呆的相关性；
+5. 认知功能：
+	1. 儿童认知测试；
+	
+6. 医疗检测：
+	1. 检测中耳炎(插入式传感器)；
+	2. ECG检测；
+	3. 脑电检测，人机共驾；
+
+7. 心率要达到和华为手环差不多的精度；
+
+8. 基于视听觉的生理心理多模检测：
+	1. 生理信号：语音和图像；
+	2. 行为信号
+9. 车载无感健康检测系统：
+	1. 集成在方向盘中的传感器；
+10. 真实世界的事件和驾驶员的反应；
+11. 从反应时间来确定驾驶员的一些状态信息；
@@ -0,0 +1,18 @@
+1. 癫痫疾病检测：
+	1. 需要PPG原始信号、动作信号；
+2. 房颤：
+	1. PPG和ECG原始信号，指原始的波形图；
+	2. 使用rPPG信号的话需要调整算法，精度会降低；
+3. 居家养示范基地
+
+4. 实时生理、心理状态评估；
+	1. 异常状态判断；
+	2. 压力、疲劳打分；
+	3. 实时驾驶状态评估：结合图像表情()；
+5. 中期：个人数据库：
+	1. 建立个性化的精准生理参数基准线；
+6. 长期：
+	1. 全天候生理指标检测；
+	2. 生态引入；
+	3. 健康风险评估；
+7. 
@@ -0,0 +1,2 @@
+1. TOF摄像头可以用来判断眼睛的3D位置，可以和AR HUD联动；
+2. 
@@ -0,0 +1,6 @@
+1. 通过按钮激活系统；
+2. 安装于车外B柱位置，通过LED灯和装饰灯显示识别结果；
+3. 按钮需要接30电；
+4. 虹软已经完成的算法在TDA4上跑；
+5. TOF摄像头中心较亮，四周亮度会有衰减；
+6. 精确性：FAR=1ppm，FRR=1%；
@@ -0,0 +1 @@
+1. 
@@ -0,0 +1,9 @@
+1. E702 DMS考虑仪表屏下方案；
+2. 3月底要有一版软件，需要有服务层的内容，仅针对8155；
+3. **健康的应用场景，是否有静态检测的需求；**
+4. 数据采集需要3周，训练还需要一个月；
+5. **健康的开发周期还需要确认；**
+6. 健康的开发人员：高勇, gaoyong@senseauto.com；
+7. 功能安全对接人：白晓宇；
+8. **功能安全，DIA、实验计划确认；**
+9. 
@@ -0,0 +1 @@
+1. 
@@ -0,0 +1,6 @@
+1. 异常场景
+2. 得分曲线，没有逻辑上的引导性
+3. 排名展示相对比例
+4. dock栏，卡片
+5. 阈值评审
+6. 
@@ -0,0 +1,18 @@
+1. 目前能做的指标和精度
+	1. 心率、呼吸、血压
+	2. 被试者保持静止、光照固定
+	3. 可以对动作做一些补偿，可以依据关键点做补偿
+2. 精度评价方法
+	1. 指标：MAE、MAPE和RMSE
+3. 数据情况，是否可以共享
+	1. 用的都是开源数据集
+	2. 公司有标注的云平台
+	3. 19年长春资助开发的平台
+4. 数据采集方法
+	1. 有其他项目的数据采集经验
+5. 是否有嵌入式的移植经验
+	1. 算法可以部属在安卓中，使用经典的分析方法；
+6. 人数：复旦：医疗组，博士4，硕士6；
+
+- 利用机器视觉识别医疗动作是否合理
+- 
@@ -0,0 +1,35 @@
+>原始记录请见
+>[[2023年2月10日商泰交流]]
+>
+1. 功能
+	1. 可实现的功能：
+		1. 人脸识别(FaceID)，可实现活体检测，可实现多人种检测，承诺在20ms内完成识别，没做过车外人脸识别功能；
+		2. 疲劳驾驶识别，给通用做的项目分为两级，以眼睛开合程度和打哈气的频率确定；
+		3. 分神检测：以头部姿态检测为主，以视线追踪为辅，在demo演示中，头部大转角(仅剩一只眼睛在图像内容)也可以检出分心；
+		4. 危险动作检测：可检测喝水、抽烟、打电话；
+		5. 视线追踪：承诺可实现视线落点检测，可实现注视亮屏等功能；
+		6. 面部属性：可实现情绪检测、性别检测、年龄检测；
+		7. 手势识别：可检测静态手势6种、动态手势5种；
+		8. OMS：可实现遗留物检测和宠物检测；
+		9. 儿童遗留检测：使用毫米波雷达，安装位置大致处于B柱上方，通过检测心率、呼吸等指标实现；
+		10. 驾驶员存在检测：可实现；
+		11. 摄像头遮挡检测：可实现，通用项目已做；
+		12. 隐私保护：可以实现对特定内容的模糊处理，PPT展示了车外摄像头对人物、车牌等目标的模糊处理；
+	2. 缺乏的功能：
+		1. 人体健康；
+		2. 功能安全；
+2. 工程经验
+	1. 项目经验：量产项目集中在通用车型，目前已有量产产品完成开发；
+	2. 系统整合：承诺可以实现在QNX、Android和Linux上的算法集成；
+	3. 有量产经验的功能：疲劳检测、分神检测、危险动作检测、摄像头遮挡、面部属性；
+	4. 有量产经验的芯片：高通、安霸、瑞萨等，**TDA4系列上做过ADAS功能，没做过DMS内容，完全没做过芯擎的芯片**，移植到新的芯片平台需要时间**3-6个月**；
+	5. 没有欧标和ENCAP经验，DDAW和ADDW正在计划适配；
+	6. 没有功能安全经验；
+	7. 测试平台：有自建的测试平台，可实现自动化测试和预标注，测试后会输出测试报告；
+	8. 数据来源：包括三部分，开源数据集、外购数据集和自采数据集，数据量在几十万；
+	9. 数据标注：使用有测试平台做预标注，之后由人工确认和调整（外包加自己）；
+	10. 有应用层的开发经验，可实现到指定车速激活等功能；
+3. 开源内容
+	1. 算法；
+	2. 测试和数据标注平台；
+	3. **不包括数据集**；
@@ -0,0 +1,7 @@
+
+> 对接人：何云廷
+
+1. 安全指标需要一个合适的展示方式；
+2. 行驶里程变化趋势，按天统计；
+3. 月报、周报设计问题，月报是否应该和周报的内容保持一致，还是按月推送；
+4. 行程总结是否增加一个关闭的选项；
@@ -0,0 +1,4 @@
+1. 新能源所有车的平均能耗信息是否增加；
+2. 动力经济性，王燕(系统集成)；
+3. 周一的时候显示上周内容；
+4. 在车机上增加轻量的单次历史行程查询；
@@ -0,0 +1,9 @@
+1. 标签增加解释内容，考虑正面标签；
+2. 行车小贴士的文本内容，我们先出，之后再讨论；
+3. 只显示未读的第一条，全已读后显示第一条；
+4. 排名的展示可能设计隐私问题，是否考虑取消；
+5. 行程轨迹可能存在性能问题，是否考虑取消；
+6. DMS和ADAS的信息展示，是否改成提示类的信息；
+7. 历史最高能耗意义不大，历史最低改成提示类信息；
+8. 历史行驶是否做限制；
+
@@ -0,0 +1,4 @@
+1. 行驶轨迹问题，请车端网联所正式评估，若无法实现上飞刃会评审；
+2. 排名页面，引入授权弹窗，要考虑实现接口；
+3. DMS、ADAS和历史最低能耗信息展示接受建议，改为提示类信息；
+4. 历史单次行程限制在半年内， 周期限制在一年内；
@@ -0,0 +1,2 @@
+1. 生理监测现在给奇瑞做；
+2. 
@@ -0,0 +1,6 @@
+1. 总结弹窗：
+2. 手机：
+	1. 标签：标签可以分期上；
+	2. 排名：实际意义不大；
+	3. 大迭代跟车型，小迭代可以多次更新；
+
@@ -0,0 +1,4 @@
+- 找供应商讨论应用场景；
+- 产品规划在前，技术支撑在后，项目落地最后；
+- 座舱健康，声音健康、光健康、人体健康；
+- 传感器归智能驾驶管；
@@ -0,0 +1,8 @@
+1. 增加；
+2. GPS点先试一下效果，问一下刘雨恒；
+3. 瞬时能耗的值，
+4. 新能源对平均能耗显示的意见；
+5. 指标和算法的对应关系；
+6. 行程总结：
+	1. 展示的等级太强；
+	2. 弹出时机；
@@ -0,0 +1,24 @@
+1. 要包含：硬件——摄像头，软件的部署位置——车还是云，产品表达；
+2. 策划要完整；
+3. 联动座舱功能设备，场景提示；
+4. 驾驶员失能情况下，联动智能驾驶系统；
+5. 平台化设计，每年度平台化产品能力计划，技术支撑需求；
+6. 产品分级，按成本区分；
+7. 确定不同算法、硬件支持的精度等内容；
+8. 目标车型之一：解放长途运输车；
+9. 在框架确定之后，人体健康按照总体目标进行立项；
+10. 按阶段目标推进产品上线；
+11. 场景设计，相关的责任；
+13. 人体健康随舒享座舱立项，不单独立项；
+14. 定义为体检初筛的等级；
+15. 成熟驾驶员模型研究；
+16. 一期目标先做实时的内容，长期健康风险放到后面做；
+
+
+- [ ] 启动与供应商技术交流，探讨产品形态、场景设计；
+- [ ] 17. 雷达的研发、摄像头的数据
+18. 是否监测整车，或仅驾驶员；
+19. 算力和能耗的情况；
+20. 算法：
+	1. 全车调度算法，各功能协同；
+	2. 健康识别后，后续应该进行的内容；
@@ -0,0 +1 @@
+1. 
@@ -0,0 +1,7 @@
+1. 行程总结不建议
+	1. 和仪表信息多数是重复的
+2. 车机单次的历史行程不上了，只上周报；
+3. **月报也不要，有继承性，可视效果可能不太好，指标和周报重复较多；**
+4. 实时信息的指标项还是想放上；
+5. 疲劳驾驶、分心、愤怒显示策略；
+6. 平均车速、最长行驶里程、最高车速；
@@ -0,0 +1,3 @@
+-  [ ] 整理人体健康感知算法需求
+- 
+ 
@@ -0,0 +1,32 @@
+1. 项目要分为三个层次：
+	1. 数据获取
+	2. 算法实现
+	3. 产品应用
+
+2. 数据获取部分：
+	1. 由产品目标提出需要哪些数据，由数据需求匹配传感器需求；
+	2. PRD要论证所有可能的传感器选型，并分阶段实现；
+	3. 会上讨论过的传感器：
+		1. 摄像头
+		2. 雷达：雷达要明确布置和性能、尺寸参数等；
+		3. ECG传感器：要明确布置和使用方法；
+		4. 智能穿戴；
+
+3. 算法实现：
+	1. 算法要分级别，要明确每个级别的算法需要什么技术实现；
+	2. 算法要能明确提出对数据的需求；
+	3. 算法的核心是要研究如何准确的平均人的状态；
+
+4. 产品应用：
+	1. 产品应用要分等级：
+		1. 提示
+		2. 联动座舱环境
+		3. 干预：
+			1. 在线医疗协助，帮助用户缓解症状等；
+			2. 自动驾驶接管；
+	2. 要开发可以展示的产品Demo；
+
+5. 领导的其他要求：
+	1. 目前阶段要明确项目要干什么，干到什么程度；
+	2. 立项中要体现产品应用的内容；
+	3. 明确技术采购范围；
@@ -0,0 +1,3 @@
+1. 人体健康算法
+2. 人脸关键点
+3. 训练环境创建
@@ -0,0 +1 @@
+1. 
@@ -0,0 +1,11 @@
+- 人体健康
+	- 立项材料
+- 驾驶行为
+	- 产品形态
+	- 接口对接
+	- 测试
+	- 服务器
+	- CICD
+- 算法
+	- 传统方法
+	- 深度学习