· 科研互动体验 MACAO
ONE EXHIBITION · THREE DIRECTIONS

让智能,
理解真实世界。

从身体信号与动作,到术中空间,再到长期行为序列。三条研究路径,共同回答同一个问题:人工智能如何更准确地理解变化,并把理解转化为可用的决策支持。

感知变化 · 建模动态 · 支持决策 · 连接真实场景
三个模块,一套从数据到决策的研究逻辑。SCROLL TO EXPLORE
非接触感知 CONTACTLESS
+
端侧智能 EDGE AI
+
以人为本 HUMAN-CENTERED
+
科研可体验 RESEARCH IN ACTION
01 / SENSEHUMAN-CENTERED PERCEPTION
智能感知 · 生理与行为

感知,
不止所见。

非接触式生理感知 × 人体行为理解

把摄像头看到的像素,进一步转化为脉搏节律、人体关键点与动作语义。从微小颜色变化到连续姿态序列,让“看见”成为理解人的第一步。

非接触生理姿态动作视觉 AI
进入两个互动 Demo
HUMAN SENSING LAB01 / 02
CONTACTLESS SENSING看见微小的变化
HUMAN-CENTERED AI理解每一个动作
+
+
生命,自有回响CONCEPT VISUALIZATION
移动鼠标,换个角度感知
INTERACTIVE DEMOS

两种交互,同一条感知链路。

先从可体验的身体信号与动作开始,再继续向下理解背后的技术。

生理感知EXPERIENCE / 01
REMOTE VITALS
72BPM98SpO₂
rPPG SIGNALLIVE SYNTHETIC
FACE → SIGNAL → INSIGHT
MPU-rPPG model / rPPG

不必触碰,也能感知心跳。

从面部影像中的细微颜色变化,探索脉搏信号。面对摄像头,体验非接触式生理感知的可能。

面部影像脉搏波形生理信号估计
行为感知EXPERIENCE / 02
POSE LANDMARKS
ACTION PREVIEW挥手WAVING
X 0.82Y 0.64Z 0.37
姿态动画 · 非实时识别
点击预览
BehaviorAnalysis / VISION AI

每一个动作,都有迹可循。

让摄像头成为理解动作的窗口。通过人体关键点、姿态变化与时序信息,探索从“看见动作”到“读懂行为”。

8 类动作识别人体关键点可视化多模型切换

本页动画仅为技术示意,不进行摄像头采集。实际体验将在独立 Demo 页面打开,结果仅用于科研展示,不作为医疗诊断依据。

01.B / SCIENCE从体验继续向下:理解感知背后的信号与动作建模。
BEHIND THE INTELLIGENCE

把看不见的,
变成可理解的。

从像素到信号,从姿态到行为。
我们探索的,是人工智能与人的连接。

THE SCIENCE OF rPPG01

摄像头,如何“看见”心跳?

血液流动会带来皮肤表面细微的颜色变化。rPPG(远程光电容积描记)从视频中提取这些变化,经过信号处理,估计脉搏节律。

01面部影像捕捉颜色变化
02信号提取分离脉搏信息
03节律估计呈现生理信号

小提示:光照、头部运动和摄像头质量均会影响信号。体验时请保持自然、稳定的姿态。

02 / NAVIGATESPATIAL INTELLIGENCE IN MOTION
JOINT INNOVATION · DYNAMIC LIVER NAVIGATION

让导航,看见
正在呼吸的肝脏。

澳门理工大学 × 横乐科技|肝癌精准介入联合创新项目

面向肝癌经皮穿刺、活检与消融等介入场景,融合 CT 的结构细节与超声的实时动态信息,研究感知肝脏运动、补偿组织形变并持续校准路径的智能导航技术;以影像理解为感知基础、动态配准为连接桥梁,并与介入手术机器人导航执行能力协同。

视频旁短句:如何应对动态中的毫厘之差?这是精准介入持续进化的方向。
CT → LIVER → NAVIGATION
01 / STRUCTURE
CT 扫描设备示意
术前 CT提供清晰、完整的解剖结构与病灶参考,建立路径规划和初始定位的结构底图。
02 / DYNAMIC ORGAN
肝脏、血管与目标病灶示意TARGET
正在呼吸的肝脏呼吸、体位变化与术中操作会带来位移和形变,使静态影像中的位置关系持续变化。
03 / REAL-TIME
超声设备与实时成像示意
术中超声提供实时动态信息,持续感知肝脏运动,并为跨模态配准与形变补偿提供术中观测。
CT结构细节
REGISTER动态配准 · 呼吸补偿
FUSECT–超声持续对齐
ROBOT机器人导航辅助
影像为眼,动态配准为桥,手术机器人为载体。横乐 SGNIO 介入穿刺手术机器人展现多模态感知、人机协同与导航执行的技术基础;联合研发项目进一步聚焦肝脏这一持续运动、持续形变的复杂介入场景。
影像更清晰增强细节表达,为识别与配准提供稳定基础。
融合更精准让 CT 结构信息与超声动态信息建立空间对应。
导航更从容感知呼吸变化,持续更新术中路径参考。
FROM IMAGE TO NAVIGATION

从影像增强,到动态融合。

一条贯穿术中的持续更新链路。

01影像采集CT + 实时超声
02质量增强清晰度与细节
03跨模态配准建立空间对应
04形变补偿跟随呼吸更新
05导航辅助支持路径判断
≥1cm增强后腹部超声影像目标识别尺寸
≤10秒初始配准目标时间
≤2mm初始及动态配准目标误差
≤100ms动态配准目标更新时间
≤1秒多模态融合目标运算时间
≥0.75融合图像边缘保持目标指标
EXPAND / DYNAMIC LIVER NAVIGATION展开:动态肝脏精准导航研究详情先看上方概览;需要继续深入时,可按临床问题、技术路线、研发指标与联合创新逐级展开。
展开收起
01 / CLINICAL CHALLENGES临床挑战|真正的难点,不只是看清病灶CT 清晰但静态,超声实时但更易受噪声影响;呼吸与术中操作又会持续改变肝脏的位置与形态。

肝脏是一个持续运动和形变的器官。患者呼吸、体位变化以及术中操作,都可能使术前影像中的病灶位置与术中真实位置产生偏差。

01

看不清

超声容易受到噪声、伪影和低对比度影响,微小病灶与重要解剖结构可能难以稳定识别。

02

对不准

CT 清晰但静态,超声实时却不够稳定。不同模态、设备与扫描条件,使二者难以直接匹配。

03

跟不上

呼吸和术中操作引起的肝脏位移与形变,会让一次性的静态规划迅速失准。

02 / CORE TECHNOLOGIES技术路线|从影像增强,到持续动态融合将超声增强、跨模态初始配准、呼吸形变补偿和多模态融合组织为同一条持续更新的导航链路。
01

让超声影像更清晰

通过深度学习增强超声影像的对比度、边缘与细节表达,降低噪声与伪影干扰,为病灶识别、结构分割和后续配准提供更稳定的数据基础。

02

让 CT 与超声快速对齐

研究基于扩散模型的跨模态配准方法,使 CT 中的肝脏、肿瘤及重要解剖结构,与术中超声影像建立空间对应关系。

03

让导航跟随呼吸更新

构建混合可变形配准与呼吸补偿模型,感知肝脏随呼吸及术中操作产生的位移和形变,对穿刺路径进行动态修正。

04

让多模态信息融合呈现

以双向交叉自适应融合模型整合 CT 的结构细节与超声的实时动态信息,为医生提供更直观、更连续的术中视觉参考。

CONTINUOUS WORKFLOW一条贯穿术中的持续更新链路不是一次性的静态配准,而是一场贯穿术中的持续对齐。
01多模态影像采集采集术前/术中 CT 与实时超声影像。
02超声质量增强改善清晰度、对比度与关键结构表现。
03跨模态初始配准建立 CT、超声与患者空间之间的对应关系。
04动态形变补偿识别呼吸及术中操作带来的肝脏位移。
05CT–超声融合显示整合结构细节与实时动态信息。
06路径规划与导航辅助为穿刺路径判断和术中操作提供视觉支持。
03 / R&D TARGETS研发指标|把“动态精准”转化为可验证目标所有数值均作为联合研发目标呈现,不等同于现有产品性能或临床效果承诺。
≥1 cm增强后的腹部超声影像目标识别尺寸
≤10 sCT–超声初始配准目标时间
≤2 mm初始及动态配准目标误差
≤100 ms/次动态配准目标更新时间
≤1 s多模态融合目标运算时间
≥0.75融合图像边缘保持目标指标

从算法精度到系统响应,从图像质量到融合效果,每一项指标都服务于同一个目标:让导航更及时、更稳定、更贴近真实手术场景。

04 / JOINT INNOVATION联合创新|算法、临床与产业协同以澳门理工大学的算法研发、横乐科技的机器人平台与工程转化、临床合作机构的真实场景验证构成闭环。

澳门理工大学

发挥人工智能、多模态医学影像处理与算法研发优势,开展图像增强、跨模态配准、动态补偿与融合模型的研究和优化。

横乐科技

依托介入手术机器人平台与工程转化能力,推动算法与导航系统、光学追踪、机械臂及术中交互流程的系统集成。

临床合作机构

以临床样本、真实场景验证和专家经验支持技术迭代,帮助研究成果从实验室走向可验证、可转化的临床应用。

30 个月,完成从数据到系统验证的进阶

  1. 1–6 个月|基础建设完成多模态影像数据采集与标注,建设计算平台和数据库,梳理临床需求与技术规范。
  2. 7–18 个月|模型研发推进超声增强、CT–超声初始配准、动态形变补偿及多坐标系标定。
  3. 19–24 个月|系统集成整合三维路径规划、实时导航、超声识别和动态配准能力,形成原型系统。
  4. 25–30 个月|优化与验证开展算法优化、专利与论文产出,并进行整套导航融合系统的临床应用评估。
预期科研成果2 项技术专利 · 3 篇高水平 SCI 论文 · 一套面向肝癌经皮介入的 CT–超声智慧融合导航技术体系

本模块介绍联合研发项目及技术方向。页面所述性能数据均为项目研发目标,不构成对现有产品功能、适用范围或临床效果的承诺。

03 / RECOMMENDSEQUENTIAL INTELLIGENCE · GENERATIVE RECOMMENDATION
时序增强 · 个性化推荐

从长期行为,
读懂下一次需求。

澳门网络传媒发展有限公司 × 上海交通大学 × 澳门理工大学

面向「澳觅 APP」真实业务场景,建模浏览偏好、购买频率、支付习惯等长期交互序列,预测潜在需求,并把更贴合用户的商品与服务排到前面。

把一次点击放回时间里看,才能更接近真实偏好。
BEHAVIOR → MODEL → RANKING
时序模型SEQUENCE
INTELLIGENCE
SAFE · JIGRec · RankTIGER
个性化排序
01ITEM A
02ITEM B
03ITEM C
01 / SEQUENCE

不是只看一次点击,而是理解一段时间。

把用户的多元行为按时间组织起来,捕捉长期兴趣、近期变化与行为节奏,为下一步推荐提供更完整的上下文。

浏览偏好购买频率支付习惯
FROM SEQUENCE TO RECOMMENDATION

从行为序列,到个性化结果。

一条连接建模、生成、排序与反馈的推荐链路。

01行为序列长期多元交互
02时序建模偏好与意图表示
03生成与排序候选、重排与校准
04在线反馈A/B 验证与迭代
+13.0–16.6%延迟 12 天工业测试集 Top‑K 准确率相对提升
+13.5%Avazu AUC:0.7333 → 0.8321
−21.0%Avazu LogLoss 降幅
8M / yr项目材料所述新增平台交易额;另报告销售收益超 200 万/年
EXPAND / PPT RESEARCH MATERIAL展开:研究矩阵、算法框架与项目成果初次浏览可停在这里;需要更多技术细节时再展开。
展开收起
PROJECT PROGRESS · RESEARCH MATRIX

从工业时序特征,到生成、排序与可靠性校准。

PPT 展示的研发不是单一模型,而是一组相互补充的方法线:特征工程、多模态生成、联合意图、LLM 排序、语义 ID 排序训练、Trie 后验推理与可靠度感知路径建模。

01
SAFE

LLM 智慧体驱动序列特征工程

以感知、记忆、生成与评估构成闭环,持续提出并筛选时序特征;PPT 报告在 Avazu 上 AUC 从 0.7333 提升至 0.8321,LogLoss 降低 21.0%。

PerceptionMemoryGenerationEvaluator
展开框架图与方法细节
SAFE 感知、记忆、生成与评估闭环框架SAFE 在 Avazu 数据集上的 AUC 逐轮变化图

核心问题:如何把工业推荐中的时序特征设计,从人工试错转化为可迭代、可评估的自动发现过程。

关键思路:以感知、记忆、生成、评估构成闭环,由 LLM 智慧体不断提出、筛选和修正候选特征,再反馈到模型训练中。

页面观看建议:左图看方法闭环,右图看 AUC 逐轮变化;二者共同说明“特征工程”也可以成为一条可学习的研究线。

02
BGSN

行为图过滤与近邻变换增强

在量化前利用行为图滤噪,生成后再依据行为邻域重排;PPT 报告其在 3 个 Amazon 数据集的 15 组指标上优于所列基线,最高相对提升 8.7%。

Behavior GraphNeighbor Transform
展开框架图与方法细节
BGSN 双端行为图先验结构

核心问题:离散化前后的用户行为信息会损失上下文,噪声与邻域偏差会影响推荐质量。

关键思路:量化前利用行为图滤噪,生成后依据行为邻域进行近邻变换与重排,让序列上下文更加稳健。

页面观看建议:框架图重点看“前过滤 + 后重排”双阶段设计,便于理解其与普通生成式推荐的差异。

03
HSTU-GAMRec

混合图增强多模态生成推荐

融合物品 ID、多模态编码与共现图来细化混合表征;PPT 报告相较 MACRec,HR@10 与 NDCG@10 平均提升 28.9% 与 32.3%。

MultimodalCo-occurrence GraphHSTU
展开框架图与方法细节
HSTU-GAMRec 混合图增强生成推荐框架

核心问题:只依赖物品 ID 难以充分表达跨模态商品的内容与共现关系。

关键思路:把物品 ID、多模态编码和共现图结合为混合表示,再用 HSTU 细化序列建模与生成过程。

页面观看建议:先看输入端的多源信息,再看中间的图结构增强,最后看对生成推荐的整体提升。

04
LadRanker

面向推荐系统的全能型 LLM 排序器

用 Context Mixing 建模候选物品之间的互动,并通过 Prefix Caching 复用共享 Prompt 状态,兼顾排序性能、效率与一致性。

Context MixingPrefix CachingLLM Ranking
展开框架图与方法细节
LadRanker 框架LadRanker 五维能力雷达图

核心问题:LLM 直接用于重排序时,容易忽略候选物品之间的关联,同时带来高昂的推理成本。

关键思路:用 Context Mixing 建模候选之间的交互,再通过 Prefix Caching 复用共享 Prompt 状态,平衡质量、效率与一致性。

页面观看建议:框架图与雷达图结合阅读,前者说明怎么做,后者展示为什么它更适合实际排序场景。

05
JIGRec / DISARec

联合意图与行为—兴趣感知生成推荐

将行为类型、兴趣分支与 Semantic-ID 统一到生成过程,并通过组合记忆或双重意图表征增强对稀疏关系的建模。

Joint IntentSemantic IDCompositional Memory
展开框架图与方法细节
JIGRec 联合意图引导生成推荐框架DISARec 行为与兴趣感知生成推荐框架

核心问题:单一兴趣假设难以解释真实用户在不同场景下的多重意图切换。

关键思路:JIGRec 从联合意图出发,DISARec 从行为—兴趣双通路建模,两者都在生成过程中更精细地表达用户状态。

页面观看建议:上下两张图可对照阅读,帮助理解“联合意图”和“兴趣分离”两条互补思路。

06
RankTIGER

语义 ID 生成推荐的排序感知训练

从共享语义前缀中采样难负例,用 listwise 损失直接比较正负物品整体得分,并通过梯度冲突投影与比例缩放校准训练目标。

Hard NegativesListwise LossSemantic ID
展开框架图与方法细节
RankTIGER 排序感知训练流程

核心问题:生成式推荐训练往往更关心 token 级别正确性,而不一定直接优化最终排序质量。

关键思路:从共享语义前缀采样难负例,用 listwise 损失比较完整候选的整体得分,并对梯度冲突进行校准。

页面观看建议:结合流程图看“难负例采样—列表损失—梯度校准”的三段式训练逻辑。

07
TrieReason / MapRec

后验推理与可靠度感知校准

TrieReason 将 Trie 从解码过滤器提升为训练期后验推理模块;MapRec 则依据路径转移分布的熵、时效性与可靠度,对首 token 进行受限校准。

Trie PosteriorFree EnergyRoute PriorFirst-token Calibration
展开框架图与方法细节
TrieReason 感知拓扑的后验推理框架MapRec 可靠度感知路径建模框架

核心问题:仅靠解码期约束不足以保证生成路径的可靠性,首个 token 的选择尤其影响整体结果。

关键思路:TrieReason 把 Trie 提升为训练期后验推理模块;MapRec 用路径熵、时效性和可靠度对首 token 进行受限校准。

页面观看建议:把这组方法理解为“生成之后的再思考”,重点关注它们如何处理可靠性与路径先验。

PROJECT OUTPUTS

研究产出与产业验证

以下数字均按 PPT 当前进展页呈现;目标值与已完成值并列时,以“当前 / 目标”显示。

2 / 1PPT 列出的期刊成果 / 结项目标
1 / 3已录用会议成果 / 结项目标
2 / 3已授权专利 / 结项目标
9PPT 列出的申请中专利
≥8软件著作权申请
8M + 2M项目材料所述年度新增平台交易额 + 销售收益(人民币)
合作研发澳门网络传媒发展有限公司 · 上海交通大学 · 澳门理工大学项目材料显示三方围绕平台构建、时序模型、列表数据与时序增强算法开展合作。

数据来自项目 PPT;不同指标对应不同数据集、模型与实验设置,不能直接横向等同。经济效益与 A/B 结果为项目材料所述。

RESEARCH FOR PEOPLE
ICML↗

Intelligent Computational
Medicine Laboratory

MACAO POLYTECHNIC UNIVERSITY
澳門理工大學 · 智能醫學計算實驗室

让科研有深度,
让科技有温度。

以医学与计算的交叉探索为起点,让人工智能更好地服务于人。这一次,我们把实验室里的探索带到展台,邀请你亲自感受智能感知的可能。

澳门理工大学持续推动人工智能与智慧健康领域的研究。本次两项交互 Demo,将生理信号与人体动作转化为直观体验,连接科研、公众与未来应用。

了解澳理大科研 (新标签页)
BEFORE YOU BEGIN

带上好奇心,
就可以开始。

第一次体验?这里有一些小提示。

选择你的体验
01 需要准备什么设备?

推荐使用带摄像头的电脑和新版 Chrome 或 Edge,也可使用手机浏览器尝试。首次进入 Demo 时,根据提示允许摄像头访问。手机兼容性、速度和可用功能以实际设备为准。

02 怎样获得更好的体验?

生理感知:面部正对摄像头、光照均匀,尽量保持稳定。行为识别:后退一步,让头到脚完整入镜,注意周围安全。首次加载模型需要网络,请稍作等待。

03 会使用我的摄像头或个人信息吗?

这个导航页不会调用摄像头,也不采集个人资料。只有跳转到独立 Demo 后,才可能请求摄像头权限;具体数据处理方式以对应 Demo 的说明为准。不愿授权时,也可以观看展台演示。

04 展示结果可以作为健康判断依据吗?

不可以。两个 Demo 均为科研与互动展示,输出可能受到环境、设备和算法限制的影响,不用于医疗诊断、治疗建议或安全监护。有健康疑问时,请咨询专业医护人员。

05 扫码后无法打开或无法调用摄像头?

请检查网络连接。如果是在微信等应用内打开,可尝试“在浏览器中打开”,使用 Safari、Chrome 或 Edge,并检查浏览器摄像头权限。现场也可由工作人员协助体验。

YOUR NEXT DISCOVERY STARTS HERE.

下一次发现,从你开始。

把探索带在身边,也把好奇分享出去。

TAKE THE EXPERIENCE WITH YOU

扫一扫,继续探索。

澳门理工大学 · ICML 互动展厅

公开部署后,即可扫码本地地址不能供公众访问。
在下方填入部署后的 HTTPS 网址。

请先确认网址能通过手机移动网络访问,再打印二维码。
二维码只是网址入口,并不会自动发布网站。