84. HCI研究能反哺AI吗? 聊Accessibility研究和HCI研究的挑战

Watch it on Youtube. Or listen on your favortie podcast app.

Show note

• 嘉宾：Anhong Guo 郭安鸿 https://guoanhong.com/

在本期节目中，我们邀请到了密歇根大学安娜堡分校的助理教授郭安鸿。安鸿的主要研究方向是人机交互系统 (Human-AI Systems)，尤其在无障碍 (Accessibility) 有诸多成果。

在这期深度对话中，我们与安鸿教授探讨了从博士生到终身教职助理教授的心路历程、AI技术浪潮对HCI研究的冲击与机遇、指导学生的经验，以及申请教职时那些不为人知的“内幕”。无论你是对HCI和AI研究充满好奇的学生，还是正在学术道路上探索的同行，相信这期内容都会给你带来启发。

• 00:00 嘉宾介绍：密歇根大学安鸿教授，主攻人机交互 (HCI) 与AI系统
• 01:04 教授的暑期生活：在西雅图拜访大公司，寻找合作机会与真实世界影响力
• 03:07 学术界的暑假：科研、写经费(Grant)与参加会议的平衡
• 05:07 恭喜 NSF Career Award
• 07:33 科研之路的演变：从移动交互到无障碍 (Accessibility) 研究的转变
• 11:14 课题组风格：做广还是做专？
• 12:24 为什么密歇根大学是做医疗健康研究的沃土？
• 15:03 无障碍研究的挑战与魅力：创造从“不可能”到“可能”的体验
• 17:47 Accessibility研究的难题
• 23:08 AI浪潮冲击：大型语言模型 (LLM) 如何改变我们的研究？
• 27:35 HCI能否反哺AI？怎么定义问题和创建Benchmark来影响上游
• 33:16 学术界与工业界的合作：以密歇根大学与OpenAI的合作为例
• 40:12 每个项目都有专属网站？聊聊域名背后的逻辑与科研推广
• 43:27 科研成果的转化：学校如何处理发明披露和专利申请？
• 47:14 让代码开源和系统上线 (Deploy) 有多重要？
• 51:59 从学生到教授：如何指导学生？兴趣对齐与接受反馈是关键
• 01:01:36 揭秘教职招聘委员会：申请教职时，运气和“独特契合度”有多重要？
• 01:05:05 求职Talk的终极目标：如何说服非你领域的专家？
• 01:08:47 安娜堡是怎样的城市？一个多次被评为“美国最宜居”的地方

李丁的联系方式：

1. Signal (+1) 206-745-2849
2. 邮件 podcast@dingzeyu.li
3. Whatsapp (+1) 206-745-2849
4. Youtube 留言：https://youtu.be/DOHYE01u63I
5. 微信 ID 是 "李丁泽宇" 的拼音

联系李丁来聊聊天啊！

制作团队

• 李丁泽宇 https://dingzeyu.li

Full transcript text

(AI 生成的文字稿，可能有错误，请自行分辨)

• 00:00 欢迎大家来到新的一期李丁聊天室
• 00:01 这是我们第二期的这个 in-person 的录制
• 00:04 我们请到了 University of Michigan 的教授
• 00:06 安鸿, 安鸿你好
• 00:08 你好, 你好
• 00:09 你给大家做个简单的自我介绍吧
• 00:11 大家好, 感谢李丁邀请
• 00:14 我叫郭安鸿
• 00:15 我是现在在 University of Michigan
• 00:18 密歇根大学安娜堡分校
• 00:20 当助理教授
• 00:21 然后是21年1月份开始
• 00:23 到现在已经过去了四年半
• 00:26 然后我主要做的方向是
• 00:29 Human-AI Systems
• 00:31 然后有 applications in accessibility
• 00:35 然后最近做一些
• 00:36 跟 health care/medical settings
• 00:37 比较相关
• 00:38 然后
• 00:39 就是也是接着上一期
• 00:42 就是比如说
• 00:43 HCI Research
• 00:44 分 invention 和 discovery
• 00:46 的这么一个 spectrum 的话
• 00:47 我更偏的是 invention
• 00:49 就是更偏向的是
• 00:50 OK
• 00:51 基于我们的 understanding of the users
• 00:53 我们就是
• 00:54 怎么能设计更好的系统
• 00:56 和 technique 和方法
• 00:57 然后来
• 00:59 帮助人更好完成一个 goal
• 01:03 对挺好的
• 01:04 这一周好像你都在西雅图
• 01:07 你这一周都干了什么
• 01:08 对 暑假
• 01:10 就是时间会更 flexible 一点
• 01:13 然后我觉得
• 01:14 我们组做的很多 research
• 01:16 都是比较
• 01:18 离有时候实际应用场景比较近
• 01:21 然后有很多 potentially
• 01:23 可以能够影响产品
• 01:25 或者是融入到产品中的这些 idea
• 01:27 所以我也是借这个机会
• 01:29 然后来 visit 几个公司
• 01:31 然后跟大家聊一聊
• 01:32 看有什么机会
• 01:33 比如说一方面是
• 01:36 就是从这种
• 01:37 就是能找到一些合作的机会
• 01:42 或者是从长期
• 01:44 比如说我也希望我们能做的东西
• 01:46 有一些 real-world impact 这样
• 01:48 对
• 01:49 有在比如说 Adobe 下周二
• 01:52 我们要去
• 01:53 然后还有 Apple
• 01:54 Microsoft Research
• 01:56 还有 Meta
• 01:56 就是跟大家聊一聊
• 01:58 对
• 01:59 所以那你就是
• 02:00 你下周要来我们公司嘛
• 02:01 然后
• 02:02 那暑假
• 02:03 那你就是
• 02:04 首先
• 02:05 这一周这样子的行程
• 02:07 你可以 talks
• 02:08 然后跟人聊天
• 02:09 你希望得到
• 02:10 concrete 的一些
• 02:11 outcome 是什么呢
• 02:13 是什么样的
• 02:14 outcome
• 02:14 你觉得这趟旅行值了
• 02:16 我觉得没有
• 02:17 没有特别的
• 02:18 goal-driven
• 02:19 就是
• 02:19 在 top 的时候
• 02:21 就希望把这些都
• 02:22 group 在一起
• 02:23 然后也能
• 02:23 能见到一下朋友
• 02:25 然后聊聊天吃吃饭
• 02:26 然后
• 02:26 天气也很好
• 02:28 也希望可以 high 一下
• 02:30 对
• 02:30 然后
• 02:31 但我觉得
• 02:33 这也是比较长期的
• 02:34 就比如说
• 02:35 学生以后
• 02:36 比如说他们做的东西
• 02:38 跟业界比较相关
• 02:39 可以找一些实习
• 02:40 然后包括
• 02:42 有学生
• 02:43 今天暑假在这实习
• 02:44 然后也可以
• 02:45 见面一起 catch up 一下
• 02:46 再讨论讨论 research
• 02:47 对
• 02:49 所以没有说是特别
• 02:51 有 specific 的 goal
• 02:53 但是感觉
• 02:53 对 更多像是这种
• 02:54 就是各处播种
• 02:56 然后呢
• 02:57 看之后有没有各种合作啊
• 02:58 或者那种
• 02:59 对对对
• 03:00 还有就是见到
• 03:01 见到都是圈子里的好朋友
• 03:02 所以就也都很开心
• 03:04 是
• 03:04 那那那更广一点
• 03:07 那你暑假这只是一星期吗
• 03:08 那你那你一般你整个暑假
• 03:09 三个月四个月
• 03:11 你是怎么花你的时间的
• 03:12 因为我知道教授
• 03:13 比如说暑假是
• 03:14 学校不发工资的吗
• 03:15 是你可以有很大的自由度
• 03:18 就你们可以怎么去做这个决定的
• 03:20 嗯
• 03:20 首先就是这个星期
• 03:23 我之所以能来跑到西雅图
• 03:25 也是就是家里有很好的 support
• 03:27 因为我们家娃也比较小
• 03:29 所以就是也比较 luxury
• 03:31 可以来 travel
• 03:32 对
• 03:32 然后我觉得每个暑假
• 03:34 就是从我21年开始
• 03:35 每个暑假都很不一样
• 03:37 21年刚开始的时候
• 03:39 还是 COVID 的期间
• 03:41 然后所有东西都是 lockdown
• 03:42 就是直到那年秋天
• 03:44 才开始进 office 上班
• 03:46 所以那个暑假
• 03:48 就是完全在网上 remote
• 03:50 跟一些学生
• 03:50 一起做一些 research project
• 03:52 然后后面22年23年24年
• 03:55 我觉得都是 a mixture of
• 03:57 就是做 research 和写 grant
• 04:00 以及
• 04:01 attend 一些 conference 吧
• 04:05 我觉得一般
• 04:06 CHI 一般都是在刚好
• 04:09 暑假刚开始的时候
• 04:10 然后 UbiComp/ASSETS 是每年暑假最后的时候
• 04:14 然后 summer 就是可以新开始很多 project
• 04:18 或者是把之前没有做完的 project
• 04:20 再把它做得更好一些
• 04:22 然后可以 get ready
• 04:24 就是可以投稿
• 04:25 然后加上暑假
• 04:27 也会有就是一些
• 04:29 比如说 NSF Career Award 的
• 04:33 deadline
• 04:34 都是每年暑假七月中下旬
• 04:35 然后一般也就是暑假
• 04:38 也是个比较好的时间
• 04:40 可以就是跟人一起聊
• 04:42 可以做一些 deep 的 thinking 和 writing
• 04:43 然后秋天来了以后
• 04:45 因为要上课
• 04:46 然后也有很多 grant 的 deadline
• 04:49 比如说 NSF medium 呀
• 04:51 什么 Smart Health 呀
• 04:53 还有很多 program 都是10月、11月
• 04:55 就是比如说从8月底
• 04:56 一直到10月11月都有
• 04:58 所以就是
• 04:59 但是一旦学期中来了
• 05:01 其实都是忙的
• 05:02 也很比较难找到这种
• 05:04 大块的时间
• 05:04 所以历史比较好
• 05:06 对
• 05:07 所以恭喜你
• 05:08 我看你主页更新这个
• 05:09 你刚拿到 NSF Career Award
• 05:11 多谢
• 05:11 这应该是很大的一个 milestone 吧
• 05:13 对于这个
• 05:13 tenure-track faculty 来说
• 05:15 对对
• 05:16 就是这个
• 05:17 这个 award 就是
• 05:18 我觉得拿到也挺不容易的
• 05:23 尤其最近 Federal funding 也有影响
• 05:26 所以我们其实是12月底的时候
• 05:31 听到了 Program Officer 说想要 recommend
• 05:34 但是一直 Federal budget 这些 change
• 05:37 然后 NSF 里面有很多人员的调整
• 05:39 然后 priority 的调整
• 05:41 所以一直也是接近过了六个月
• 05:43 才终于 finalize
• 05:44 所以你也是在这个过程中也很忐忑
• 05:48 不知道最后会怎么样
• 05:49 对
• 05:49 我觉得可能 academia
• 05:51 就是大家这半年
• 05:52 可能一直都是过得非常的忐忑
• 05:54 我觉得接下来
• 05:55 还是会很忐忑
• 05:57 对
• 05:57 你刚才说到
• 05:58 这个暑假结束的时候
• 06:00 是 CHI 嘛
• 06:00 就是 CHI 的 deadline 嘛
• 06:01 所以那你会不会因为
• 06:03 那比如我的暑假
• 06:04 在实习生嘛
• 06:05 一般就是暑假
• 06:06 一般我休假也会比较少一点
• 06:08 因为想着
• 06:09 这个趁着实习生都在这
• 06:10 他 research
• 06:11 尽量能多做一点
• 06:13 多投资点
• 06:13 发 paper 出去
• 06:14 那你会因为
• 06:15 这个 deadline 的原因
• 06:16 而会减少自己暑假的出行
• 06:19 其实在外面多跟学生
• 06:20 多跟合作者
• 06:22 我觉得暑假应该还算是最 flexible
• 06:29 因为我们那边
• 06:31 其实一月份就是一个学期
• 06:33 开始的比较早
• 06:34 就是在去年之前
• 06:36 其实1月3号就开学了
• 06:38 所以我们可能
• 06:38 对
• 06:39 我们四月底还没结束
• 06:41 就已经放暑假
• 06:42 所以暑假是整个有五六七八四个整个月
• 06:46 所以就是做 summer project 也算是一个比较充足的时间
• 06:50 因为学期中其实还有上课呀
• 06:53 还有各种其他事情也比较难以
• 06:56 就是比较 flexible travel
• 06:58 有时候秋天 UIST 或者 ASSETS 会去一下
• 07:01 就是看 UIST ASSETS 属于是我比较会经常参加的会
• 07:05 对 所以暑假还是会 travel
• 07:08 但我觉得可能是 early summer travel
• 07:10 会好一点
• 07:11 比如说五月六月这样
• 07:13 对 因为后来你就越来越忙了
• 07:15 然后就可能没有那个
• 07:15 对对对 然后我我我记得我从
• 07:20 PhD 毕业到我入职工作
• 07:22 一直到工作之后
• 07:23 每一次的经验都会改一下
• 07:25 这个研究方向什么的
• 07:27 从你当时毕业之后
• 07:28 你是21年入职是吧
• 07:29 然后入职了之后
• 07:30 有有改过 research 方向的
• 07:33 嗯 我觉得就是整个从开始做 research
• 07:37 就是比如说刚本科毕业
• 07:40 就是从那个时间到现在
• 07:42 一直我觉得肯定是 research 方向
• 07:44 一直在有调整吧
• 07:45 就是这也是一个 就是比如说有很多申请 PhD 的学生来
• 07:50 比如说他需要想 OK 我在我 statement 里需要写
• 07:54 我就是想做这个 topic
• 07:55 对吧
• 07:56 但是他其实有可能还比较 early
• 07:58 他没有想清楚他到底会想做什么 topic
• 08:00 他没有 ready to commit
• 08:02 就是我以后这辈子或者这个 PhD
• 08:06 我就是要做这个 topic
• 08:07 尤其尤其像我做很多 accessibility 的东西
• 08:11 很多有可能很多学生他还没有做过这方面
• 08:14 所以他不确定他想不想一直做这个方面
• 08:17 所以我觉得我的建议是可以 keep an open mind
• 08:21 我觉得像我硕士的时候做的 research
• 08:25 都是跟 interaction techniques
• 08:27 mobile sensing
• 08:28 用 commodity hardware 或者做一些 wearable
• 08:31 或者做一些就是做很多 mobile sensing interaction techniques 的东西
• 08:34 所以我申 PhD 的时候
• 08:36 我回去看我的 statement
• 08:38 我就是说我也想做这个东西
• 08:40 所以我去了 potential school visit 的时候
• 08:45 我也脑子里是想着要做这些东西
• 08:47 但是后来我在 CMU 就是也遇到了 Jeff Bigham
• 08:51 然后他是非常感兴趣做
• 08:53 crowdsourcing 和 accessibility
• 08:54 这两个方向
• 08:55 的交叉
• 08:56 有没有 VizWiz 这些
• 08:58 然后我当时是对 wearable 和
• 09:00 就是更 CV
• 09:01 更 AI 的东西也比较感兴趣
• 09:04 所以我们
• 09:05 但我觉得他做的东西很有意思
• 09:08 然后他人也比较酷
• 09:09 然后所以我们两个就
• 09:10 我们就自己想个 project
• 09:12 可以把我们兴趣都放到一起
• 09:13 所以我就开始做
• 09:14 像 Visualize 那个 project
• 09:16 就是我们怎么能用一个
• 09:18 wearable 的 platform
• 09:19 可以帮助盲人
• 09:20 用 crowdsourcing 和 AI
• 09:22 他们都有些不同的 advantage
• 09:23 可以帮助这个盲人
• 09:25 完成这么一个 task
• 09:26 所以后来就一直在这个方向
• 09:28 就继续做了
• 09:30 但是呢
• 09:31 我首先我在 PhD 期间
• 09:33 也都做一些其他方向
• 09:35 比如说在实习中
• 09:36 做一些跟 AR 有关的
• 09:39 比如说跟 IoT sensing 有关的
• 09:42 也做了一些跟什么 smartwatch
• 09:44 interaction techniques 相关的
• 09:46 然后但现在变成 faculty 之后
• 09:48 我会发现就是
• 09:49 OK 我以前有的这些兴趣
• 09:51 其实也都没有丢失掉
• 09:53 就是我现在有的兴趣
• 09:55 我都可以重新把他们都捡起来
• 09:58 对
• 09:58 就合适的学生就可以来做这些
• 10:00 以前的方向
• 10:01 对
• 10:02 然后还有就是我觉得就是
• 10:03 在 academia 就是开始
• 10:06 比如说跟其他人合作
• 10:08 写 grant 的时候
• 10:09 很多时候不是在自己的
• 10:10 非常 narrow 的领域
• 10:12 而是比如说会有一个
• 10:14 有一个人跟你领域
• 10:16 交叉比较大
• 10:18 比如说
• 10:18 这个是我们还
• 10:20 正在构思
• 10:21 正在讨论的一个
• 10:22 比如说在 urban planning
• 10:24 就是好像有一个人
• 10:26 他想做一些
• 10:27 用 AR 可以帮助人
• 10:28 去做这种 city planning
• 10:30 的这种东西
• 10:30 然后我就想到
• 10:32 我在 masters
• 10:34 就是硕士期间
• 10:35 做的第一个项目
• 10:37 跟 Christopher Le Dantec 的组和 Kristin
• 10:41 就是做的第一个项目
• 10:43 就是怎么去用 mobile social 数据
• 10:45 然后让大家在城市的这种 meeting 里一起讨论
• 10:48 就是 OK 我们是在这条路建
• 10:51 bicycle tracks
• 10:52 还是在这条路建 bicycle tracks
• 10:54 所以就感觉都很多东西都是 closed-loop
• 10:57 就是现在 对
• 10:59 所以就是我觉得就是做过的很多东西
• 11:01 它都会 in the long term benefit
• 11:04 而不是说是一蹴而就
• 11:07 对
• 11:08 那你觉得说
• 11:10 那你比如说做 faculty 做了4.5年了
• 11:14 那你觉得说你接下来的方向你想越做越广
• 11:17 因为我看到可能教授可能大概有两种不同的态度
• 11:21 当然这是一个 spectrum
• 11:22 那两种分开的态度
• 11:24 一种是越做越广
• 11:25 他可能就涉猎也比较广
• 11:26 然后选题他在学生上面
• 11:28 他有比如说五六个学生
• 11:30 每个学生做的相对于比较独立的一个想法
• 11:32 然后另外一种教授可能是说, 我们整个 lab 都是往一个方向使劲, 每个学生做的 overlap 比较大, 但是因为每个人可以 build on each other's work, 所以他们也能做很多很好的工作。
• 11:47 你觉得你的 lab, 或者你想要 run 的这个 lab 是哪一种模式呢?
• 11:52 对, 我觉得我还没有太想清楚, 但我觉得现在的 trend 应该是 towards 就是会涉猎较广, 对, 因为现在也都有就是除了在 accessibility 可能是属于我当 faculty 开始主要做的一个方向, 现在也是因为 funding 的原因, 也是因为 Michigan 是一个很适合做 medical health 相关的这个原因,
• 12:17 所以有在做一些跟 medical 或者是 task guidance
• 12:22 然后做 surgery support
• 12:24 为什么 Michigan 特别适合做 medical
• 12:26 就是 Michigan 它有 Michigan Medicine
• 12:29 然后 Michigan Medicine 它也是属于学校的一部分
• 12:32 然后他们是个 teaching hospital
• 12:34 所以里面很多 surgeons, doctors
• 12:37 他们都非常 care research
• 12:39 他们很多也都是会把这个一部分时间来做
• 12:42 research
• 12:46 所以就是学校有很多这种 initiative
• 12:49 就比如说我之前参加过一些
• 12:51 叫 E-Health 这种
• 12:53 就是比如说这种 program
• 12:54 就在这一个 meeting 上
• 12:56 就是会有大概十个
• 12:58 跟 technical 跟 AI 有关的人
• 13:00 然后还会有十个 physicians
• 13:02 就是我觉得在以前
• 13:04 就是在 CMU
• 13:05 就是 CMU 没有 medical school
• 13:07 但是 Pittsburgh 有 Pitt
• 13:08 就很难有这种机会
• 13:09 就是就很多的 medical experts
• 13:12 就直接过来
• 13:12 他们想要做的东西
• 13:13 他们会 give voice to
• 13:14 他们的 challenge 是什么
• 13:16 他们觉得 opportunity 等等
• 13:18 所以就会形成这种非常有机的这种合作
• 13:20 对
• 13:21 之前公司有一个很多 faculty
• 13:25 可能在公司如果要兼职的话
• 13:26 可能是那种 20-80%
• 13:28 一周来一天那样子
• 13:29 那种 faculty 兼职可能会比较 challenging
• 13:31 因为你一周之内一天到
• 13:33 可能那天都是 meeting, meeting 就过了
• 13:35 其实没有办法做很 deep work
• 13:37 我觉得
• 13:38 然后我们公司也有一部分是那种 50-50 的
• 13:40 不管那种可能就可以更深层的
• 13:43 在公司里面很多东西
• 13:44 然后我先前问一个教授
• 13:46 他为什么会选择这种 50-50
• 13:48 就为什么
• 13:49 为什么不 all in 公司
• 13:51 或者 all in 学校这样子
• 13:52 分开一半的时间听起来会很
• 13:54 很难去 balance 嘛
• 13:56 然后他说跟你感觉非常像
• 13:58 他说他能学校里也有一个医学院
• 13:59 然后他可以
• 14:00 他在做那种 graphics
• 14:02 或者什么这种 3D 的 research
• 14:03 跟医学院很多 research 联系到一起
• 14:06 然后这个东西是在我们公司没法做的
• 14:09 因为公司我们没有太多医学方面的这种设备
• 14:12 从里他感觉医学的事情很好, 但那个可能比较 long term, 或者需要有很多 uncertainty, 因为你不知道你能不能做出东西来。
• 14:21 但是你在公司做的话, 就已经有现有很多的 paying customer, 你只要做的很实用, 能够解决真实世界问题的, 这个东西会 shipped 的会稍微快一点点。
• 14:31 他感觉这个 balance, 他非常喜欢, 他觉得左右逢源。
• 14:35 我觉得这跟你刚才说的很像, 就是在学校里面能有医学院, 这可以帮助到你的研究很多方向。
• 14:41 你刚才提到你相当于是 PhD 申请的时候
• 14:44 因为你导师的原因
• 14:45 你就开始做 accessibility
• 14:47 这个跟我的一些观察
• 14:50 像很多做这个东西就是 PhD
• 14:52 因为之前的话
• 14:53 比较难有机会接触到这方面的东西
• 14:55 它不像是什么 AI 或者其他
• 14:57 这么广的在很多学校都有
• 14:59 accessibility 像是一个比较稍微小众一点的研究方向
• 15:03 那你觉得做这方面的 research
• 15:05 你碰到过一些什么样的
• 15:07 别的领域的人
• 15:07 可能没有碰到过的 challenge
• 15:09 我觉得现在其实就是 research topic 有一些 expansion
• 15:15 就是有做 health care
• 15:17 有做其他的这些 domain 以后
• 15:18 我感觉其实很多这些 research topic
• 15:20 它 fundamentally 都是很像
• 15:22 就是我觉得它都是关于
• 15:25 就是我怎么能很好的 orchestrate
• 15:28 这个 AI 的或者是 technology 的 capability
• 15:31 和这个 AI 的和 human 的这些 interaction
• 15:35 和这种 intelligence 和 agency
• 15:37 然后来 create 一个 interactive
• 15:39 systems
• 15:40 去给 experience 这样
• 15:41 然后对于 accessibility 来说呢
• 15:44 就是他的 end user
• 15:46 他是有
• 15:48 就是有 ability
• 15:50 有一个非常不一样的 ability profile
• 15:53 就是他比如说在 certain context 下
• 15:57 他可以 access 哪些
• 15:58 就是 modalities
• 16:00 他有哪些 input/output 的这种 constraint
• 16:03 然后这样的话
• 16:05 并且就是我觉得很多时候
• 16:07 最重要的是做出来的东西它可能是一个
• 16:10 就是可以从零 就是从一个东西它是
• 16:14 impossible to do 可以把它直接变成
• 16:17 possible, 比如说做到70%
• 16:19 而不是说如果做的是 general use case 的话
• 16:23 很多时候比如这个东西它不到 90-100%
• 16:26 或者95% 人是不会 adopt 的
• 16:28 所以就是我觉得做这种 enabling technology
• 16:31 是一个非常 powerful 的一个 approach
• 16:35 一个 platform
• 16:36 然后也是我觉得就是在这个过程中
• 16:39 就是我也是 over the years
• 16:40 做了很多跟 就是跟盲人和残疾人
• 16:44 就是做这种 one-on-one study 之类的
• 16:46 就我觉得最开始的触动就是
• 16:49 我到了 CMU 以后
• 16:51 然后当时同期有一个 visiting faculty
• 16:53 叫 Chieko Asakawa
• 16:55 她原来是 IBM Research Fellow
• 16:57 然后她是 visit CMU 那个机器人学院
• 17:01 然后当时我就开始跟她聊啊
• 17:04 然后她还带我一起去一个朋友家里
• 17:06 就是做客然后一起做饭吃
• 17:08 然后我就是看到就是他们怎么一起做饭
• 17:12 他们怎么去用自己的 senses
• 17:14 然后去 adapt 就是这种怎么去 feel
• 17:18 比如说怎么去知道那个油壶
• 17:20 或者是就是倒东西它倒了多少
• 17:22 然后东西有多热的
• 17:23 怎么用各种 devices, appliances 这些
• 17:25 然后因为我后面不是也做了很多
• 17:27 个 physical interface 相关的 accessibility 的工作
• 17:30 就是从那个受到很大启发
• 17:33 然后对我觉得这个 human touch 这个就是非常重要然后也是想要就是跟这个 community 一起做事情, 对对对, 然后这个就是我是我为什么感兴趣做 accessibility research 的初衷。
• 17:47 然后我觉得就是相对于不太一样的一点
• 17:52 就是肯定是从 participant recruitment 的角度是要 much higher barrier 或者 bar
• 17:59 就是像我最早在我做 accessibility research 之前
• 18:03 做很多 interaction techniques 那种 research
• 18:06 就是就可以随便找人
• 18:08 就是 lab 里的人都可以来
• 18:10 对吧 试一试
• 18:10 然后就是 collect 一些 touch pointing
• 18:13 或者是做一些 task 的这种 data
• 18:15 但是就 accessibility 的话
• 18:17 它就是需要你真的花时间去
• 18:20 去 build up the connections
• 18:22 就比如说我刚到 CMU 的时候
• 18:24 Jeff Bigham 他也是刚去 CMU 不久
• 18:28 然后那个时候他其实也没有什么
• 18:30 participant connections 在 local community
• 18:33 所以我们是一起努力去
• 18:36 对
• 18:36 然后比如说当地有这种 meetup event
• 18:40 在 library
• 18:41 然后 library 会有这么一个 setup
• 18:46 有些 technology
• 18:48 然后会有盲人过来去 transcribe
• 18:50 或者是有一些 volunteer event
• 18:53 所以就是去通过这个
• 18:56 认识当地的一些人
• 18:58 然后他们就是觉得你真正在 respect 他们
• 19:01 你在为他们做有益的事情
• 19:04 然后他才会介绍你
• 19:05 认识其他他们身边的人
• 19:07 然后一点点滚雪球
• 19:08 就认识人越来越多
• 19:10 然后后面做 study 就容易了一些
• 19:12 那你比如说
• 19:13 你是刚才说到
• 19:14 跟做 accessibility
• 19:16 跟其他的这种
• 19:17 experience 不同
• 19:18 就是 participant 这个招募
• 19:20 那你毕业之后去当教授
• 19:23 那是不是意味着
• 19:24 你刚才说了嘛
• 19:24 这样换学校
• 19:25 那你是不是又从头开始
• 19:26 在密歇根
• 19:28 从头开始这个过程
• 19:29 对对
• 19:29 密歇根我觉得
• 19:30 到目前为止
• 19:31 还没有达到在在
• 19:33 Pittsburgh 可以达到的那个 density
• 19:35 因为就是
• 19:36 Michigan 是一个比较 car-driven 的地方
• 19:38 然后呃
• 19:39 大家就是东西都离得比较远
• 19:42 所以呢就是到目前为止
• 19:44 我们可能就是想要招 participant
• 19:46 也就是有一个 pool of like 20-30 people
• 19:49 所以没有那么大的 pool
• 19:51 就是
• 19:52 如果是 online study
• 19:53 就是其实很容易
• 19:54 因为就是亚洲的 participant 也都
• 19:56 也都是 eligible
• 19:58 但是就是我们也在就是做很多努力
• 20:00 就是比如说 local 的很多 organization
• 20:03 什么 National Federation of the Blind
• 20:05 有 Michigan chapter
• 20:06 然后还有当地的 disability network
• 20:09 然后还有他们介绍的什么 Lions Club
• 20:12 然后还有 Detroit 附近
• 20:13 Ann Arbor 的各种这种 local organizations
• 20:17 就是我们也都跟去跟他们聊
• 20:19 然后跟他们讨论
• 20:22 然后还有就是我发现就是
• 20:23 Ann Arbor 有这种 local 的
• 20:25 每年一次的这种 event 叫 Visions
• 20:28 就是这个 event 就是
• 20:30 6月初刚刚开始
• 20:31 就是去年和今年
• 20:32 我 lab
• 20:33 还有就是
• 20:34 就是 Michigan
• 20:34 更多做 accessibility 的
• 20:36 大家一起
• 20:37 又在这个 event 上
• 20:38 就是 set up 一个 booth
• 20:39 然后去
• 20:40 就是会有
• 20:41 会有很多人
• 20:42 从整个 Michigan
• 20:43 就是会有 organizations
• 20:44 租大巴
• 20:45 会拉他们过来
• 20:46 然后去
• 20:47 去看
• 20:47 比如说
• 20:48 做一些 services
• 20:49 to support them
• 20:50 然后
• 20:50 然后还有
• 20:51 会有 technology companies
• 20:53 像什么 OrCam
• 20:54 就是等等这些
• 20:55 他们有的时候会来
• 20:56 然后我们在这个 event 上
• 20:58 就会跟大家聊
• 20:59 然后去
• 20:59 比如说他们有人感兴趣
• 21:00 这个 study
• 21:01 他们就可以 sign up
• 21:02 然后之后我们就可以 follow up
• 21:04 所以说这个 conference
• 21:05 像是一个那种
• 21:06 就是面向残障人士的
• 21:09 一个这种展览会
• 21:10 这种感觉
• 21:10 谁都可以 sign up
• 21:11 学校可以 sign up
• 21:12 公司可以 sign up
• 21:13 然后去宣讲
• 21:14 这个 Visions
• 21:15 是一个像
• 21:17 Michigan local 的一个
• 21:18 相当于是一个小的 CSUN
• 21:19 就是 CSUN 是一个
• 21:21 assistive technology
• 21:22 主要是针对
• 21:24 盲人的 assistive technology
• 21:26 它每年就是在 California
• 21:28 就是 San Diego 或者是 Anaheim 这些
• 21:31 然后它是一个小的 version of that
• 21:33 然后我觉得那个是一个小的 version of CES
• 21:36 CES
• 21:37 现在所有 CES 的大家都知道了
• 21:39 只不过就越来越 specialized
• 21:41 对
• 21:41 CES 就是 Consumer Electronics Show
• 21:44 它每年就是一月初在拉斯维加斯
• 21:47 就是各种新的 tech
• 21:49 是
• 21:50 对
• 21:51 我其实之前也做过
• 21:53 断断续续做过一两年
• 21:55 因为当时我的初衷
• 21:57 因为我不是在 PhD 当中
• 21:59 接触这个领域的
• 22:00 我是更多是在
• 22:02 做 vision graphics 过程当中
• 22:03 我想说我想要去验证
• 22:05 我这个算法到底
• 22:06 是不是解决了一个
• 22:07 现实世界的问题
• 22:09 还是说是在
• 22:10 只是在刷 benchmark 的点
• 22:12 然后所以有几年
• 22:12 我想去把我的
• 22:13 pivot 说
• 22:14 我要 take 这些
• 22:15 现有的这些算法
• 22:16 去来去跑一下
• 22:18 能不能帮助到
• 22:19 残障人士
• 22:19 无论是视障人士
• 22:21 或者听障人士
• 22:22 然后当时我听到的
• 22:24 我一个实习生
• 22:25 也是这样的感觉
• 22:26 他们那个学校
• 22:26 刚好有特别多的一个
• 22:27 他专门是教
• 22:28 教这个
• 22:30 听障人士怎么去
• 22:32 就是什么
• 22:32 是职业培训的
• 22:33 这种感觉的
• 22:33 所以他们有一个
• 22:34 很稳定
• 22:35 很好的一个这种来源
• 22:36 就去学校去找
• 22:37 嗯
• 22:38 我们可以
• 22:39 是
• 22:40 他就是
• 22:42 特别特别
• 22:43 特别方便
• 22:44 嗯
• 22:45 对
• 22:45 然后我们现在
• 22:46 换换换话题
• 22:47 下一个话题是
• 22:48 关于 LM 的
• 22:49 LM 是最近几年
• 22:50 有特别特别的火
• 22:51 然后
• 22:51 在公司内部
• 22:52 反正也是已经是
• 22:53 引起了很多
• 22:54 这个讨论
• 22:55 然后很多研究员也在
• 22:58 无论是被迫也好
• 22:59 还是自己主动
• 23:00 他都在换方向
• 23:00 因为它的确是影响了很多
• 23:03 自然语言处理 (NLP) 这些人
• 23:05 然后作为 HCI
• 23:06 可能是影响可能是不太一样的
• 23:08 所以你的 research
• 23:09 或者是无论是 accessibility
• 23:10 还是别的方向也好
• 23:12 你觉得 LM 改变了哪些方面的东西呢
• 23:18 我觉得我一直是对于
• 23:20 就是 applied AI
• 23:22 比较感兴趣的一个 researcher
• 23:24 就是我觉得我对于 accessibility 的 challenge
• 23:28 我一直是最 fundamentally interested in
• 23:31 是 real-world accessibility
• 23:35 所以就是之前会有很多东西很难做
• 23:37 因为比如说想做一种 live system
• 23:40 就是就得找到很好的 model
• 23:42 然后继续去做这种 real-time 的 stitching
• 23:45 或者 parsing 就是等等
• 23:46 才能 craft 一个稍微可以用的 experience
• 23:49 然后以及就是 understanding context
• 23:52 这个之前一直很难
• 23:54 所以我觉得其实有了 LM 以后, 就是我觉得最大的影响就是我们现在可以 understand context much better,
• 24:02 然后把以前的这种 handcrafted 的这种 system 的 architecture, 很多时候可以用 LM 的一个 prompt 或者是一个 prompt architecture 就可以 replace 掉。
• 24:12 所以我觉得其实对于我来说, 我觉得是可以 enable 我做更 frontier, 更 futuristic, 更有意思的东西。
• 24:21 就比如说我们最近做了一个 work
• 24:24 叫 World Scribe
• 24:25 他就是我们想说
• 24:28 OK
• 24:28 就是如果盲人带了一个 camera
• 24:31 他在这个 real world 里 move around
• 24:34 他怎么能够给他提供这种
• 24:35 像人一样给他提供这种 support
• 24:37 就给他提供这种 live description
• 24:40 就是但以前我觉得想做这些东西
• 24:42 确实是很难
• 24:43 对
• 24:43 然后比如说 computer vision 等等
• 24:46 或者就是他
• 24:46 对
• 24:47 所以但我觉得有了 LM 的话
• 24:50 就是在 LM 也有 limitation
• 24:51 就是 LM 你需要去 understand
• 24:54 你怎么去最好的 prompt 它
• 24:56 你怎么就是什么 signal
• 24:58 才是最有意义的
• 24:58 这些 signal 的时候
• 24:59 这些 AI 它还不 take in
• 25:01 所以你怎么去把其他的
• 25:03 这些有意义的 signal 去转换成
• 25:05 就是可以就是能够帮助
• 25:08 提高这个 experience 的一个方法
• 25:10 然后以及它还有很大的 latency
• 25:12 它也很 expensive
• 25:13 所以我觉得在这个过程中
• 25:14 就会有很多
• 25:15 比如说我们之前是用这个
• 25:17 人的这个 movement
• 25:19 就是有点像 gaze
• 25:20 就是比如说
• 25:21 sighted people
• 25:22 我们看东西
• 25:23 比如说我们扫过去
• 25:24 我们就看到很多 object
• 25:26 然后我要是盯着这个 object
• 25:27 看的时间比较久
• 25:29 就看到更多 detailed color
• 25:30 texture
• 25:31 然后 affordance
• 25:32 然后之后
• 25:33 比如说我再 zoom in
• 25:35 我就可以 get 更多的 detail
• 25:36 然后就
• 25:37 所以我们就可以用这种 signal
• 25:39 去来比如说更好的 stitch
• 25:41 就不同的 model
• 25:42 或者是不同的 LMs
• 25:43 来提供这种 description
• 25:45 所以我其实觉得
• 25:47 就是 AI 的发展
• 25:49 它是一方面肯定是可以促进 HCI 的发展
• 25:53 但我觉得 HCI 也不是说一直在 play the catch-up game
• 25:57 因为就是就有这种 meme
• 25:59 就是说这个什么是 LLM wrappers
• 26:01 什么是真正的 HCI systems research
• 26:04 我其实觉得就是要是要是说
• 26:06 OK 我们基于现有的这些 technology 的这些 limitation
• 26:10 但是我们可以很巧妙的找到办法
• 26:12 可以 prototype what LLMs might get to
• 26:16 比如说一年或者两年之后
• 26:18 LM 可以有这个 capability
• 26:20 比如说它可以更好地 understand
• 26:22 visual, sound, and video
• 26:24 然后它还有比如说 haptics
• 26:25 比如说 motor
• 26:27 就是它比如说越来越多的
• 26:28 有这种 modalities
• 26:29 然后有了这些以后呢
• 26:31 但我不是 build 一个 foundation model
• 26:33 就我们做一些 research
• 26:34 我们不是说
• 26:35 OK 我们来 train 一个 model
• 26:36 然后直接吞进去
• 26:37 就是一个问题
• 26:38 而是说我可以用一些 components
• 26:40 把它 prototype 出来
• 26:41 这个 experience
• 26:42 然后我可以 understand
• 26:43 这个 experience
• 26:44 它到底会有什么意义
• 26:46 就是他对于, 比如说 accessibility context, 对于其他的 context, 他有什么意义, 然后这个呢反而会一定程度上 inform AI, 比如说哪些是真正 fruitful 的 direction, 比如说 either 从 startup 或者是从公司的角度, 就是 hopefully 啊, 就是可以 inform AI 的一定的发展, 比如说他, OK, 我们现在需要更多做 multimodal instead of 把这个 benchmark 再 push 到, 比如说多五个百分点去。
• 27:13 对, 我有几个 follow-up 的问题, 一个是上一期的节目里面, 其实这个部分被剪掉了, 我们高教授和彭教授那期也讨论到 HCI 怎么在影响上游的这种 research 方面, 当时我们聊的最后剪掉了, 所以我很开心你又聊起来这个问题。
• 27:33 当时我们的一个观点就是
• 27:35 我感觉不是我们
• 27:38 我当时的一个观点
• 27:39 就有点 controversial
• 27:40 就我感觉很多时候
• 27:42 HCI 作为一个下游的一个学科
• 27:44 他就把上面的这些
• 27:45 很好算法拿过来用
• 27:46 然后就有了一个 system
• 27:47 然后我的一个
• 27:49 或者说 concern
• 27:51 就我的一个观察
• 27:52 就感觉他比较少去反哺上游
• 27:54 像你刚才描述的是一种可能的情况
• 27:57 然后但是就是
• 27:58 我感觉这个 loop 有点慢
• 28:00 就是在 HCI 做 research 的同时, 可能我们想象有了这些新的这种交互模式之后, 可以去 inform 这个 model design, 但有可能这个 model 现在这个速度太快了, 它当你这个 paper 还没出来的时候, 可能就已经, 就是这个 model 就已经变好了, 因为这个在我们很多, 不是, 有一些 project 里面我们在 brainstorm 就想说, 我们必须要 plan 说这个 project 一年之内不能被新的 GPT 给超过, 否则的话你到时候 top-tier paper 可能都很难做到,
• 28:30 去圆这个 story
• 28:32 为什么要用这个 interactive system
• 28:33 然后一个 prompt 就可以了
• 28:35 就可能比如说五六年前
• 28:36 那时候我们不用担心这个方面的
• 28:38 被一个 AGI tool
• 28:41 现在这个 AGI
• 28:42 它因为它是一个所谓的
• 28:44 想要成为一个 AGI 的一个模式
• 28:46 所以它就可以做很多这种东西
• 28:48 所以我很好奇
• 28:49 你对这方面的
• 28:50 这个 HCI 怎么去影响上游的这块
• 28:54 会有什么样的一些看法
• 28:57 对我觉得
• 28:59 可能最主要的是两个方面
• 29:00 一方面就是 use case
• 29:02 我觉得 HCI research 还是最擅长 discover
• 29:06 什么是 problem worth solving
• 29:09 或者是什么就是这个 problem
• 29:13 what is the best way of solving this problem
• 29:15 就是从 human interaction 的角度
• 29:17 就是最终这个东西跟人用起来
• 29:21 它是应该怎么样的一个 paradigm
• 29:24 对
• 29:24 所以我觉得这是一个好的
• 29:26 但这个东西它有多 concrete
• 29:28 就是他怎么就是有多具体的在影响到
• 29:32 这个也比较难以 measure
• 29:34 更多的是一个潜移默化的
• 29:36 或者是
• 29:37 可以就是有人做 startup
• 29:39 然后等等这些各种 push 的方法
• 29:41 我觉得
• 29:42 但我觉得第二个比较 concrete 的
• 29:44 就是从 data set 的角度
• 29:48 你在比如说 prototype 出来一个 future experience
• 29:51 那么你就可以真正 get the data
• 29:53 of how people could use that
• 29:55 但你觉得现在从 HCI 角度来看, 这个 data 是够去反哺的吗?
• 30:00 我觉得这个 data 不一定是作为 training data, 就是 large-scale 的 training data,
• 30:06 因为这个确实很难, 并且从 AI 角度想, 现在的 data 也很难。
• 30:10 所以一方面我觉得是作为 domain-specific fine-tuning 用的 data,
• 30:16 就是想一些 scale 也 enough, 然后另外一方面就是作为 benchmarks,
• 30:20 我觉得是可以, 就是 HCI community。
• 30:24 我觉得之前, HCI 我觉得大家没有做很多这种 data set 或 benchmark,
• 30:31 但我觉得会越来越多。
• 30:33 我懂意思了, 我其实同意你说的 problem statement 这个方向,
• 30:36 但是通过怎么去 train 更好的 model,
• 30:40 我可能感觉我的想法可能比较 naive,
• 30:42 那 train 更好的 model 不是 more data, more GPU, better architecture,
• 30:46 但是这些东西跟 HCI 可能没有直接的关系。
• 30:49 但我非常同意你说的 problem statement 和怎么去做 benchmark,
• 30:53 因为现在很多包括这种 LM 的 benchmark
• 30:56 大部分都是 LM community 做的
• 30:58 但你实际上说的
• 30:59 如果说 HCI research is better to
• 31:01 identify problem
• 31:02 我们应该做下一步
• 31:03 就是把这些 problem 具象化
• 31:05 做一些 measurable
• 31:06 可以 quantify 的东西
• 31:07 对
• 31:07 然后让他们去跑
• 31:08 让他们去优化
• 31:09 对
• 31:10 让 models 能够把我们这些 task 做得更好
• 31:12 我觉得这个是一个非常
• 31:13 的确在 HCI 做的这种方向比较少一点点
• 31:16 然后我发现这个 challenge 就变成
• 31:18 因为我们不是那个领域的人
• 31:20 你怎么让我们的 benchmark
• 31:22 让他们注意到
• 31:24 对
• 31:25 比如说你做一个 vision 的一个那种
• 31:26 比如 DeepMind
• 31:27 假设 DeepMind
• 31:28 这个 benchmark
• 31:28 大家肯定都会去刷榜
• 31:30 那像比如说
• 31:31 一个 Michigan faculty
• 31:32 出了一个 benchmark
• 31:34 怎么让鼓励大家都去刷榜
• 31:36 如果大家都不刷的话
• 31:36 其实 benchmark 又是一个
• 31:37 自娱自乐的东西
• 31:39 对
• 31:39 当然我也不是说刷榜就是好事
• 31:42 但至少说有关注度
• 31:43 好歹是一个
• 31:44 我觉得
• 31:45 我觉得这个就是得靠
• 31:48 researcher to branch out
• 31:50 就是一个是
• 31:52 像 Michigan 也有一个非常大的 AI Lab
• 31:56 我也算是 part of that lab
• 31:58 然后里面有很多人做 vision
• 32:00 做 embodied AI
• 32:01 做 NLP
• 32:01 做 reinforcement learning 等等
• 32:04 然后也有很多各种不同的 application domains
• 32:07 所以我觉得就是可以跟
• 32:09 那个领域里的 expert 一起合作
• 32:11 做这个东西
• 32:12 是一个好的 approach
• 32:14 像我之前
• 32:15 inolved 过做 VizWiz 那个 data set
• 32:19 是 Dana Gurari
• 32:20 lead 的那个整个大的 effort
• 32:22 然后我也是跟他一起
• 32:24 就是比如说去怎么 clean up 那个 data
• 32:26 然后怎么去
• 32:28 去 inform 后面的 challenge
• 32:29 比如说我们之前做了一个
• 32:31 跟 privacy 相关的 challenge
• 32:32 然后他现在也
• 32:34 后来一直做了很多很多 challenge
• 32:36 然后他每年在 CVPR
• 32:37 有的时候 ECCV
• 32:38 他都会 run 一些这些 challenge
• 32:41 然后我看他也有跟
• 32:44 比如说其他 HCI 的 community
• 32:45 比如说 Leah Findlater
• 32:48 也都做了一些新的这项 challenge
• 32:51 我觉得这是一个很好的 model
• 32:53 就是
• 32:54 跟 AI 的人合作
• 32:55 这样的话就是
• 32:57 大家的 expertise 可以 complementary
• 32:59 然后另外一个我觉得就是怎么能让 industry
• 33:03 就是 engage
• 33:04 我觉得这个也是
• 33:06 比如说 potentially
• 33:07 就是比如说我
• 33:09 我来给 talk, visit 这些不同的地方
• 33:12 也是一个好的 potential 的方法
• 33:14 就是就是大家知道在做这些事情
• 33:16 然后现在我觉得越来越多的 industry 也会有更多的
• 33:20 就是这种 research 相关的 engagement
• 33:22 因为也是 federal funding 有影响
• 33:24 所以比如说
• 33:26 Michigan 好像最近是跟 OpenAI 有形成一个合作
• 33:29 就 OpenAI 有跟一系列 institution 形成一个这种
• 33:33 就是一个合作
• 33:36 我忘了他叫什么
• 33:37 Next-Gen AI 之类的
• 33:39 然后所以就是现在也有一种 internal 的
• 33:41 这个合作的 就是你们从 OpenAI 得到什么
• 33:45 他们从你这得到什么的
• 33:46 对现在可能第一步是就是会有一个这种 grant 的
• 33:51 这个 call for proposals
• 33:52 然后 internally 他会就是让我们可以提交 proposal
• 33:56 然后他们会有个 shortlist
• 33:58 然后再跟 OpenAI 去协调
• 33:59 比如说他想的一个 portfolio
• 34:01 然后之后就是 OpenAI 可以提供一些方便
• 34:03 提供一些 credits
• 34:05 然后就 potentially 就会有一个 contact
• 34:09 就是公司里这一个人
• 34:10 他可以跟比如说美国协议的一次
• 34:12 就我觉得这是一个就是更长线的一个方法
• 34:15 就是合作可以让他们对你做的东西感兴趣
• 34:17 因为他们也 vested in this
• 34:19 vested in this interest
• 34:20 对对对
• 34:22 嗯对
• 34:23 然后我其实刚才之所以有问这个
• 34:26 呃
• 34:26 LM 对这个 research 影响是因为我
• 34:29 几年前做一个 research 的时候
• 34:31 当时有一个
• 34:32 就跟残障
• 34:33 就是视障人士
• 34:34 这么说有一个 app 叫做 Be My Eyes
• 34:36 对吧
• 34:37 当时那个 app 还是一个就是 volunteer-based
• 34:40 就是其实那就是一个 app
• 34:41 你
• 34:42 视障人士下起来之后
• 34:44 然后他如果在城市里面想要看清楚那个 label
• 34:46 就按那个 app 那个按钮
• 34:48 然后那个平台就会找到一个已经 signed-up 的 volunteer
• 34:52 说帮他看一眼
• 34:53 这是不是他要买的那个东西
• 34:54 然后当 GPT 出来之后
• 34:57 我不知道现在有没有多大改变
• 34:59 但是当时的新闻是很大的
• 35:00 就是应该是 GPT 还是 Llama
• 35:03 反正某一个 model
• 35:04 GPT-4V, 它有个 "Be My AI" 的 feature
• 35:06 是的
• 35:07 就是盲人可以拍个照片
• 35:08 就是盲人可以拍个照片
• 35:10 然后他就是会给一些 description, 里面会有一些 prompt 就是基于怎么 best describe 就是怎么更好的读这个图片给盲人, 然后之后盲人就可以问一些 follow-up questions
• 35:21 那后面他们又有一个就是 joint announcement
• 35:25 是做那种 video 的那个 mode
• 35:27 就是但那个 mode 一直没有 shipped
• 35:29 就是因为我很对
• 35:31 对我不知道那个 video mode
• 35:33 它为什么 因为我最近在用的什么
• 35:35 Gemini Live 什么的
• 35:36 我感觉效果非常好
• 35:37 就是我感觉就是
• 35:39 的确进展太快了, 我已经难以想象,
• 35:45 怎么去年还这么差的一个 model, 今年又会这么好。
• 35:49 然后在这个变化当中, 在我的角度,
• 35:54 我感觉好像这个 model 对盲人体验的提升比 HCI 的体验更大,
• 36:02 因为你的模型可以变好了, 很多时候交互的时候,
• 36:05 你都可以说出一些错字, 你也可以不用说得很清楚,
• 36:08 都能够猜到你的 intent, 都能够去做
• 36:10 这也是我之所以一开始问这个问题
• 36:12 就是 HCI 对这个
• 36:14 如果我们相信未来是个 LM 的世界
• 36:16 那我感觉现在
• 36:18 我自己作为一个人
• 36:20 我又想去搭上这班车
• 36:22 我想去 contribute to the trend
• 36:24 我想去 contribute to this trend
• 36:26 我现在感觉 HCI
• 36:28 能够参与的这个
• 36:30 机会和角度
• 36:32 还比较少
• 36:34 可能我还没有找到合适的角度
• 36:36 我觉得的确是有的时候
• 36:42 是不值得去花这个 effort 去 build
• 36:44 这么一个 system
• 36:45 还是我可能就等六个月
• 36:48 这个 problem is solved
• 36:50 所以我觉得这也是一个
• 36:51 我觉得我们还有 research community
• 36:54 都在一起想的一个问题
• 36:55 就包括我觉得 industry
• 36:57 也都在想这个问题
• 36:58 industry 做比较 applied 的这个 work
• 37:00 对 我值不值得
• 37:02 engineering effort
• 37:03 还是说 model will solve it
• 37:04 对, 我感觉这个不是一个 HCI specific 的东西, 很多领域都一样的, 比如说, 另外一个例子吧, 就是 speech recognition, 就是 transcription, 就是生成文字稿, 根据一个音频生成文字稿, 我每期播客都会用一些这种 AI 工具去生成这个文字稿。
• 37:18 然后在之前, 可能比如说五年十年前, 大家都会用一个专门的 model, 然后后来 Whisper 出现了, 大家都用 Whisper, 对吧。
• 37:27 然后最近大家发现最好的 model 居然是 Google 的那个什么 Gemini 1.5 Pro
• 37:33 那个它可以支持音频的模态
• 37:35 你把音频文件丢给他
• 37:35 你跟他说这是音频文件
• 37:37 你帮我生成这个文字稿
• 37:39 而且 perform speaker diarization 把 speaker 也再列出来
• 37:43 就它那个效果既是最好的
• 37:45 而且是最便宜的
• 37:46 然后这个是降维打击
• 37:49 这种感觉
• 37:50 然后我就感觉说这个也不仅影响 HCI 了
• 37:52 现在等于做 speech recognition
• 37:53 他们也得去思考说
• 37:56 现在大模型把他们整个东西都做的又好又快又便宜的时候
• 38:00 他们怎么去变化
• 38:01 这个我不知道了
• 38:02 我也不知道他们的领域
• 38:03 但是我感觉这肯定对他们是一个冲击
• 38:05 因为他们怎么去 participate in the model training
• 38:07 这个我不太确定
• 38:08 对 这个是一个非常大的一个变化
• 38:12 我觉得
• 38:13 我觉得这是个 billion-dollar question
• 38:16 对 我们也没有一个答案
• 38:18 只是想探讨一下
• 38:19 还有一个点我想说
• 38:22 我觉得像我们组做这种比较偏
• 38:26 就是 user interface technology
• 38:29 和 accessibility domain
• 38:32 我们的偏好也是
• 38:36 就怎么说呢
• 38:38 我觉得做这种 technical accessibility
• 38:41 它也有不同的 flavor
• 38:42 就是有一种 flavor
• 38:44 就是我真正找到一个很小很深的点
• 38:47 然后我真正就是要把这个东西
• 38:51 end-to-end 的真正去解决的非常好
• 38:53 就是 to the point that
• 38:55 比如说这个公司
• 38:56 就可以按照我这个东西
• 38:57 完全做了
• 38:58 然后另外一个 approach 呢
• 39:00 就是
• 39:01 OK
• 39:02 那我想要做的
• 39:03 稍微更 general 一点
• 39:04 那么呢
• 39:05 这个是
• 39:06 这个
• 39:06 它可能 solve to some extent
• 39:09 但没有说是 immediately usable
• 39:11 或者 deployable
• 39:12 但是呢
• 39:13 就是
• 39:13 by having this trade-off
• 39:15 这样的话
• 39:16 我这个系统
• 39:16 或者说我这个 technique 本身
• 39:18 它也可以 generalize to other settings
• 39:20 我觉得这也是一个 balance
• 39:23 我觉得我是个人比较偏好于后者
• 39:27 就是做这种更 general-purpose 的 system
• 39:29 因为有很多 accessibility 的东西
• 39:32 你也知道
• 39:33 它真正 popularize
• 39:35 大家会 adopt
• 39:36 也是因为它 is used by everybody
• 39:39 所有人都对这个东西有一点 benefit
• 39:41 然后公司会更愿意去 invest in this
• 39:44 然后这样的话
• 39:45 比如说残疾人会 benefit a lot more
• 39:48 像 speech recognition
• 39:50 或者是 screen reading, 就是它既帮助了 shortcuts 或者是 app intents, 它也帮助了, 比如说 app 的 accessibility 的能力性。
• 39:59 对, 对, 对。
• 40:00 对啊, 我接下来还要聊一下, 比如说你带学生的一些这种体会啊, 然后和这个 faculty search committee, 因为这个我感觉肯定想找教授的人肯定想听到这些东西。
• 40:12 但在这之前我还想 follow up 你刚才提到 World Scribe
• 40:15 然后跟这个 project 无关
• 40:17 是我之前发现因为刚刚我跟那个学生瑞哲
• 40:20 他现在在我这做实习嘛
• 40:21 然后呃我也跟他聊好像他每个 project 都有一个网站
• 40:24 worldscribe.org 或者什么 worldscribe.com
• 40:26 我忘了那个链接了
• 40:28 然后我就问他说是不是安鸿的每个 project 都要有一个那种
• 40:31 专门的链接的网站
• 40:32 我问一下你这个逻辑是是为什么会这样
• 40:35 嗯
• 40:36 嗯
• 40:37 我觉得就是
• 40:39 不是没有一个 dedicated pipeline
• 40:43 但更多的是
• 40:44 OK 到了那一步
• 40:45 我们想要去比如说把它放到一个网站上
• 40:49 就是宣传一下
• 40:50 因为很多 AI 的 project 都是这个 style
• 40:53 对 它会有一个那种
• 40:54 就是像 GitHub 的一个 template
• 40:56 然后它有的时候也会有个网站
• 40:57 或者网站指向的网站
• 40:58 对对对
• 40:59 然后就有时候会去申一个域名
• 41:01 对因为我知道
• 41:03 我的问题就是为什么会是申一个域名
• 41:05 不是说用比如说 GitHub Pages (github.io)
• 41:08 或者说你们学校的 umich.edu
• 41:12 安鸿
• 41:12 那个 project website
• 41:14 为什么会有单独的一个域名
• 41:16 对 这好问题
• 41:19 我觉得没有一个
• 41:20 没有一个 definitive answer
• 41:23 但我更多的是觉得
• 41:24 这个名字 我想这个 project 名字的时候
• 41:27 也是花了很多 effort
• 41:29 然后我觉得这个 project
• 41:31 可能听到它你就会
• 41:32 它真正能感觉到跟
• 41:34 我想要 deliver 的这个 goal 或者这个 vision 比较相关
• 41:38 所以这个名字很好
• 41:39 那么以后比如说你真的是这个东西变成一个产品
• 41:42 或者就是搞一个公司什么的
• 41:44 所以这也是一个好的机会
• 41:46 所以我一般会申一个
• 41:47 但我就会有一个 stack
• 41:49 就是有很多 project 在用这个东西
• 41:51 但可能过了一两年
• 41:52 OK 这个东西感觉没有再继续去申了
• 41:55 或者没有再继续做
• 41:56 那可能就不要继续
• 41:58 对
• 41:58 对
• 42:00 但这个不贵
• 42:00 反正是一个 如果你积累的多
• 42:02 特别是如果你特别 prolific
• 42:03 那肯定这个也是一个开销
• 42:05 所以一般我感觉
• 42:08 可能现在还有一共
• 42:09 大概有十个吧
• 42:10 同时
• 42:10 十个左右
• 42:11 像一年十二块钱吧
• 42:14 可能是一般是
• 42:14 每个十二块左右
• 42:16 所以说大概你是
• 42:17 keep the 10 rolling projects,
• 42:19 the most promising 10
• 42:20 然后每年你有新的 paper
• 42:21 你就加进去
• 42:22 然后把以前的那种
• 42:23 可能感觉没有商业化前途
• 42:25 或者没有那种 impact
• 42:27 没有 impact 的
• 42:27 就拿走
• 42:28 然后我觉得像 World Scribe
• 42:31 它可能是一个
• 42:31 有比较 general-purpose 的 name
• 42:33 就是虽然可能他的 follow-up projects 会有不同的名字
• 42:36 但是我觉得他们都是 part of World Scribe
• 42:39 所以我可能这个会多留一段时间
• 42:41 OK
• 42:42 那你的合作者发现他们的域名被取消了
• 42:45 会不会很伤心, 证明安鸿不再看重他们的 project 了
• 42:48 没有
• 42:49 一般就是他
• 42:51 比如说他要是不其实有的域名买过来
• 42:55 其实也都没有网站
• 42:56 因为这个网站也是主要是靠学生 take this effort 来做
• 43:00 然后如果真正有这个 data set
• 43:03 然后有其他要 host 的 challenge
• 43:06 或者等等这些的话
• 43:07 这个东西才可能继续活下去
• 43:09 但其实这个域名也没有多大意义
• 43:11 是
• 43:12 取消了以后也不会有人在
• 43:14 一段时间也不会有人立刻抢注
• 43:16 对
• 43:17 那你有比如说你挑域名嘛
• 43:19 那你有没有什么商标啊
• 43:20 或者别的这种 copyright
• 43:22 你有去弄
• 43:23 还是说只弄个域名
• 43:24 其他的就先放着
• 43:26 对
• 43:27 从学校的方面
• 43:29 方面我们一般就是交了一批 project 以后
• 43:33 我们会都交到学校
• 43:35 我们 invention disclosure office
• 43:36 因为这个首先 IP 都是 owned by the university
• 43:39 对不对
• 43:39 然后但是学校会有专门这么一个 office
• 43:42 叫 Innovation Partnerships
• 43:44 他们会去看这个东西
• 43:45 然后他们去想
• 43:47 OK
• 43:47 这个东西它值不值得去
• 43:50 像是 seek
• 43:52 它的 commercial interest
• 43:53 然后但是有很多方法了
• 43:55 就是你可以 open source
• 43:56 然后你可以比如搞 patent
• 43:58 然后搞 patent 的话
• 44:00 他们因为申请 patent 是要花很多钱的
• 44:04 所以他们会比如说 internally 先找人做一个 prior art search
• 44:08 然后他去跟你聊
• 44:10 然后看这个东西是不是非常 specific
• 44:13 to 一个东西
• 44:13 就比如说这个东西非常 accessibility-focused
• 44:16 他们可能不愿意去 patent
• 44:17 但如果这个东西他看到更大的场景
• 44:20 所以他就会
• 44:20 尤其是硬件的东西
• 44:22 我觉得他们都很感兴趣做 patent
• 44:24 然后他们会来跟你聊
• 44:26 然后找一个律师
• 44:28 然后来给你去写这个 patent
• 44:30 然后我们有一两个 project 有这样申吧
• 44:33 但我觉得就是那种
• 44:35 就是真正是我觉得可以 deploy
• 44:37 就是做 accessibility 相关的这种
• 44:40 immediate 的
• 44:41 我一般都是比较先行 open source
• 44:44 对于 accessibility community
• 44:46 我也不想
• 44:47 create another barrier
• 44:49 但有一些其他的
• 44:50 就可能适合 patent 的话
• 44:53 我们也可以试一下
• 44:54 那你比如说你这4.5年
• 44:55 你交了多少这种 invention disclosure
• 44:58 然后有多少是学校说我们要 take action 的
• 45:01 可能
• 45:03 交20个
• 45:04 交20个
• 45:04 基本上每个 paper 一个
• 45:06 就每个 systems work
• 45:08 或者是如果这一个 work 有一个 line
• 45:11 比如说有三四个
• 45:11 它其实也都算一个, 不是 separate
• 45:13 然后是有两个 patent 是在申
• 45:17 或者是就是在 apply 的过程
• 45:19 OK
• 45:20 make sense
• 45:21 不是特别多
• 45:22 make sense
• 45:23 学校跟公司的这个 incentive
• 45:25 终归毕竟不太一样
• 45:26 公司的我们可能比例会高一点
• 45:27 因为他公司更想保护自己的 idea
• 45:31 防止别人告自己
• 45:32 那个公司可能会比如说把一个东西
• 45:35 拆成五六个 patent
• 45:36 是这样 是的
• 45:37 也不差钱
• 45:38 对吧
• 45:38 就是学校的话
• 45:39 我也之前也跟他们讨论过
• 45:41 就是 OK
• 45:42 我们为什么把这些东西都放在一起
• 45:44 它是到底是一个还是几个
• 45:46 对
• 45:46 就这个有点意思
• 45:47 为什么公司会拆开
• 45:48 一个东西是我们每申一个 patent
• 45:51 会有一些 bonus
• 45:51 所以对于我们申请者来说
• 45:54 inventor 来说
• 45:54 会有一些 incentive
• 45:55 去把它 break down
• 45:56 但是公司也会
• 45:58 encourage 这种 break down
• 45:58 我也不知道为什么
• 45:59 从 defend 自己的角度
• 46:02 就是如果比如说
• 46:03 你三个 patent 放在一起
• 46:04 那别人做这两个
• 46:06 跟你两个不太一样的话
• 46:07 你可能作为
• 46:09 就是公司跟公司之间竞争
• 46:11 就没有那么容易
• 46:12 比如说你三个
• 46:13 都是非常像的东西
• 46:14 但学校肯定没有这个 resource
• 46:16 所以它都放到一起
• 46:18 它的目标可能也不是为了
• 46:21 就像公司跟公司之间竞争的那个关系,
• 46:24 而是说以后比如说你想 spin off 出来的这个东西,
• 46:27 你也可以用来保护你自己,
• 46:28 对对对 保护学校,
• 46:29 保护自己的这个利益,
• 46:31 对 我已经知道了,
• 46:32 先看着因为我自己的域名就挺感兴趣,
• 46:34 我也之前一堆有的没的域名,
• 46:35 当然用的就非常少,
• 46:37 对对对,
• 46:38 那最后一个问题就是跟域名相关的问题,
• 46:40 就是那你把这个域名 set up 好,
• 46:42 versus 运营商花时间花这些东西什么,
• 46:45 versus 把一个系统真的把它 deploy on a website,
• 46:49 你感觉这个 effort 哪个会更重要呢
• 46:51 域名就是根本就不花时间
• 46:54 域名可能是我想到这个
• 46:56 然后我到以前是到 Google Domains
• 46:58 现在 Google Domains 没有了
• 46:59 到 Squarespace
• 47:00 就是去搜一下
• 47:02 然后比如说如果就是我最想要的域名没有
• 47:04 我可能也就不选
• 47:05 就是也没有必要强行找一个什么 .info
• 47:08 或者是什么
• 47:08 然后如果有的话
• 47:10 就是底下可能五分钟就搞定了
• 47:13 对 我觉得这句话的意思是说更多的是
• 47:15 比如说因为我看到很多
• 47:16 其实很多 HCI 的 system
• 47:17 我每年都会跟我的 intern 说, 我希望你们 paper 交了之后, 赶紧把 code clean up, 趁你现在这个 fresh memory, 把 code clean up, make sure that it's ready to deploy, 但当然不是每个人都有这个 incentive 去做的。
• 47:32 然后最终, 因为我感觉有 project website 的时候, 能够让别人用那个东西是非常有帮助的, 否则的话, 网站的意义其实没有那么大, 因为现在反正大家都用 arXiv for the paper, 你有自己的网站, 没有自己的网站, 其实区别不大了。
• 47:44 其实区别不大了, 不像比如十年前, 十年前你如果没有网站, 可能别人真的读不到你的 paper, 因为你看 ACM paywall 或者什么, 现在都在 arXiv 里面, 所以如果你的网页只是一个 title, author list, 一个 PDF link, 那我感觉其实你才不要呢, 对, 然后, 对, 所以说这个是我这样问, 那你会不会鼓励你的学生也说, do you spend extra time, a week, two weeks to clean up the code base, 对, 我觉得这个是我一直想做的, 但是虽然没有做得特别好, 对,
• 48:14 就是但这个跟你就我说 HCI
• 48:18 可以比如说 stay more ahead of the curve
• 48:20 就是比如说做 data sets 也是相关
• 48:22 比如说就是 AI 大厂就是 publish data
• 48:24 publish code
• 48:26 就是 scripts 就是等等这些东西
• 48:29 所以我觉得
• 48:31 就我想要做更多这方面的
• 48:33 然后但是我们组一直会有那么一两个 project
• 48:37 我们是想要做 deployment
• 48:38 像之前 VisLens 做了 deployment
• 48:41 ImageExplorer 做了 deployment
• 48:42 然后 OmniScribe 就是做那个 360 Video 那个 project
• 48:47 我们也就是一直有在找本科生
• 48:49 然后硕士生一起在做 deployment
• 48:51 我 made 一些 progress
• 48:53 但我觉得就是
• 48:54 就我觉得同时就是在同一个时间里
• 48:58 identify 那么一个或者两个 opportunities
• 49:00 就是它属于比较 potentially ready
• 49:04 然后也可以有一个 bigger impact
• 49:06 或者是这个东西能 enable 更大的 research
• 49:08 我觉得是就是是我们一直在做的一个东西
• 49:11 但是肯定这个 effort 也不一定
• 49:15 因为 academia 的 effort
• 49:17 然后在我 PhD 期间
• 49:20 我是做了 deployment study
• 49:22 就之前 Sense-Us 那个 project
• 49:24 然后后面是有个 follow up
• 49:26 UbiComp paper
• 49:27 那个 paper 我们真的是在整个学校和
• 49:31 city 很多地方
• 49:32 放了那种四五十个 camera
• 49:34 然后系统也是收了
• 49:36 就是可能 millions of photos
• 49:38 就是真正做了一个 deployment system
• 49:40 就是在 AWS 上 run 的很多很多 server
• 49:43 就是各种什么 containers
• 49:45 然后什么各种 buckets
• 49:47 然后就是可能是一个比较 scalable 的
• 49:49 这样一个 system
• 49:49 后来也就是也 formed a startup
• 49:52 就是然后
• 49:53 所以我是建议
• 49:55 有时候这种尤其喜欢做 technical systems 的
• 49:58 graduate students
• 49:59 就是在你毕业之前
• 50:01 就是尝试搞一个 deployment
• 50:02 我觉得对你长期是有帮助的
• 50:04 对
• 50:04 我觉得 deployment study 是非常好的
• 50:06 但是都不用做那么 formal 的一个东西
• 50:09 因为现在很多 HCI work 都是 LLM wrapper
• 50:12 so the easiest way
• 50:13 最简单就是你就把网站
• 50:16 去把那个东西铺上去
• 50:18 然后把那个 token expose 出来
• 50:20 用户要自己 type 自己的 token 才能够用
• 50:22 因为这个就已经是很大一个 step forward
• 50:25 因为而且你看它的 incentive
• 50:27 我也同意
• 50:27 就是短
• 50:29 如果你看一个很短的 timeline
• 50:30 的确好像是对于教授也好
• 50:32 对于学生也好
• 50:33 primarily 学生
• 50:34 因为学生他们也会做这个事情
• 50:35 他们可能不觉得有 incentive
• 50:37 但是我感觉你如果放到
• 50:38 比如说一个 job market 的角度来说
• 50:40 你如果在你 PhD 五年六年里面
• 50:42 能够每篇 paper 都放一个 system online
• 50:45 而且别人还用了你的 system
• 50:46 而且别人会觉得说
• 50:47 你就真的花了点小心思
• 50:49 不仅是你 paper 的写作
• 50:50 而且他用你的系统
• 50:51 觉得真的有用
• 50:52 这个是可以帮助到
• 50:55 特别现在比如公司
• 50:56 我们很多时候看了一篇 paper
• 50:58 我们就要考虑说
• 50:59 无论是不知道商业化
• 51:01 还是要不要招实习生
• 51:01 还是要 full-time
• 51:02 很多时候如果只有一个 paper
• 51:04 我们其实没有办法
• 51:05 use our own data to test it
• 51:07 但如果你有个网页
• 51:08 我可以把我们那个 token 往里面一贴
• 51:10 然后就可以
• 51:11 这样就不花你的钱
• 51:12 这样你的 deployment cost 基本是零嘛
• 51:14 因为这个就是你 deploying the front end
• 51:16 其实基本上是不要钱的
• 51:17 只是要用 token 花一点钱
• 51:19 对对对
• 51:19 那个 token
• 51:20 I would argue 那个 token 其实也都
• 51:22 首先用 system 的都少之又少
• 51:24 就是如果有个人能够访问到我的网站
• 51:26 去点开我的 project page
• 51:28 然后用我的 system
• 51:29 对
• 51:29 现在对
• 51:30 对
• 51:30 就是给你就是发个几张号
• 51:32 然后能够让你对我的 research 更好的认识
• 51:34 我觉得是个好事情
• 51:35 对对对
• 51:35 所以我认为这个 cost 也是一个很小的一个
• 51:37 一个东西
• 51:38 但是当然有的学生他们会比较感兴趣
• 51:40 这个是基本上
• 51:42 我觉得这个是我们做的不太够的
• 51:44 以后想做这个
• 51:45 对 不仅是你们
• 51:46 我自己做的不太够
• 51:47 就是对
• 51:49 所以看今天我们合作项目能不能够
• 51:51 OK 可以
• 51:51 no pressure
• 51:52 我觉得我们能不能够让它
• 51:55 能更加的 accessible
• 51:57 对 让大家都能用了
• 51:58 对
• 51:59 然后接下来就是带学生和 faculty search
• 52:02 作为带学生的话
• 52:03 你在这几年有什么
• 52:05 就是作为从一个学生到教授的这个 transition
• 52:08 我知道你做了一个 postdoc 之前是
• 52:10 呃 不太算
• 52:12 就是我相当于是8月底毕业
• 52:15 然后到1月份入职
• 52:16 中间就还在我老板的
• 52:18 好像是这个 title
• 52:19 但实际上不 OK
• 52:20 因为刚好前两期我和何畅那些和
• 52:22 跟那个高耀和彭畅先生都想到说
• 52:24 嗯 一个
• 52:26 他们想要过去自己说的话就是说能够
• 52:28 多花个一年两年去做一个 postdoc
• 52:31 就是这样
• 52:31 所以你也其实也没有经历一个
• 52:33 有一个 formal 的 postdoc 的阶段
• 52:35 OK 那你对这个 transition
• 52:37 你有什么一些感想或者说
• 52:39 嗯
• 52:40 我觉得我当时那个 transition
• 52:42 那个时间点还算比较 unique
• 52:44 因为就是我是1月份开始的
• 52:47 但其实就无论是 tenure clock
• 52:49 还是说真正 go back to normal on campus 就是工作还是当年的九月份, 所以其实算是有一年的这个 transition period, 然后中间完全就是 remote 工作
• 53:00 然后就是去熟悉一下
• 53:02 新的学校的
• 53:03 就是可以参加一些
• 53:04 committee meetings
• 53:05 然后就是
• 53:06 直接就可以开始
• 53:08 看申请的 pool
• 53:09 找学生
• 53:10 然后也是 reach out
• 53:12 一些学生 remotely
• 53:13 开始就是做一些
• 53:15 感兴趣的方向
• 53:16 就是我觉得
• 53:17 那算是一个
• 53:18 比较好的 transition period
• 53:19 对
• 53:20 就是也不太
• 53:22 对
• 53:23 是一个比较 unique 的
• 53:24 一个 time frame
• 53:25 对
• 53:26 那你带学生的话
• 53:27 那你现在有什么
• 53:28 心得体会吗
• 53:29 对
• 53:30 我看了前面两期
• 53:32 就是他们讨论
• 53:32 跟学生相关的
• 53:34 我觉得
• 53:34 就是我同意很多
• 53:35 他们说的
• 53:36 关于这种
• 53:36 intrinsic motivation
• 53:37 这些
• 53:38 对
• 53:38 我觉得
• 53:39 就是 aligning interests
• 53:41 肯定是
• 53:42 就是非常重要的
• 53:43 就是
• 53:43 就是真正找到一个
• 53:46 就是他想要做的东西
• 53:48 他非常 passionate
• 53:49 所以我觉得
• 53:50 这个也 go hand in hand
• 53:52 就是我之前说的
• 53:53 就是你要 open to
• 53:54 expand the research area
• 53:56 或者是 research taste
• 53:58 所以就是说
• 53:59 很多时候
• 53:59 虽然我 come in with an idea
• 54:02 但是这个 idea
• 54:03 跟那个学生一起去
• 54:05 brainstorm
• 54:06 一起去 iterate
• 54:07 然后过了一段时间以后
• 54:09 你就发现这个 idea
• 54:10 跟你最开始那个 idea
• 54:11 它比那个 idea
• 54:12 已经好了很多
• 54:12 但是这个
• 54:13 跟你一开始的 idea
• 54:14 又不太一样
• 54:15 所以就是学生会把
• 54:17 就是我觉得会把我的兴趣
• 54:19 一点点带到不同的方向上去
• 54:22 所以就是一点点
• 54:22 他们也都会 establish
• 54:24 自己的这种 career path 和 trajectory
• 54:27 我觉得这个是就是
• 54:28 做这个工作最有意思的
• 54:30 一部分是吗
• 54:30 要不然他毕业了之后
• 54:31 跟你做的 copy 一样
• 54:32 那不也不太行啊
• 54:33 对吧
• 54:33 所以他们得有自己的一些
• 54:35 创作在里面
• 54:36 对对对
• 54:37 然后还有就是
• 54:38 就我如果就说一个点
• 54:41 就是我觉得
• 54:41 对于学生最重要的
• 54:43 这个品质是什么
• 54:44 我觉得就是
• 54:45 你能真正 take feedback
• 54:47 我觉得这个是最重要的
• 54:49 就是
• 54:50 我觉得我能给学生带来的
• 54:54 最主要的就是
• 54:55 OK
• 54:55 我们可以一起讨论
• 54:57 然后我可以提建议
• 54:58 比如说
• 54:59 这个东西
• 54:59 你要看这些东西
• 55:00 这个东西
• 55:01 你怎么可以做得更好
• 55:02 我觉得就是
• 55:02 如果一个学生
• 55:03 可以不停地 take feedback
• 55:05 可以很快地 incorporate feedback
• 55:07 他也非常虚心
• 55:08 就是
• 55:08 这个 go back to
• 55:10 就是之前上一期
• 55:12 高耀和彭畅他们说的
• 55:14 就是关于要给学生 positive reinforcement
• 55:18 就是这些是个 good reminder
• 55:21 那我觉得就是 take feedback
• 55:23 这是一个我觉得学生最重要的 skill
• 55:25 就比如说无论是一个 draft
• 55:27 或者一个 system demo
• 55:28 或者是最后做的 video
• 55:30 就是我是非常不吝啬给 as much feedback as I can
• 55:34 就比如说每次学生发过来一个 video draft
• 55:37 我会给他提20条
• 55:38 就是比如说这个 high-level 的, low-level 的
• 55:41 就是 font, color, 各种就是我会提
• 55:43 然后如果他20条全部都改了
• 55:46 我会再给他提20条
• 55:47 但如果他比如说改了10条
• 55:49 那我也不会再给他提
• 55:51 所以他可能会到的 quality
• 55:53 他就是 be limited by their own effort
• 55:55 对
• 55:56 但如果是我特别 care
• 55:59 或者我觉得他怎么样
• 56:00 我会可能再去再去 nudge 他一下
• 56:01 push 他一下这样
• 56:02 对
• 56:03 但所以我觉得就是真的就是要 take feedback
• 56:05 就是最重要的品质
• 56:07 对
• 56:07 我非常同意
• 56:08 我有好几个想 follow up 的点
• 56:10 一个是
• 56:12 之前想一下我要说什么来着
• 56:16 我看有两个
• 56:18 首先说两个 quotes 我想分享
• 56:20 一个是 "Feedback is a gift" 吧
• 56:22 就是你把这当成一个礼物的话
• 56:24 可能你会感觉
• 56:25 因为给 feedback 的人
• 56:26 其实都是花很多心思
• 56:27 在这里去准备
• 56:29 你给刺耳的 feedback 也是很难去
• 56:31 有的情况那种比较
• 56:34 比较膝跳反应的那种 feedback
• 56:35 是比较容易给
• 56:36 但是很多时候
• 56:37 feedback 我感觉是比较难给的
• 56:38 你要这样去考虑
• 56:40 接收方的情绪
• 56:42 和接收方的
• 56:44 当时的
• 56:45 professional 的状态
• 56:47 你要给出一个
• 56:48 恰如其分的
• 56:49 这个其实
• 56:49 对于给 feedback 的人
• 56:50 是很难的一个事情
• 56:51 所以给出好的 feedback
• 56:52 是很难的事情
• 56:53 所以当你听
• 56:54 作为接收方的时候
• 56:55 我每次接收到一个 feedback 的时候
• 56:56 我都会感觉很感激
• 56:57 因为这意味着对方 care 我
• 56:59 而且他们会花时间
• 57:01 去想着给我
• 57:02 所以我还说 feedback is a gift
• 57:03 另外一个 quote 的是
• 57:04 当时我听一个
• 57:05 另外一个播客叫做
• 57:06 现在播客已经停了
• 57:07 叫 "No Stupid Questions"
• 57:08 是什么
• 57:09 Angela Duckworth
• 57:11 之前写 Grit 那一本书的一个作者
• 57:13 她的一个 podcast
• 57:14 她就是说
• 57:15 她每次给这种比较 critical feedback
• 57:18 她都会 preface by saying
• 57:20 "I'm only giving you this feedback
• 57:22 because I know you can do better"
• 57:24 就是 sandwich approach
• 57:27 对 sandwich approach
• 57:28 但相当于是
• 57:28 我感觉这个也是很重要
• 57:30 一个是比较可执行
• 57:32 如果你套这个逻辑的话
• 57:34 我有时候也会跟
• 57:35 在我实习生的时候
• 57:36 准备离开的时候
• 57:37 我也会想说这过去的几个月我有没有找到他们什么点
• 57:41 他们什么时候可以提升的点
• 57:42 然后我也会用各种方式尽量把我的意思让他们能够听到
• 57:47 对 然后我觉得是我一般跟学生工作
• 57:53 就是我就会告诉他就是你绝对可以做到特别的好
• 57:57 然后我也是非常相信你
• 58:00 然后所以我会不吝啬给很多 feedback
• 58:04 我也不会想去包装这个 feedback
• 58:06 因为我就是
• 58:07 因为如果他真的是一个
• 58:10 非常 capable 的人
• 58:12 他不会觉得你在攻击他
• 58:15 我们唯一的目标
• 58:18 是为了让这个做的东西变得更好
• 58:20 对
• 58:20 就是他不会觉得
• 58:23 OK
• 58:23 是他自己的能力
• 58:24 但是在当下的时候
• 58:25 人是 emotional
• 58:26 就是
• 58:27 冷静下来
• 58:29 肯定是可以的
• 58:31 对
• 58:31 但就是在当下的时候
• 58:33 就很难去
• 58:34 对
• 58:35 所以我也会 try
• 58:36 但我不知道我这个做的够不够好
• 58:38 对 我的学生可以 comment
• 58:40 我也 reflect
• 58:41 就是我也会先
• 58:42 比如说指出这个东西
• 58:44 哪个地方做的好
• 58:45 然后哪些地方做的不够好
• 58:46 然后就是比如说
• 58:48 我觉得就是对于他的
• 58:50 这个 unique mindset
• 58:52 或者是他的 unique expertise
• 58:54 这个方向是最 reasonable
• 58:56 因为其实同一个 problem
• 58:58 对于不同的学生
• 58:59 他真正对于
• 59:00 适合他的解决方法
• 59:01 也不一样
• 59:02 因为我其实 research
• 59:03 不是说每个人
• 59:04 就如果一个 research
• 59:06 所有人都做成一样的
• 59:07 那就是这个就没有什么意义
• 59:08 我觉得就是是一个人
• 59:10 他带来的自己
• 59:11 unique background
• 59:12 他来 solve this problem
• 59:13 他可以把这个 problem
• 59:14 take 到只有他
• 59:15 才能做到这个 direction
• 59:17 我觉得这个 talent is unique
• 59:19 就包括申请 grant 也是
• 59:22 就是他们不光看的是
• 59:23 你的 idea 好不好
• 59:24 而是说这个 idea
• 59:25 是不是 uniquely
• 59:26 你是最擅长的
• 59:28 你是这个世界上
• 59:29 最有 unique expertise
• 59:30 来 solve 这个 problem
• 59:31 或者你这个 team
• 59:32 有没有这个 expertise
• 59:33 来 solve 这个 problem
• 59:34 对
• 59:35 对, 另外一点我也很有共鸣, 就是你说如果你给了20条 feedback,
• 59:39 如果那个接收的人他只 address 了10个, 然后就不愿意再接着改,
• 59:44 这会限制了他自己的成长, 也限制了你给他 future feedback 的一些能动性了,
• 59:51 就感觉不用再给了, 你给了他也不听这样子。
• 59:54 然后让我想到了, 我是好多年读到李维写的一个 blog,
• 59:59 他之前是, 他好几年前了, 他现在在我们公司做研究员,
• 01:00:04 然后他当时有一个 open mentoring program
• 01:00:07 他就是说任何学生都可以跟他合作
• 01:00:10 他都可以 mentor他们
• 01:00:11 但他其中写了一个就是一个他的一个 guideline
• 01:00:14 就是说 "the more you work, the more I work"
• 01:00:17 所以如果说你我带你做一个项目
• 01:00:20 但你比如说一个星期两个星期三个星期四个星期
• 01:00:22 都没有任何 update
• 01:00:24 那我其实很难帮到你
• 01:00:25 我都不知道怎么去给你 feedback
• 01:00:27 如果你每天都给我一个 update
• 01:00:29 那我相信就会被你 push着走
• 01:00:30 每天会给你一个 feedback
• 01:00:31 这个过程其实是是是 mutually beneficial 的
• 01:00:35 然后当时我看到这个时候我可能没有很深的感触
• 01:00:38 但是这这几年因为我的这个我自己的这个工作也转变了
• 01:00:41 可能以前更多的是做很多 hands-on
• 01:00:44 就特别说前一两年带实习生的时候我都很 hands-on 的东西
• 01:00:47 那现在我感觉呢比较 hands-off 一点点的话
• 01:00:49 就是会会就希望实习生能给我更多的一些 updates
• 01:00:54 不然的话我都不知道我该怎么去帮助你 unblock
• 01:00:57 或者帮助你去 brainstorm
• 01:00:59 就非常同意刚才你说的
• 01:01:01 包括这个不仅是 feedback
• 01:01:02 就是包括是 update
• 01:01:04 这种东西都是可以的
• 01:01:06 对
• 01:01:07 但我觉得就是这个也是分学生
• 01:01:09 就是有的
• 01:01:10 因为这个不是说
• 01:01:13 就是他已经是一个 professional
• 01:01:14 然后他只是来在 execute 这个事情
• 01:01:16 就是他其实也都不太
• 01:01:18 有的时候他还在学习这个东西
• 01:01:20 所以就是
• 01:01:21 也就是比如说他没有在
• 01:01:23 actively reach out 的时候
• 01:01:24 我也会去 reach out
• 01:01:25 是这个, 对对, 这也是我们会 setup
• 01:01:28 比如 bi-weekly meetings
• 01:01:30 或者 bi-weekly check-in 的这种
• 01:01:32 这也是想去帮他成长
• 01:01:35 对嗯。
• 01:01:36 最后一个大的方向, 就是 faculty search committee
• 01:01:39 这个是可能知道我之前比较少了解的
• 01:01:43 就是你进入这个 committee, 有什么
• 01:01:45 以前的你不知道的信息
• 01:01:47 说哦, 原来是这样做的
• 01:01:49 原来是这样的, 什么是以前
• 01:01:51 你可能不知道更重要的
• 01:01:52 现在其实感觉其实挺重要的
• 01:01:54 对 我是
• 01:01:56 我是在当 PhD student 的时候
• 01:01:59 就是在第四年的时候
• 01:02:00 就在 CMU HCI 上
• 01:02:02 faculty search committee
• 01:02:04 作为一种学生的代表
• 01:02:06 然后去了 Michigan 以后
• 01:02:09 可能从21年开始
• 01:02:11 就一直在 faculty search committee 上
• 01:02:13 但是就是
• 01:02:15 在 Michigan 以后
• 01:02:17 我们就是 HCI 的
• 01:02:18 就是 CSE 下面的 HCI 的方向
• 01:02:22 其实一直都不是一个
• 01:02:23 hiring priority area
• 01:02:24 因为一直都有
• 01:02:26 就是 AI
• 01:02:27 systems
• 01:02:28 就是当中这些方向是 priority
• 01:02:30 但是呢
• 01:02:31 就是我觉得
• 01:02:32 就是在这个 context 的下面
• 01:02:34 我们也是一直有在 hire
• 01:02:36 就是特别好的人
• 01:02:37 那我觉得
• 01:02:39 就是如果
• 01:02:40 如果就是
• 01:02:41 因为我觉得这个东西
• 01:02:42 可以本身可以
• 01:02:43 一个 separate podcast
• 01:02:44 maybe in the future
• 01:02:45 那我觉得就是
• 01:02:46 一个点就是
• 01:02:47 我觉得这运气是很重要
• 01:02:50 就是那一年有没有 opening
• 01:02:53 或者是这个地方
• 01:02:54 就是他真的有没有一个 unique fit
• 01:02:58 就是我觉得 unique fit 的话
• 01:03:00 就如果这个地方完全
• 01:03:01 就是没有做这个方向的人
• 01:03:04 其实这不一定是一个好的事情
• 01:03:05 就是一般大家会 hire to their strength
• 01:03:09 或者是有一些 overlap
• 01:03:11 然后想要 expand into a slightly new area
• 01:03:14 因为毕竟你去了以后
• 01:03:16 需要就是 ideally
• 01:03:17 有人 mentor 你
• 01:03:18 有人跟你合作
• 01:03:19 所以如果你是一个孤岛的话
• 01:03:20 这个是不一定能 guarantee success
• 01:03:23 然后也不一定会有那么多人去 advocate
• 01:03:25 champion for you
• 01:03:25 所以我觉得就是 instead of targeting
• 01:03:29 一个学校或者是
• 01:03:31 很小的一个学校
• 01:03:32 就是广撒网
• 01:03:33 但是我觉得就是 take the opportunity
• 01:03:36 比如说参加
• 01:03:38 在开会的时候跟人认识
• 01:03:40 比如说有一对一
• 01:03:41 聊一下你去做什么
• 01:03:43 或者是我也非常鼓励学生参加
• 01:03:45 就是有 doctoral consortium
• 01:03:47 或者 symposium 这种东西
• 01:03:48 就是说我是在 UIST 之前 run 了两次
• 01:03:51 我觉得在这两次里面
• 01:03:54 我就是对这些学生
• 01:03:56 就是在 research 会有一个非常深入的理解
• 01:03:58 然后我觉得就是这也是一些好的 opportunity
• 01:04:01 对
• 01:04:02 但最后就是能不能 work out 也真的是 by chance
• 01:04:07 比如说就是真正
• 01:04:09 比如说在内部我们能不能争取到一个 slot
• 01:04:12 我们能不能争取到一些 interviews
• 01:04:14 然后比如说今年比如说稍微情况有变化
• 01:04:16 或者是啊, somehow 又从系里或者是从 college
• 01:04:20 或者 provost level 又来一个 unique 的一个 opportunity
• 01:04:24 这都会影响 hiring decision
• 01:04:26 对对对对
• 01:04:27 对 我感觉像今年去年
• 01:04:29 今年这种经济政治形势的确是任何的机会都是非常有非常多的运气成分的
• 01:04:35 当然实力肯定是一部分了
• 01:04:37 但是运气也非常的重要
• 01:04:38 就是有时候你机缘巧合
• 01:04:40 就不知道你什么时候认识了一个人
• 01:04:42 或者奇怪的地方
• 01:04:44 听到了一个一个一个消息
• 01:04:46 能够给你一个助力
• 01:04:48 但我觉得我刚才说
• 01:04:50 这个可能没有什么太大帮助
• 01:04:51 就是因为实际上
• 01:04:52 但我觉得实际可能
• 01:04:54 有点帮助的就是
• 01:04:55 你觉得还有帮助
• 01:04:57 就是想能帮助人建立一个
• 01:04:59 比较好的 mindset
• 01:05:00 但我比如再说一个点
• 01:05:03 就是你实际
• 01:05:05 就比如说实际系里
• 01:05:08 比如说有人
• 01:05:09 champion 了你的 case 以后
• 01:05:10 你去了
• 01:05:12 其实你的目标不是为了去
• 01:05:14 再继续 convince 他
• 01:05:16 你去了真的是为了 convince
• 01:05:18 all the other people in the department
• 01:05:20 因为他已经 buy-in 了
• 01:05:22 他能之所以能 advocate for you
• 01:05:24 就算是一个 prerequisite
• 01:05:25 但我觉得这个可能更 applicable to
• 01:05:28 学校是
• 01:05:30 就 HCI 不是 priority search area
• 01:05:32 不是说他今年就是要招两个 HCI 的人
• 01:05:35 然后 specifically 就是这个和这个方向
• 01:05:37 那么的话他可能会有一个
• 01:05:38 更 structured 的一个 search process
• 01:05:40 但如果就是这种 ad-hoc 的
• 01:05:42 opportunistic 的这种 hiring
• 01:05:45 我觉得就是他一旦拿到了
• 01:05:47 present 这个机会以后
• 01:05:48 真的你的目标或者他心里想的
• 01:05:51 就比如说我们在 search committee
• 01:05:52 我们想的是 OK
• 01:05:53 我们怎么把这个人包装起来
• 01:05:56 sell 给所有其他的方向
• 01:05:58 就是怎么
• 01:05:59 因为大家毕竟是有
• 01:06:01 就是 limited resources
• 01:06:02 对 然后所以包括 job talk 也是
• 01:06:05 就是你的目标是为了能够
• 01:06:08 就是就是 convince
• 01:06:10 或者是能够 touch on
• 01:06:11 all the other CS disciplines
• 01:06:13 不仅仅是做 HCI
• 01:06:14 不仅是你的 host
• 01:06:15 更多的是
• 01:06:16 不是你的 host
• 01:06:17 对
• 01:06:17 我是不懂你的意思
• 01:06:18 对
• 01:06:19 所以我觉得要想
• 01:06:20 比如说怎么往 AI
• 01:06:22 怎么往 systems
• 01:06:25 PL
• 01:06:26 等等这些其他方向
• 01:06:27 branch out
• 01:06:27 往 quantum 也有可能
• 01:06:29 但是就是
• 01:06:29 因为 quantum
• 01:06:30 我觉得最近是属于招人
• 01:06:32 比较多的一个方向
• 01:06:33 但我们在 HCI
• 01:06:34 可能跟 quantum
• 01:06:35 算是刚刚开始的一个交叉
• 01:06:37 我看去年还是前年
• 01:06:39 有一篇 paper
• 01:06:40 是关于 quantum 的
• 01:06:41 这个意思 对 这个跟业界的话
• 01:06:44 可能有一些类似
• 01:06:45 但是我感觉业界的这个
• 01:06:46 要 impress 的人
• 01:06:48 可能没有像 department 那么广
• 01:06:50 嗯
• 01:06:50 就比如说毕竟一个 hiring manager 招人的话
• 01:06:53 毕竟还是就是招他们组嘛
• 01:06:54 那你肯定要确保你跟这里所有组员都是有
• 01:06:56 synergy
• 01:06:57 也能够帮助
• 01:06:57 那你又不能跟他们做的一模一样
• 01:06:59 但是你又不能做的太远
• 01:07:00 所以大概是这个组的一个 affinity 的这个里面
• 01:07:03 是 那当然我们也会有一些叫做什么
• 01:07:06 就是跟 product match
• 01:07:07 跟 design match
• 01:07:08 就有不同的 interviewer
• 01:07:10 那种他们肯定也会给 feedback, 也非常重要, 但是我可能感觉,
• 01:07:14 可能一个 department 里面那么广的, 每个人都要投票, 每个人的那种权重应该不太一样,
• 01:07:20 毕竟也是要在这个组, 这个可能有点不同, 但是, 但是类似的点就是,
• 01:07:26 你要 make sure, 你, 你的 audience 不仅是一个人, audience 是 diverse 的一个 set,
• 01:07:33 他们有的人可能跟你的 vocabulary 不一样, 有的人 care 的点不一样, 有的人可能在意的是速度,
• 01:07:38 有的在意的体验
• 01:07:39 有的在意的是
• 01:07:40 别的东西
• 01:07:41 对
• 01:07:41 所以我觉得就还有一个点
• 01:07:43 就是在给 job talk
• 01:07:45 或者给 pitch 的时候
• 01:07:46 就是
• 01:07:47 就是我觉得 HCI 比较擅长的是
• 01:07:50 这个 idea 和这个 vision
• 01:07:52 但是
• 01:07:53 我觉得很多时候会看到
• 01:07:55 candidate
• 01:07:56 没有讲到一个非常深的
• 01:07:58 technical contribution
• 01:07:59 然后这个会
• 01:08:01 就是虽然他可能也
• 01:08:02 spent a lot of effort
• 01:08:04 才把这个系统建立出来
• 01:08:05 他才能 get 这些后面的 insights
• 01:08:07 但是
• 01:08:08 但是这个就是比方说会是一个就是 negative point
• 01:08:12 所以我觉得就是
• 01:08:13 但我觉得怎么说呢
• 01:08:14 就是不同的系或者不同的 department 也会有不同的 flavor
• 01:08:20 所以我觉得就是一旦到了那个 stage
• 01:08:22 我也非常建议就是你可以直接 reach out to 你的 host
• 01:08:25 或者是 department 里面有认识其他人
• 01:08:27 或者你的 connections 里面能接触到的人
• 01:08:29 他们是其实很愿意给你提 feedback
• 01:08:32 帮助你能够去 appeal to the broader community
• 01:08:36 对对对
• 01:08:37 其实跟公司也一样嘛, 就是在去面试之前, 你可以问 recruiter, 问任何的 contacts, 问公司最近 focus 是什么, 想听到的方向是什么东西, 这都是有帮助的。
• 01:08:47 对。结束之前, 问个轻松的话题吧, 我没有去过 Michigan, 也没有去过 Ann Arbor, 然后如果说你要描述这个城市和大学,
• 01:08:56 无论你的学生也好, 还是未来的教授去你们那里任职啊, 求学的话, 你会怎么描述这个学校呢, 或者生活环境呢?
• 01:09:04 对 我觉得密歇根和安娜堡是个特特别好的地方
• 01:09:07 其实你看有很多这种 lists
• 01:09:10 就是说 most livable cities in the US
• 01:09:12 安娜堡一直都是第一
• 01:09:14 第一啊
• 01:09:15 对对 有很多 list 都是排第一的
• 01:09:17 比如在 U.S. News & World Report list
• 01:09:19 不是就是像 WalletHub, Livability.com 很多这种
• 01:09:24 他都真的是就排到第一
• 01:09:25 或者是别的 list 可能也都排在前几名
• 01:09:28 然后因为他四季分明啊
• 01:09:30 然后就是我觉得生活起来还是挺舒服的
• 01:09:34 然后并且我觉得他很多时候不知道的是
• 01:09:37 就是虽然你感觉
• 01:09:38 那边是个 college town
• 01:09:40 但其实他距离 DTW
• 01:09:42 就是 Detroit airport
• 01:09:43 只有30分钟车程
• 01:09:45 那很近啊
• 01:09:45 所以其实比比如说我在 Pittsburgh 到机场
• 01:09:48 还有45分钟
• 01:09:49 就是他就 much closer
• 01:09:50 然后从 Detroit 你去美国任何地方
• 01:09:53 然后或者是要去就是回国
• 01:09:55 就是直飞上海
• 01:09:57 就是那一趟
• 01:09:57 就是都非常方便
• 01:09:58 因为我知道有很多朋友在附近的
• 01:10:00 在 Chicago 的
• 01:10:01 比如说在就是附近的这些
• 01:10:04 他们就是回国都来这边
• 01:10:07 或者是就来这住一下
• 01:10:09 然后从底特律飞
• 01:10:10 对 所以就是真的是很好的一个地方
• 01:10:15 很 gem
• 01:10:15 可以
• 01:10:16 只有看有没有机会去那 visit
• 01:10:18 好
• 01:10:18 一定一定
• 01:10:19 对 再次感谢今天
• 01:10:20 我来这里分享他当教授几年的体验
• 01:10:23 如果大家有什么问题或者评论
• 01:10:26 欢迎在下面留言
• 01:10:27 然后也欢迎给我们来信
• 01:10:29 那我们下期再见
• 01:10:30 拜拜