自然对话包括打断和与人交谈，这对于大型语言模型（LLM）来说很难建模为单一的自回归序列。我相信通过创建一个像电影剧本一样在句中有中断的文本序列，你可以走得很远，但似乎真正的解决方案涉及并行的听和思考流，并在暂停时或在打断优先级上排队说话。从不同流中混合标记并对注意力进行自定义处理似乎是可行的。