Attention Mechanism을 공부하면서

Activation Function에도 적용시키면 어떨까라는 생각을 했는데 이미 있었다.

저번에도 코사인 유사도를 Loss Function으로 써보면 어떨까라는 생각을 했었을 때도 이미 있었다.

연구라는건 참 어려운것같다.