博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【小知识】二分类问题,应该选择sigmoid还是softmax?
阅读量:3729 次
发布时间:2019-05-22

本文共 745 字,大约阅读时间需要 2 分钟。

点击上方,选择星标置顶,每天给你送干货

阅读大概需要5分钟

跟随小博主,每天进步一丢丢

来自 | 知乎

地址 | https://www.zhihu.com/question/295247085/answer/494511891

作者 | ivy zheng

编辑 | 机器学习算法与自然语言处理公众号

本文仅作学术分享,若侵权,请联系后台删文处理

谢邀。

Sigmoid函数:

Softmax函数:

其中:

因此这两个完全等价,连梯度消失的位置都是等价的。


关于 灵犀的问题:

采用sigmoid输出时,使用[0-1.0]的threshold来得到不同的precision和recall;
而采用softmax输出时,我们常常直接取两类中最大概率的类别(这种方法我理解应该是直接默认设置了threshold为0.5),那我如果在softmax下想获得PR曲线的话,应该怎么操作呢?

1、我觉得你对precision和recall有什么误解,如果计算PR曲线,需要的就是类别,而不是概率值。比如你准确率,就是正确匹配的除以总数,那么正确匹配的个数肯定是通过判定的类别是否正确得到啊。

2、如果想要得到概率,Softmax是可以的。CAFFE的Softmax层可以输出 的结果,比如有n个类,就可以得到一个向量 ,那么属于第 个类的概率就是:

____20190805补充_

经@空号 提醒,貌似对pr曲线部分表述错误。因为回答太久远了,不方便修改,就把空号的回复贴上,供大家参考。


投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。

方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

转载地址:http://amrnn.baihongyu.com/

你可能感兴趣的文章
多线程知识点复习巩固
查看>>
Java----Lambda表达式知识梳理
查看>>
23大设计模式---01单例模式
查看>>
23大设计模式----前言
查看>>
最短路径算法---狄杰斯特拉算法
查看>>
数字旋转方阵
查看>>
最大子段和问题------dp与分治法
查看>>
几何问题中的分治法
查看>>
腾讯2020-05春招补录笔试(刷板问题)
查看>>
SpringMVC系列教程——01入门与案例
查看>>
MyBatis知识点复习-01入门案例
查看>>
Spring系列教程——01Spring入门简介与案例
查看>>
数塔问题-DP解法
查看>>
分治法求两个有序数组的中位数(LeedCode4)
查看>>
最大K乘积问题
查看>>
MyBatis知识点复习-02其他入门操作
查看>>
MyBatis知识点复习-03Dao与Mapper代理实现
查看>>
MyBatis知识点复习-04全局配置文件的properties和alias的讲解
查看>>
图问题中动态规划的应用
查看>>
MyBatis知识点复习-05加载映射文件的几种方式
查看>>