自由Man

Caffe模型参数介绍

    

       以Caffe案例中的mnist模型为例进行介绍。


1、第一层:数据层


这 是第一个层,name指定当前层的名称。type指定当前层的类型,这里就是输入层,所以指定为DATA。data_param是指定当前层的参数,其中 source就是输入数据的路径(可以写绝对路径),backend就是数据类型, batch_size是指定运行时的batch大小,scale是将数据进行尺寸变换,比如这里设置的0.00380625,就是1/256。第一个 top是指定往后传递data,第二个是指定往后传递label.  include参数,其中的phase参数是指定这一层是什么时候运行的,可以选择TRAIN,表示训练的时候运行,也可以选择TEST。

layers {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "RoadDetection/img_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}


2、第二层:卷积层


layers {
  name: "conv1"
  type: CONVOLUTION
  blobs_lr: 1.
  blobs_lr: 2.
  convolution_param {
    num_output: 20
    kernelsize: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
  bottom: "data"
  top: "conv1"
}

这里的type就是CONVOLUTION了(好像type指定的属性都是大写的)。blobs_lr: 1. 就是指定weight的学习率的倍数,这里就是1.0了,后面的blobs_lr: 2. 就是指定bias学习率的倍数。num_output指定输出数据个数,kernelsize是指定卷积模板的大小,也就卷积核的矩阵大小。stride就是指定卷积的步长。weight_filler是指定weight初始化,其中type是指定初始化的方式,这里用的是xavier 算法(根据输入输出的神经元个数自动决定初始化的尺度)。下面的bias_filler是类似的,constant就是说指定为常数了,默认为0.然后bottom就是指定这一层的输入数据,显然就是数据层传来的那个data,top就是输出数据。

为什么这一层只有一个bottom,但是上一层的top 有两个呢?label跑哪儿去了?,继续往下看你就明白了。


3、pooling 层


layers {
  name: "pool1"
  type: POOLING
  pooling_param {
    kernel_size: 2
    stride: 2
    pool: MAX
  }
  bottom: "conv1"
  top: "pool1"
}

这里出现的新参数就是那个pool了。pooling_param就是设置这个pooling层的参数啦,pool的方式就是max pooling。值得一提的是这里的kernel_size和stride的设置,这里恰好就相等,所以所有的pooling都不会出现重叠,一般来说,kernel_size的尺寸不小于stride的。

4、中间可以多添加几个卷积、pool层


5、完全连接层


layers {
  name: "ip1"
  type: INNER_PRODUCT
  blobs_lr: 1.
  blobs_lr: 2.
  inner_product_param {
    num_output: 500
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
  bottom: "pool2"
  top: "ip1"
}

这里指定了一个500个输出的完全连接层,没啥新的参数。


6、ReLU层


layers {
  name: "relu1"
  type: RELU
  bottom: "ip1"
  top: "ip1"
}

这里有趣的地方在于输入和输出是同一个,官网上说只是因为这个ReLU操作可以原地操作(in place),能够节省内存。ReLU是一个替换sigmoid units的一个函数,全称是Rectified Linear Unit,是一个激活函数。wiki和豆瓣有些资料,可以自己看看。


7、完全连接层

layers {
  name: "ip2"
  type: INNER_PRODUCT
  blobs_lr: 1.
  blobs_lr: 2.
  inner_product_param {
    num_output: 10
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
  bottom: "ip1"
  top: "ip2"
}

8、Loss 层


layers {
  name: "loss"
  type: SOFTMAX_LOSS
  bottom: "ip2"
  bottom: "label"
}

这里指定的Loss的定义方式是 SOFTMAX_LOSS。到这里也解开了我们心头的一个疑惑哈,为什么第一层的top有两个,label是传递到这儿来的。



本文参考:http://www.lxway.com/599950596.htm

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Powered By Z-BlogPHP 1.5.2 Zero Theme By 爱墙纸

Copyright ZiYouMan.cn. All Rights Reserved. 蜀ICP备15004526号