east – 第79页 – gitweixin

Spark 4月 19,2019

Spark分析个股的活跃性

在前文scala获取免费的股票日k线数据，本文做进一步扩展，统计一下股票振幅，统计最近20天振幅大于4个点有多少天。对于炒股喜欢短线的人来说，振幅大的股票，越好做T+0操作。


import java.util
import java.util.Collections

import org.apache.spark.SparkContext
import org.apache.spark.sql.{Encoder, Encoders, SparkSession}
import stock.SinaStock

import scala.io.Source
object KLineAnalyse {
  def main(args: Array[String]): Unit = {
    println("查询日k线股票 http://data.gtimg.cn/flashdata/hushen/daily/19/sh603000.js")
    val sinaStockStream = Source.fromURL("http://data.gtimg.cn/flashdata/hushen/daily/19/sh603000.js","utf-8")
    val sinaLines=sinaStockStream.getLines
    val spark = SparkSession.builder().appName("kline").master("local[*]").getOrCreate(); //为读取的数据创建schema
    //val sc = new SparkContext(SparkUtils.getSparkConf("SequenceFileUsage"))
    val list = new util.ArrayList[KLineModel]()
    for(line <- sinaLines) { /** 将每行数据解析成SinaStock对象，并答应对应的股票信息 **/
      if(line.length > 20) {
       // println(new KLineModel(line).toString)
        list.add(new KLineModel(line));
      }
      }
    Collections.reverse(list);
    import scala.collection.JavaConverters
    import scala.collection.Seq
    import spark.implicits._
    // List 转 Seq
    val tmpSeq = JavaConverters.asScalaIteratorConverter(list.iterator).asScala.toSeq
    sinaStockStream.close()
    val mySparkRdd = spark.sparkContext.parallelize(tmpSeq);
    val top2Rdd = mySparkRdd.take(20)
    val rateRdd = top2Rdd.map(a => (a.dateStr, (a.highPrice - a.lowPrice)/a.openPrice * 100))
    //过滤每天振幅大于几个点的
    val resultRdd = rateRdd.filter(_._2 >= 4)
    println(resultRdd.toBuffer)
    val wordPairs = resultRdd.map(word => (word, 1))
    val wordCounts = wordPairs.length / 20.0f;
    println("wordCounts: " + wordCounts)

    }

}

作者 east

bug清单 4月 19,2019

spark错误：Unable to find encoder for type stored in a Dataset

运行下面代码，出现了错误

import spark.implicits._
val tmpSeq = JavaConverters.asScalaIteratorConverter(list.iterator).asScala.toSeq
val ds = spark.createDataset(tmpSeq)

Error:(32, 33) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases.

觉得因为Dataset是强类型，没有指定好类型，于是修改如下面这样，果然错误消失了：

 import spark.implicits._
 // List 转 Seq
 val tmpSeq = JavaConverters.asScalaIteratorConverter(list.iterator).asScala.toSeq
 sinaStockStream.close()
// spark.sparkContext.parallelize(tmpSeq);
val personEncoder: Encoder[KLineModel] = Encoders.bean(classOf[KLineModel])
 val ds = spark.createDataset(tmpSeq)(personEncoder)

作者 east

Spark 4月 18,2019

scala获取免费的股票日k线数据

接口的的抓取使用了Scala标准库的Source


class KLineModel {
  var dateStr ="";
  var openPrice = 0f;
  var closePrice = 0f;
  var highPrice = 0f;
  var lowPrice = 0f;

  private var stockInfo :String =""

  def this(stockInfo:String)
  {
    this()
    this.stockInfo=stockInfo /** 根据腾讯的数据接口解析数据 **/
  val stockDetail=stockInfo.split(Array(' ',' ',' ',' ',' '))
    if (stockDetail.length>4){
      this.dateStr=stockDetail(0)
      this.openPrice=stockDetail(1).toFloat
      this.closePrice =stockDetail(2).toFloat
      this.highPrice=stockDetail(3).toFloat
      this.lowPrice =stockDetail(4).toFloat

    }
  }


  override def toString = s"KLineModel($dateStr, $openPrice, $closePrice, $highPrice, $lowPrice)"

import scala.io.Source
object KLineAnalyse {
  def main(args: Array[String]): Unit = {
    println("查询日k线股票 http://data.gtimg.cn/flashdata/hushen/daily/19/sh603000.js")
    val sinaStockStream = Source.fromURL("http://data.gtimg.cn/flashdata/hushen/daily/19/sh603000.js","utf-8")
    val sinaLines=sinaStockStream.getLines
    for(line <- sinaLines) { /** 将每行数据解析成SinaStock对象，并答应对应的股票信息 **/
      if(line.length > 20) {
        println(new KLineModel(line).toString)
      }
      }
      sinaStockStream.close()
      }

}

作者 east

Spark 4月 18,2019

spark中删除文件夹或文件

这个方法能删除HDFS或本地的文件夹或文件，

val spark = SparkSession.builder().appName("USQL").master("local[*]").getOrCreate(); 
deleteOutPutPath(spark.sparkContext,"E:\\newcode\\MyFirstProject\\data\\output\\")

/**
  * 删除文件夹或文件
  * @param sc
  * @param outputPath
  */
def deleteOutPutPath(sc: SparkContext,outputPath: String):Unit={
  val path = new Path(outputPath)
  val hadoopConf = sc.hadoopConfiguration
  val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
  if(hdfs.exists(path)){
    hdfs.delete(path,true)
  }
}

如果是删除文件夹的，前面要加下面的话


spark.sparkContext.hadoopConfiguration.setBoolean("mapreduce.input.fileinputformat.input.dir.recursive", true)

作者 east

bug清单 4月 15,2019

在Fragment调用UI控件出现Activity has been destroyed

在Fragment的代码中，

new Handler().postDelayed(new Runnable(){
 CustomDialogFactory fragmentFactory = new CustomDialogFactory(getChildFragmentManager());
。。。
}, 3000);

出现错误

ava.lang.IllegalStateException

Activity has been destroyed

分析到原因，可能是由于定时原因，Activity已经结束，还执行到Fragment定时任务。可以在fragment判断activity是否结束。

new Handler().postDelayed(new Runnable(){
if(getActivity()==null){
    return;
}
if(getActivity().isFinishing()){
    return;
}
 CustomDialogFactory fragmentFactory = new   CustomDialogFactory(getChildFragmentManager());
。。。
}, 3000);

作者 east

Android 3月 14,2019

js库clipboard.js 复制粘贴完美兼容 ios和android

clipboard.js有一些注意事项，特别是在android上：

1, 点击框得是 button

2，id必须是英文开头

3，复制的内容要放在input输入框里，否则会导致安卓手机上无法复制，input设置readonly

示例：

<!--js copy事件-->
<script type="text/javascript" src="/static/js/clipboard.min.js" ></script>

<li>
                    <p>卡号-01：<span><input id="l1234567890" type="text" value="1234567890" readonly></span><button class="btnClipboard" data-clipboard-action="copy" data-clipboard-target="#l1234567890">复制</button></p>
                    <p>密码-01：
                        <span class="pass_mi">******</span>
                        <span class="pass_show">显示</span>
                        <span class="pass_num"><input id="l098765" type="text" value="098765" readonly></span>
                        <span class="pass_copy">
                            <button class="btnClipboard" data-clipboard-action="copy" data-clipboard-target="#l098765">复制</button>
                        </span>
                    </p>
                </li>

 var clipboard = new ClipboardJS('.btnClipboard');
    clipboard.on('success', function (e) {
        layer.open({
            content: '复制成功'
            ,skin: 'msg'
            ,time: 2 //2秒后自动关闭
        });
    });
    clipboard.on('error', function (e) {
        layer.open({
            content: '请手动复制'
            ,skin: 'msg'
            ,time: 2 //2秒后自动关闭
        });
    });

作者 east

Android 2月 22,2019

测试admob是否能正常显示广告

尤其是在中国，由于广告投放等的问题，admob广告不一定正常显示，这时可以请求测试广告。
AdRequest adRequest = new AdRequest();
adRequest.addTestDevice(AdRequest.TEST_EMULATOR); // 模拟器
adRequest.addTestDevice(“TEST_DEVICE_ID”); // 测试 Android 设备
您可以在对设备进行调试时请求广告，然后在 logcat 输出中找到设备 ID。也可以用下面的代码来获取设备ID。

String android_id = Settings.Secure.getString(this.getContentResolver(), Settings.Secure.ANDROID_ID);
String deviceId = DeviceUtil.md5(android_id).toUpperCase();

public static final String md5(final String s) {
    try {
        // Create MD5 Hash
        MessageDigest digest = java.security.MessageDigest
                .getInstance("MD5");
        digest.update(s.getBytes());
        byte messageDigest[] = digest.digest();

        // Create Hex String
        StringBuffer hexString = new StringBuffer();
        for (int i = 0; i < messageDigest.length; i++) {
            String h = Integer.toHexString(0xFF & messageDigest[i]);
            while (h.length() < 2)
                h = "0" + h;
            hexString.append(h);
        }
        return hexString.toString();

    } catch (NoSuchAlgorithmException e) {
     //   Logger.logStackTrace(TAG,e);
        e.printStackTrace();
    }
    return "";
}

作者 east